2024.6:借助 LLM 试水 AI 世界 🤖

Home Assistant Core 2024.6!🎉

欢迎来到又一个内容满满的 Home Assistant 版本!这次带来了很多令人兴奋的新功能,绝对值得记住。

我们来谈谈人工智能。人工智能也可能成为本世纪的热门话题。这些 所谓的 [LLM] 无疑打开了一个充满可能性的新世界。 当我们第一次为 Assist 引入 OpenAI 和 Google AI 对话代理时, 最需要的功能之一是能够用它来控制您的家。

现在是重大新闻:

好吧,从今天开始,你可以用人工智能控制你的家! 🤖

但本次发布还有更多内容。超级简单的媒体播放器命令, 更多数据表改进、标签实体、可折叠蓝图部分、 还有更多!

我个人对仪表盘领域的新功能感到最兴奋。 能够有条件地显示部分和动作绝对是一个游戏规则改变者 对于我的仪表盘。

享受发布!

../Frenck

不要忘记加入我们在 YouTube 上的发布派对直播 2024 年 6 月 5 日,格林尼治标准时间 20:00 / 太平洋标准时间 12:00 / 欧洲中部夏令时间 21:00!

语音和协助

本月,我们将继续致力于改进 Assist 的开箱即用功能 功能:我们不仅添加了您所期望的功能 语音助手,例如媒体控制,但我们正在跨越式发展 一些令人兴奋的新进展和人工智能实验! 🤖

我们将在即将发布的_Voice - 第 7 章_ 中宣布更多内容 6月26日直播!请留意这一点! 🎙️

借助 LLM 试水 AI 世界

我们语音助手的“大脑”叫作 conversation agent(对话代理)。 它负责理解口头命令背后的意图, 执行动作并产生响应。

自从我们开始这段语音之旅以来,我们就允许你切换到基于 LLM 的对话代理。这也促成了一些非常有趣的实验, 比如我们的臭名昭著的马里奥采访

到目前为止,这两个世界(我们自己的Home Assistant对话代理 控制你的家庭和基于法学硕士的对话代理)没有重叠; 一个基于法学硕士的对话代理不可能控制你的家。

今天,我们很高兴地宣布我们正在缩小这一差距!

在设置基于 LLM 的对话代理时,您可以决定让 您的对话代理只需按一下开关即可控制您的家。

Screenshot of the 配置 screen of the OpenAI 集成, showing how to enable Home Assistant control.

通过这个新设置,基于 LLM 的对话代理可以利用为 Assist 提供支持的意图系统。它们还可以访问所有暴露给 Assist 的内容,因此你可以准确控制代理能访问哪些实体。

利用我们的意图系统非常棒,因为它开箱即用。 基于 LLM 的对话代理可以完成 Assist 可以做的所有事情。 额外的好处是他们能够进行超越语言的推理, Assist 无法做到这一点。

例如,如果您的设备中暴露了一个名为“Webcam 灯光”的灯光 _“office”_区域,您可以直接发出命令,例如:

打开办公室网络摄像头灯光。

之前也与 Assist 一起使用,但您还可以提供更多 复杂的命令,例如:

我要去参加一个会议,你能确保人们看到我的脸吗?

代理人会弄清楚言语背后的意图 并调用匹配的暴露实体的正确意图。

我们的意图系统从一开始就被构建为可扩展的。 自定义集成,甚至用户可以注册自己的意图。 这使您能够指导代理超越开箱即用的能力。

以下是自定义意图的示例,向代理解释了什么 当我离开家时要做的事。

conversation:
  intents:
    LeaveHome:
      - "Leave home"

intent_script:
  LeaveHome:
    description: "Launch the leave home script. To be used when I am about to leave my home."
    action:
      - service: script.leave_home
        data: {}
    speech:
      text: "Done"

将此 YAML 片段添加到我的 configuration.yaml 后,如果 代理知道我要离开家,它不会按照它的想法关闭 我想要,它会运行我的 leave_home 脚本,这正是 我想要它做。

这个版本让该能力可用于 OpenAIGoogle AI。为了让你更容易开始使用 LLM, 我们已经用正确的推荐模型更新了它们 准确性、速度和成本之间的平衡。如果您之前已设置过它们, 我们建议启用推荐的设置并清空说明。

我们推荐的模型在语音助手任务方面表现同样出色。 Google 比 OpenAI 便宜 14 倍,但 OpenAI 更擅长回答非智能问题 家庭问题。我们正在准备一篇博客文章,深入研究该研究 进入此功能,即将推出™!

从 Home Assistant 2024.4 开始,本地 LLM 已通过 Ollama 集成 获得支持。不过,Ollama 和主流开源 LLM 模型还没有针对工具调用进行优化,因此这部分能力必须从头构建,也没能赶上本次发布。我们正在与 NVIDIA 合作推进这项工作——他们上周已经展示了原型。

感谢所有为此功能做出贡献的人! @shulyaka@tronikos@allenporter@synesthesiam@jlpouffier@balloob

改进的媒体播放器命令

我们推出了新的媒体播放器,让您可以 说得多,说得少。您可以说出以下语音命令来控制 与您的辅助设备位于同一区域的媒体播放器:

  • “暂停”
  • “简历”
  • “下一个”
  • “将音量设置为 50%”

到目前为止,我们仅提出了针对特定实体的句子 它的名字。由于此限制,这些意图并不是最用户友好的, 因为句子太长,无法说:“跳到电视上的下一首歌曲”

我们添加了两个功能来获得尽可能小的句子。背景 意识使我们的语音助手能够意识到与该设备位于同一区域的设备 卫星。我们还创建了一个智能匹配策略,可以找到 正确的媒体播放器作为目标。

例如,如果您说“暂停”,语音助手会自动 定位正在播放的媒体播放器。

只需确保您的语音助手设备被分配到有暴露的区域 媒体播放器,就可以开始了。

仪表盘

工作仍在继续,使仪表盘定制和组织变得更加容易 并且更直观。本月,我们为新版块添加了一项新功能 以及背景定制,您家中的每个人都会喜欢。

有条件地显示部分

我们为新的[仪表盘部分]功能添加了可见性选项。这个 令人惊叹的新功能允许您隐藏或显示基于特定的部分 条件。例如,当您位于 家。或者,当厨房灯光打开时,只显示关闭厨房灯光的开关 实际上都在。也许您有一个仅与您或您的人相关的部分 伴侣,并且您想对孩子们隐瞒它。

Screenshot showing how to conditional make a section visible on the new sections 仪表盘.

它使用与调节相同的条件, 这意味着您在做什么方面有很大的灵活性。

控制卡片的可见性

等等,我们可没有停下!现在同样的可见性功能也可以用于卡片了!没错!🚀

Screenshot showing a tile 卡片 that is only visible to a specific person.

你现在可以根据特定条件隐藏或显示卡片。这可以让你 创建更动态的仪表盘来适应您的需求。最大的区别是 您不需要条件调节即可使用此功能。可用 直接在可见性选项卡中的配置配置中。

设置仪表盘背景

@Nezz 为我们的仪表盘 UI 贡献了一项出色的新功能:能够 为你的仪表盘设置背景图片!

以前,这只能通过编辑 YAML 来实现,但现在您可以做到 直接从用户界面。更好的是,您可以直接从您的 计算机或提供一个 URL!

Screenshot of the 配置 screen of the OpenAI 集成, showing how to enable Home Assistant control.

照片:[绿叶树之间的水体],作者:Ian Turnell.

添加了相同的功能(直接从计算机上传图像) 图片也有!谢谢,@karwosts,谢谢!

数据表改进

就像最后发布, 此发布不断改进我们的数据表。

当我们引入数据分组 在表格中,您要求一种折叠和展开这些分组的方法, 所以我们在上一次发布中做到了!但后来我们很快意识到这不是 已经足够了,并且您希望能够立即折叠和展开所有组。 因此,我们为此发布做到了这一点!

Screenshot showing the new collapse and expand all feature of our data tables.

我们还扩展了语音助手公开数据表以允许分组 按地区和领域。

此外,你在数据表中设置的过滤器现在会保存在当前浏览器会话中。这意味着如果你离开页面后再回来,过滤器仍会保留。不过,每个浏览器标签页或窗口都有自己的独立会话,所以你可以在不同标签页或窗口中使用不同的过滤器配置。

集成

感谢我们的社区跟进新的举动 对以及现有的改进!你们都很棒🥰

新集成

我们欢迎本版本中的以下新集成:- [空气梯度],由 @joostlek
添加 提供来自当地Airgradient设备的空气质量数据。

  • APsystems,由 @mawoka-myblock
    添加 监控您的 APsystems EZ1 微型预告器。
  • [Azure 数据浏览器],由 @kaareseras
    将事件从Home Assistant转发到Azure数据资源管理器进行分析。
  • IMGW-PIB,由 @bieniu
    添加 水文数据来自气象研究所 水管理——国家研究所提供信息 关于波兰的河流和水库。
  • [智能存储加速],由 @bdraco
    添加 智能存储加速库(ISAL)用于加速我们的 Home Assistant引入。它会自动启用/激活。
  • Monzo,由 @JakeMartin-ICL
    添加 将您的 Monzo 银行帐户连接到 Home Assistant 并获取意见 计入您的账户余额。

对现有集成的值得注意的改进

添加的不仅仅是新的,而且是新的。现有的。 集成度正在不断提高。以下是一些值得注意的 对现有集成的更改:

集成达到白金质量级别

以下达到了我们的白金🏆等级 集成质量量表。这些集成是 最好的,给你一个出色的开箱即用的体验。

  • [Fyta],由 [@dontinelli] 完成
  • [Google Generative AI],由 @tronikos 完成
  • IMGW-PIB,由 @bieniu 完成
  • [Minecraft 服务器],由 [@elmurato] 完成
  • [tedee],由 [@zweckj] 完成

祝贺所有参与这些集成的开发人员!@bieniu: https://github.com/bieniu [@dontinelli]: https://github.com/dontinelli [@elmurato]: https://github.com/elmurato @tronikos: https://github.com/tronikos [@zweckj]: https://github.com/zweckj [Fyta]: /integrations/fyta [Google Generative AI]: /integrations/google_generative_ai_conversation IMGW-PIB: /integrations/imgw_pib [Minecraft Server]: /integrations/minecraft_server [tedee]: /integrations/tedee

现在可以从 UI 进行设置

虽然大多数可以直接从Home Assistant进行设置 用户界面,有些只能使用 YAML 配置使用。我们继续前进 对 UI 进行更多集成,使每个人都更容易使用它们 设置和使用。

现在可通过 Home Assistant UI 使用以下集成:

告别以下内容

以下内容也不再可用 这篇文章的内容:

  • Ambiclimate 已被 @gjohansson-ST 删除。他们的服务是 终止,自 2024 年 3 月 31 日起生效。

事情变成1.3

作为业内最早的公司之一,我们自豪地宣布Home Assistant 已经基于最新规范:Matter 1.3! 😎 Matter SDK 的更新版本提高了可靠性 以及 Matter 设备的兼容性。此版本还改进和扩展了设备支持。以物质为基础 现在支持空气净化器和房间空调设备,恒温器 和其他温控设备对设定点进行了重要修复,并进行了更新 我们的发现确保我们能够代表大多数设备的更多数据。

一些 Matter 设备具有所谓的“自定义集群”。 定制集群是制造商包含的标准化方式 非标准化数据。我们想要支持自定义集群,所以我们需要 单独添加对每一项的支持。

此发布允许Home Assistant在自定义数据时收到通知 集群更改(而不是按时间间隔轮询)。这将减少 网络流量并提高 Matter 网络的性能, 尤其是在更大的网络上。

其他值得注意的变化

本次发布还有更多改进;这是其他一些 此发布的值得注意的更改:

  • 现在可以在实体设置中为每个报警控制设置默认代码 面板。干得好@gjohansson-ST
  • @Troon 为我们的:add 添加了一个过滤器。该过滤器允许 您可以添加类似于现有 multiply 的值。伟大的!
  • 一个新的动作构建块已添加到我们的和 通过 @surfingbytes@frenck:[动作的运行顺序]。 这允许您将多个组合在一起或运行多个 [平行]的一系列动作。
  • 传感器可以[分组]来计算,例如,它们的总和或平均值。 感谢 @CoRfr,现在可以计算 [标准差] 一组传感器。凉爽的!

禁用登录令牌过期

几个版本之前,我们引入了登录自动过期功能。如果登录 会话超过 90 天未使用,它将过期并自动清理。

有些人表示希望禁用此功能 各种原因。例如,由于有二级度假屋,因此不 经常拜访,或者因为亲戚只能来几次 一年。我们在用户配置文件中添加了一个新选项来禁用 特定登录令牌的过期时间。

Screenshot showing the option to disable the expiration of tokens in the profile page.

您可以在您的个人资料设置中的安全选项卡下找到这些令牌。

标记实体!

Home Assistant 长期以来一直支持标签。标签功能 允许 NFC 标签或 QR 码与 Home Assistant 一起使用,例如 发生了。

然而,标签并不是真正的实体,因此使用起来并不总是那么合乎逻辑。 通过此发布,@gjohansson-ST 改变了这一点!

标签现在正常并且可以用于, , , 甚至可以添加到您的 你的仪表盘

蓝图的可折叠部分!

@karwosts 在这篇文章中再次出现,并发表了他的另一篇生活质量文章 (生活质量)改善。他添加了添加可折叠部分的功能 到 .这允许蓝图创建者对配置进行分组 默认情况下,将选项放在一起或隐藏高级或不太常见的选项。

Screenrecording showing sections of Blueprints inputs being collapsed/uncollapsed. 通过单击节标题可以折叠或展开每个节。

谢谢@karwosts

阅读有关蓝图输入部分的更多信息 在我们的文档中

正在寻找有趣的蓝图来开始?查看 在我们的社区论坛上[蓝图交流]!有很棒的自动化 可用的蓝图。

帖子发布

我们在 6 月份发布了 Home Assistant 2024.6 的补丁版本。这些 补丁版本仅包含错误修复。我们的目标是发布补丁 每个星期五。

2024年6月1日 - 6月7日

2024年6月4日 - 6月21日- UniFi 临时修复以处理运行时数据([@Kane610] - [#120031])

需要帮助吗?加入社区!

Home Assistant 拥有一个庞大的用户社区,他们都非常愿意 互相帮助。那么,加入我们吧!

我们非常活跃的 Discord 聊天服务器 是一个绝佳的地方 ,并且不要忘记加入我们精彩的论坛

发现错误或问题?请在我们的问题跟踪器 中报告, 把它修好!或者,查看我们的帮助页面 以获取更多指导 你可以去的地方。

您更喜欢电子邮件吗? 订阅我们的“打造开放之家”时事通讯 获取有关功能、社区中发生的事情的最新消息以及 有关建造开放之家的其他新闻;直接进入您的收件箱。

向后不兼容的更改

我们尽力避免对现有功能进行更改,这可能会导致 意外地影响您的 Home Assistant 安装。不幸的是,有时, 这是不可避免的。我们始终确保记录这些更改,以使过渡变得简单 对你来说是可能的。此版本具有以下向后不兼容的更改:

Anova 设备的 StateMode 实体已更改以匹配 新协议消息传递。任何基于这些实体的自动化都需要 已更新。

(@Lash-L - #109508) (文档)

之前已弃用的服务 rebootreconnectcleanup 已 已被删除。请使用相应的实体按钮代替。

(@mib1185 - #118108) (文档)

文件集成的通知服务现在需要文件路径 是允许的路径。您应该检查访问的文件是否在 allowlist_external_dirs 确保您的自动化持续运行。

(@jbouwh - #116861) (文档)

MQTT 门锁现在支持门锁 openopening 状态。使用门锁时 在 optimistic 模式下,其状态将变为 open 而不是 unlocked 它被打开。

(@jbouwh - #117110) (文档)


MQTT 实体处理空负载和 "None" 状态负载的行为 alarm_control_panelclimatecover 变得更加可预测, device_trackerlockselectvalvewater_heater 项目:

  • 状态负载的“None”(字符串)通常表示状态 变为unknown
  • 空的有效负载被忽略。

以前,“无”状态可能被视为无效或被忽略。

(@jbouwh - #117813) (文档)

迁移到支持 OneCall API (3.0) 的新库。

OWM API v2.5 将于 2024 年 6 月关闭。所有 OpenWeatherMap 集成必须 迁移到模式(API)v3.0以避免服务中断。

在迁移之前,您必须拥有有效的订阅(请注意 订阅激活最多需要 2 小时)。订阅激活后, 用户可以通过修复通知或手动将集成迁移到v3.0模式 通过集成配置菜单。

该订阅有免费套餐,每天可拨打 1000 次电话。考虑设置限制 在 OpenWeatherMap 网站上保持 API 使用率低于阈值 产生费用。

【OpenWeatherMap官方声明】(https://openweathermap.org/one-call-transfer)

(@freekode - #116870) (文档)

定义自定义超时的选项已被删除。超时已设置 静态为 30 秒的正常值。

(@mib1185 - #116815) (文档)

由于唯一ID的改变,可能会出现重复的实体。过时的实体 可以删除。

([@autinrd] - #113084) (文档)

WAQI 空气质量传感器的状态属性已被删除。 该属性已被单个传感器取代;使用这些来代替。(@joostlek - #116595) (文档)

通过此发布,您将需要更新您的 zwave-js-server 实例。

您必须使用 zwave-js-server 1.35.0 或更高版本(架构 35)。

  • 如果您使用 Z-Wave JS 插件,则至少需要版本 0.5.0。
  • 如果您使用 Z-Wave JS UI 插件,则至少需要版本 3.4.2
  • 如果您使用 Z-Wave JS UI Docker 容器,则至少需要版本 9.10.0
  • 如果您运行自己的 Docker 容器或其他安装方法,则需要将 zwave-js-server 实例至少更新到 1.35.0。

(@raman325 - #117288) (文档)

如果您是自定义集成开发人员并且想要了解更改和 可用于您的集成的新功能:请务必遵循我们的 [开发者博客][开发博客]。以下是本次发布中最值得注意的内容:

所有更改

当然,这篇文章还有很多内容。您可以找到以下列表 此处所做的所有更改:Home Assistant Core 2024.6 的完整变更日志