本期编辑：@ 三水 @ 鲍勃
1、亚马逊升级实时语音对话模型 Nova 2.5 Sonic：增强多步推理与工具调用准确率，降低语音响应延迟
亚马逊正式发布实时语音对话模型 Amazon Nova 2.5 Sonic，相较上一代 Nova 2 Sonic，重点提升推理能力、复杂指令遵循和工具调用准确率，并降低响应延迟。新模型能够在持续语音对话中保持上下文，调用多个外部工具完成连续任务，例如查询订单、核查退货条件并发起退货流程。
增强多步任务推理与工具调用： Nova 2.5 Sonic 改进了语音智能体理解复杂指令、选择工具和连续执行任务的能力。AWS 表示，新版本能够更准确地遵循系统提示词和工具调用规则，减少多步骤任务中的执行错误，但尚未在发布公告中披露具体准确率和延迟改善幅度。
保留异步工具调用与可控对话轮次： 模型沿用上一代的异步工具调用能力，外部工具运行期间仍可继续处理用户语音，无需等待工具返回才能维持对话。同时支持用户打断、可调节的轮次切换灵敏度，以及在同一会话中混合使用语音和文本。
支持 7 种语言与长上下文语音交互： Nova 2.5 Sonic 保留上一代的多语言语音理解和生成能力，支持跨语言保持一致声线。AWS 发布公告注明模型具备 256K 上下文窗口，可在长时间对话中保留历史信息，结合外部工具处理连续任务。
接入 **Bedrock**** 与 Strands Bidi Agents：** 模型已在 Amazon Bedrock 正式上线，支持通过双向流式 API 接入实时语音应用。同期正式推出的 Strands Bidi Agents 提供语音智能体开发框架，可连接其他智能体和业务工具，减少开发者自行管理双向音频流与工具调度的工作量。
Nova 2.5 Sonic 已在美国东部、美国西部、欧洲斯德哥尔摩及亚太东京四个 AWS 区域提供服务，定价与 Nova 2 Sonic 保持一致。
https://aws.amazon.com/about-aws/whats-new/2026/10/amazon-nova-2.5-Sonic/
2、端侧 AI 开发者 Shahir 将多模态嵌入模型 EmbeddingGemma 2 改造成语音识别模型：M3 MacBook Air 约 13 秒转录 1 小时音频
端侧 AI 开发者 Shahir M A 展示了一项语音识别实验：将 Google DeepMind 新开源的多模态嵌入模型 EmbeddingGemma 2 用于语音转文字（ASR）。根据开发者公布的测试结果，在基础款 M3 MacBook Air 上，系统处理一小时音频仅需约 13 秒，作者称转录速度达到实时播放的 288 倍。
利用跨模态嵌入空间实现语音转文字： EmbeddingGemma 2 是 Google 于 10 月 6 日发布的 7.4 亿参数多模态嵌入模型，能够将文本、图像、音频和视频映射到统一的 768 维向量空间。Shahir 利用语音与对应文本在共享向量空间中的关联，探索从音频表示中直接恢复文字，将原本用于多模态检索的模型应用于语音识别任务。
基础款 M3 MacBook Air 实现超高速本地转录： Shahir 表示，其改造后的系统可在设备本地运行，一小时音频约 13 秒即可完成转录。EmbeddingGemma 2 采用模块化设计，文本编码器约 2.7 亿参数、音频编码器约 3 亿参数，可根据任务选择所需组件，无需加载视觉编码器。
语音识别准确率仍待验证： 当前公开演示主要展示了本地转录速度，尚未提供完整的词错误率（WER）、测试语种、音频数据集及与 Whisper 等专用 ASR 模型的同条件对比。因此，这一结果仍属于开发者实验，尚不能证明其在识别质量和通用性上达到成熟语音识别模型的水平。
https://github.com/shershah1024
3、音视频生成研究团队 Kandinsky Lab 开源视频生成模型 Kandinsky 6.0：3B、29B 两种版本，支持音视频同步生成及口型对齐
Kandinsky Lab 正式开源视频生成模型系列 Kandinsky 6.0 Video，包括 3B 参数的 Lite 版本和 29B 参数的 Pro 版本。相较 Kandinsky 5.0，新版本引入联合音视频生成能力，支持根据文本或参考图像生成最长 5 秒、24fps 的视频，同时生成 44kHz 音频，涵盖人物语音、口型同步和环境音效。模型代码与权重均采用 MIT 许可证开放。
联合生成视频与音频： Kandinsky 6.0 采用双流 CrossDiT 架构，将预训练视频生成网络与新训练的音频网络连接，通过双向交叉注意力实现画面和声音在时间及语义上的对齐。训练过程先独立训练音频网络，再使用配对音视频数据进行联合训练，最终结合监督微调、强化学习和蒸馏改善生成效果。
提供 3B Lite 与 29B Pro 两种版本： Lite 面向较低计算成本的视频生成，Pro 则侧重画面质量、复杂运动和摄像机控制。两者均支持文本生成音视频（T2AV）和图像生成音视频（I2AV），并可通过独立的超分辨率模型将视频提升至 1920×1080。官方人工评测显示，Pro 版本的整体表现优于上一代 Kandinsky 5.0 Video Pro，语音生成质量也有所改善。
开放模型权重与主流推理框架集成： 官方提供基础模型、微调模型及蒸馏版本，其中蒸馏模型将生成过程压缩至 10 步。目前已支持 Hugging Face Diffusers、ComfyUI、vLLM-Omni、SGLang 和 FastVideo，开发者可下载权重在 GPU 环境中部署，也可通过 Hugging Face Spaces 体验 Pro 蒸馏版本。
https://github.com/kandinskylab/kandinsky-6
4、英国语音健康 AI 公司 thymia 发布 2 型糖尿病语音筛查研究：仅需 20 秒录音，识别与糖尿病相关的潜在声音变化
英国语音健康 AI 公司 thymia 联合澳大利亚皇家墨尔本理工大学（RMIT University）等机构，在欧洲糖尿病研究协会（EASD）年会上公布了一项基于语音的 2 型糖尿病筛查研究。研究人员通过机器学习分析 20 秒语音录音中的声学特征，识别与糖尿病相关的潜在声音变化。在 7319 名参与者的验证中，模型区分糖尿病患者与非患者的曲线下面积（AUC）达到 0.80，并通过糖化血红蛋白（HbA1c）血液检测进一步验证了预测结果。
从声音特征预测糖尿病风险： 研究团队利用英国和美国 21129 人的 63283 段语音样本训练模型，再让参与者朗读约 20 秒的伊索寓言，提取声音中的细微声学特征并生成风险评分。此前研究发现，2 型糖尿病可能伴随声音嘶哑、粗糙度增加，以及发声和呼吸控制变化，机器学习模型可利用这些人耳难以察觉的信号识别潜在风险。
7319 人验证 AUC 达 0.80： 在英国 7319 名成年人中，研究团队根据参与者自报的糖尿病诊断情况评估模型，取得 0.80 AUC，接近英国常用糖尿病风险评估工具 QDiabetes 的 0.86 AUC。模型在不同性别及多数年龄组中表现相对稳定，但在部分族裔及合并心血管疾病、高血压、肥胖症的人群中，识别性能有所下降。
血液检测验证灵敏度为 82%，但误报率较高： 研究人员进一步对其中 801 名参与者进行 HbA1c 血液检测。以糖尿病诊断阈值作为标准时，语音模型取得 0.75 AUC，能够识别 82% 的糖尿病病例，但也将 47% 的非糖尿病参与者错误判定为高风险。研究团队认为，语音分析可用于初步筛选需要进一步检查的人群，但不能代替血液检测。
目前该研究已公布预印本，并在 EASD 年会上报告，尚未完成同行评审及临床应用验证。研究团队计划进一步在真实医疗场景中测试模型，评估其在不同人群中的可靠性。
5、AI 角色陪伴平台 Character.AI 申请破产保护：迪士尼拟以 2000 万美元收购部分资产，平台面临关闭风险
AI 角色对话与陪伴平台 Character.AI 宣布依据美国《破产法》第 11 章申请破产保护，并启动由法院监督的资产出售程序。公司已与迪士尼旗下 Disney Worldwide Services 达成初步协议，后者计划以 2000 万美元获得 Character.AI 部分知识产权的永久非独占许可及相关权利。此次交易尚需法院批准，并允许其他买家提出更高报价。
申请破产保护，启动资产出售程序： Character.AI 表示，过去一年面临法律、监管及运营方面的持续压力。董事会在评估其他方案后，决定通过破产重组程序出售全部或绝大部分资产，以寻求维持业务运营的机会。
迪士尼成为 2000 万美元优先竞购方： 根据双方协议，迪士尼将担任资产拍卖的基准竞购方（Stalking Horse Bidder），拟获得 Character.AI 部分知识产权的永久非独占许可及特定法律请求权。迪士尼此前已聘用 Character.AI 的部分员工，并将在过渡期间提供相关技术支持。这并不意味着迪士尼已完成对 Character.AI 平台的整体收购。
平台暂时继续运营，但可能最终关闭： Character.AI 目前仍正常提供角色聊天、AI 语音通话及订阅服务，用户数据管理和订阅计费暂不改变。公司预计在 11 月底至 12 月初完成资产出售程序。如果最终没有买家提出能够维持平台运营的方案，Character.AI 将逐步关闭服务。
Character.AI 由前 Google 研究员 Noam Shazeer 和 Daniel De Freitas 于 2021 年创立，主要提供用户可创建和交互的 AI 角色及语音陪伴服务。2024 年，Google 曾与 Character.AI 达成技术授权协议，并聘回两位创始人及部分研究人员。
https://blog.character.ai/an-update-on-character-ai/
1、 AI 公司 Mistlabs 发布跨设备 AI 助手 Ambi：实时理解对话、主动执行任务，支持 iPhone、Mac 和 Apple Watch 无缝协作
由前 Plaud 高管莫子皓创立的 AI 公司 Mistlabs 正式推出环境智能助手 Ambi，将实时语音理解、长期记忆和 AI 智能体任务执行整合到持续运行的交互系统中。Ambi 可以在用户交谈或开会时理解上下文，主动整理信息、提出建议并启动后续任务，工作进度可在 iPhone、Mac 和 Apple Watch 之间同步，无需每次切换设备后重新提供上下文。
实时理解对话，在交流过程中主动执行任务： Ambi 可以在用户授权开启监听后，实时转录和理解会议、日常对话中的信息，结合日历、历史记录、知识库和网络数据生成建议。例如，用户在会议中讨论多个方案时，Ambi 可以同步检索背景、比较差异，并提前准备后续行动，无需等待会议结束再处理录音。
跨设备共享记忆与任务状态： 用户可以在 Apple Watch 上记录想法，在 iPhone 上补充信息，再通过 Mac 继续工作。Ambi 会保留不同设备间的上下文、任务进度和长期记忆，支持在切换设备后继续执行此前启动的任务。
Routines 支持长期任务自动执行： 用户可以设置持续目标，让 Ambi 通过连接的应用获取新信息、更新任务进展并提出下一步建议。例如，在搬家规划中持续关注房源价格、学校和通勤条件，并根据用户新提供的信息更新候选清单。平台支持连接 Slack、Notion、Google Workspace、GitHub 等第三方服务。
计划推出独立 AI 可穿戴设备： Ambi 目前主要以软件形式运行在苹果设备上。Mistlabs 计划于 2027 年初推出配备麦克风、摄像头、屏幕和扬声器的独立可穿戴硬件，并进一步探索不同 AI 设备之间的智能体通信能力。这些硬件及设备间通信功能尚未正式开放。
Mistlabs 同时披露已累计获得 2600 万美元融资，投资方包括 Luminous Ventures 和华勤技术。目前 Ambi 已结束测试阶段并开放早期体验申请，提供无需绑定支付方式的 7 天免费试用。官方表示，录音转写后会删除原始音频，保留的信息经加密后存储在美国。
2、瑞典语音 AI 公司 Klang 融资 1500 万瑞典克朗，开源 0.6B 语音识别模型 Pianissimo：1 秒转录 1 小时音频，速度达 Whisper Large 的 64 倍
瑞典语音 AI 公司 Klang 宣布获得 1500 万瑞典克朗融资，公司估值达到 1.5 亿瑞典克朗，并同步开源瑞典语语音识别模型 Pianissimo。该模型基于 NVIDIA Parakeet v3 微调，针对瑞典语及地方方言优化，在保持接近瑞典国家图书馆 KB-Whisper Large 识别精度的同时，批量转录速度提升约 64 倍。根据官方测试，在 NVIDIA H100 GPU 上，模型约 1 秒即可处理 1 小时音频。
0.6B 参数模型针对瑞典语和方言优化： Pianissimo 沿用 Parakeet v3 的 FastConformer 编码器与 TDT 解码器架构，使用约 5 万小时瑞典语语音数据进行微调，覆盖不同方言，并通过噪声、混响和压缩等数据增强提升识别能力。模型还引入局部注意力机制，降低长音频处理时的计算开销，支持标点恢复、大小写处理和词级时间戳输出。
识别错误率降至 4.46%，批量处理速度提升 64 倍： 在 Common Voice 瑞典语测试集上，Pianissimo 的词错误率（WER）为 4.46%，相比原版 Parakeet v3 的 18.54%，识别错误减少约 76%；在 FLEURS 测试集上的 WER 为 6.51%。根据 Klang 在单张 NVIDIA A100 80GB 上的批量测试，模型达到 2500 倍实时处理速度，约为 KB-Whisper Large 的 64 倍，但后者在上述测试集上的识别准确率仍略高。
开放权重，支持本地及欧洲云端部署： Pianissimo 已在 Hugging Face 以 CC BY 4.0 许可证开放，提供 NVIDIA NeMo、Apple MLX 和 ONNX 版本，包括适用于 CPU 的量化模型。开发者可以在本地设备或自有基础设施运行，也可以通过瑞典云服务商 Berget AI 的实时转录 API 接入，在用户说话过程中持续接收识别文本。模型还新增自定义词汇表能力，以改善专有名词和领域术语的识别。
本轮融资由现有投资者参与，Johan Lenander 领投，资金将用于持续研发语音与对话 AI 模型、招聘约 10 名员工，并拓展欧洲及日本市场。Klang 计划进一步开发能够连接历史对话、理解上下文并支持信息检索的企业对话记忆系统。
https://research.klang.ai/papers/klang-pianissimo-sv/
3、餐饮语音 AI 公司 Slang AI 发布智能接待员 Superhost：能记住常客偏好、识别语气情绪，支持 97 种语言
餐饮语音 AI 公司 Slang AI 发布面向全服务餐厅的智能接待员 Superhost，将原有的 AI 电话接听和预订管理升级为具备长期记忆、情绪感知和主动服务能力的语音智能体。Superhost 能够记住回头客的历史对话、用餐偏好、过敏信息及生日，并根据客人说话时的语气调整回应方式，让餐厅在不同来电中提供连续、个性化的服务。
识别语气情绪，支持自然打断与 97 种语言： Superhost 能够区分客人不耐烦或满意时说出的同一句「OK」，并据此调整回应。客人可以在 AI 说话过程中随时打断、改口或切换话题。系统支持自动识别和切换 97 种语言，包括通话中途的语言切换，餐厅也可自定义声音、口音、语气和品牌话术。
建立常客记忆，提供个性化接待： Superhost 能够关联客人的历史通话、到店记录、座位偏好、食物过敏信息和重要日期，在客人再次来电时识别其身份，并结合已有预订提供服务。系统还支持餐厅上传菜单及食材信息，回答菜品问题，并通过持续通话质量监测检查服务表现。
从被动接听扩展至主动预订运营： Superhost 可与 OpenTable 等餐厅管理系统集成，处理特殊节假日预订、多人聚餐及餐饮体验项目预约。Slang AI 还计划让智能体主动联系客人，提醒重要日期、跟进未完成的预订和再次到店需求，将语音 AI 从电话接待扩展至客户关系维护。
目前 Superhost 已开始向全服务餐厅合作伙伴逐步推出，部分新功能将在未来数月陆续上线。Slang AI 表示，其平台已服务全球数千家餐厅门店，顾客满意度超过 95%。
https://www.slang.ai/post/superhost
1、rtcStats 联合创始人 Tsahi Levent-Levi：RTC 可观测性 API 的第一用户已经是 AI Agent
WebRTC 可观测性平台 rtcStats 联合创始人、webrtcHacks 作者 Tsahi Levent-Levi 近日撰文指出，开发者工具正在经历一个重要变化：最先阅读 API 返回数据、分析日志和定位故障的，越来越多是 AI Agent，而非开发者本人。 但目前大量 API 仍按照人类查看仪表盘的方式设计，并不适合 AI Agent 直接消费。
Levent-Levi 分享了自己的一次经历：他曾让 Claude 通过 MCP 和 API 获取 rtcStats 账户中不到 20 个会话的数据，并进行比较分析。结果 Claude 在完成任务前就耗尽了可用 Token，让他不得不等待 4.5 小时。这让他意识到，过去适合人类查看的数据结构，可能成为 AI Agent 的上下文负担。
为此，rtcStats 调整了 WebRTC 会话分析 API，将完整数据和故障诊断结果拆分为两个接口。原有的 analyze 保留连接、传输、媒体流和时间线等完整记录；新增的 enrich 则直接返回通话质量评分、问题严重程度和结构化异常信息，让 AI Agent 能够快速判断一次通话出了什么问题。
在一段 1 分 45 秒的真实测试通话中，完整分析接口返回约 46.5 KB 的 JSON，而新接口仅返回约 2.3 KB，数据量减少约 95%。AI Agent 可以先获取精简诊断结果，只有在需要进一步排查时才读取完整会话数据。
Levent-Levi 认为，随着 AI Agent 越来越多地承担开发、调试和运维工作，开发者工具需要重新考虑 API 的设计对象。过去 API 主要为存储、展示和人类操作服务，而面向 AI Agent 的 API，需要优先考虑机器能否直接理解结果、避免无关数据占用上下文，并以更少的 Token 完成任务。
https://rtcstats.com/blog/api-for-humans-vs-api-for-agents
阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么
写在最后：
我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。
对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。
作者提示: 个人观点，仅供参考
