本期编辑：@ 三水 @ 鲍勃
1、清华大学与字节跳动提出全双工多模态对话模型 ELLSA 2：同步生成语音、手势与表情，聆听时也能持续反馈
清华大学、字节跳动等研究团队提出全双工多模态对话模型 ELLSA 2，在此前 ELLSA 的基础上，将实时语音交互与面部表情、身体手势生成进一步整合。模型能够在说话时生成匹配语义的动作，也能在停止发声、持续聆听用户时保持非语言反馈，让数字人呈现更连贯的面对面交流行为。
同时建模说话与聆听状态： 采用自回归分块生成架构，结合对话模型的聆听状态与语音合成状态，连续生成面部表情及身体动作，避免模型停止说话后角色动作同步中断。
根据对话语义选择手势： 提出上下文语义调用与模板引导机制，分别判断何时需要做出语义手势、如何生成具体动作，提升点头、指示及其他动作与对话内容的匹配程度。
兼顾语音交互与表情生成效果： 在三项语音问答测试中的 S2S 准确率分别达到 78.0%、47.3% 和 63.6%；实验还显示，联合生成方法在多项面部表情指标上优于级联基线。
开放代码、数据与生成模块权重： 项目已提供 ELLSA 2 代码分支、数据集，以及独立手势与表情生成器的权重。需注意，公开模型卡中的权重主要对应独立生成模块，不能直接等同于完整全双工系统的所有权重均已开放。
https://github.com/bytedance/SALMONN/tree/ELLSA2
2、美团联合上海人工智能实验室提出音视频生成评测基准 PRISM-Bench：900 组样本、35 项指标，评估声音质量与声画一致性
美团与上海人工智能实验室研究团队提出 PRISM-Bench，一套面向文本生成音视频（T2AV）的音频诊断评测基准，论文已被 ACM Multimedia 2026 接收。该基准从声音质量、声画对应关系到指令遵循能力，系统评估模型是否能够生成符合场景的声音，而不仅是听起来真实的音频。
构建 900 组人工核验样本： 按语音、音乐和环境音三类声音，以及画面内、画面外两种声源位置组织测试，覆盖不同声音类型与视觉场景之间的关联。
设计 4 个评测维度、35 项细分指标： 分别考察音视频一致性、音频质量、声音表现力和提示词遵循能力，包括声音是否与画面动作对应、能否准确表现指定事件等。
引入多模态大模型辅助评测： 采用真实参考样本与生成结果的盲测对比方式，让 MLLM 充当评审；整体与人类评审的平均一致率超过 70%。
揭示现有模型的声画生成短板： 实验发现，当前模型在声音逼真度方面已有明显进展，但生成音乐、同步画面内声源以及遵循复杂音频指令时仍存在不足。团队已提供 Hugging Face 评测榜单入口。
PRISM-Bench：从音质逼真到声画一致，诊断音视频联合生成能力
3、腾讯发布天籁语音大模型 Tenlai 三件套：覆盖 ASR、TTS 与实时同传，中英互译首字延迟约 3–4 秒
10 月 29 日，腾讯在全球数字生态大会上正式发布天籁语音大模型 Tenlai 系列，包括 Tenlai-ASR v1.0、Tenlai-TTS v1.0 和 Tenlai-LiveTranslate v1.0，分别面向语音理解、语音生成和实时跨语言交流。系列模型已应用于腾讯会议、元宝、企业微信等产品，并通过腾讯云向企业和开发者开放服务。
ASR 增强多人会议与长音频理解： 支持重叠发言分离、说话人识别，以及结合共享屏幕内容和上下文辅助专业术语转写。腾讯内部评测显示，说话人日志错误率（DER）降至 10% 以下，视觉信息辅助使专业词汇识别召回率相对提升约 30%–40%。
TTS 提升自然表达与音色复刻： 支持根据文本语义生成不同情绪、语气及停顿节奏，覆盖中英混读、方言和复杂文本朗读，并可在获得授权后复刻说话人音色，实现跨语言语音生成。
实时同传支持中英、中日互译： Tenlai-LiveTranslate v1.0 采用端到端语音翻译架构，边听边生成译文语音，并支持零样本音色复刻。在腾讯会议完整链路的内部测试中，中英互译首字延迟约 3–4 秒。
通过腾讯云提供模型服务： Tenlai 系列已对外开放。其中 Tenlai-ASR 和 Tenlai-TTS 已提供 TokenHub API 调用文档，实时同传能力的具体接入方式需以腾讯云对应服务为准。
（@ 腾讯会议）
4、企业软件公司 ServiceNow 开源 27B 语音推理模型 Apriel Voice：语音直接输入，支持复杂推理与工具调用
企业软件公司 ServiceNow 发布 Apriel Voice 27B Preview，将语音理解能力接入具备推理和工具调用能力的语言模型，让 Agent 能够直接理解用户的语音指令，并生成文字回复或结构化工具调用。模型权重以 MIT 许可证开放，目前仍为预览版本，语音输出需配合外部 TTS 实现。
语音输入直接连接推理模型： 采用 Whisper large-v3-turbo 音频编码器，通过可训练的投影模块接入 Gemma 4 26B-A4B 主干，支持语音识别、翻译、语音问答和复杂指令理解，同时保留文本及图像输入能力。
支持语音驱动的工具调用： 能够根据口头请求生成结构化 Function Calling，并结合工具执行结果继续处理任务。应用端负责执行工具、管理对话轮次及调用外部 TTS；模型本身并非原生全双工 Speech-to-Speech 系统。
公布语音推理与 Agent 评测结果： 官方测试显示，EVA-A 得分 51.27、EVA-X 得分 74.13，τ-Voice 任务成功率为 65.51%，完整语音系统平均响应延迟约 1.91 秒。
开放权重与推理部署方案： 支持通过 Transformers 和 vLLM 部署，并提供 OpenAI 兼容接口。模型可处理分块长录音，官方测试在约 30 分钟连续录音上表现较稳定，更长输入的效果仍可能下降。
https://huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview
5、语音识别公司 Soniox 发布 STT v6：新增 Agent 语音回声过滤，60 多种语言支持实时转写与翻译
11 月 3 日，语音识别公司 Soniox 发布 STT v6，新增 Agent Text Input 与 Agent Voice Echo Cancellation 两项能力，让语音识别模型能够结合 AI Agent 正在说的内容理解用户回复，并过滤被麦克风重新拾取的 Agent 声音。新版本同时提升多语言识别、说话人区分及实时翻译能力，现已开放实时流式和异步转写 API。
引入 Agent 发言上下文： 开发者可将 Agent 发送给 TTS 的文本同步提供给 STT v6，让模型结合对话双方的内容识别用户的简短回答、人名、数字和专业术语，减少脱离上下文造成的识别错误。
新增 Agent 语音回声过滤： 根据 Agent 发言文本识别并过滤扬声器回传的声音，避免语音助手误将自己的回答识别为用户输入。同时持续监听用户讲话，支持用户在 Agent 播报时插话。
统一支持 60 多种语言： 在同一模型中提供转写、语言识别、说话人区分、端点检测与实时语音转文字翻译，支持句内语言切换，无需为不同语言单独切换模型。
提升会议与专业场景转写效果： 改善多人交叠发言、快速轮次切换，以及日期、金额、计量单位和专业词汇的识别。新版已通过实时流式和异步 API 提供。
https://soniox.com/blog/soniox-stt-v6
1、苹果向所有开发者开放 Siri AI 预览版：通过 App Intents 接入第三方应用，新增跨操作 Skills 与个人上下文理解
11 月 3 日，苹果宣布面向所有开发者开放 Siri AI Developer Preview，允许第三方应用通过 App Intents 将内容和操作能力直接接入新版 Siri。开发者可以利用 Siri AI 的自然语言理解、屏幕感知和个人上下文能力，让用户通过语音完成应用内任务，并通过新增的 Skills 机制组合多个操作。
第三方应用接入 Siri AI： 开发者可以通过 App Intents 暴露自定义操作，让用户用自然语言查询订单、预订餐厅或完成其他应用任务。Siri AI 可结合个人上下文和当前屏幕内容理解请求。
新增 Skills 支持跨操作任务： 开发者可以定义由多个 App Intents 组成的复杂流程，让 Siri AI 根据用户指令组合执行。Spotlight 语义索引也扩展支持更多类型的应用实体，不再局限于既有数据结构。
苹果原生应用率先提供示例： 日历、邮件、文件、备忘录、照片、Safari 等应用已逐步接入新版能力。用户可以要求 Siri 查找上周去过的咖啡馆，或归档一年多没有打开的文件。
开发者预览已开放，正式分发仍待后续： 新能力随 iOS 27.3、iPadOS 27.3、macOS 27.3 和 visionOS 27.3 Beta 提供。苹果计划在未来数月面向用户推出相关体验，并于次年春季开放第三方应用提交。目前 Siri AI 支持英语、法语、日语、韩语等语言，繁体中文等语言将在后续加入。
https://developer.apple.com/news/?id=gdk2umrf
2、AI 视频公司 HeyGen 展示 Grok Bot 语音代拨电话：接入 HeyGen Voice，AI 可用用户克隆音色与他人通话
AI 视频生成公司 HeyGen 展示其语音模型 HeyGen Voice 在 Grok Bot 电话代理中的应用，让 AI 在代替用户拨打电话时，能够使用与用户本人相似的克隆音色进行交流。Grok Bot 此前已支持联系个人或商家、提出请求和总结通话，本次展示重点是为电话代理增加个性化语音输出能力。
AI 代替用户完成电话沟通： Grok Bot 可根据用户指令拨打电话，与商家或个人交流，记录对方回复并生成通话摘要。官方演示展示了 AI 代拨诊所电话、与工作人员交流的过程。
HeyGen Voice 提供个性化音色： HeyGen 宣称其语音模型能够让电话代理使用接近用户本人的声音。HeyGen Voice 本身支持通过最长约 60 秒的录音克隆音色，并提供流式语音生成 API。
通话需声明 AI 助手身份： 演示中的电话开场明确告知对方，来电者是代表用户的虚拟助手，且通话正在录音。此次展示尚未详细公布 HeyGen Voice 在 Grok Bot 中的配置方式、支持地区及使用限制。
https://x.com/HeyGen/status/2117389609223225464
1、阿里董事会主席：只有开源才能普及 AI
在 11 月 3 日世界互联网大会乌镇峰会开幕式上，阿里巴巴董事会主席蔡崇信表示，开源能降低中小企业研发成本，对小语种和发展中国家尤其有价值。
他认为，开源让更多地区能够参与 AI 发展，并可将模型部署在自己的数据中心。蔡崇信以乌干达的一个非营利组织为例：该组织基于千问开发本地语言模型，已覆盖 68 种非洲语言，帮助当地用户跨越语言门槛。他表示，千问目前已开源超过 470 款模型，全球累计下载量突破 40 亿次，衍生模型超过 33 万个。
他还强调，开放应包括人才、想法、数据与工具的共享。阿里运营的魔搭社区已吸引全球 239 个国家和地区的 3300 万用户，参与者来自中国、美国、印度、东南亚、非洲和拉丁美洲等地区。蔡崇信表示，AI 应用正在工业制造、医疗健康、公共服务、企业办公和科技研发等领域规模化，需求持续增加。中国企业选择开放模型与生态，是希望通过共享让更多人参与进来。
对于下一阶段，他提出的议题包括如何更公平分享智能知识，以及如何共同解决 AI 伦理与治理问题。
( @APPSO)
阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么
写在最后：
我们欢迎更多的小伙伴参与「RTE 开发者日报」内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。
对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。
作者提示: 个人观点，仅供参考
