本期编辑:@ 三水 @ 鲍勃

01 有话题的技术

1、DinoDial 开放多模态 Agent Harness 早期体验:语音与视觉共用实时连接,支持边通话边查看画面

实时语音 Agent 基础设施公司 DinoDial 宣布开放多模态 Agent Harness 早期访问,将视觉输入加入原有语音交互系统,使 Agent 能够在同一次通话中持续聆听用户、查看摄像头画面或照片,并结合视听上下文作出回应。团队表示,其语音基础设施此前已处理超过 100 万次生产环境通话,目前正开展企业私有试点。

https://dinodial.ai/multimodal-agent-harness

2、语音 Agent 公司 Bland 发布全双工语音模型 Tofu-1:支持区分背景人声、实时打断及边说边推理

语音 Agent 公司 Bland 发布首款自研 Speech-to-Speech 模型 Tofu-1,面向银行、医疗、保险及政务等高要求电话场景。模型不只识别通话文字,还尝试持续理解说话者身份、声音来源、语气和周围环境,并在生成语音时保持聆听与任务推理。目前 Tofu-1 已开放研究预览申请,尚未全面公开提供模型 API。

https://www.bland.ai/speech-to-speech

3、蚂蚁开源全双工音视频模型 Duo:持续感知并生成视听回应,开放权重与实时推理代码

蚂蚁开源团队 inclusionAI 发布 Duo v1,提出 Reciprocal World Model(双向世界模型)架构,使 AI 能够持续感知用户的音频、视频和文本输入,并实时生成包含声音与画面的回应。与传统先理解指令、再单独生成视频的流程不同,Duo 将交互意图与音视频生成放到统一时间线上,支持自然交谈、用户打断及持续变化的视听互动。

https://duo-v1.github.io/

4、Paradigm Machines 发布眼动预测基础模型 Orion:识别用户视线位置,UX 问题发现量提升 2 倍

AI 研究团队 Paradigm Machines 发布基础模型 Orion,尝试让 AI 预测人在使用软件时会看向哪里、如何转移注意力,并将这种视觉行为理解能力用于界面体验分析和计算机操作。模型基于真实眼动追踪数据训练,能够分析用户在界面上的注意力变化。团队已开放在线产品体验,支持连接 PostHog 会话回放识别潜在 UX 问题。

https://app.paradigmmachines.ai

5、OpenAI 发布 Agents SDK v0.24.0-alpha.8:Session 支持 Realtime 语音接入,覆盖 WebSocket、WebRTC 与 SIP 通话

OpenAI 发布 Agents Python SDK v0.24.0-alpha.8 预览版本,为原生 Agent Session 新增 Realtime 语音能力,支持将实时音频交互、工具调用和会话历史放到同一个 Session 中管理。开发者可以通过服务端 WebSocket、浏览器 WebRTC 或已有 SIP 电话连接语音 Agent,并在工具执行前设置人工审批机制。

https://github.com/openai/openai-agents-python/releases/tag/v0.24.0-alpha.8

02 有亮点的产品

1、医疗 AI 公司 August 获 1200 万美元融资:Voice Agent 代用户致电医院,累计等待接通超 2.4 万分钟

11 月 16 日,医疗 AI 公司 August 宣布获得 Accel 和 Peak XV 投资的 1200 万美元融资,并推出面向美国医疗服务体系的 AI Agent。用户只需说明就医需求,August 就能代为致电医院、确认医生是否接受保险及预约时间,并在获得用户确认后完成预约。公司此前主要提供健康信息问答服务,创始人称已累计帮助超过 1000 万人理解健康问题。

https://x.com/anuruddh_m/status/2122374778074038613

2、Hume 正式停止 EVI 与 Octave TTS API 服务:转向 Audio Decisions 音频评测,定价每百万 Token 0.47 美元

11 月 13 日,美国语音 AI 公司 Hume 按此前公告正式停止提供 Empathic Voice Interface(EVI)和 Octave TTS API。EVI 曾主打根据用户语气和情绪调整语音回应,Octave 则提供富有表现力的语音合成及声音克隆能力。随着两项 API 退出,Hume 将开发者产品重心转向 11 月 2 日上线的 Audio Decisions API,通过直接分析音频,帮助开发者评估语音自然度、用户情绪及对话行为。

https://dev.hume.ai/audio-decisions/docs/overview

3、百度一镜发布自研视频生成模型:成本低至每秒 0.2 元,全画幅实时数字人响应低于 2 秒

11 月 12 日,在百度世界 2026 大会上,百度一镜宣布视频生成、微表情控制和实时交互三项能力升级。新模型通过混合扩散蒸馏和稀疏化建模降低推理成本,Fast 版本实现视频时长与生成耗时 1:1;实时数字人则支持全画幅流式生成,官方公布的响应延迟低于 2 秒。文心一镜微表情模型已同步上线百度智能云千帆平台。

https://cloud.baidu.com/doc/qianfan-api/s/8mwbylac7

https://cloud.baidu.com/doc/qianfan-api/s/Imwc2p4go

https://tech.youth.cn/wztt/202611/t20261113_16965269.htm

03 有态度的观点

1、Sam Altman:没有黄仁勋,AI 行业仍能继续发展

据 TechCrunch 报道,11 月 16 日,OpenAI CEO Sam Altman 在 Semafor 举办的「Silicon Valley & The World」活动上首次公开谈及黄仁勋辞去英伟达 CEO 一事。

他认为,尽管黄仁勋对 AI 行业的发展至关重要,但即使没有他的领导,AI 行业仍能继续发展。Altman 表示,目前 AI 市场需求旺盛,相关收入和需求都在快速增长,因此他相信整个行业不会受到太大影响。不过,他也强调,黄仁勋凭借非凡的雄心推动了行业发展,很难想象没有黄仁勋及其创办的英伟达,AI 革命会是什么样子。谈及黄仁勋是否应该重返英伟达,Altman 则表示,自己对事件了解不够,无法作出判断。

他还称黄仁勋一直是自己心目中的英雄,但「英雄也有缺点」,并提起自己在 2023 年遭 OpenAI 董事会罢免、随后重新出任 CEO 的经历,对黄仁勋目前的处境表示同情。与此同时,据 CNBC 和 CBS News 援引知情人士消息,英伟达董事会目前并未考虑让黄仁勋重返公司。董事会仍将重点放在针对黄仁勋的调查上,即使已有超过 18 万人联署支持其回归,董事会也无意让他重新担任 CEO 或其他职务。

( @APPSO)

04 社区黑板报

招聘、项目分享、求助……任何你想和社区分享的信息,请联系我们投稿。(加微信 creators2022,备注「社区黑板报」)

1、Bluejay 发布 Voice AI 技术全景图:从级联架构、端到端模型到全双工语音交互

美国 Voice AI 测试与评测公司 Bluejay 整理了一份 Voice AI 技术全景图。

这份图谱从架构角度梳理语音智能体的主要技术路线,涵盖传统 ASR–LLM–TTS 级联方案、端到端 Speech-to-Speech 模型,以及支持边听边说、实时打断和自然接话的全双工语音架构,帮助开发者了解不同方案在流式处理、交互延迟和轮次控制等方面的技术差异。

Bluejay 创始团队来自 AWS Bedrock 和 Microsoft Copilot,也是 YC 2025 春季批次公司,曾获得 400 万美元种子轮融资,主要为语音 Agent 提供对话模拟、自动化评测和生产环境监控。

https://research.getbluejay.ai/whitepapers/voice-ai-landscape

阅读更多 Voice Agent 学习笔记:了解最懂 AI 语音的头脑都在思考什么

写在最后:

我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

作者提示: 个人观点,仅供参考


↙↙↙阅读原文可查看相关链接,并与作者交流