本期编辑：@ 三水、@ 鲍勃

01 有话题的技术

1、阶跃发布 StepAudio 3 系列：全双工 Realtime 可边聊边跑调用工具，Gen 统一生成人声、音效与音乐

阶跃星辰发布 StepAudio 3 系列，一次上线 Realtime、ASR、TTS、Gen 和 Music 五款模型。相比此前主要围绕实时语音对话和单项生成能力迭代，StepAudio 3 开始覆盖从实时听说与任务执行，到语音识别、真人级 TTS、完整音频生成和音乐创作的一整套音频工作流，其中五款模型均已开放 API。

Realtime 把全双工进一步接到 Agent 执行： StepAudio 3 Realtime 采用持续的 “听—聊—想—做” 循环，可处理停顿、附和和中途打断；更值得关注的是，Tool Call 和长任务可以异步执行，不阻塞当前语音会话，用户可以继续交谈，任务完成后再把结果带回当前上下文。其技术报告在 Artificial Analysis Full Duplex Bench 上取得 98.9% 综合得分。
ASR 从纯转写进一步引入上下文理解： StepAudio 3 ASR 面向中英混说、方言、长音频和专业领域，将语言模型的知识与上下文理解用于人名、地名和专业术语识别。阶跃称其在 Artificial Analysis 非流式 ASR 榜单中取得 1.7% WER；该榜单当前以 AgentTalk、VoxPopuli 和 Earnings22 三组数据综合计算词错误率。
Gen 把原本分开的声音生产环节统一到一个模型： StepAudio 3 Gen 可以在同一套离散自回归框架中生成人声、歌声、音效、环境声、音乐及它们的混合内容，并控制不同声音出现的时序。其技术报告显示，模型使用统一的 RVQ 音频表示，而不是当前常见的连续扩散 Transformer 路线。
TTS 与 Music 更强调进入真实创作流程： TTS 可根据语义自动调整语气、节奏和情绪，并生成笑声、迟疑、结巴、改口等副语言表现；Music 除文字生成歌曲外，还支持歌词、清唱、参考歌曲和 ABC 记谱法输入，可围绕已有旋律继续编曲和多轮修改，而不是只做 “一句话抽一首歌”。

StepAudio 3 Home Page：

https://static.stepfun.com/blog/stepaudio3/

阶跃语音体验中心：

https://www.stepfun.com/studio/audio\

2、语音 AI 数据与评测公司 Besimple AI 发布全双工语音评测基准：不只测「停不停」，开始评估 Agent 能否边说边吸收纠正

Besimple AI 发布全双工语音评测基准 Duplex Cue，专门测试 Voice Agent 在自己仍在说话时，能否理解并吸收听者突然插入的补充、纠正或提示。不同于现有全双工评测常把行为简化为「继续说」或「停下来」，Duplex Cue 增加了话轮内适应这一维度：Agent 可以保持话轮，同时根据对方刚说的话即时修改自己的后续表达。

把听者意图和 Agent 反应拆开评测： Duplex Cue 将听者插入的语音分成附和、协作和打断三类，再分别判断正在说话的一方是「继续原话」「边说边适应」还是「让出话轮」。
评测基于真实双人自然对话： 完整研究包含 80 段无脚本英文对话、20.32 小时音频和 2,591 个经过审核的重叠语音事件，并从中选出 300 个经人工确认的标准测试样本。
PersonaPlex 在「协作性插话」上的适应能力明显低于真人： 在 66 组双方都保持发声且可评分的协作样本中，真人有 68.2% 的情况会继续说话并吸收对方提供的信息，而 PersonaPlex 只有 34.8%。
「会被打断」不等于「会合作」： 当听者提供答案、纠正、限制条件或补全内容时，当前全双工模型的主要短板并不只是打断检测，而是能否在保持话轮的同时实时吸收新信息。

https://besimple.ai/blogs/duplex-cue

https://huggingface.co/datasets/besimple-ai/duplex-cue

3、联发科研究院、台大、英伟达等提出全双工语音模型 TASTE2：文本词元逐一对齐音频表示，可流式听说并处理中途打断

联发科研究院、台湾大学、英伟达等团队提出 TASTE2，把此前面向单段语音建模的 TASTE 扩展为增量式全双工对话系统。其核心不是把文本 Token 和音频 Token 交错塞进语言模型，而是让每个文本词元对应一个连续音频潜在表示，尽量保持原有文本模型的序列结构和语言能力，同时加入流式语音输入、输出与打断处理。

从单段语音建模推进到增量式全双工对话： TASTE2 由语音编码器、Spoken LM 和增量语音解码器组成，可以随着用户语音到达持续处理，而不是等完整一句话结束后再开始生成；配套的 TASTE2 VoiceBot 可流式合成回复，并在检测到用户插话时停止当前生成。
不再交错不同类型的语音、文本 Token： TASTE2 使用共享的文本词元词表，并为每个文本词元预测一个连续音频潜在表示，使语音序列长度与文本序列保持对齐。团队希望借此减少传统语音语言模型中不同模态 Token 交错带来的语义能力损失。
转成语音模型后仍保留大部分文本能力： 基于 Qwen2.5-7B-Instruct 的 TASTE2 Merge 在 LLaMA-Questions 上达到 56.3%，接近原文本模型的 57.3%，相当于保留 98.2% 的准确率；Direct 方案则达到 53.0%。
开始验证「能听懂打断」之外的声音表达能力： 除话轮切换和打断外，团队还测试了语速、情绪等副语言信息的显式控制。其中快速语速已能较稳定控制，但情绪控制仍依赖具体训练策略，其他声音属性表现仍较弱。
代码、模型与 VoiceBot 已开放，但实时性仍有明显优化空间： 在两张 NVIDIA RTX A6000 上经过 TensorRT 加速后，TASTE2 VoiceBot 的平均首次音频时间仍为 2.701 秒，论文将语音生成延迟和自然对话稳定性列为后续需要解决的问题。当前模型仅面向研究用途开放。

https://gitycc.github.io/TASTE2-Homepage/

4、语音 AI 研究实验室 Oruk 拆解「声音里的微笑」：移除一条内部表征，247 段「快乐」语音中 172 段失去标签

a16z Speedrun 支持的语音 AI 研究实验室 Oruk 公布一项针对语音情绪模型的可解释性实验，研究其 Fourier 模型为什么会给一段声音打上「happy」标签。团队在模型内部找到一条与该标签高度相关的表征方向，将其从内部状态中移除后，原本 247 段被标记为「happy」的录音中，有 172 段失去该标签；而随机移除其他方向，平均只会让约 3% 的标签消失。

不是在识别人脸，而是在寻找「微笑声音」的内部表征： 人在微笑时，嘴唇和声道形状变化会改变声音的声学特征。Oruk 研究的是模型是否把这类声音模式编码成了稳定的内部方向，以及该方向是否真正参与「happy」标签的判断，而不是直接测量说话者有没有做出微笑表情。
直接干预模型内部状态，会大面积改变情绪判断： 移除这条学到的内部表征后，247 个「happy」样本中有 172 个失去标签；作为对照，团队对 64 个随机方向做相同操作，平均仅约 3% 的标签受到影响，说明模型内部确实存在与「happy」判断高度相关的特定表示。
只在录音前加 0.5 秒静音，也能大幅翻转标签： 团队又在 546 段录音前加入 0.5 秒静音，原始语音内容完全没有变化，但仍有 153 个「happy」标签消失、8 个新增。这说明语音情绪模型的判断并不只取决于那段「人在怎么说话」，还会受到输入边界和前置声学上下文影响。
也暴露了语音情绪识别的一个重要边界： Oruk 的 emotion label 本质上是对声音表达方式的模型标注，而不是对真实心理状态的读取。即使模型捕捉到了稳定的「快乐声音」模式，前置静音这样的微小输入变化仍可能显著改变输出，因此 Voice Agent 在把情绪标签用于回复策略时，不能把单次分类结果直接当成用户真实情绪。

https://oruk.ai/research/how-to-hear-a-smile

02 有亮点的产品

1、前 Apple Vision Pro 研究员创立的视听 AI 公司 Nuance Labs 完成 5000 万美元 A 轮：押注单一全双工模型，同时处理语音、表情与动作

Nuance Labs 完成 5000 万美元 A 轮融资，由 Lightspeed Venture Partners 领投，Accel、South Park Commons、Nvidia 旗下 NVentures 和 Define Ventures 参投。公司正在开发一个单一的全双工视听基础模型：不再把 ASR、LLM、TTS 和数字人生成拆成多级流水线，而是让同一个模型实时观看、聆听、推理、说话并生成面部与动作反馈。

把「全双工」从语音进一步扩展到视听交互： Nuance 希望模型在输出语音和视觉表达的同时继续接收用户的声音、面部表情、手势和停顿，实现点头、插话、附和等主动聆听行为，而不是等用户完成一个话轮后再统一响应。
核心架构不是多个模型串联，而是统一的 Audio-Video In / Audio-Video Out： CEO Fangchang Ma 表示，现有 AI Avatar 通常由语音识别、语言模型、语音合成和视频生成等模块拼接，容易带来延迟和交互割裂；Nuance 选择训练一个端到端视听模型，让音频和视觉信号在同一系统中建模。
训练数据也围绕真实双人对话重新采集： 这类模型所需数据很难直接从互联网获得。Nuance 会自行采集或通过合作伙伴获得双方同时可见、音轨独立分离且保持自然交流状态的视听对话数据，用于学习语调、表情、手势和话轮反馈之间的对应关系。
三位创始人都来自 Apple： CEO Fangchang Ma 和 CTO Edward Zhang 曾参与 Apple Vision Pro 的 Digital Persona 研发，首席科学家 Karren Yang 此前也在 Apple 从事视听合成研究；团队此前于 2025 年完成 Accel 领投的 1000 万美元种子轮。
目前仍未正式推出产品： Nuance 计划在今年晚些时候开放首个模型研究预览，未来设想包括语言学习、面试与演讲练习，以及 AI 面试官、销售和客服等面对面交互场景。

https://www.businessinsider.com/former-apple-researchers-raise-50-million-to-build-foundational-model-2026-9\

https://www.nuancelabs.ai/

2、做浏览器 Agent 出名的 Browser Use 开源本地人生记录系统 Life Recorder：iPhone 全天采集，Mac 本地转写成连续 Markdown 日志

做浏览器 Agent 出名的 Browser Use 开源了一款与浏览器无关的语音记录工具 Life Recorder：iPhone 在锁屏和使用其他 App 时持续录音，每约一分钟生成一段 AAC 音频并传到用户自己的 Mac，再由 whisper.cpp 本地完成转写，最终拼成一份持续增长的 life.md，每小时自动加入时间标记。项目上线约两天已获得约 200 个 GitHub Star。

把一天说过的话持续写进一个 Markdown 文件： iPhone 负责持续采集音频，Mac 端负责接收、转写和合并文本；音频只有在成功传输并完成转写后才会删除，网络中断时未上传的片段则保留在手机中等待重试。
整条转写链路默认不依赖云端： Whisper 通过 whisper.cpp 在 Mac 本地运行，不需要付费转写 API，也没有内置公共隧道或云存储。手机与 Mac 默认通过局域网 HTTPS 通信，并使用证书锁定和 256 位随机 Bearer Token 验证上传请求；离开本地网络后若仍希望上传，需要用户自己配置私有 VPN。
还附带一份给 Codex 使用的 **SKILL.md：** Codex 可以按照预设流程检查源码、调用 Xcode 编译、通过 Apple CoreDevice 工具安装并启动 iPhone App；涉及设备信任、Developer Mode、麦克风权限和密码等敏感操作仍由用户本人确认。也就是说，这里的 Agent 主要负责把部署流程自动化，而不是参与日常录音和转写。
隐私换来的代价是部署门槛： 用户需要一台持续运行的 Mac、Xcode、可安装开发版 App 的 Apple 开发者账号、Python、ffmpeg、whisper-cli 和本地 Whisper 模型。它更像一个面向开发者的「本地 Life Logging 基础设施」，而不是下载后即可使用的消费级录音 App。

https://github.com/browser-use/life-recorder

3、iOS 开发者 Paul Solt 将 GPT-Live-1 接入咖啡冲煮 App：语音可实时改配方，冲煮中途也能切换模式

iOS 开发者 Paul Solt 将 OpenAI 最新开放 API 的 GPT-Live-1 接入自己的手冲咖啡应用 Brew Coffee，让语音从「聊天入口」变成应用的实时控制层：用户可以直接说话修改配方参数、免手操作启动冲煮，甚至在冲煮已经开始后继续用语音切换到另一套冲煮方式。

语音可以直接改应用状态，而不只是触发固定指令： Paul Solt 将 Brew Coffee 内部可修改的配方设置暴露成工具，GPT-Live-1 可以把自然语言转换成具体操作，例如调整水量、修改配方或启动冲煮流程。Solt 认为，这种方式比传统 Siri Intents 更灵活，关键是「把 App 内的能力暴露成 Agent 可调用的工具」。
正在执行的流程也能被语音动态修改： Demo 中最有意思的一段是在手冲已经开始后，用户又要求切换到 V60 模式，应用会根据新的语音指令修改后续冲煮流程，而不是必须重新开始一次完整任务。
GPT-Live-1 负责实时语音交互，后端模型负责动作决策： Paul Solt 表示，这个 Demo 后端使用的是不启用推理的 Luna 模型。整体架构与 OpenAI 对 GPT-Live-1 的设计一致：Live 模型负责持续听说、打断和对话节奏，更深层的推理与工具调用则交给后端模型或 Agent 框架。
也暴露出 Voice Agent 落地后的新问题——行为评测： Solt 提到，「咖啡师教练」式建议比单纯的工具控制更难验证，因为 Agent 在不同 App 输入、输出和真人参与下可能偏离预期；他认为这类应用需要新的 Evals 来测试工具调用和人机协作过程是否可靠。

https://x.com/PaulSolt/status/2098423090841567578

4、GPT-Live-1 被做成「会听你说话的游戏编辑器」：边玩边改环境、生成武器

Edge City 联合创始人 Timour Kosters 用 GPT-Live-1 API 做了一个生成式游戏 Demo：玩家可以直接对着游戏说话，在游玩过程中实时修改环境、创建新物品和武器。相比传统 Voice Agent 只负责角色对话，这个 Demo 更像是把实时语音接进了游戏运行时，让自然语言直接参与正在发生的世界生成与编辑。

https://x.com/timourxyz/status/2098524840487801225

5、AI 硬件公司 NOOKLAB 推出磁吸 AI 随身屏 Moonphase Flip：全天采集现实对话，自动整理项目与人脉上下文

前字节跳动、OPPO、OnePlus、安克产品负责人 Raymond Zhao 创立的 NOOKLAB 正在开发磁吸 AI 随身屏 Moonphase Flip。它不是把录音作为最终结果，而是持续采集日常对话，将会议、聊天中的承诺和任务自动整理成摘要、待办以及长期上下文，再通过手机背面的独立屏幕低干扰呈现。NOOKLAB 官方将这类产品定义为「低干扰 AI 屏」，强调不需要用户反复打开 App 或主动整理信息。

从「录下一次会议」进一步变成全天候上下文采集： 据报道，Moonphase Flip 支持 always-on 持续收音，一段对话结束后自动提炼一句话摘要和 3–5 条待办，不需要用户手动开始、结束或重新打开手机查看。
不按录音文件组织，而是沿「项目」和「人」持续积累上下文： 系统会把前后相关的对话、任务和进展聚合到同一项目中，同时记录与不同人的约定、承诺和下一步动作，更接近一套个人上下文管理系统，而不是语音备忘录。
独立屏幕承担「低干扰输出」： 产品采用手机背面磁吸形态，把整理后的任务和信息直接留在独立屏幕上，不依赖手机通知主动召回用户。NOOKLAB 官方也把「无需再打开一个 App、管理另一套工作流」作为这类硬件的核心产品思路。
硬件信息： 整机约 54 克、续航超过两天，并计划今年 12 月小批量发售；NOOKLAB 官网目前公布的时间点则是 2026 年 10 月开启 Early Access。Moonphase Flip 商标已由深圳 Nooklab 科技于 8 月提交申请，覆盖显示屏、录音设备、电子记事本、任务管理和语音记录软件等类别。

https://www.nooklab.ai/

6、AI 客户研究平台 Listen Labs 放弃 1.25 亿美元 C 轮融资：转与 Salesforce 洽谈约 20 亿美元收购

用 Voice AI 自动做用户访谈的 Listen Labs，此前已与 Menlo Ventures 签署一份 1.25 亿美元 C 轮融资 Term Sheet，对应估值 15 亿美元，但这笔融资最终没有完成。TechCrunch 援引多位知情人士称，Listen Labs 主动退出已签署的融资协议，原因很可能是公司正在与 Salesforce 洽谈一笔约 20 亿美元的收购交易；目前双方谈判仍未最终敲定。

从融资转向潜在出售： Menlo Ventures 原计划领投这轮 C 轮，但 Listen Labs 在签署 Term Sheet 后退出。在风险投资市场中，创业公司主动放弃已签融资条款并不常见，也说明 Salesforce 的收购谈判可能改变了公司的资本计划。
Listen Labs 用 Voice AI 自动完成定性研究： 平台可以自动生成访谈问题，通过音频或视频与真实用户进行访谈，再把对话整理成研究报告和演示文稿，将传统需要数周完成的客户研究流程压缩并自动化。客户包括 Microsoft、Canva、Anthropic 和 Sweetgreen。
公司当前年化收入约 3000 万美元： TechCrunch 称 Listen Labs 成立约三年，目前年化收入约 3000 万美元；若 Salesforce 最终以约 20 亿美元收购，对应约 67 倍年化收入，这也可能成为交易能否最终成交的关键问题。
估值在不到一年内连续上跳： Listen Labs 今年 1 月刚完成 6900 万美元 B 轮，当时估值约 5 亿美元；此次未完成的 C 轮已经把估值推到 15 亿美元。如果 Salesforce 收购谈判失败，多位投资人预计其重新融资时可能寻求 20 亿美元以上估值。