本期编辑：@ 三水、@ 鲍勃
1、FireRedAudio：一个模型覆盖「听、理解、推理、说和编辑」完整音频链路，共享同一个 9B 参数语言模型底座
小红书 FireRedTeam 发布 FireRedAudio 代码与模型权重，希望用一个模型覆盖「听、理解、推理、说和编辑」完整音频链路。其核心设计是将音频理解与语音生成使用的表示分开：理解侧负责提取适合识别和推理的信息，生成侧负责保留声音合成所需的细节，但二者共享同一个 9B 参数语言模型底座，减少理解和生成能力相互干扰。
一个模型覆盖完整音频任务： FireRedAudio 同时支持 ASR、音频理解、零样本 TTS、按指令控制的 TTS，以及语音内容和声音表现编辑，无需为不同任务分别使用独立模型。
理解与生成使用不同音频表示： 音频编码器负责识别和理解，RedAE 路径负责语音生成，两套表示彼此分离但共享语言与推理能力，让同一模型同时处理「听懂」和「说出来」。
支持直接用指令修改已有语音： 可删除、替换或插入语音内容，也能调整音高、语速和音量；同时支持根据参考音频复刻声音，以及根据文字描述设计新的声音。
最长可理解约 1 小时录音： 模型可将内容与时间位置对应，用于生成带时间戳的结构化结果、按时间检索内容，或根据内容反查其在长音频中的位置。
代码与模型权重已经发布： 官方提供 Python 推理代码及 Hugging Face、ModelScope 模型下载，项目代码采用 Apache 2.0 许可证。
https://github.com/FireRedTeam/FireRedAudio
2、Hume AI 研究发现：部分高分 ASR 可能在「识别测试集」，公开榜单分数或高估真实转录能力
Hume AI 发布 ASR 基准优化研究，对 11 个常用开源 ASR 模型进行三组测试后发现，一些公开基准上的高分模型会根据音频中的数据集特征，输出测试集「预期的参考答案」，而不是严格按照实际听到的内容转录。这意味着更低的 WER 不一定完全来自更强的语音识别能力，也可能包含针对公开测试集的适配。
参考答案本身有错，模型仍可能跟着写错： 在 VoxPopuli 一段实际包含「Thank you」的音频中，参考文本漏掉了这句话，11 个模型中有 6 个同样将其省略；换成训练截止时间之后的新录音后，大部分模型又恢复了忠实转录。
把数字从音频里静音，一些模型仍能「补出」原答案： 在 LibriSpeech 上，部分基准表现最强的模型仍能在约 30%–40% 的样本中恢复被完全遮掉的数字，而这一现象在新采集音频上明显减弱。
同一个读音，会根据测试集切换不同写法： 研究测试了「Mr.」与「Mister」等声音相同但写法不同的情况，部分模型匹配对应数据集书写习惯的准确率接近 90%，说明模型可能从周围声学特征中判断当前属于哪个测试集。
研究建议 ASR 评测增加真正未见过的数据： Hugging Face Open ASR Leaderboard 已新增「Benchmark fitting」评测项，用于观察模型复现错误参考文本和跟随数据集书写习惯的程度，避免只依据公开测试集 WER 判断模型泛化能力。
Hume AI 正从语音模型公司转向 Voice AI 的数据与评测基础设施： 2026 年初，Google DeepMind 与 Hume 达成技术授权协议，并吸收创始人 Alan Cowen 及多名核心工程师；Hume 本身并未被整体收购，而是由新 CEO Andrew Ettinger 继续运营。此后，公司重心逐渐从 EVI、Octave 等自研语音模型，转向为整个行业提供语音数据、评测与 RL 基础设施。
https://huggingface.co/blog/asr-benchmark-optimization
3、Amphion 发布端到端语音大模型 FlexiSLM：4–12.5Hz 动态可控帧率，6.25Hz 输出将推理时间近乎减半
Amphion 团队发布 FlexiSLM，并被 EMNLP 2026 主会接收。它不再让 Speech LLM 以固定帧率处理整段语音，而是根据信息密度动态分配语音 Token，同时允许开发者直接指定目标帧率；同一个模型可在 4–12.5Hz 之间运行，无需针对不同帧率重新训练。
输入和输出两端都支持动态帧率： 输入侧会合并相邻高度相似的语音特征，在停顿、拖音等冗余位置减少 Token；输出侧 Talker 同时预测「生成什么声音」和「这个声音持续多久」，为信息密集片段保留更高时间分辨率。
可直接指定目标帧率，而不是调压缩阈值： 部署时可直接要求模型以 4Hz、6.25Hz 等目标帧率生成。实验中请求 6.25Hz 时实际平均约为 6.24–6.25Hz，请求 4Hz 时约为 3.99–4.00Hz，误差低于 0.1Hz。
输出 Token 接近减半，S2S 性能仅小幅下降： 保持输入 12.5Hz、将输出从 12.5Hz 降至 6.25Hz 后，S2S 综合得分由 67.2 降至 66.2；即使输入、输出都降到 6.25Hz，S2S 得分仍达到 64.3，高于论文中的固定帧率 7B 基线。
完整响应 RTF 从 1.17 降至 0.59： 将输出帧率降至 6.25Hz 后，推理时间接近减半；相比 Qwen2.5-Omni-7B 的 1.57 RTF，最高约快 2.7 倍。团队同时开源代码、模型权重以及约 420 万条、2.6 万小时的 Speech-to-Speech 数据。
4、Liquid AI × Artificial Analysis 开源端侧 AI 基准平台 Pipette：不再只测模型，而是评测「模型 + 量化 + 运行时 + 设备」完整组合
Liquid AI 与 Artificial Analysis 联合发布 Pipette，面向手机、电脑和嵌入式设备上的基础模型评测。与传统榜单只比较模型能力不同，Pipette 将一次端侧部署视为「模型 + 量化方式 + 运行时 + 设备」的完整系统，同时测量质量、首 Token 延迟、吞吐、端到端延迟和内存占用，让开发者直接判断某个模型在目标硬件上是否真正可用。
同一个模型要连同部署方式一起测： Pipette 会区分不同量化精度、llama.cpp 版本、设备和上下文长度，因为这些因素都会改变模型在真实设备上的速度、内存和能力表现，而不能仅从云端全精度模型成绩推断。
已经积累大规模真实设备数据： 平台当前覆盖 30+ 模型、多个量化格式和 1,000+ 种部署配置，对应 10,000+ 项测量结果；首批设备包括 M5 Max MacBook Pro、iPhone 17 Pro 和 Galaxy S26 Ultra，并将继续扩展 AMD 等硬件。
可直接观察质量、速度与内存之间的取舍： Dashboard 可按设备、模型、量化方式、上下文长度等筛选，并将模型质量与首 Token 延迟、生成速度、峰值内存等指标放在一起比较，而不是压缩成单一排名。
完整评测链路开源： Pipette 提供 macOS、Windows、iOS 和 Android 客户端，以及 benchmark 管理、运行和评分组件；Artificial Analysis 负责审核评测方法，并将端侧性能数据与模型质量评测结合。
https://www.liquid.ai/blog/pipette-on-device-ai-benchmarking-by-liquid-ai
1、独立开发者打造实时 AI 游戏伴侣 Varkos：能在《上古卷轴 V：天际》中边听边行动，大部分推理在本地完成
独立开发者 Pantelis Kalogiros 展示实时 AI 游戏伴侣 Varkos，目前运行于《上古卷轴 V：天际》。与主要负责 NPC 对话的 AI Mod 不同，Varkos 会持续听取玩家语音，并结合游戏世界状态规划行动：战斗、寻找和递交物品、等待条件触发后继续任务，甚至可以执行捉迷藏等持续数分钟的多步计划。
把语音指令直接变成游戏行动： Varkos 会将「拿起药水，等我发射箭作为信号后再送过来」拆成持续计划，记录目标、等待游戏事件发生，并根据世界状态继续、修正或停止后续动作。
实时链路以本地模型为主： 语音识别使用经过流式改造的 Qwen3-ASR 1.7B，每 40–80ms 处理一批音频；行动理解由作者设计的 ALE 系统结合文本、规则、分类器和实时世界状态完成，约需 2–20ms；语音生成使用 PocketTTS-Raven 或 Qwen3-TTS。
人格会随共同经历长期变化： Varkos 不只有固定人设，玩家与它的互动会逐渐改变其情绪、词汇和性格倾向。当前这一较慢的人格演化过程仍依赖云端大模型，但被放在实时行动链路之外。
目标是不只服务一款游戏： 当前首先接入《天际》，但系统设计上希望未来让同一个角色跨游戏存在；作者计划陆续开源部分组件，并进一步支持多个 AI 角色之间的真实互动。
https://pantel.is/projects/ai-gaming-companion/
2、前 MiniMax 技术合伙人杨斌创立 Voice AI 公司 BreezeBlue：获 600 万美元种子轮，押注实时语音交互
前 MiniMax 技术合伙人、视觉生成模型团队负责人杨斌于 2025 年底创立 BreezeBlue，目前已完成 600 万美元种子轮融资，由元璟资本、红点中国联合领投。公司希望从 TTS 切入实时语音交互，让 AI 不只生成自然语音，还能理解角色设定、场景和交流意图，并在长期互动中持续保持角色与表达一致性。
Breeze TTS 2 主打「设计声音 + 指导表演」： 用户可以直接用自然语言描述年龄、口音、音色、性格和表达方式，从零生成角色声音；也可以基于已有声音进一步控制语气、口音、笑声、叹气、紧张或疲惫等表现，并支持一句话内随时间变化的表演指令。
模型侧 TTFB 最低 40ms： Breeze TTS 2 面向实时交互优化，支持 50+ 种语言；在 Artificial Analysis TTS 榜单中排名全球并列第四。团队称参评声音均通过零样本声音设计生成，没有针对测试集额外录音微调。
下一阶段从「生成语音」走向「参与交互」： BreezeBlue 将技术路线分为生成式语音智能和交互式语音智能两个阶段，后者重点解决持续理解情境、判断何时倾听或回应、接受打断、主动确认以及与用户共同推进任务。
已开始进入长期角色化场景： 团队目前约 15 人，BreezeCreator 已面向创作者提供声音设计与生成能力，企业侧则通过 API 应用于虚拟主播、互动漫剧、角色扮演和 AI 游戏等场景。
（@ 智能涌现）
3、宝马集团旗下风投 BMW i Ventures 投资全双工语音模型公司 Familiar Labs：让 Voice Agent 在说话时继续听，面向生产级外呼场景
宝马集团旗下风投 BMW i Ventures 宣布投资 Familiar Labs，这家公司前身为 MetaVoice Labs，正在开发面向生产级 Voice Agent 的全双工语音模型。与常见 ASR→LLM→TTS 级联方案需要等待一轮说完再处理不同，Familiar 的模型可以在生成语音的同时持续监听用户，并实时处理打断、重叠说话和简短回应等自然对话行为。
团队来自 Wayve 与 Amazon 语音业务： CEO Siddharth Sharma 曾是自动驾驶公司 Wayve 创始工程师；CTO Vatsal Aggarwal 曾负责 Amazon Alexa、AWS Polly 的生成式语音工作，并开发过开源语音模型 MetaVoice-1B。
全双工模型直接解决「抢话」和打断问题： 模型在自己说话时仍持续处理用户语音，不必等当前回复结束后才响应；BMW i Ventures 认为，这类实时交互能力是语音 Agent 从 Demo 进入高风险生产场景的关键。
首先瞄准企业外呼 Voice Agent： Familiar 重点面向催收、销售线索筛选、预约等主动外呼场景。公司数据显示，使用行业常见语音模型时，超过 40% 的电话会在前 30 秒内结束，因此对话时机、打断处理和重叠语音会直接影响业务结果。
强调可进入企业自己的技术栈： Familiar 区别于封装在大型 AI 助手中的实时语音能力，让企业能够自行集成、定制和部署模型，并接入自己的安全与合规系统。
1、💡 Sam Altman：AI 权力集中同样「反人类」，言论被指暗讽 Anthropic
OpenAI CEO Sam Altman 在 David Senra 8 月 23 日上线的访谈中表示，他担心 AI 的控制权最终集中到少数公司或个人手中。相较于由少数机构替社会决定技术方向，他主张让更多人实际参与并影响 AI 的未来，让社会与模型共同演进。
Altman 没有点名具体公司，但他批评一些 AI 从业者一边宣称技术有 25% 的概率带来严重灾难、可能让一半岗位消失，一边主张限制谁能使用最强模型、把决定权留给少数公司。
Anthropic CEO Dario Amodei 此前曾分别公开提出「25%」的 AI 灾难概率，并警告 AI 可能在数年内取代一半初级白领岗位，因此这段话被外界解读为暗指 Anthropic，但 Altman 本人没有确认这一指向。
正确的路径，是让人们深入掌握未来。社会与模型将共同演进。
Altman 同时承认 AI 脱离人类控制是现实风险。他反对的是，行业以保护世界为理由，要求公众用大量自由换取安全，并把技术控制权永久集中在少数机构手中。他讽刺这种主张相当于由技术公司向公众承诺治愈疾病、创造财富和娱乐，交换人们的自主权与影响未来的能力，并称这种权力安排「非常反人类」。
他的方案包含两层：一方面，社会选择应持续进入模型和产品的演进过程；另一方面，应扩大个人使用 AI 的能力。Altman 举例称，AI 将让更多人以过去无法实现的规模创办小型企业，这也是个人参与技术未来的一种方式。
这番表态并未否认安全治理，也没有提出放任前沿模型发展的主张。Altman 划出的边界是，控制失配模型的制度不能永久把决定权交给极少数机构；安全、自由与个人能动性需要在同一套治理框架里处理。
（@APPSO）
阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么
写在最后：
我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。
对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。
作者提示：个人观点，仅供参考
