AI测试 在 AdventureX,我们看到这些语音 AI 的创新

RTE开发者社区 · 2024年07月25日 · 805 次阅读

凌晨四点的场地外

🥵

Hi 我是 RTE 开发者社区的新伙伴 Lingo。上周末我们去了一趟杭州,7 月底的杭州正是烈日炎炎、蝉鸣喧嚣。五天四夜,在 AdventureX 的现场,我们陪伴着一群极具活力的年轻人,他们正在极尽想象人机实时交互的新场景。


技术与禅修即视感

这是一场为 26 岁以下的朋友打造的黑客松,作为这场黑客松的赛道方之一,RTE 开发者社区也带去了社区里同样还在成长中的产品,ASTRA。

ASTRA 是一个低延迟、多模态、高可配的开源框架,希望让每个人都能够借此轻易搭建出可实时语音频互动的 AI Agents。

除了提供无限量的包括语音、视频通话、实时消息在内的实时互动能力,这次重头戏就是希望大家利用我们社区里最新诞生的 ASTRA 框架,去创建实时多模态的 AI 应用。

所以我们的赛道命题也随之而来,我们希望大家能借助 ASTRA 去探索语音 AI 的更多可能性:

「玩出声响」:利用 ASTRA 框架的强大功能,让你的 AI Agent 能够超低延迟的自然「听」「说」,探索人机实时互动新可能。

💪

这也是 ASTRA 与最早一批探索技术前沿的朋友们的预热会面。

AdventureX 第一天我们在摊位介绍 ASTRA,晚上开设工作坊详细展开 ASTRA 的使用和我们的赛道设置,并且邀请了 5 位朋友现场展示他们此前的个人项目 demo。边 demo 边寻找新的队友,连接开发者一直是 RTE 开发者社区的主旨!

不少朋友直接反馈了他们对 ASTRA 的喜爱,立刻席地而坐开始讨论这次比赛的想法。

当然目前的框架可能还是有一些技术门槛,我们从 15 日晚上到 19 日早上为大家提供了不间断的技术解答,ASTRA 的联合发起人 Plutoless 则持续在凌晨四五点为我们发来场地门前的月光照。这是不是在充分展现黑客的定义,就是要穷尽一切方式解决问题?

🎉

19 日 demo day 的早上,大家看起来肉体疲惫但是精神充沛,现场有五十多个项目在各自的摊位展出,最终有八个组选择了我们 语音 AI 最佳实践(基于 ASTRA) 的赛道。

相比于为了评奖,我们确实对不同的开发团队和创意本身产生了很大的兴趣。尽管参赛选手都很年轻,但有人早已经制作过个人项目,上线过产品,技术能力令人惊艳,或者是设计审美突出。他们当中也许就有人能创造出 AI 时代实时交互的好产品。

最终我们基于自己赛道所需要的技术性和创意、完成度等,评选出了四组优秀产品。

最佳实践奖:布托 BuTuo 团队

布托获得 5000 元人民币 + 超音速计划提供的 Office Hours 一小时。

布托通过即时语音情感分析和用户交互来确定拖延的底层原因,从心理学、认知科学、行为设计等方面,提供情绪舒缓、目标拆解、陪伴等功能,以实现微行动 - 专注 - 正反馈不断循环的拖延症克服。

布托团队在「语音驱动的交互界面」(Voice-Driven User Interface)的探索很有创新,也让我们更相信 voice AI 会在情绪、心理相关的 app 上会有更多的使用场景。

最佳创意奖:ELF AI - 精灵艾尔团队

ELF AI 获得 RTE 周边团队成员各一套(Tee、帆布袋等)+ 超音速计划提供的 Office Hours 一小时。

这是一个混合现实项目,创造了一个具有独特人格的 AI 伙伴。ELF 生活在 XR/AR 眼镜中,借助 Astra 平台实现了低延迟语音交互。与一般「听话」的助手不同,ELF 展示了其相当具有人格魅力的一面。

群星奖:小顺/Carepilot

小顺是一款专为中老年人设计的 AR 陪诊应用,主要是考虑到中老年人独自就诊现象日益普遍,散布于不同地点的就诊流程是中老年人常常面临的挑战。借助多模态处理、SLAM 室内定位导航、Agent 情感计算等技术,去实现医院内精准导航和智能陪护。

小顺团队在短短几天时间内就打造出非常完整的产品形态,让我们看到 voice AI 将会成为适老化设计里不可或缺的一部分。

群星奖:英吹思听团队


英吹思听团队收获「群星奖」,获得超音速计划提供的 Office Hours 一小时。

而「英吹思听」是一款基于智能眼镜的 AI 英语教练,装配摄像头和麦克风以实时感知用户周围环境,通过这种日常对话形式,帮助用户在生活中持续接触英语。

最好的语言学习方法就是让学习者沉浸在语言环境里,voice AI 能够成为实时语境制造里的关键技术。

五天四夜的时间其实很短暂,对于这些项目,我们希望之后能继续陪跑,伴随大家不断成长。

当然,经过这一轮 ASTRA 的「亮相」,我们的 Github 页面也从几十上升到了两百🌟!这对于还处于非常早期阶段的 ASTRA 来说是很大的鼓励。

这次有一些朋友因为调试时间的原因最后没有用上 ASTRA,而易用性也是我们产品设计的重要考量。我们会在近期推出拖拽式的 Workflow 编辑器,以及 RAG 积木,增加多模态的能力。如果你对此感兴趣,请在 GitHub 搜索 ASTRA.ai,跟踪我们的进度,并为我们点亮一颗🌟吧!

如果你也有语音 AI 的项目希望在社区里分享和获得反馈与支持,也可以联系鲍勃(微信 bob_fu),如果你需要 ASTRA 技术支持,请联系 Elliot(微信 cyfyifanchen)。欢迎大家持续关注 ASTRA 的进展和 RTE 开发者社区后续展开的各种开发者活动 👏


暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册