ITCOW牛新网 11月19日消息,火山引擎正式发布SeedRealtime 1.0(豆包实时音视频通话模型1.0)API,采用端到端架构,把声音、画面、时序、表达整合进同一个模型,实现“边看、边听、边说”的连续多模态实时交互。

区别传统ASR‑VLM‑TTS模块级联方案,该模型消除多级串联带来的延迟叠加与信息损失;可持续感知场景,不局限被动应答,能够主动介入、适时输出反馈。它融合音视频与时序信息,消解同音词歧义,读懂画面时序指代;在嘈杂、多人环境中可以区分不同说话人,理解上下文。

具备主动协作能力:无需用户逐条提问,可根据画面变化、任务节点主动提醒、给出建议,可应用于设备操作辅助、学习辅导、机场导览、家庭陪伴等场景。模型抗干扰能力强,能够过滤背景杂音、旁人闲聊干扰;相比级联方案,对话节奏问题减少一半,对话流畅成功率提升。面向开发者,该API适用于智能硬件、语音助手、陪伴应用、实时客服等业务开发。