JAVIS：面向实时对话 Agent 的视听联合交互与流式传输
英文标题：JAVIS: Joint Audio-Visual Interaction and Streaming for Real-Time Conversational Agents
人类交流在本质上具有多模态特征，意图的传递不仅依赖语言与语音线索，还高度依赖视觉信号。然而，现有对话系统大多仅聚焦于文本或语音维度，忽略了视觉反馈的作用。为此，研究团队提出了 JAVIS 框架，致力于实现面向实时对话式 Agent 的视听联合交互与流式处理。该研究推动了对话系统从单模态/双模态向全方位多模态实时交互的演化，为构建更拟人化、低延迟的实时多模态交互 Agent 提供了全新范式。
打开原文相关 4.8 · 机会 1
2.1 KB
612 B
380 B
9.1 KB
32.7 KB
22.8 KB
24.2 KB
34.7 KB
中文
JAVIS：面向实时对话 Agent 的视听联合交互与流式传输
- arXiv 编号：arXiv:2610.22499v1
- 通告类型：新提交（new）
摘要
人类交流本质上是多模态的，不仅通过语言和声音线索表达意图，还通过视觉信号进行传递。然而，现有的对话系统主要聚焦于文本或语音，忽略了视觉反馈维度的交互。
BibTeX 引用格式
English / 原文
BibTeX formatted citation
×