基于双向音频-文本交叉注意力的多模态矛盾与犹豫识别
英文标题：Multimodal Ambivalence and Hesitancy Recognition with Bidirectional Audio--Text Cross-Attention
本研究针对视频级别的矛盾与犹豫（A/H）状态识别，提出了一种结合双向音频-文本交叉注意力机制的多模态框架。矛盾与犹豫是人类微妙的行为与心理状态，既体现在讲话者的语义内容中，也表现在声音语调等副语言特征上。该方法利用全视频转录文本与语音特征进行深度联合建模，显著提升了细粒度行为特征的捕捉能力。这一成果对情感计算、人机对话系统以及智能交互中的隐式态度理解具有重要参考价值。
打开原文相关 2.4 · 机会 0
2.0 KB
640 B
612 B
380 B
9.1 KB
18.2 KB
22.8 KB
24.2 KB
34.7 KB
中文
论文摘要
arXiv 编号：arXiv:2610.26868v1
发布类型：new
摘要：矛盾与犹豫（Ambivalence and Hesitancy，简称 A/H）是人类微妙的行为状态，既可以通过说话者“说了什么”（文本语义）传达，也可以通过“如何去说”（语音语调、语速停顿等）展现。针对这一挑战，本文提出了一种用于视频级别 A/H 识别的音频-文本多模态框架。该方案通过整合全视频转录文本与语音信号……
BibTeX 格式化引用
English / 原文
BibTeX formatted citation
×