无监督多模态奖励建模

英文标题：Unsupervised Multimodal Reward Modeling

该论文提出一种无需人工偏好标注的视觉—语言奖励模型构建方法。传统视觉—语言奖励模型依赖带标注的偏好样本对，但这类数据采集成本高、标注者之间可能存在分歧，模型通常也以基准测试准确率进行排名。论文方法在冻结模型的中间层上训练线性头部，以实现无监督的多模态奖励建模。这一方向有望降低奖励模型的数据标注成本，并为开发者构建和评估多模态 Agent 提供更轻量的方案。

2.1 KB 640 B 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB