JUICE：基于预训练表征空间的统一多模态建模
英文标题：JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces
该研究提出了 JUICE 模型，旨在解决当前统一多模态模型在图文生成机制上的不对称问题。目前主流架构多依赖预训练语言模型生成文本、外接扩散头生成图像，且多模态输出往往遵循固定先后顺序，导致先生成的模态无法自适应后续内容。JUICE 探索在预训练表征空间内统一多模态建模，为多模态内容的双向灵活生成与协同交互提供了新路径，对下一代多模态生成式 Agent 及应用开发具有重要参考价值。
打开原文相关 2.4 · 机会 0
2.0 KB
640 B
612 B
380 B
24.2 KB
34.7 KB
中文
论文信息
- arXiv 编号：arXiv:2610.28801v1
- 公告类型：最新发布（new）
摘要
大多数统一多模态模型对图像和文本的处理均存在不对称性：通常由预训练语言模型负责生成文本，附加的扩散头（diffusion head）负责生成图像；同时，包含图文两者的输出只能按固定顺序依次生成，导致先生成的内容无法根据后续内容进行自适应调整。
BibTeX formatted citation
×
English / 原文
BibTeX formatted citation
×