RUTA：通过速率-效用优化实现原则性的视觉 Token 分配

英文标题：RUTA: Principled Visual Token Allocation via Rate-Utility Optimization

论文提出 RUTA，一种面向视觉语言模型的视觉 Token 分配方法，核心思想是采用速率-效用优化进行决策。高分辨率图像和长视频可为多模态推理与细粒度感知提供丰富上下文，但也会产生很长的视觉 Token 序列，从而显著增加大语言模型侧的计算与内存成本。该工作旨在在视觉信息保留与 Token 开销之间建立更具原则性的权衡，对需要处理高分辨率视觉输入和长视频的开发者具有优化推理效率的潜在意义。

2.1 KB 612 B 380 B 9.1 KB 32.7 KB 22.8 KB 24.2 KB 34.7 KB