通过逐查询模态选择实现高效全模态大语言模型（Omni-LLM）推理

英文标题：Efficient Omni-modal Large Language Model Inference via Per-Query Modality Selection

本研究聚焦于全模态大语言模型（Omni-LLMs）在联合处理文本、音频与视频等丰富模态时的推理优化问题。针对模型推理成本居高不下的痛点，论文提出了基于逐查询（Per-Query）的动态模态选择机制，避免在每个任务中全量激活所有模态。该方案旨在显著降低计算冗余与推理延迟，在维持多模态理解与推理质量的同时提高计算效率。这一策略为开发者在工业界落地高吞吐、低延迟的实时全模态 Agent 及交互应用提供了兼顾性能与成本的新路径。

2.0 KB 640 B 612 B 380 B 24.2 KB 34.7 KB