OPPO 端侧多模态大模型工程化实践｜AICon深圳
英文标题：OPPO 端侧多模态大模型工程化实践｜AICon深圳
点击查看原文>
打开原文相关 4 · 机会 0
3.4 KB
45.6 KB
4.0 MB
985.7 KB
1.4 KB
1.9 KB
794 B
1.3 KB
311.5 KB
中文
端侧多模态大模型工程化面临时延、链路复杂度与迭代周期三重约束，OPPO 以 QAT 量化感知训练为核心构建全栈协同体系。
① QAT 驱动的稀疏化压缩与解码加速训练显著降低 prefill/decoding 时延；
② 长上下文 Cache Eviction 机制适配端侧内存受限场景；
③ QALFT 自动化框架支持 0 阶端侧训练，打通压缩—编译—垂域落地闭环。
适合 AI 系统工程师、端侧推理优化工程师、多模态模型部署工程师阅读。
English / 原文
端侧多模态大模型工程化面临时延、链路复杂度与迭代周期三重约束，OPPO 以 QAT 量化感知训练为核心构建全栈协同体系。
① QAT 驱动的稀疏化压缩与解码加速训练显著降低 prefill/decoding 时延；
② 长上下文 Cache Eviction 机制适配端侧内存受限场景；
③ QALFT 自动化框架支持 0 阶端侧训练，打通压缩—编译—垂域落地闭环。
适合 AI 系统工程师、端侧推理优化工程师、多模态模型部署工程师阅读。