盘古训练与推理通信优化实践：亲和昇腾平台的性能探索｜AICon深圳
英文标题：盘古训练与推理通信优化实践：亲和昇腾平台的性能探索｜AICon深圳
点击查看原文>
打开原文相关 2 · 机会 0
3.4 KB
50.1 KB
3.2 MB
444.9 KB
1.4 KB
1.9 KB
794 B
1.3 KB
332.5 KB
中文
大模型能力已趋成熟，产业焦点正转向智能体工程化、AI 系统稳定性与硬件亲和优化。华为2012实验室专家将分享盘古模型在昇腾平台上的通信优化实践，直击 MoE 中 AllToAll 与长上下文下 KV Cache 传输两大性能瓶颈。
聚焦 MoE 模型 AllToAll 通信占比超30% 的现实瓶颈；揭示 1M 上下文场景中 Host-to-Device KV Cache 传输对 TTFT 的关键影响；强调深度硬件亲和（昇腾）是释放大模型训练/推理算力的关键路径。
适合 AI 基础设施工程师、大模型系统优化工程师、推理引擎开发者阅读。
English / 原文
大模型能力已趋成熟，产业焦点正转向智能体工程化、AI 系统稳定性与硬件亲和优化。华为2012实验室专家将分享盘古模型在昇腾平台上的通信优化实践，直击 MoE 中 AllToAll 与长上下文下 KV Cache 传输两大性能瓶颈。
聚焦 MoE 模型 AllToAll 通信占比超30% 的现实瓶颈；揭示 1M 上下文场景中 Host-to-Device KV Cache 传输对 TTFT 的关键影响；强调深度硬件亲和（昇腾）是释放大模型训练/推理算力的关键路径。
适合 AI 基础设施工程师、大模型系统优化工程师、推理引擎开发者阅读。