跑一个 3T 开源模型,到底要多少显卡?
英文标题:跑一个 3T 开源模型,到底要多少显卡?
月之暗面开源 Kimi K3 完整权重的第二天,Hacker News 上最热的那条评论不是 "恭喜" 也不是 "历史性时刻"—— 是一条算数题。 "MXFP4 原生精度,光权重就要 1.5TB 显存。8 块 B200 勉强装下,实际部署至少 16 块。" 下面立刻有人接着算:一台二手四路至强服务器,插满 3TB DDR5 内存,不到三万美元,能不能跑?回答是大概...
打开原文相关 3.6 · 机会 0
中文
月之暗面开源 Kimi K3 完整权重的第二天,Hacker News 上最热的那条评论不是 "恭喜" 也不是 "历史性时刻"—— 是一条算数题。 "MXFP4 原生精度,光权重就要 1.5TB 显存。8 块 B200 勉强装下,实际部署至少 16 块。" 下面立刻有人接着算:一台二手四路至强服务器,插满 3TB DDR5 内存,不到三万美元,能不能跑?回答是大概...
中文全文翻译正在补齐,可先查看下方英文原文。
English / 原文
月之暗面开源 Kimi K3 完整权重的第二天,Hacker News 上最热的那条评论不是 "恭喜" 也不是 "历史性时刻"—— 是一条算数题。 "MXFP4 原生精度,光权重就要 1.5TB 显存。8 块 B200 勉强装下,实际部署至少 16 块。" 下面立刻有人接着算:一台二手四路至强服务器,插满 3TB DDR5 内存,不到三万美元,能不能跑?回答是大概...