Sam Altman 称内存放在数据中心远优于个人电脑：本地推理利用率太低

英文标题：Sam Altman says it’s better for RAM to be in a data center than on your desk

面对持续的硬件供应链短缺，OpenAI 首席执行官 Sam Altman 在接受采访时表示，将有限的 DRAM 内存资源分配给个人电脑而非数据中心是“极其糟糕”的做法。他指出，许多人认为开源模型能让用户在个人电脑上运行推理从而摆脱数据中心，但个人设备上的内存利用率通常仅有 5%，造成了严重浪费。Altman 强调，在供给极度受限的背景下，必须通过云端数据中心实现利用率最大化，然而大众的直觉却恰恰相反。该观点直接挑战了当前推崇“开源+本地运行”的潮流，引发了开发者对边缘推理与中心化算力效率权衡的关注。

打开原文相关 2 · 机会 0

中文

“许多人都想要本地推理（local inference）。他们不知为何认定，既然未来我们将拥有开源模型，并且能够在自己的电脑上运行它们，那么问题就已经解决了，我们便不再需要数据中心里的所有那些设施。

但从全球资源配置的角度来看，让每个人都在自己的电脑里占用全球本就有限的 DRAM 供应量，且实际利用率只有 5%，这实际上是非常糟糕的。

如果你正试图应对这种供应极其受限的环境，你自然会希望在云端实现利用率的最大化。然而不知怎么回事，每个人——或者说许多人的直觉却恰恰与此相反。”

English / 原文

“A lot of people want local inference. And somehow, they assume that the problem is solved now because we are going to have open-source models, we’re going to be able to run them on our computers, and so we’re not going to need all the stuff in the data center.

But from a global allocation perspective, actually, it’s quite terrible to have everybody have a bunch of the world’s limited supply of DRAM sitting in their own computer and being used five percent of the time.

You want maximum utilization in the cloud if you’re trying to deal with this very supply constrained environment. And somehow everyone’s— many people’s intuition is the opposite of that.”