🔶 LLM City：以 2.5 毫米方块呈现 Kimi K3 全部权重的 3D 渲染
英文标题：🔶 LLM City – 3D render of all Kimi K3's weights as 2.5mm tiles
该项目将 Kimi K3 的 2.7799 万亿个逻辑权重和 12,068 个符号运算可视化为可探索的 3D“架构城市”。在默认比例下，每个标量权重对应一块 2.5 毫米 × 2.5 毫米的方块，并以矩阵的精确面积和执行深度展示模型结构。系统同时呈现 MLA KV 缓存、KDA 循环状态及 MoE 路由关系，其中亮线示例展示活跃层的前 16 个专家选择，暗线展示全部 896 个候选专家。该可视化为开发者理解超大模型的张量规模、层间依赖、缓存布局和专家并行结构提供了直观工具。
中文
2.7799 万亿个逻辑权重 · 12,068 个符号运算
Kimi K3 —— 完整前向传播
3D 架构城市 · 一个标量方块 = 1 × 1 单位 = 默认 2.5 毫米 × 2.5 毫米
适配全部 活跃层 已选中 飞行？
正在构建 249,924 个张量实例……
飞行 WASD · E/Q 调整高度 · Shift 冲刺 · 矩阵/缓存可碰撞 · G 轨道模式
×
如何阅读场景
**采用 3D 是经过刻意设计的。**X 和 Y 是矩阵的两个轴，因此，形状为 [out,in] 的张量会被绘制为一个 in × out 的矩形。Z 轴表示执行深度。这既能保持每个矩阵面积的精确性，也为 896 个专家并行存在留出了空间。
实体图谱仅为了紧密排布而将部分矩形旋转 90°；面积仍然精确。在默认世界比例下，每个标量都是一块 2.5 毫米 × 2.5 毫米的方块。单位选择器可以有意重新缩放这一物理尺度解释。
运行时缓存会在两个视图中以叠加层形式呈现。一个缓存标量仍对应一个方形场景单位。MLA 键/值缓存被拆分为 32,768 token 页面，并沿深度折叠；KDA 则将全部 96 个循环头状态，以及 q/k/v 短卷积历史，以精确面积的聚合图层保留。
路由器选择取决于输入。明亮的前 16 条连线使用一组确定性的、用于说明的活跃层专家；较暗的扇出连线则展示全部 896 个候选专家。
控制方式
- 左键拖动：环绕观察。右键拖动或 Shift+拖动：平移。滚轮/双指缩放：按比例向指针下方的精确表面推进。悬停或选中的表面会成为硬性的 12 厘米相机屏障。
- 飞行模式：拖动以转向，使用 W/A/S/D 移动，使用 E/Q 改变高度，按 Shift 冲刺。触控设备提供独立的移动与视角摇杆，以及高度和加速控制。针对已学习矩阵和可见缓存图层的扫掠碰撞检测，可在距离表面 12 厘米处实现贴墙滑行。地面不会限制飞行高度。
- 点击矩阵可将其选中。双击可聚焦该矩阵。
F适配全部，L活跃层，S已选中对象，G切换飞行/轨道模式，步行模式外可按Space播放/暂停。- 每个矩阵和缓存图层都带有程序化生成的屏幕空间文字。近距离时，渲染器会显示字面的标量网格和模拟数字。当标量缩小到亚像素级别后，画面会过渡至随机足迹滤波，使缩小后的数值呈现带色调的白噪声，而不是摩尔纹条纹；随着接近，完整字形会持续重新解析出来。这些只是视觉占位符，并非检查点参数值。
- 选中一个张量后，会高亮其下游矩阵及相关运算节点；检查器会列出可点击的连接关系。
数据与假设
English / 原文
2.7799 trillion logical weights · 12,068 symbolic operations
Kimi K3 â entire forward pass
3D architecture city · one scalar tile = 1 à 1 unit = 2.5 mm à 2.5 mm by default
Fit all Active layer Selected Flight ?
Building 249,924 tensor instancesâ¦
FLY WASD · E/Q altitude · Shift sprint · matrices/caches collide · G orbit
Ã
How to read the scene
3D was chosen deliberately. X and Y are the two matrix axes, so a tensor with shape [out,in] is drawn as an in à out rectangle. Z is execution depth. This keeps every matrix area exact while giving the 896 experts room to exist in parallel.
The physical atlas rotates some rectangles by 90° only to pack them tightly; area remains exact. At the default world scale, every scalar is a 2.5 mm à 2.5 mm tile. The unit selector can deliberately rescale that physical interpretation.
Runtime caches are overlays in both views. One cache scalar remains one square scene unit. MLA key/value caches are split into 32,768-token pages and folded through depth; KDA preserves all 96 recurrent head states plus q/k/v short-convolution history in exact-area aggregate sheets.
Router choices are input-dependent. Bright top-16 lines use a deterministic illustrative set of experts for the active layer; the faint fan-out shows all 896 candidates.
Controls
- Left drag: orbit. Right drag or Shift+drag: pan. Wheel/pinch: percentage dolly toward the exact surface under the pointer. A hovered/selected surface becomes a hard 12 cm camera barrier.
- Flight mode: drag to look, W/A/S/D to move, E/Q to change altitude, and Shift to sprint. Touch devices get independent move and look joysticks plus altitude and boost controls. Swept collision against learned matrices and visible cache sheets provides wall sliding at a 12 cm standoff. The ground does not clamp flight altitude.
- Click a matrix to select it. Double-click focuses it.
Ffit all,Lactive layer,Sselected,Gtoggle flight/orbit,Spaceplay/pause outside walking mode.- Every matrix and cache sheet carries procedural screen-space text. At close range the renderer shows the literal scalar grid plus mock digits. Once scalars go sub-pixel, it transitions to a stochastic footprint filter so zoomed-out values read as tinted white noise instead of moire stripes; the full glyphs continuously resolve again as you approach. These are visual placeholders, not checkpoint values.
- Selecting a tensor highlights its downstream matrices and related operation nodes; the inspector lists clickable connections.