英伟达双塔 AI 模型开源发布
英文标题：英伟达双塔 AI 模型开源发布
英伟达于日前开源 Nemotron-Labs-TwoTower 离散扩散语言模型，旨在解决大模型逐一生成 Token 速度慢的痛点。模型基于现有 Nemotron 骨干网络改造，复用预训练权重，无需从零完整训练，大幅降低开发成本。 模型总参数量 60B，拆分为两座 30B 独立神经网络协同工作，每塔激活 3B 参数，搭载 128 个可路由专家模块。上下文塔...
打开原文相关 2.7 · 机会 0
中文
英伟达于日前开源 Nemotron-Labs-TwoTower 离散扩散语言模型，旨在解决大模型逐一生成 Token 速度慢的痛点。模型基于现有 Nemotron 骨干网络改造，复用预训练权重，无需从零完整训练，大幅降低开发成本。 模型总参数量 60B，拆分为两座 30B 独立神经网络协同工作，每塔激活 3B 参数，搭载 128 个可路由专家模块。上下文塔...
中文全文翻译正在补齐，可先查看下方英文原文。
English / 原文
英伟达于日前开源 Nemotron-Labs-TwoTower 离散扩散语言模型，旨在解决大模型逐一生成 Token 速度慢的痛点。模型基于现有 Nemotron 骨干网络改造，复用预训练权重，无需从零完整训练，大幅降低开发成本。 模型总参数量 60B，拆分为两座 30B 独立神经网络协同工作，每塔激活 3B 参数，搭载 128 个可路由专家模块。上下文塔...