MiniMax M3.1 Flash 正式开源
英文标题:MiniMax M3.1 Flash 正式开源
MiniMax 把 M3.1 Flash 的权重开源了,规格是 428B 总参数、23B 激活。上线 72 小时,真实用户处理了超过 100 万亿 Token。 M3.1 Flash 能力相比上一代 M3 全面提升,但这次开源公告的重心明显在推理效率上,三组优化值得分别看: 全模型稀疏注意力——前三个全注意力层替换为稀疏注意力,降低长上下文的计算负担。QAT(...
打开原文相关 3.6 · 机会 0
2.4 KB
中文
MiniMax 把 M3.1 Flash 的权重开源了,规格是 428B 总参数、23B 激活。上线 72 小时,真实用户处理了超过 100 万亿 Token。 M3.1 Flash 能力相比上一代 M3 全面提升,但这次开源公告的重心明显在推理效率上,三组优化值得分别看: 全模型稀疏注意力——前三个全注意力层替换为稀疏注意力,降低长上下文的计算负担。QAT(...
中文全文翻译正在补齐,可先查看下方英文原文。
English / 原文
MiniMax 把 M3.1 Flash 的权重开源了,规格是 428B 总参数、23B 激活。上线 72 小时,真实用户处理了超过 100 万亿 Token。 M3.1 Flash 能力相比上一代 M3 全面提升,但这次开源公告的重心明显在推理效率上,三组优化值得分别看: 全模型稀疏注意力——前三个全注意力层替换为稀疏注意力,降低长上下文的计算负担。QAT(...