Kimi K3 靠稀疏 MoE，训练效率据说比 K2 高 2.5 倍
稀疏 MoE 加上新注意力结构，Kimi 想用同样算力多挖点模型能力
@Kimi_Moonshot1 day ago
TL;DR:
- K3 用 Stable LatentMoE 只从 896 个专家里挑 16 个激活
- 新的 Kimi Delta Attention 配残差连接，减少计算和信息丢
- Kimi 自己说 K3 把训练算力变模型能力的效率达到 K2 的 2.5 倍
核心结论
Kimi 说 K3 靠新注意力结构和高度稀疏的 MoE 设计，每单位训练 FLOP 能产出的模型能力大概是 K2 的 2.5 倍。
摘要
这次重点不是单纯加参数，而是针对训练效率做结构调整。Kimi 提到的主要改动有：
- Kimi Delta Attention：让长序列信息传得更顺；
- Attention Residuals：用残差路径减少深层网络里的信息衰减；
- Stable LatentMoE：896 个专家每次只开 16 个，把模型规模和实际算力成本分开。
Kimi 的意思是，这些改动让 K3 比 K2 更能把算力直接变成看得见的模型能力。
分析
现在大模型行业慢慢从“继续堆规模”转向“提高每单位算力能产出多少”。原因很简单：
训练一次顶尖模型已经要花好几亿美元，电力和算力越来越紧张，单纯加参数也不一定线性提升能力，成本和 Token 效率成了大家比拼的重点。
在这种情况下，稀疏 MoE 成了常见选择。模型总参数可以很大，但每次前向只用一小部分专家，训练和推理的开销还能控制住。
K3 的设计主要围绕三条线：长上下文信息流动靠 Kimi Delta Attention，深层模型稳定性靠 Attention Residuals，参数规模和计算成本靠 Stable LatentMoE 只激活 16/896 个专家。
所以 K3 不只是又发了个新模型，而是 Moonshot 对“效率扩展”这条路的一次明确选择。它瞄准两个老问题：长上下文下性能稳不稳，模型变深变大后还能不能继续训练和扩展。
如果 Kimi 说的 2.5 倍训练效率提升能在第三方测试里站住脚，K3 就能给 Moonshot 在中西方大模型竞争里增加不少筹码，尤其现在大家都盯着更低的成本/Token。