要点

KimiはK3で新しいAttention層とかなりスパースなMoEを組み合わせ、学習FLOPあたりの性能向上をK2の頃より約2.5倍にできたと話している。

概要

主な変更はKimi Delta Attention、Attention Residuals、それにStable LatentMoEを使ったMixture-of-Expertsだ。K3では896あるエキスパートのうち実際に動くのは16だけになる。

Kimiの言うところでは、これで投入した計算を実際の性能に変える効率がK2よりかなり良くなったという。

分析

今は多くのAIラボがただパラメータを増やすのではなく、計算の使い方を工夫する方向に動いている。学習に何億ドルもかかるし、電力も足りなくなりつつあるからだ。

そんな中でSparse MoEは大事な選択肢になる。モデル全体のパラメータは増やしつつ、実際に使う計算量は抑えられるからだ。

K3のポイントは主に二つ。

• 長いコンテキストで情報をどう安定して渡していくか
• 層を深く重ねてもモデルが崩れにくいようにするか

Kimi Delta AttentionとAttention Residualsは、長文処理や深層化で起きる無駄や劣化を抑えるための工夫に見える。一方、Stable LatentMoEで16/896だけを有効化するのは、巨大モデルと実用コストのバランスを取るためのものだ。

| 論点 | K3での対応 | 狙い | |---|---|---| | 計算効率 | K2比で約2.5倍の効率改善を主張 | 同じ学習FLOPからより多くの性能を引き出す | | MoE設計 | 896エキスパート中16のみを有効化 | パラメータ規模を保ちつつ計算負荷を抑える | | 長文処理 | Kimi Delta Attention | 長いコンテキストでの情報伝播を安定化 | | 深層化 | Attention Residuals | 層を重ねた際の性能劣化を抑制 |

ただし2.5倍という数字は今のところKimi側の主張で、外部のベンチマークで同じ結果が出るかはまだわからない。もし第三者でも同じ効率改善が確認できれば、K3はMoonshotにとって中国内の競合だけでなく、西側のラボに対してもトークンあたりのコストで強みになるかもしれない。

インパクト評価

重要度: 高
カテゴリ: モデルリリース、技術インサイト、AI研究

Verdict: この話で先手を取れるのは、まだ外部検証前の段階でアーキテクチャの効率を判断できるAIビルダーと長期視点のファンドで、短期トレーダーにはまだ早い。計算効率と設計を追う人なら早めに動けるが、ベンチマークだけを見て動くなら後手に回る。