エージェント評価は大型モデル一択ではない：35B fine-tuning がコストと精度で示した現実

LangChain と Fireworks は、実運用のエージェント・トレースで 35B モデルを fine-tuning すれば、エージェント出力の評価において大型の frontier model に並ぶ、あるいは上回れることを示した。特に重要なのは、性能だけでなく推論コストも大きく下がる点だ。

狭い評価タスクで大型モデルに並ぶと、優位性の所在が変わる

両社は Qwen-3.5-35B を使い、2種類のエージェント構成から得た multi-turn trace で学習させた。ラベリングでは、モデル支援と人間のレビューを組み合わせ、エラー信号を拾える ground truth を作っている。その結果、fine-tuned model はより大きな judge model に対抗でき、同時に推論コストを大幅に圧縮した。

評価タスクは、この種の特化が効きやすい領域に見える。必要なのは汎用的な推論力そのものではなく、エージェントがユーザーやツールとやり取りする過程に現れるパターンを検出する能力だからだ。汎用モデルが抱える広い能力は、この用途では過剰なコストになりやすい。

自社の trace data を持つチームが明確に有利になる

| 市場で語られている見方 | データが示したこと | 見方の変化 | 実務上の示唆 | |---|---|---|---| | Open model は狭い用途なら差を詰められる | 35B モデルは chat-langchain と Fleet の trace だけで frontier judge に並んだ | すべての benchmark に frontier scale が必要なのか、研究側の前提が揺らぐ | 特化モデルは observability を高速化し、API 依存の高いプロバイダーほど圧迫する | | 評価用途ではモデルサイズよりデータ品質が効く | filtering と hybrid labeling により、18〜24% の positive error rate を持つ堅い ground truth を作れた | 企業はモデル探しより、自社 trace の収集に注力するようになる | live user loop を持つ platform は、研究ラボが持ちにくい継続的な優位性を築ける | | コスト低下で監視対象が広がる | production trace 上の推論コストは最大 100分の1 まで低下 | 小規模チームでも full-trace monitoring が現実的になる | Fireworks のような inference layer は、raw model builder から価値を引き剥がす | | 汎用的な主張には domain 横断の検証が必要 | 2つの異なる agent product の holdout set で transfer を確認 | 単一環境だけで得た judge 結果は、より厳しく見られる | 優れた error detector は moat ではなく baseline になっていく |

• production trace が増えるほど judge は改善し、その judge が反復改善に使えるシグナルをさらに見つけやすくなる。
• frontier API judge に依存し続けるチームは、継続的なコストペナルティを負い、その差は短期間で積み上がる。
• 学習時に tool call を除いても、user-assistant pattern だけで主要なシグナルを捉えられることが示された。

生の benchmark score だけを見ると、この変化の本質を見落とす。重要なのは、特定ドメインに合わせた distillation と fine-tuning が、評価インフラの経済性を変え始めていることだ。

実務上の結論はシンプルだ。すでに production trace を持ち、fine-tuning の運用能力があるチームは、エージェントの信頼性をより速く改善できる。コスト構造がここまで明確になると、差別化のないスケール追求の説得力は弱くなる。

Verdict: この narrative には、production trace を保有する builder と inference platform がまだ早い段階で最も有利に入れる。一方、frontier API judge に依存する trader や長期保有者に直接の優位性はなく、fund は trace を持つ実運用チームへの選別投資でのみ優位を取れる。