LangChain、実行トレースでエージェントのコードレビュー精度を引き上げ

ヘッドライン

LangChainは、エージェントモデルを自身の実行トレースでファインチューニングすることで、コードレビューの精度を高めながらツール呼び出しを減らした。

概要

教師ありファインチューニングによって、OpenSWE Reviewの適合率は62.9％から81.5％へ上昇し、ツール呼び出しは29％減少した。Kimi K3をベースに調整したEngineエージェントは、課題検出ベンチマークでベースモデルとGPT-5.6 Solの双方を上回った。LangSmith Fine-Tuningは、エージェントの実行結果を学習用データセットへ変換する。

分析

実際の実行トレースを使ったファインチューニングは、より大きなモデルへ切り替えるよりも効果的だった。 改善の源泉はエージェントの構成を変更することではなく、本番環境で成功した実行結果を学習に活用した点にある。

OpenSWEの結果は、その効果を明確に示している。

• 適合率が上昇した
• ツール要求が減少した
• その結果、誤りと推論コストを同時に抑えられた

Engineのスコアは、限定されたタスクであれば、調整済みのKimi K3がより強力な汎用モデルを上回り得ることを示す。LangChainにとっては、LangSmithのオブザーバビリティをファインチューニングとリリースに直接つなげる動きだ。FireworksとBasetenにとっても、マネージドなポストトレーニングを提供しやすくなる。

影響評価

• 重要度：中
• カテゴリ：開発者ツール、技術的洞察、AI研究

Verdict: このテーマはまだ初期段階にあり、最も有利なのは実行データを蓄積してエージェントを改善するビルダーである。トレーダー、長期保有者、ファンドにとっては直接的な優位性はない。