avatar

LangChain 用智能体自身轨迹微调代码审查

OpenSWE Review 精确率从 63% 提到 81%,工具调用量少了 29%

avatar
22 days ago

TL;DR:

  • 用真实执行轨迹微调,比单纯换更大模型效果更好
  • Kimi K3 调优后的智能体在窄领域检测上超过 GPT-5.6
  • LangSmith 能把真实运行记录直接转成训练数据集

主要发现

LangChain 对智能体执行轨迹做了微调,代码审查准确率提高了,工具调用也减少了。

数据结果

监督式微调让 OpenSWE Review 的精确率从 62.9% 升到 81.5%,工具调用量下降 29%。用 Kimi K3 调优的 Engine 智能体,在问题检测基准上超过了基础模型和 GPT-5.6。

LangSmith Fine-Tuning 把智能体运行记录整理成可直接训练的数据集。

分析

在真实运行轨迹上微调,比直接换更大模型更有效。重点不是重新设计智能体,而是保留生产环境中已经管用的记录。

OpenSWE 的改进体现在两方面:识别问题的准确性更好,工具调用少了 29%,错误减少,推理成本也降低了。

Engine 的表现说明,在特定窄任务上,调优后的 Kimi K3 可以胜过更强的通用模型。对 LangChain 来说,这把 LangSmith 的可观测性、微调和发布流程连起来了。对 Fireworks 和 Baseten 来说,也降低了托管后训练的门槛。

影响评估

重要性中等,属于开发者工具和技术洞察。

Verdict: 对构建者而言,这个方向还在早期,真正受益的是那些正在部署和优化智能体的开发者。