LangChain cải thiện đánh giá mã nhờ huấn luyện agent trên dữ liệu thực tế
Độ chính xác tăng từ 63% lên 81% và giảm 29% số lần gọi công cụ
TL;DR:
- Tinh chỉnh trên dữ liệu thực tế mang lại lợi ích lớn hơn so với việc dùng mô hình lớn hơn
- Agent Kimi K3 đã vượt qua GPT-5.6 trong nhiệm vụ phát hiện chuyên biệt sau khi được tinh chỉnh
- LangSmith giúp biến các lần chạy thành bộ dữ liệu huấn luyện dễ dàng
Tiêu đề
LangChain đạt độ chính xác cao hơn khi đánh giá mã và giảm số lần gọi công cụ sau khi tinh chỉnh các mô hình agent trên chính dữ liệu thực thi của chúng.
Tóm tắt
Tinh chỉnh có giám sát nâng độ chính xác OpenSWE Review từ 62,9% lên 81,5% và giảm 29% số lần gọi công cụ. Agent Engine từ Kimi K3 vượt qua cả model gốc và GPT-5.6 Sol ở bài đánh giá phát hiện vấn đề. LangSmith Fine-Tuning biến dữ liệu chạy agent thành bộ dữ liệu huấn luyện sẵn.
Phân tích
Tinh chỉnh trên dữ liệu thực tế hiệu quả hơn chuyển sang model lớn. Cải thiện đến từ việc giữ lại các lần chạy thành công trong môi trường thật thay vì thay đổi cấu hình agent. OpenSWE cho thấy kết quả rõ: độ chính xác cao hơn, ít yêu cầu công cụ hơn, giảm lỗi và chi phí. Điểm Engine cho thấy Kimi K3 tinh chỉnh có thể vượt model tổng quát mạnh hơn ở nhiệm vụ chuyên biệt. Với LangChain, thay đổi này kết nối quan sát LangSmith với tinh chỉnh và phát hành. Fireworks và Baseten có lộ trình đơn giản hơn cho công việc hậu huấn luyện.
Đánh giá tác động
- Mức độ quan trọng: Trung bình
- Danh mục: Công cụ dành cho nhà phát triển, Nhận định kỹ thuật, Nghiên cứu AI