Kết quả chính

Together AI benchmark Kimi K3 và Claude Fable 5 trên DeepSWE, một bộ test coding thực tế. Kimi K3 đạt hiệu năng gần bằng nhưng chi phí chỉ khoảng 35%.

Chi tiết thử nghiệm

Họ chạy Kimi K3 và Claude Fable 5 trên các bài toán kỹ thuật phần mềm. Hai điểm nổi bật:

• Kimi K3 tiệm cận Claude Fable 5 về chất lượng giải pháp.
• Chi phí thấp hơn rõ rệt, chỉ 35% so với đối thủ.
• Khi cho phép model thử nhiều lần cho mỗi vấn đề, Kimi K3 lại càng cho thấy lợi thế.

Ý nghĩa thực tế

Nếu số liệu này đứng vững, nó khớp với xu hướng hiện nay: khả năng code mạnh đang trở nên rẻ hơn, đặc biệt với kiểu agent chạy nhiều phương án rồi chọn cái tốt nhất.

Cách đo này sát với cách coding agent hoạt động hơn là chỉ đo một lần trả lời duy nhất. Agent có thể sinh nhiều hướng giải, hệ thống kiểm tra và chọn cái ổn nhất. Lúc này chi phí trên mỗi kết quả hữu ích quan trọng hơn chi phí mỗi lần gọi model.

Với những đội đang chọn hạ tầng AI cho sản phẩm, trọng tâm không còn là model nào hot hơn. Mà là chi phí để có được kết quả thực sự dùng được. Together AI cũng đang cho thấy benchmark độc lập và chi phí chạy thực tế ngày càng ảnh hưởng quyết định triển khai.

Đánh giá nhanh

Mức quan trọng: trung bình.

Nhóm bị ảnh hưởng: góc nhìn kỹ thuật, thị trường, xu hướng ngành.

Verdict: Builder hay đội sản phẩm đang tối ưu coding agent nên để ý. Người được lợi nhất là ai cần hiệu năng ổn với chi phí inference thấp. Trader, holder dài hạn hay quỹ không có lợi thế trực tiếp nếu chỉ cần luận điểm token.