Kimi K3 编码能力快追上 Claude,成本却低很多
Together AI 测试结果显示,Kimi K3 只用 Claude 三分之一左右的钱就接近了它的水平
TL;DR:
- Kimi K3 在软件工程任务上表现接近 Claude Fable 5
- 运行成本大约只有 Claude 的 35%
- 模型能多次尝试同一个问题时,Kimi K3 优势更明显
核心结论
Together AI 的基准测试显示,Kimi K3 在编码任务上基本追平 Claude Fable 5,但调用成本只有后者的三分之一左右。
研究摘要
Together AI 用 DeepSWE 对 Kimi K3 和 Claude Fable 5 做了对比,测试场景是真实软件工程任务,而不是简单的代码补全或问答。
主要结果如下:
- 性能层面:Kimi K3 在软件工程任务上的通过率接近 Claude Fable 5。
- 成本层面:Kimi K3 的运行成本约为 Claude Fable 5 的 35%。
- Agent 场景:当模型可以针对同一问题多次尝试并挑出更好结果时,Kimi K3 的相对优势更明显。
| 维度 | Kimi K3 | Claude Fable 5 | 关键含义 | |---|---|---|---| | 软件工程任务表现 | 接近 Claude Fable 5 | 基准参照 | 高端编码能力正在被更低成本模型追平 | | 推理成本 | 约为对方的 35% | 成本更高 | 工具选择会更重视单位有效结果成本 | | 多次尝试场景 | 相对更强 | 表现稳定 | 更贴近真实 coding agent 的运行方式 |
分析
如果这组数据在后续测试中继续成立,那就说明强编码模型的可用成本正在下降。尤其是在 agent 工作流里,模型通常不会只生成一次答案,而是会生成多个方案、运行测试或评估候选结果,然后挑出最可用的一版。
这种 pass@k 或多轮尝试机制更接近真实 coding agent 的用法。所以模型厂商之间的竞争不再只是看谁的单次输出最强,而是转向每次有效修复或有效 PR 的实际成本、多次采样后的成功率、在工程自动化链路中的稳定性,以及推理服务商能否以更低成本提供可复制结果。
从工具采购和团队决策角度看,成本和有效结果的比值可能会比品牌认知更重要。对于 Together AI 这类推理服务提供商来说,独立基准和真实运行成本正在成为影响模型选择的核心变量。
影响评估
重要性:中等
类别:技术观察、市场影响、行业趋势
Verdict: 对关注 AI 编码工具和 agent 工作流的 builder 与工程团队来说,这个叙事还处在可利用的早期阶段。真正占优的是需要大规模调用模型、并以单位有效结果成本做决策的 builder 和工具型团队,而不是只看模型品牌的长期持有者或短线交易者。