avatar

Kimi K3 编码能力快追上 Claude,成本却低很多

Together AI 测试结果显示,Kimi K3 只用 Claude 三分之一左右的钱就接近了它的水平

avatar@togethercompute
4 hours ago

TL;DR:

  • Kimi K3 在软件工程任务上表现接近 Claude Fable 5
  • 运行成本大约只有 Claude 的 35%
  • 模型能多次尝试同一个问题时,Kimi K3 优势更明显

核心结论

Together AI 的基准测试显示,Kimi K3 在编码任务上基本追平 Claude Fable 5,但调用成本只有后者的三分之一左右。

研究摘要

Together AI 用 DeepSWE 对 Kimi K3 和 Claude Fable 5 做了对比,测试场景是真实软件工程任务,而不是简单的代码补全或问答。

主要结果如下:

  • 性能层面:Kimi K3 在软件工程任务上的通过率接近 Claude Fable 5。
  • 成本层面:Kimi K3 的运行成本约为 Claude Fable 5 的 35%。
  • Agent 场景:当模型可以针对同一问题多次尝试并挑出更好结果时,Kimi K3 的相对优势更明显。

| 维度 | Kimi K3 | Claude Fable 5 | 关键含义 | |---|---|---|---| | 软件工程任务表现 | 接近 Claude Fable 5 | 基准参照 | 高端编码能力正在被更低成本模型追平 | | 推理成本 | 约为对方的 35% | 成本更高 | 工具选择会更重视单位有效结果成本 | | 多次尝试场景 | 相对更强 | 表现稳定 | 更贴近真实 coding agent 的运行方式 |

分析

如果这组数据在后续测试中继续成立,那就说明强编码模型的可用成本正在下降。尤其是在 agent 工作流里,模型通常不会只生成一次答案,而是会生成多个方案、运行测试或评估候选结果,然后挑出最可用的一版。

这种 pass@k 或多轮尝试机制更接近真实 coding agent 的用法。所以模型厂商之间的竞争不再只是看谁的单次输出最强,而是转向每次有效修复或有效 PR 的实际成本、多次采样后的成功率、在工程自动化链路中的稳定性,以及推理服务商能否以更低成本提供可复制结果。

从工具采购和团队决策角度看,成本和有效结果的比值可能会比品牌认知更重要。对于 Together AI 这类推理服务提供商来说,独立基准和真实运行成本正在成为影响模型选择的核心变量。

影响评估

重要性:中等

类别:技术观察、市场影响、行业趋势

Verdict: 对关注 AI 编码工具和 agent 工作流的 builder 与工程团队来说,这个叙事还处在可利用的早期阶段。真正占优的是需要大规模调用模型、并以单位有效结果成本做决策的 builder 和工具型团队,而不是只看模型品牌的长期持有者或短线交易者。