Together AI:开放模型把推理成本压到闭源 API 的六十分之一
Together AI 指出开放模型能大幅砍掉推理开销,企业开始从闭源 API 转向自己托管的路子。
1 day ago
TL;DR:
- Together AI 觉得开放模型能把推理成本压到原来的六十分之一。
- 企业用 AI 的量上来了,自然更在意成本和自己掌控模型的事。
- 开放模型会逼闭源 API 降价,但企业得自己处理质量、稳定和安全问题。
核心信息
Together AI 认为,用开放模型能把推理成本压到原来的 1/60。
摘要
重点就是:从闭源模型换到开放模型,成本可能直接掉 60 倍。随着公司内部 AI 用量越来越大,不少团队开始考虑自己搭或自托管模型,好直接管住推理花销。
分析
这更像一条观点,而不是正式产品消息。它跟 Together AI 平时的定位对得上:围绕开放模型基础设施提供服务。
高推理成本在这些场景里特别扎眼:
- 聊天类产品
- 代码生成和开发者工具
- 客服机器人
- Agent 工作流
开放模型在部署得当的时候确实能省钱,但这优势不是白来的。企业得在几个地方做选择:
| 维度 | 开放模型的优势 | 潜在代价 | |---|---|---| | 成本 | 推理成本能大幅下降 | 需要更强的工程和运维能力 | | 控制权 | 可以自托管、调优、定制 | 责任更多落到自己头上 | | 质量 | 日常任务已经够用 | 顶级推理能力可能不如闭源 API | | 稳定性 | 能按自己需求优化架构 | 可靠性得自己保障 | | 安全能力 | 可控性更高 | 内置安全和合规通常不如成熟闭源服务 |
核心判断是:开放模型正在挤压闭源厂商在通用任务上的定价空间。对于不需要最强推理的日常工作负载,企业会越来越倾向用开放模型替代高价闭源 API。
影响评估
重要性:中等 类别:行业趋势、开源、市场影响
Verdict: 这条趋势还在早期到中期阶段。有工程能力的 AI 应用团队和基础设施玩家会占优,短线交易者从这里拿不到明确好处,长期持有者和基金应该留意开放模型基础设施是否持续侵蚀闭源 API 的利润空间。