avatar

Together AI 接入 Inkling:推理深度做成可调参数

多模态模型支持按任务调节推理强度

avatar@togethercompute
23 hours ago

TL;DR:

  • Inkling 在一个模型里同时支持文本、图像和音频输入
  • 用户可以根据任务需要调高或调低推理投入,在速度和答案深度间取舍
  • 底层用 FlashAttention-4 优化,目标是提速并降低调用成本

Together AI 上线 Inkling

Together AI 开始提供 Thinking Machines Lab 的 Inkling。这个模型用多模态 MoE 架构,重点不是堆算力,而是尽量减少推理任务里的无效 token。

核心能力

Inkling 的重点有三点:

  • 多模态输入:文本、图像、音频可以在同一个模型里处理。
  • 可调推理力度:用户按任务需求调节 inference effort,选更快响应还是更深入的回答。
  • 性能优化:模型用 FlashAttention-4 做加速。

| 维度 | Inkling 的处理方式 | 对使用方的意义 | | --- | --- | --- | | 输入类型 | 文本、图像、音频统一处理 | 可覆盖文档、图像问答、声音输入和混合型 agent 工作流 | | 推理成本 | MoE 只调用必要专家模块 | 高频查询场景下更容易控制成本 | | 推理深度 | inference effort 可调 | 快速任务和审慎任务可以使用不同配置 |

实际价值

真正有意思的地方是,推理资源被做成了可配置的参数。团队可以把模型能力和具体任务更细地匹配:简单问题优先速度,复杂任务多花点推理资源换完整答案,多模态场景也不用拆不同模型链路。MoE 架构还能按需激活,减少冗余计算。

这也说明平台竞争开始延伸到工具链、推理配置和底层 kernel 优化上。

快速判断

短期看,Inkling 更像是给开发者多一个选择,而不是立刻改变格局。它展示了多模态、可调推理、MoE 成本控制以及 FlashAttention-4 产品化的方向。

Verdict: 对 builder 来说还处于早期可布局阶段,真正占优的是需要多模态推理和成本控制的开发团队与平台方;对 trader 和长期持有者而言,这条叙事目前基本无关。