Together AIがPrismMLのTernary Bonsai 27Bをホストし始めた。ただ27Bモデルが増えただけでなく、スマホやエッジデバイスで動くよう設計されている点が目新しい。

このモデルの肝はパラメータの重みを三値化したところだ。低精度にしたことでメモリ使用量が減り、計算負荷も下がる。端末ローカルでの推論ハードルが下がった形だ。

• メモリ使用量の削減
• 計算負荷の低減
• 端末ローカルでの推論に向けた導入ハードルの低下

実運用で十分な性能が出れば、AIの実行場所は大規模クラウド前提から端末側へ分散していく可能性がある。レスポンス短縮やコスト低下につながりやすい。

Togetherで利用可能になったのは開発者にとって便利だ。いきなりオンデバイス実装を試す前に、まずホスト環境でモデルの動きを確認できる。

これからはモデルサイズをただ大きくするだけでなく、圧縮と効率化で端末側にどこまで実用性能を持っていけるかが鍵になる。

Verdict: この動きはまだ初期段階で、明確に有利なのはトレーダーや長期ホルダーではなく、オンデバイスAIを実際に検証するビルダー側だ。