Together AI가 PrismML의 Ternary Bonsai 27B를 새로 호스팅한다. 목적은 27B 멀티모달 모델을 클라우드에만 두는 게 아니라 휴대폰이나 엣지 디바이스에서도 실제로 돌릴 수 있게 하는 데 있다.

핵심은 가중치 표현 방식이다.

• Ternary Bonsai 27B는 삼진 가중치를 쓴다.
• 파라미터를 낮은 정밀도로 표현해 메모리 사용량을 줄인다.
• 필요한 연산량도 줄여서 온디바이스 배포를 쉽게 만든다.

이 방식이 실제 성능에서 검증된다면 AI 실행 환경이 클라우드에서 로컬 쪽으로 일부 이동할 수 있다. 응답 속도와 비용 구조도 달라질 가능성이 있다.

Together AI에서 먼저 테스트할 수 있다는 점도 실무적으로 도움이 된다. 같은 모델을 클라우드에서 돌려보고 디바이스 배포를 결정하기 전에 효율을 확인할 수 있다.

요즘 추세는 단순히 모델 크기를 키우는 경쟁에서 벗어나 압축과 효율화로 제한된 환경에서 어느 정도 성능을 내는 쪽으로 옮겨가고 있다.