Perplexity가 최적화된 Unigram 토크나이저를 오픈소스로 풀었다. 그냥 인프라 업데이트가 아니다. CPU에서 5~6배 빨라진다는 게 실측으로 나오면서, 추론 지연시간이 더 이상 부수적인 문제가 아니라 경쟁에서 직접 승부를 가르는 요소가 됐다는 신호다.

스케일에만 매달리던 틈이 드러난다

GPU에서 소형 리랭커나 임베더가 이미 한 자릿수 ms로 돌아가는 상황에선, 실제 병목은 토크나이징(보통 CPU에서 처리)으로 옮겨간다. Perplexity의 5~6배 개선은 "진보 = 더 큰 모델, 더 많은 GPU"라는 전제를 흔든다. 운영 단계에서 분명히 얻을 수 있는 이득을 그동안 외면해왔다는 걸 다시 생각하게 만든다.

비공개 최적화로 버티는 전략이 약해진다

오픈소스 공개는 비공개 최적화가 주던 우위 자체를 깎아낸다. 바로 나타나는 효과들이 있다:

• 중소 팀과 엔터프라이즈: 대규모 커스텀 인프라 없이도 경쟁력 있는 지연시간을 확보할 수 있다
• 셀프호스팅 스택: API 사업자와의 속도 격차를 좁혀야 한다는 압력이 커진다
• 생태계 전반: 최적화 프리미티브 공유가 당연해지고, 비밀주의를 고수할 명분이 약해진다

아래는 서로 다른 해석과 그 함의를 정리한 표다.

| 해석 | 근거 | 관점 변화 | 내 생각 | |---|---|---|---| | 토크나이저는 배관일 뿐이다 | Perplexity가 CPU 5~6배 실측 개선을 보여줌 | 벤치마크 점수보다 E2E 서빙 비용이 중요해진다 | 이 부분을 무시하면 실전에서 ms 단위 비용을 놓친다 | | 오픈소싱해도 잃을 게 없다 | 재구현된 Unigram 코드가 GitHub에 올라왔다 | 최적화 공유가 표준이 되고, 비공개 유지 명분이 약해진다 | 먼저 통합하는 팀이 실질적으로 앞서간다 | | 효율 개선은 API 우선 전략에 더 유리하다 | 저지연 리랭커일수록 CPU 토크나이징 비중이 올라간다 | 셀프호스팅이 높아진 속도 기준선에 직면한다 | Perplexity 같은 제품 중심 회사가 순수 모델 연구소보다 유리하다 |

• 엔터프라이즈는 지금 당장 CPU 비중이 큰 단계의 추론 비용을 줄일 수 있다.
• 모델 연구소는 토크나이저를 가볍게 봤기 때문에, 벤치마크에선 안 보이는 실사용 성능 격차가 생겼다.
• 대규모 학습만이 진보라는 이야기가 힘을 잃고, 런타임 개선에 자본이 다시 배분될 수 있다.
• 작은 개발팀도 고정비를 낮춘 상태에서 프로덕션급 시스템을 만들 수 있어서, 자본 격차를 좁힐 여지가 커진다.
• 접근성과 거버넌스 논의에서, 오픈 툴링이 연산 집중의 불균형을 얼마나 완화할 수 있는지 보여주는 구체적 사례가 된다.

핵심은 이거다. "모델이 곧 해자"라는 생각이 실제 지연시간 예산을 어떻게 쓰느냐를 놓치고 있다는 것. 5~6배 개선은 하루 수백만 쿼리를 처리할 때 누적 효과가 눈덩이처럼 불어난다.

의미: 중간
카테고리: Technical Insight, Open Source, Developer Tools

결론: 제품팀이나 인프라팀이 지금 통합하면 선점 우위를 가져간다. 반면 모델 스케일에만 베팅한 펀드나 참여자는 이 흐름에 뒤늦게 반응할 가능성이 높다.