퍼플렉시티가 기존 학술 벤치마크의 한계를 지적하며 WANDR를 내놨다. 실무 리서치 과제를 측정하는 이 지표에서 퍼플렉시티는 경쟁 대비 2.5배 성능을 기록했다고 밝혔다.

왜 자체 벤치마크가 공개 리더보드보다 중요해졌나

공개 벤치마크는 과적합 문제로 실제 배포 성능을 제대로 보여주지 못할 때가 많다. WANDR는 이 문제를 해결하려고 전문가용 리서치 작업을 직접 평가한다. Search as Code 항목에서 퍼플렉시티는 0.386, 2위 시스템은 0.152를 기록했다. 이 차이는 업계가 아직 이런 유형의 과제에 최적화하지 않았다는 점도 보여준다. 이전에 DRACO를 공개했을 때처럼, 도메인별 평가 기준은 범용 점수로는 드러나지 않던 성능 차이를 보여준다.

• 핵심: 학술 점수나 파라미터 숫자가 아니라, 에이전트가 브라우징·코드 실행·검색을 조합해 실제 리서치 결과물을 만드는 능력이 시장 신뢰를 결정한다.
• 수치로 보면: Search as Code 0.386 vs 0.152는 워크로드에 맞춰 최적화한 스택이 얼마나 다른지 보여준다.

경쟁 리서치 에이전트들이 받는 압박

경쟁사는 두 가지 중 하나를 골라야 한다. 비슷한 자체 벤치마크를 만들어 기업 고객이 보는 지표를 확보하거나, 이걸 무시하고 구매 담당자 앞에서 존재감을 잃거나.

| 주장 | 근거 | 업계 영향 | 참고 | |---|---|---|---| | 퍼플렉시티가 실전 리서치에서 앞선다 | WANDR 점수, DRACO 평가 설계 | 모델 크기보다 에이전트형 검색으로 관심 이동 | 실제 워크플로우 수행 능력을 따지는 구매자에게 유리 | | 기존 업체는 자체 지표를 깎아내릴 것 | 제3자 검증 없음 | 공개 전까지 신뢰 형성 지연 | 투명하게 공개하기 전까지 도입 속도는 느릴 것 | | 오픈소스 진영이 불리해짐 | 실무 태스크 재현에 집중 | 비공개 평가 비중 확대 | 오픈 진영도 워크로드 특화 테스트 없이는 뒤처짐 | | 투자자들이 모델 출시에 너무 집중 | Search as Code 아키텍처 강조 | 배포 도구·스택으로 자금 이동 | 리더보드보다 기업용 결과물 최적화가 저평가됨 |

• 모델 크기나 파라미터 수의 영향은 제한적이다. WANDR는 시스템 전체의 검색·코드 생성 능력에 점수를 준다.
• 기업 구매 담당자는 WANDR 공개로 구매 판단 기준이 생긴다. 다만 DRACO처럼 평가 기준의 투명한 공개가 선행돼야 한다.
• 브라우저 + 코드 실행 + 에이전트 인프라를 통합한 스택이 모델만 제공하는 업체보다 유리하다.

중요도: 중간
분류: AI Research, Technical Insight, Industry Trend

요약: 워크로드에 맞는 평가 체계를 먼저 구축한 팀이 유리하다. 공개 리더보드만 보는 투자 습관은 리스크가 커지고, 흐름이 바뀔 때 뒤처진다.

결론: 지금은 '워크플로우 수행 능력'으로 판을 바꾸는 초기 단계다. 에이전트·브라우저·실행 스택을 통합하는 빌더와 기업 세일즈를 중시하는 펀드가 유리하고, 공개 리더보드만 믿는 트레이더는 늦는다.