WANDR, 낡은 벤치마크 대신 실시간 출처로 AI 답변을 검증한다
고정된 과거 정답지가 아니라 인용된 페이지를 다시 불러와 AI 답변의 근거를 확인하는 도구
TL;DR:
- WANDR는 AI 답변이 인용한 실제 페이지를 다시 가져와 주장의 근거를 재검증한다.
- 사실관계가 빠르게 바뀌는 질문에서는 오래된 벤치마크보다 현재 출처 확인이 더 중요하다.
- 비즈니스 사용자는 벤치마크 점수보다 출처 추적 가능성과 근거 검증을 더 중시한다.
핵심 포인트
Perplexity가 WANDR를 주목한 이유는 명확하다. 이 도구는 AI 답변을 고정된 정답 세트와 대조하지 않고, 답변에 인용된 실제 페이지를 실시간으로 다시 가져와 검증한다.
요약
WANDR의 검증 방식은 단순한 채점이 아니라 출처 재확인에 가깝다.
- 각 답변에 포함된 인용 페이지를 다시 불러온다.
- 현재 페이지에 실제로 존재하는 내용과 AI의 주장을 대조한다.
- 사실관계가 빠르게 바뀌는 주제에서는 오래된 테스트셋이 금방 무력화된다는 문제를 줄인다.
핵심은 모델이 과거에 맞혔는지가 아니라, 지금 제시한 주장에 현재 근거가 있는지다.
분석
기존 벤치마크는 고정된 정답을 기준으로 모델을 평가한다. 반면 WANDR는 답변이 기대값처럼 보이더라도, 그 주장이 실제 출처에서 확인되는지를 본다.
| 구분 | 기존 AI 벤치마크 | WANDR 방식 | |---|---|---| | 검증 기준 | 고정된 정답 세트 | 현재 접근 가능한 실제 인용 출처 | | 취약점 | 시간이 지나면 데이터가 낡음 | 출처 접근성과 최신성에 의존 | | 강점 | 모델 간 성능 비교가 쉬움 | 주장과 근거의 연결을 직접 확인 | | 적합한 상황 | 안정적인 지식 평가 | 빠르게 변하는 사실관계 검증 |
이 접근은 Perplexity의 방향성과도 맞닿아 있다. Perplexity는 모델이 기억하고 있는 정보보다 최신 검색 결과와 인용 가능한 출처를 기반으로 답변 신뢰도를 높이려는 쪽에 가깝다.
비즈니스 환경에서는 이 차이가 더 중요하다. 실무자는 추상적인 벤치마크 점수보다 다음을 더 필요로 한다.
- 답변의 근거가 어디에 있는지
- 해당 출처가 현재도 같은 내용을 담고 있는지
- 오래된 데이터나 근거 없는 주장이 섞였는지
결국 WANDR가 보여주는 문제의식은 분명하다. AI 답변의 품질은 점수만으로 판단하기 어렵고, 특히 변화가 빠른 영역에서는 출처 추적 가능성이 핵심 평가 기준이 된다.
영향 평가
중요도: 중간 분류: 기술 인사이트, AI 리서치, 개발자 도구
판단: 이 내러티브에서는 지금이 이른 구간이며, 실제로 유리한 쪽은 단기 트레이더가 아니라 AI 제품을 만드는 빌더와 출처 검증을 업무 흐름에 넣어야 하는 펀드 리서치팀이다.