要点

Perplexityが取り上げたWANDRは、AIの答えを固定の正解で採点するのではなく、回答に出てきたページをその場で取得し直して根拠があるかを確かめる仕組みだ。

概要

WANDRのやり方はシンプル。

• 回答内の引用元ページを再取得する
• 現在のページ内容とAIの主張を比べる
• 情報が更新されやすい質問で、古いベンチマークの限界を避ける

大事なのは、モデルが昔覚えたことではなく、今アクセスできる一次情報に答えを結びつけられるかどうかだ。

分析

普通のベンチマークは決まった問題と答えでモデルを測る。でも事実がよく変わる領域では、その答え自体がすぐに古くなる。

WANDRは実務向きだ。

固定ベンチマークは事前に用意した正解との一致を見る。一方WANDRは引用元に今ある情報との整合性を確認する。固定式は点数が比較しやすいが情報更新に弱く、WANDRは根拠の追跡と鮮度が強みになるが引用取得の品質に依存する。

この方法だと、見た目はもっともらしいのに実際は根拠のない答えや古い情報に基づく答えを拾いやすい。Perplexityがモデル記憶よりライブ検索と引用を重視する考え方とも合っている。

事業で使うなら、ベンチマークで高得点を取るより、判断の根拠をソースまで戻って確認できる方が価値が高い。

インパクト評価

重要度: 中

カテゴリ: 技術的洞察、AIリサーチ、開発者ツール

Verdict: まだ早い段階からAI回答の根拠検証をワークフローに組み込む人や企業が優位に立ちやすい。短期で売買する人には直接のメリットは少ない。