Perplexityは、学術系ベンチマークへの対抗としてWANDRを発表した。プロのリサーチ業務を測定対象とし、この指標でPerplexityは競合の約2.5倍のスコアを出したと主張している。

自社ベンチマークが公開リーダーボードより重要になった理由

公開ベンチマークは対策が進みすぎて、実運用での性能予測には使いにくくなった。WANDRは実務のワークロードを直接測ることで、このギャップを埋めようとしている。Search as CodeでのPerplexityのスコアは0.386、2位は0.152。この差は、まだ誰もこの評価軸に最適化していないことも影響しているだろう。先行のDRACOでも、ドメイン特化の評価基準が汎用スコアでは見えない差を浮き彫りにしていた。

競合のリサーチエージェントにとっての意味

競合は選択を迫られる。同等の社内評価基盤を作るか、企業が重視する指標での存在感を失うか。

| ナラティブ | 根拠 | 業界への影響 | 所感 | |-----------|------|----------------|------| | Perplexityは実務リサーチで先行 | WANDRのスコアとDRACOの手法 | モデル規模よりエージェント型検索に注目が移る | ワークフローの再現度を重視する買い手に響きやすい | | 大手は「自社ベンチマーク」を軽く見ている | 第三者検証がまだない | 公開されるまで信頼構築は遅れる | 公開ベンチマークで十分という前提は間違いで、採用判断は先送りになる | | オープン研究は遅れを取る | プロ業務の模写に注力 | 評価は自社開発へシフト | オープンソース側も用途別評価を追加しないと劣勢 | | 投資家はモデルリリースを過大評価しがち | Search as Codeアーキテクチャ重視 | 資本はデプロイツールへ | リーダーボード偏重の見方は、企業成果の最適化には不利 |

• ここではモデルサイズやパラメータ数はあまり関係ない。WANDRは基盤モデル単体ではなく、システム全体の検索・コード生成を評価する。
• DRACOと同様、Perplexityが採点ルーブリックを公開すれば、企業の調達判断はもっとクリアになる。
• バラバラのモデル提供より、ブラウザ＋コード実行＋エージェント基盤を一体化したスタックが有利。

Significance: 中
Categories: AI Research, Technical Insight, Industry Trend

要点: 実務ワークロード向けの評価を自前で作れるチームが先行する。公開リーダーボードだけ見ている投資家は、流れが変わったときのリスクが大きい。

結論：今動けば先手を取れる。用途特化の評価と統合スタックを持つビルダー、企業導入に賭けるファンドが実利を得る。リーダーボード中心で短期の動きを追うトレーダーは、この文脈では不利。長期ホールドだけでは優位性は限定的で、ワークロードへの適合度を積み上げる体制を持つプレイヤーが勝つ。