avatar

WANDR 把评测拉回真实研究场景:Perplexity 称自家 Search as Code 跑出 2.5 倍领先

Perplexity 内部评测瞄准企业级研究任务,自称比次优系统高出 2.5 倍

avatar@perplexity_ai
1 month ago

TL;DR:

  • Perplexity 发布 WANDR 评测,测的是专业研究任务而非学术题
  • Search as Code 路线得分 0.386,第二名只有 0.152
  • 竞品得跟进类似评测,不然在企业采购指标上没话说
  • 对买方更有参考价值,但 Perplexity 得把评分细则公开才算数

Perplexity 发布 WANDR,想绕开那些被反复刷榜、区分度越来越低的学术基准。这套评测专门针对专业研究工作流,Perplexity 说自己在这类指标上领先竞品约 2.5 倍。

专有评测为什么开始替代公共榜单

  • 公共基准被优化过头了,已经很难预测系统实际部署时的表现。
  • WANDR 围绕专业研究工作负载设计,测的是系统级能力,不是单点学术题。
  • Search as Code 任务上,Perplexity 得分 0.386,次优系统 0.152;差距这么大,部分原因是还没人专门针对这套评测做优化。
  • 之前的 DRACO 也是这个规律:针对具体领域的评分细则能暴露出通用分数看不出来的能力差距

对竞争性研究代理意味着什么

  • 竞品得尽快搞自己的内部评测,不然在企业买方关心的指标上会越来越边缘。
  • 工作负载拟真度成了关键,光看模型规模和参数已经不够用了。

| 叙事 | 证据 | 对行业的影响 | 我的判断 | |---|---|---|---| | Perplexity 在实际研究任务上领先 | WANDR 分数和 DRACO 方法论 | 关注点从模型规模转向 Agentic Search | 在看重工作流拟真的买方那里更占优 | | 老牌玩家轻视内部评测 | 还没第三方验证 | 企业信任建立会变慢 | 采用节奏会放缓,光靠公共榜单的假设站不住脚 | | 开放研究承压 | 评测强调专业任务镜像 | 实验室转向专有评测 | 开源得补上工作负载专属测试才能跟上 | | 投资者盯着模型发布 | 强调 Search as Code 架构 | 资金转向部署工具链 | 市场低估了面向企业产出的系统优化,高估了榜单分数 |

  • 模型规模不再是核心变量。 WANDR 更看重系统级的检索与代码生成协同能力。
  • 对企业买方的信号更清晰(前提是公开评分细则,可参考 DRACO 的透明度)。
  • 一体化能力(浏览器 + 代码执行 + 代理基础设施)更吃香,松散耦合的模型供给会吃亏。

重要性:中等
分类:AI Research,Technical Insight,Industry Trend

Bottom line: 现阶段,围绕具体工作负载建评测的团队占先;还在迷信公共榜单的投资叙事会被动,叙事切换时风险敞口更大。

Verdict: 这条叙事上,提前布局的人仍属于"早期"。最有优势的是面向企业工作流构建一体化代理和评测工具链的 Builder,其次是能在采购指标和工具链上重配仓位的基金。光盯着公共榜单做二级交易的 Trader 在这条线上没什么优势。

WANDR 把评测拉回真实研究场景:Perplexity 称自家 Search as Code 跑出 2.5 倍领先 | Surf AI