Tiêu điểm

Perplexity đang mở mã nguồn WANDR, bộ benchmark nội bộ dùng để đánh giá research agent có khả năng khảo sát rộng và đào sâu vấn đề.

Tóm tắt

Perplexity xây dựng WANDR nhằm cải thiện tính năng nghiên cứu trong sản phẩm AI của mình. Benchmark này yêu cầu agent phải:

• thu thập thông tin từ nhiều nguồn;
• xử lý câu hỏi phức tạp, nhiều bước;
• kết hợp tìm kiếm diện rộng với suy luận phân tích sâu.

Khi ngày càng nhiều công cụ tự nhận là "agentic research", việc có chuẩn đánh giá chất lượng không chỉ dừng ở đúng sai trở nên cần thiết.

Phân tích

Các công ty AI gần đây đầu tư mạnh vào benchmark cho agent, nhất là những bài kiểm tra kết hợp nhiều kỹ năng trong cùng workflow:

• tìm kiếm web;
• sử dụng công cụ;
• tổng hợp và đối chiếu nguồn;
• suy luận từng bước trên nhiệm vụ phức tạp.

Bằng việc phát hành WANDR dạng mã nguồn mở, Perplexity không chỉ bán sản phẩm search AI mà còn tham gia thiết lập chuẩn đo lường cho research agent. Bộ benchmark này giúp developer so sánh agent trong những nhiệm vụ đòi hỏi đồng thời hai lớp năng lực:

| Năng lực được kiểm tra | Ý nghĩa trong research agent | |---|---| | Khảo sát rộng | Agent phải tìm và bao quát nhiều nguồn thông tin liên quan | | Phân tích sâu | Agent phải xử lý câu hỏi nhiều bước, không chỉ trích xuất câu trả lời bề mặt |

Đây là khoảng trống mà phần lớn benchmark LLM hiện tại chưa xử lý tốt. Việc open-source công cụ eval cũng phù hợp với xu hướng AI lab: định hướng cách thị trường đo lường workflow của agent, thay vì chỉ cạnh tranh ở sản phẩm cuối.

Đánh giá tác động

Mức độ quan trọng: Trung bình Nhóm liên quan: Open Source, AI Research, Developer Tools

Verdict: Người đọc vẫn còn sớm với narrative benchmark cho research agent; nhóm có lợi thế thực sự là builder và developer AI cần tiêu chuẩn eval thực dụng, trong khi trader và holder dài hạn gần như không có lợi thế trực tiếp từ thông tin này.