Tencent mở mã nguồn WeVisOne-VL, mô hình từ chối truy vấn về đối tượng không có trong ảnh
WeVisOne-VL của Tencent phát hành theo giấy phép Apache 2.0, làm được phát hiện, đếm, OCR, phân đoạn và tách alpha trong cùng một bộ trọng số. Khi đối tượng không có trong ảnh, mô hình trả về None.
TL;DR:
- Có hai bản 2B và 4B tham số, phát hành theo giấy phép Apache 2.0.
- Bản 4B từ chối 96,4% truy vấn về đối tượng vắng mặt trên WeRef (benchmark của Tencent) và 86,0% trên Ref-ZOM, một benchmark công khai.
- Mô hình chỉ xử lý hình ảnh, gộp năm tác vụ thị giác vào một bộ trọng số, dùng decoder 9,6 triệu tham số và không cần Segment Anything Model.
- Cơ chế từ chối rõ ràng có thể giảm các phát hiện bịa trong kiểm tra, tìm kiếm hình ảnh và gán nhãn tự động.
Tiêu đề
Tencent mở mã nguồn WeVisOne-VL: một mô hình gộp năm tác vụ hiểu hình ảnh, và khi được hỏi về một đối tượng không có trong ảnh thì nó từ chối thay vì đoán.
Tóm tắt
Tencent phát hành WeVisOne-VL theo giấy phép Apache 2.0, gồm hai bản 2B và 4B tham số. Được yêu cầu định vị một đối tượng không có trong ảnh, mô hình có thể trả về None thay vì vẽ ra một bounding box. Tencent cho biết bản 4B từ chối 96,4% truy vấn về đối tượng vắng mặt trên WeRef và 86,0% trên benchmark công khai Ref-ZOM. Bản phát hành này chỉ xử lý hình ảnh, gộp phát hiện, đếm, OCR, tạo mask phân đoạn và tách alpha vào cùng một bộ trọng số, với decoder 9,6 triệu tham số, không phụ thuộc Segment Anything Model.
Phân tích
Điều đáng nói là mô hình coi việc không có đối tượng cũng là một kết quả grounding hợp lệ. Cách làm này nhắm vào một failure mode quen thuộc: đầu ra của mô hình thị giác trở thành hành động sai ở các bước downstream. Trong kiểm tra, tìm kiếm hình ảnh và gán nhãn tự động, một phát hiện bịa đặt có khi gây tổn thất lớn hơn việc bỏ sót đối tượng.
Vì thế khả năng từ chối phải được đọc song song với độ chính xác khi phát hiện các đối tượng thực sự có mặt. Còn việc gộp năm tác vụ vào một mô hình chủ yếu giải quyết chuyện triển khai và bảo trì: developer không phải tích hợp nhiều thành phần thị giác riêng lẻ nữa.
Các điểm chính:
- Không có đối tượng thì mô hình trả về
None, nên nguy cơ vẽ bounding box cho thứ không tồn tại giảm xuống. - Năm tác vụ nằm chung một bộ trọng số: phát hiện, đếm, OCR, segmentation và alpha matting.
- Alpha matte cho ra ranh giới mờ mềm, cần cho tóc, lông và các vùng biên trong suốt.
- Decoder chỉ 9,6 triệu tham số, không phụ thuộc Segment Anything Model.
- Giấy phép Apache 2.0 cùng các script đánh giá được công bố, nên rào cản cho việc benchmark và dùng thương mại thấp hơn.
Định vị của WeVisOne-VL là một lựa chọn thay cho các pipeline thị giác phân mảnh, chứ không nhằm trở thành thêm một vision-language model đa dụng. Nhưng hiệu quả từ chối không thay thế được việc kiểm chứng độ chính xác trên những đối tượng thực sự có trong ảnh.
Đánh giá tác động
- Mức độ quan trọng: Trung bình
- Danh mục: Phát hành mô hình, mã nguồn mở, phân tích kỹ thuật
- Nguồn: Kho mã Tencent/WeVisOne-VL
Verdict: Người dùng đang tìm một vision-language model đa dụng không phải bên hưởng lợi chính từ narrative này; lợi thế thuộc về builder và đội triển khai cần thay pipeline thị giác phân mảnh bằng một mô hình đa nhiệm có cơ chế từ chối rõ ràng. Trader và holder dài hạn đã muộn với narrative này, còn các quỹ không có lợi thế đặc biệt nếu không đầu tư trực tiếp vào hạ tầng thị giác ứng dụng.
Surf chỉ cung cấp thông tin và không cấu thành lời khuyên đầu tư. Tất cả các quyết định đầu tư được thực hiện với rủi ro của riêng bạn. Vui lòng tiến hành nghiên cứu của riêng bạn (DYOR).