avatar

Kimi K3 tuyên bố scale hiệu quả gấp 2,5 lần nhờ attention mới

Sparse MoE kết hợp attention mới giúp K3 tận dụng compute huấn luyện tốt hơn

avatar@Kimi_Moonshot
1 day ago

TL;DR:

  • Stable LatentMoE chỉ chạy 16 expert trong tổng số 896 expert
  • Kimi Delta Attention và residual connection mới cắt giảm compute thừa
  • Kimi cho biết compute huấn luyện trên K3 hiệu quả hơn K2 khoảng 2,5 lần

Tiêu điểm

Kimi nói K3 tận dụng mỗi FLOP huấn luyện tốt hơn khoảng 2,5 lần so với K2, nhờ attention mới và thiết kế MoE cực thưa.

Tóm tắt

Bản cập nhật tập trung vào ba thay đổi kỹ thuật:

  • Kimi Delta Attention cải thiện cách mô hình xử lý và truyền thông tin trong chuỗi dài.
  • Attention Residuals giảm thất thoát tín hiệu khi đi qua nhiều tầng.
  • Stable LatentMoE chỉ kích hoạt 16 trong 896 expert mỗi lần xử lý.

Kimi cho rằng tổ hợp này giúp chuyển compute thô thành năng lực mô hình tốt hơn K2.

Phân tích

Nhiều lab AI đang chuyển từ "phóng to mô hình bằng mọi giá" sang tối ưu hiệu suất trên mỗi đơn vị compute. Một đợt training có thể tốn hàng trăm triệu USD, nguồn điện cũng đang là nút thắt, nên lợi thế không chỉ nằm ở số tham số.

Sparse MoE trở thành hướng đi hợp lý:

| Thành phần | Vai trò trong K3 | |---|---| | Sparse MoE | Mở rộng tổng tham số mà không cần chạy hết expert mỗi lần | | Stable LatentMoE | Chỉ chọn 16/896 expert, giảm compute lãng phí | | Kimi Delta Attention | Xử lý ngữ cảnh dài hiệu quả hơn | | Attention Residuals | Giữ ổn định cho mô hình sâu, hạn chế suy giảm tín hiệu |

Kimi không chỉ nói tăng kích thước mô hình. Họ tập trung vào hai vấn đề:

  1. Duy trì hiệu năng ổn định trên long context.
  2. Ngăn mô hình sâu bị suy yếu khi tín hiệu qua nhiều tầng.

Nếu con số hiệu quả training cao hơn 2,5 lần được benchmark độc lập xác nhận, K3 sẽ giúp Moonshot cạnh tranh tốt hơn với các lab Trung Quốc và phương Tây trong cuộc đua tối ưu chi phí mỗi token.

Đánh giá tác động

Mức độ quan trọng: Cao

Nhóm liên quan: Model Release, Technical Insight, AI Research

Verdict: Người đọc chưa muộn nếu đang theo dõi hạ tầng mô hình và chi phí compute. Lợi thế thực sự thuộc về builder AI, đội nghiên cứu mô hình và các quỹ theo dõi năng lực training dài hạn, không phải trader ngắn hạn.