Mixture of Experts (MoE) là gì? Vì sao model to mà vẫn nhanh

To mà vẫn nhanh?

Mark đọc thông số một model Mixture of Experts, thấy rất nhiều tham số mà vẫn chạy nhanh, và muốn biết vì sao.

MoE

Một đội chuyên gia

Bit giải thích: Mixture of Experts, viết tắt MoE, chia model thành nhiều chuyên gia nhỏ, cùng một bộ phận điều phối gọi là router.

CÁCH CHẠY

Mỗi lần gọi vài người

Mỗi token đi vào, router chỉ gọi vài chuyên gia phù hợp nhất, còn những chuyên gia khác thì nghỉ.

LỢI

Kho to, chạy nhẹ

Nhờ vậy, model có kho kiến thức rất lớn, nhưng mỗi lần chỉ chạy một phần nhỏ, nên vẫn nhanh và rẻ.

HIỂU ĐÚNG

Không chia theo môn

Lưu ý: các chuyên gia không chia rạch ròi kiểu toán, văn, sử. Chúng tự phân công khi học, theo những cách con người khó đặt tên.

GHI NHỚ

Gặp chữ này thì hiểu

Gặp chữ này, hiểu là: model lớn, nhưng mỗi lần chỉ dùng vài chuyên gia, nên nhanh. Nhiều model mạnh hiện nay chạy theo cách này.