Nhỏ mà giỏi?
Mark thắc mắc vì sao có model nhỏ xíu, chạy cả trên điện thoại, mà vẫn khá giỏi.
DISTILLATION
Thầy lớn dạy trò nhỏ
Một bí quyết là distillation, chưng cất. Model lớn làm thầy, trả lời thật nhiều câu hỏi. Model nhỏ làm trò, học theo cách thầy trả lời.
VÌ SAO
Học cả độ phân vân
Trò không chỉ học đáp án đúng, mà học cả mức thầy phân vân giữa các đáp án. Thông tin đó giúp trò học nhanh hơn nhiều.
KẾT QUẢ
Nhỏ, nhanh, rẻ
Kết quả là model nhỏ, nhanh và rẻ, giữ được phần lớn độ giỏi của thầy, nhất là ở những việc nó được dạy.
GHI NHỚ
Gặp chữ này thì hiểu
Gặp chữ này, hiểu là: model nhỏ học lại từ model lớn. Đó là lý do có các bản mini nhanh mà rẻ, như video 18.
Đây là bài viết từ video Distillation: model lớn dạy model nhỏ của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.
Theo dõi kênh YouTubeVideo này sắp ra mắt