Vì sao AI càng to càng giỏi? Quy luật quy mô (scaling law)

AI bỗng giỏi vọt lên

Phần trước: máy phải học hiểu, đừng học vẹt. Vậy vì sao mấy năm nay AI bỗng giỏi vọt lên? Bí mật: to hơn.

BA THANH TRƯỢT

Ba thứ được kéo lên

Hình dung ba thanh trượt. Thanh một: số núm vặn trong mạng. Thanh hai: lượng dữ liệu để học. Thanh ba: sức tính, tức số chip đồ họa, gọi tắt là GPU.

QUY LUẬT QUY MÔ

Kéo lên, sai số đi xuống

Người ta thấy: kéo cả ba lên cùng nhau, sai số giảm khá đều đặn. Gọi là quy luật quy mô. Nhờ nó, người ta đoán trước phần nào: to thêm thì giỏi thêm chừng nào.

CÂN ĐỐI

Phải kéo cân đối

Nhưng phải kéo cân đối. Núm nhiều mà dữ liệu ít, giống bộ não lớn chỉ có một cuốn sách để đọc. Dữ liệu nhiều mà núm ít, giống thư viện lớn mà trí nhớ nhỏ.

CUỘC ĐUA

Đua xây trung tâm dữ liệu

Vì thế các công ty lớn đua nhau xây trung tâm dữ liệu chứa hàng chục nghìn chip, tốn rất nhiều điện. Cũng vì thế, bản lớn thường chậm hơn, đắt hơn bản nhỏ.

GIỚI HẠN

To hơn, không phải phép màu

Muốn giỏi thêm một bậc phải tốn gấp nhiều lần, mà sai số chỉ giảm thêm chút ít. Nên ngoài làm to, người ta còn tìm cách dạy khéo hơn.

PHẦN 7

Có ai hiểu bên trong?

To như vậy, có ai thực sự hiểu bên trong nó đang nghĩ gì không? Hẹn bạn ở phần 7, phần cuối.