Mở nắp bộ não AI
Bạn dùng AI mỗi ngày, nhưng bên trong nó thật ra đang làm gì? Series tám phần này mở nắp bộ não AI. Phần một: AI không đọc chữ như bạn.
Chiếc kéo cắt câu
Trước khi hiểu bất cứ điều gì, AI cắt câu của bạn thành từng mảnh nhỏ, gọi là token. Có mảnh là cả một từ, có mảnh chỉ là một phần của từ.
Mỗi mảnh thành một con số
Rồi mỗi mảnh được đổi thành một con số. Thứ AI thật sự nhìn thấy là một dãy số, không phải chữ cái.
Vì sao AI đếm chữ sai
Vì vậy AI hay đếm sai chữ cái. Nó không nhìn từng chữ, mà nhìn cả mảnh. Chữ cái nằm khuất bên trong mảnh nên dễ bị đếm sót.
Tiếng Việt tốn mảnh hơn
Tiếng Việt có dấu thường bị cắt vụn hơn tiếng Anh. Cùng một ý, câu tiếng Việt tốn nhiều mảnh hơn. Mà độ dài AI đọc được, và giá tiền khi dùng AI, đều tính bằng mảnh.
Con số thì hiểu nghĩa sao?
Nhưng nếu mỗi mảnh chỉ là một con số, làm sao AI biết "mèo" gần với "chó" hơn là "xe tải"? Phần hai sẽ trả lời.
Đây là bài viết từ video AI không đọc chữ, nó đọc "mảnh" của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.