Token là gì? Vì sao tiếng Việt tốn nhiều token hơn tiếng Anh

Tiếng Việt tốn token hơn

Cùng một ý, viết bằng tiếng Việt thường tốn nhiều token hơn so với tiếng Anh.

TOKEN

AI đọc theo từng mảnh

AI không đọc từng chữ mà đọc từng mảnh gọi là token, như video 19 của kênh đã kể.

CHỮ CÓ DẤU

Chữ có dấu bị cắt vụn

Model học tiếng Anh nhiều hơn, nên chữ tiếng Việt có dấu hay bị cắt thành nhiều mảnh nhỏ hơn.

ẢNH HƯỞNG

Tốn tiền hơn, nhớ ít hơn

Nhiều token hơn nghĩa là dùng API tốn tiền hơn, và cuộc trò chuyện dài sẽ nhanh đầy context window hơn.