Phòng thí nghiệm bộ não AI: tự tay thử token, đoán chữ, nhiệt độ

Trạm 1 · Video 19, 146, 60

Gõ gì cũng được, xem AI cắt thành mảnh nào

AI không đọc từng chữ cái mà đọc từng mảnh (token). Mỗi màu dưới đây là một mảnh. Đây là bộ tách mảnh thật, cùng loại các chatbot đang dùng.

Câu của bạn

Cùng một ý, hai thứ tiếng

Tiếng Việt

Tiếng Anh

Tiếng Việt thường tốn nhiều mảnh hơn vì chữ có dấu ít gặp hơn trong dữ liệu học. Nhiều mảnh hơn nghĩa là tốn tiền hơn và nhanh đầy trí nhớ hơn (video 146).

Mở nắp: mảnh là gì bên trong máy?

Mỗi mảnh là một con số trong một cuốn từ điển khoảng 200 nghìn mục. Chữ hay gặp như “the” chiếm trọn một mục, chữ có dấu ít gặp bị cắt nhỏ. Dấu ◇ là mảnh chỉ mang nửa chữ: một chữ có dấu bị cắt đôi.

Hiện số thứ tự của mỗi mảnh trong từ điển

Bộ tách mảnh ở đây là o200k_base, dùng trong các model GPT-4o. Claude, Gemini mỗi hãng có bộ riêng nên số mảnh lệch vài phần, nhưng cách cắt giống nhau về nguyên lý.

Giá ví dụ (đô la cho mỗi triệu mảnh)

Giá thật mỗi model khác nhau, xem trên trang của nhà cung cấp. Video 60 giải thích vì sao mỗi câu hỏi đều tốn tiền.

Trạm 6 · Video 7, 242

Tự làm “chatbot”: chọn chữ tiếp theo từng chữ một

Chatbot thật ra chỉ đoán chữ tiếp theo, rồi lặp lại. Gõ vài chữ, máy đưa ra những chữ dễ đến tiếp theo kèm phần trăm. Bấm một chữ để nối vào câu.

Câu đang viết

Mở nắp: bộ đoán này học từ đâu?

Nó đã đọc 310 bài viết và 213 kịch bản của chính kênh Mark học AI (khoảng 128 nghìn chữ) và đếm: sau 2 chữ này thì chữ nào hay đến. Vì thế nó viết ra câu có giọng Mark và Bit.

Chatbot thật học từ hàng nghìn tỷ chữ và nhìn cả đoạn hội thoại dài, không chỉ 2 chữ cuối. Nhìn được cả câu là nhờ attention, trạm 4.

Trạm 7 · Video 24

Vòng quay may mắn: vì sao hỏi 2 lần ra 2 đáp án

AI chấm điểm mọi chữ có thể nói tiếp, rồi bốc thăm theo tỉ lệ đó. Ô càng to càng dễ trúng. Núm nhiệt độ làm các ô phình ra hay xẹp lại.

Nhiệt độ

Chỉ giữ các ô lớn (top-p)

Vạch mảnh là tỉ lệ ban đầu, cột màu là tỉ lệ sau khi chỉnh nhiệt độ. Số bên phải là số lần đã trúng.

Mở nắp: công thức nhiệt độ

Mỗi tỉ lệ được nâng lên lũy thừa 1/nhiệt độ rồi chia lại cho tổng bằng 100%. Nhiệt độ 0,5 làm ô to càng to; nhiệt độ 2 kéo các ô về gần nhau. Top-p giữ nhóm ô lớn nhất cộng lại đủ phần trăm đã chọn, bỏ hết ô nhỏ.

Trong app chat thường không chỉnh được nhiệt độ. Mẹo từ video: việc sáng tạo thì bấm “tạo lại” vài lần rồi chọn ý hay; việc cần chính xác thì bảo AI làm từng bước và tự kiểm lại.