AI có học từ câu hỏi của mình không
Mark tưởng mỗi lần mình hỏi, AI lại học thêm một chút từ câu hỏi đó.
TRAINING
Training: học một lần, rất tốn
Bit giải thích: có hai giai đoạn. Training là lúc model học, chạy trên hàng chục nghìn GPU trong nhiều tháng, tốn rất nhiều tiền. Học xong, kiến thức trong model được đóng băng.
INFERENCE
Inference: mỗi lần bạn hỏi
Inference là lúc model dùng kiến thức đó để trả lời bạn. Mỗi câu hỏi chỉ tốn vài giây tính toán, và model không tự thay đổi.
VÍ DỤ
Như học thi và đi làm
Giống như học đại học bốn năm là training, còn mỗi ngày đi làm trả lời khách là inference.
NHỚ BẠN
Vậy sao AI nhớ mình
AI nhớ tên bạn là nhờ tính năng Memory, ghi chú được gửi kèm mỗi câu hỏi, như video 9 và 27, chứ model không học lại.
VÌ SAO QUAN TRỌNG
Chạy được trên máy nhà
Hiểu điều này để thấy: training cần cả trung tâm dữ liệu, nhưng inference của model nhỏ thì chạy được ngay trên laptop của bạn.
Đây là bài viết từ video Training và inference khác nhau thế nào của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.