AI ở rất xa
Bạn gõ câu hỏi trên điện thoại, nhưng AI không nằm trong điện thoại. Nó ở rất xa.
DATA CENTER
Tòa nhà của AI
Model AI lớn chạy trong data center, trung tâm dữ liệu: những tòa nhà đầy tủ máy, chứa GPU, loại chip chuyên dụng. Tốn điện như cả một khu phố, và phải làm mát liên tục.
API
Cánh cửa gọi là API
Ứng dụng gửi câu hỏi qua mạng tới đó, qua một cánh cửa gọi là API, rồi nhận câu trả lời về. Phần lớn ứng dụng AI không tự nuôi model, mà thuê qua cánh cửa này, như video 56 đã nói.
REGION
Dữ liệu nằm ở nước nào
Data center đặt ở region nào, tức là ở nước nào, cũng quan trọng. Ngân hàng, bệnh viện thường phải chọn nơi đặt dữ liệu theo quy định.
GIỜ CAO ĐIỂM
Quá tải, thử lại sau
Giờ cao điểm, cả triệu người cùng hỏi. Hệ thống tự bật thêm máy, gọi là autoscaling. Bật không kịp thì bạn gặp dòng chữ quen thuộc: quá tải, thử lại sau.
ON-DEVICE
AI ngay trong điện thoại
Còn có model nhỏ chạy ngay trên điện thoại, gọi là on-device AI. Không cần mạng, dữ liệu không rời máy, nhưng kém thông minh hơn. Nhiều điện thoại mới dùng cả hai: việc nhẹ làm tại máy, việc khó gửi lên cloud.
PHẦN SAU
Cửa phải có người gác
AI ở xa như vậy, cửa ra vào phải có người gác. Phần ba: input guardrails.
Đây là bài viết từ video Cloud: AI sống ở đâu của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.