Hai giây
Bạn hỏi chatbot ngân hàng: thẻ tôi bị khóa, mở sao? Hai giây sau đã có câu trả lời. Trong hai giây đó, câu hỏi của bạn đi qua cả một dây chuyền.
TRẠM 1
Input guardrails
Trạm đầu là input guardrails, rào chắn cổng vào. Ở đây, hệ thống che số thẻ của bạn, và chặn những câu lạc đề hoặc có ý phá.
TRẠM 2
Cloud
Rồi câu hỏi bay lên cloud, tới một data center, nơi hàng nghìn con chip chạy model AI. Câu trả lời được viết ở đó, không phải trong điện thoại bạn.
TRẠM 3
Output guardrails
Câu trả lời chưa tới tay bạn ngay. Output guardrails, rào chắn cổng ra, kiểm tra: có hứa điều chính sách không cho không, có lộ thông tin người khác không. Việc thật như mở khóa thẻ thì phải chờ bạn xác nhận.
TRẠM 4
Logging
Mỗi bước đều được ghi log, tức nhật ký, như hộp đen máy bay. Có sự cố, kỹ sư lần lại được chuyện gì đã xảy ra.
TRẠM 5
Monitoring
Còn monitoring theo dõi tốc độ, chi phí, tỉ lệ trả lời sai trên dashboard. Có gì bất thường là alert reo.
EVALUATION
Đổi gì cũng thi lại
Và mỗi lần đổi model hay sửa prompt, hệ thống phải chạy evaluation trên bộ đề cũ, đạt rồi mới được chạy thật.
PHẦN SAU
Sáu trạm phía trước
Sáu phần tới, ta dừng lại ở từng trạm. Bắt đầu từ nơi AI thật sự sống: cloud.
Đây là bài viết từ video Hai giây của một câu hỏi của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.