Mười giờ tối
Mười giờ tối, điện thoại của kỹ sư trực rung lên. Một alert từ hệ thống monitoring.
DASHBOARD
Bảng theo dõi
Trên dashboard là những chỉ số, gọi là metrics: tốc độ trả lời, chi phí mỗi giờ, tỉ lệ từ chối, tỉ lệ khách bấm không hài lòng.
ALERT
Vượt vạch là chuông reo
Mỗi chỉ số có một vạch đỏ. Kim vượt vạch là alert reo, người trực vào xem ngay.
TỐI NAY
Chuyện gì xảy ra?
Tối nay, tỉ lệ không hài lòng tăng gấp ba. Kỹ sư mở log, lần theo trace như phần sáu. Thì ra ngân hàng vừa ra thẻ mới, khách hỏi nhiều, mà tài liệu chưa có.
DRIFT
Thế giới đổi, hệ thống đứng yên
Đó là drift, tức trôi dạt: thế giới thay đổi, người dùng hỏi kiểu mới, còn hệ thống thì vẫn như cũ.
FEEDBACK LOOP
Sự cố thành đề thi
Sửa xong, họ thêm câu hỏi về thẻ mới vào eval set. Vòng khép lại, gọi là feedback loop: sự cố thành bài học, bài học thành đề thi.
TỔNG KẾT
Cả series trong một hình
Cả series trong một hình: cloud, input guardrails, output guardrails, evaluation, logging, monitoring. Mỗi câu trả lời hai giây là cả một dây chuyền phía sau.
Đây là bài viết từ video Monitoring: phòng điều khiển AI của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.