Một lời phàn nàn
Một khách phàn nàn: chatbot bảo phí chuyển tiền là không đồng, nhưng tôi vẫn bị trừ tiền. Đội kỹ thuật lần lại bằng cách nào?
LOGGING
Mỗi câu hỏi một dòng
Bằng log, tức nhật ký. Mỗi câu hỏi để lại một dòng log: giờ, câu hỏi đã che thông tin, câu trả lời, mất bao lâu, tốn bao nhiêu.
TRACING
Một sợi chỉ qua các bước
Nhưng một câu hỏi đi qua nhiều bước: cổng vào, tìm tài liệu, gọi mô hình, cổng ra. Trace nối các bước đó thành một sợi chỉ, để xem từng bước nhận gì, trả gì.
TÌM RA
Lỗi nằm ở đâu
Lần theo trace, họ thấy lỗi: bước tìm tài liệu đã lấy bảng phí cũ của năm ngoái. AI không bịa, nó đọc nhầm tài liệu. Sửa đúng chỗ đó, rồi thêm câu này vào eval set ở phần năm.
OBSERVABILITY
Nhìn rõ bên trong
Khả năng nhìn rõ bên trong hệ thống như vậy, dân kỹ thuật gọi là observability.
RIÊNG TƯ
Nhật ký cũng phải giữ kín
Nhưng log cũng chứa lời của khách. Nên phải che dữ liệu riêng, giới hạn người được xem, và xóa sau một thời gian.
PHẦN SAU
Biết trước khi có chuyện
Lần lại khi có chuyện là tốt. Biết trước khi có chuyện còn tốt hơn. Phần cuối: monitoring.
Đây là bài viết từ video Logging và tracing: hộp đen của AI của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.