Mark học AI

Video #59 · Sản phẩm AI làm ra thế nào · Phần 4/7

Đo chất lượng sản phẩm AI thế nào? Bộ câu hỏi mẫu và thử A/B

Bảng xếp hạng nói mô hình nào giỏi nhất, nhưng không cho biết sản phẩm của bạn có tốt không.

Bảng xếp hạng chưa đủ

Bảng xếp hạng nói mô hình này giỏi nhất. Nhưng sản phẩm của bạn có tốt không, thì bảng xếp hạng không trả lời được.

CÁCH 1

Bộ câu hỏi mẫu

Cách thứ nhất: một bộ câu hỏi mẫu, lấy từ câu khách hỏi thật, kèm đáp án đúng. Tiệm bánh có năm mươi câu: giá bánh, giờ mở cửa, cách đặt hàng.

CÁCH 1

Chạy lại mỗi lần sửa

Mỗi lần sửa gì đó, đổi mô hình hay đổi chỉ dẫn, hãy chạy lại cả bộ. Câu nào trước đúng giờ sai, sẽ lộ ra ngay, trước khi khách nhìn thấy.

CÁCH 2

Tín hiệu từ người dùng thật

Cách thứ hai: nghe người dùng thật. Không chỉ nút thích, không thích. Họ hỏi lại cùng một câu, nghĩa là chưa hài lòng. Họ sửa câu trả lời rồi mới dùng, nghĩa là gần đúng. Họ bỏ đi giữa chừng, nghĩa là có chuyện.

CÁCH 3

Thử A, B

Cách thứ ba: thử A, B. Một nửa khách gặp bản cũ, một nửa gặp bản mới. Bản nào được đặt bánh nhiều hơn, bản đó thắng.

TỔNG KẾT

Ba cách cộng lại

Ba cách cộng lại: bộ đề giữ chất lượng, tín hiệu thật chỉ ra chỗ đau, thử A, B giúp chọn hướng đi.

PHẦN SAU

Mỗi câu trả lời đều tốn tiền

Nhưng mỗi câu trả lời được đo đó đều tốn tiền. Tốn bao nhiêu, và ai trả? Hẹn bạn ở phần 5.

Đây là bài viết từ video Đo một sản phẩm AI của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.