Benchmark AI là gì? AI đạt 90% nghĩa là sao

AI giỏi tới đâu?

AI học xong rồi. Nhưng làm sao biết nó giỏi tới đâu? Quảng cáo nào cũng khoe: AI mới của chúng tôi đạt 90%. Con số đó từ đâu ra?

BỘ ĐỀ CHUẨN

AI cũng đi thi

AI cũng đi thi, giống học sinh thi tốt nghiệp. Đề thi của AI gọi là benchmark, tức bộ đề chuẩn: hàng nghìn câu hỏi có sẵn đáp án, AI nào thi cũng gặp cùng một đề.

CHẤM ĐIỂM

Điểm là phần trăm câu đúng

Cách chấm rất đơn giản: so câu trả lời của AI với đáp án. Đúng 900 trên 1.000 câu, điểm là 90%.

NHIỀU MÔN

Mỗi môn một bộ đề

Có bộ đề kiến thức nhiều môn, từ lịch sử, y khoa tới luật. Có bộ đề toán, giải từng bước. Có bộ đề lập trình: AI viết mã, máy chạy thử xem mã có đúng không.

LƯU Ý

Một bộ đề, một kỹ năng

Nhưng mỗi bộ đề chỉ đo một kỹ năng. Bạn được 10 điểm toán, chưa chắc đã viết văn hay. AI giỏi đề lập trình, chưa chắc viết email khéo.

ĐỌC CON SỐ

90% của đề nào?

Vì vậy, 90% ở đề này không so được với 90% ở đề khác. Con số chỉ có nghĩa khi bạn biết đó là đề gì.

PHẦN 2

Nếu AI thấy đề trước?

Nhưng nếu AI đã thấy đề trước khi thi thì sao? Điểm cao lúc đó còn đáng tin không? Hẹn bạn ở phần 2.