Nghĩa tùy từ đứng quanh
Phần trước, mỗi từ có một vị trí trên bản đồ nghĩa. Nhưng nghĩa của một từ còn tùy vào những từ đứng quanh nó.
Câu đố chữ “nó”
Đọc hai câu này. "Con mèo không nhảy qua bức tường vì nó quá mệt." Và "vì nó quá cao". Bạn biết ngay "nó" lúc là con mèo, lúc là bức tường. AI làm sao biết?
Những sợi chỉ chú ý
Câu trả lời là cơ chế chú ý. Mỗi từ "nhìn" sang mọi từ khác trong câu và chấm điểm: từ nào liên quan nhất tới mình? Mệt thì hợp với mèo, cao thì hợp với tường.
Cả câu cùng nhìn nhau
Mọi từ làm việc này cùng lúc, lặp lại qua hàng chục lớp. Đó là trái tim của mọi chatbot hiện nay.
Câu quan trọng bị chôn giữa
Nhưng sự chú ý cũng có giới hạn. Khi bạn gửi một đoạn dài, câu quan trọng nằm lọt thỏm ở giữa dễ bị bỏ sót hơn câu ở đầu hay ở cuối.
Ai dạy bộ não này?
Bộ máy đã có. Nhưng ai dạy nó biết nhiều thứ đến vậy? Phần bốn sẽ trả lời.
Đây là bài viết từ video Attention: AI tập trung vào đâu? của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.