Mark học AI

Video #55 · AI đa giác quan · Phần 6/6

Multimodal AI là gì? Một bộ não vừa nghe, nói, vừa nhìn

Nghe, nói, xem, làm video: các giác quan của AI nằm ở đâu?

Các giác quan nằm ở đâu?

Phần trước, AI tự làm video từ một câu. Nghe, nói, xem, làm. Vậy các giác quan đó nằm ở đâu trong AI?

CÁCH CŨ

Ghép nhiều máy riêng

Cách cũ là ghép nhiều máy: một máy chép giọng ra chữ, một máy tả ảnh bằng chữ, rồi chuyển hết cho máy đọc chữ. Qua mỗi lần chuyển, thông tin rơi rớt dần, như chơi trò truyền tin.

MẢNH NHỎ

Mọi thứ thành mảnh nhỏ

Cách mới: mọi thứ đều cắt thành mảnh nhỏ, gọi là token, như ở video về token. Chữ thành mảnh, ảnh thành từng ô vuông, âm thanh thành từng khúc ngắn. Tất cả vào chung một bộ não.

CÙNG LÚC

Hiểu cả giọng điệu lẫn hình

Nghe thẳng âm thanh, nó có thể nhận ra cả giọng điệu: câu "được thôi" nói vui hay nói dỗi. Nhìn thẳng ảnh, nó đọc được biểu đồ, thấy bạn đang chỉ tay vào đâu.

LƯU Ý

Nhiều giác quan, vẫn có thể nhầm

Nhưng nhiều giác quan không có nghĩa là không nhầm. Việc quan trọng, bạn vẫn là người kiểm lại.

TỔNG KẾT

Ba series trong một hình

Nhìn lại: AI học bằng cách tự vặn hàng tỷ núm. Được chấm điểm bằng bài thi, đấu trường, và đề của riêng bạn. Và giờ nó nghe, nói, xem, làm, trong một bộ não.

CẢM ƠN

Cảm ơn bạn đã đi cùng

Cảm ơn bạn đã đi cùng 18 phần. Mới xem tới đây? Hãy xem lại từ phần 1, "AI học như thế nào".

Đây là bài viết từ video Một bộ não, nhiều giác quan của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.