Sensor fusion: AI ghép LiDAR, radar, camera thế nào

Đêm mưa, áo tối

Đêm mưa, một người áo tối bước ra đường. Camera chỉ chắc một nửa đó là người, radar thấy vật đi chậm, LiDAR thấy dáng cao một mét bảy.

CƠ CHẾ

Ba manh mối khớp nhau

Ghép nhiều cảm biến thành một kết luận gọi là sensor fusion, tức hợp nhất cảm biến. Dáng người, tốc độ đi bộ và hình mờ trên camera khớp nhau, nên AI đủ chắc để phanh.

BƯỚC 1

Mỗi mắt báo một số

Về khoảng cách, mỗi mắt báo một số, và mắt nào cũng có sai số riêng, camera sai nhiều nhất.

BƯỚC 2

Tin ai nhiều hơn

AI không lấy trung bình cộng mà tin nhiều hơn vào mắt ít sai. Tính ra LiDAR chiếm năm mươi tám phần trăm, radar ba mươi bảy, camera bốn, kết quả là hai mươi ba phẩy tám mét.

KẾT QUẢ

Ghép lại chuẩn hơn

Kênh chạy thử mười nghìn lần với khoảng cách thật hai mươi bốn mét. LiDAR sai trung bình sáu mươi tư centimet, còn bản ghép chỉ sai bốn mươi chín, tốt hơn cả con mắt giỏi nhất.

LỖI HAY GẶP

Khi các mắt cãi nhau

Fusion cũng có lỗi, vì khi các mắt báo trái ngược hoặc AI hiểu nhầm, xe có thể phanh gấp dù đường trống, gọi là phantom braking. Năm 2022, Mỹ từng mở điều tra sau hàng trăm khiếu nại kiểu này.