Tài liệu không được gửi đi
Mark cần AI tóm tắt hồ sơ nội bộ, mà công ty cấm gửi tài liệu lên dịch vụ bên ngoài.
OFFLINE
Model chạy ngay trên máy
Bit gợi ý: chạy một model mở ngay trên máy của bạn. Mọi thứ xử lý tại chỗ, tắt mạng vẫn dùng được, dữ liệu không rời khỏi máy.
CÔNG CỤ
Cài như một ứng dụng
Giờ có những ứng dụng như Ollama hay LM Studio, cài như phần mềm thường, chọn model, tải về rồi chat.
MÁY CẦN GÌ
Máy cần gì
Một laptop có mười sáu GB RAM chạy tốt model khoảng tám tỷ tham số đã nén bốn bit. Máy có GPU tốt thì chạy nhanh hơn.
GIỚI HẠN
Đổi lại
Đổi lại, model nhỏ trên máy kém hơn các model lớn nhất trên mây, và chạy chậm hơn. Hợp với việc đơn giản như tóm tắt, dịch, viết nháp.
Đây là bài viết từ video Chạy AI offline ngay trên máy bạn của kênh Mark học AI. Xem video để thấy phần minh họa bằng hình động.