Mark ở vũ trụ khác Bài báo đổi cách ta học #9 · Trí nhớ · AI trong giáo dục

AI đoán lúc bạn sắp quên

Settles & Meeder · "A Trainable Spaced Repetition Model for Language Learning" · ACL 2016, Berlin

Bài báoBurr Settles và Brendan Meeder, hội nghị ACL 2016, tr. 1848–1858
Câu hỏimáy có đoán được lúc một người sắp quên một từ không?
Dữ liệu12,9 triệu dấu vết học trong 2 tuần của một app học ngoại ngữ
NhãnVững ở mức vừa: đoán tốt, chưa chứng minh giúp học giỏi hơn

Nguồn: Settles và Meeder (2016), Proceedings of the 54th Annual Meeting of the ACL, tr. 1848–1858, §4.1 (dữ liệu). Nhãn là đánh giá của Mark.

Đọc lại trong 1 phút

Tinh hoa

Ý tưởng 130 năm tuổiTrí nhớ phai theo đường cong quên của Ebbinghaus (1885). Ôn đúng lúc sắp quên thì nhớ lâu hơn.
"Nửa đời" của một từMỗi từ trong đầu bạn có một nửa đời: sau chừng ấy thời gian, khả năng nhớ còn 50%.
Học từ 12,9 triệu dấu vếtMô hình tự học cách đoán từ dữ liệu thật, sai số ít hơn 45% so với hệ hộp thẻ cũ.
Đo người quay lạiThí nghiệm với hàng triệu học viên đo việc họ quay lại hôm sau, không đo điểm thi.
Đoán tốt chưa chắc học giỏiBài báo chứng minh máy đoán tốt hơn. Nó không chứng minh bạn học ngoại ngữ giỏi hơn.

Nguồn: Settles và Meeder (2016), §1 (Ebbinghaus), §3.3 (nửa đời), §4.1 và Bảng 2 (12,9 triệu dấu vết, sai số), §4.3–4.4 (thí nghiệm người dùng). Thẻ cuối là nhận định của Mark từ chính bài báo.

Phần 1

Câu hỏi của bài báo

Nếu biết chính xác lúc bạn sắp quên một từ, máy có thể nhắc bạn ôn đúng lúc đó. Bài báo năm 2016 này cho máy học cách đoán, từ dữ liệu của hàng triệu người học thật.

1885Đường cong quênEbbinghaus: nhớ phai dần theo thời gian, ôn rải ra thì đỡ tốn công.
→
1960–1980Lịch ôn chọn tayPimsleur, hộp thẻ Leitner: khoảng cách ôn do người đặt sẵn.
→
2016Lịch ôn tự họcSettles và Meeder: để dữ liệu quyết định nửa đời của từng từ, cho từng người.

Nguồn: Settles và Meeder (2016), §1 (Ebbinghaus 1885, các thuật toán thập niên 1960–80), §3.1–3.3.

Phần 2

Câu chuyện phát hiện

Ai làm, ở đâu, vì sao, và người ta biết gì trước đó.

1885 · Ebbinghaus tự làm vật thí nghiệmTheo cách bài báo kể lại: sau một ngày học dồn, ông đọc thuộc được chuỗi 12 âm vô nghĩa; rải ra 3 ngày thì chỉ cần một nửa số lần luyện để đạt mức tương đương. Xem kỹ ở Bài báo #1: Đường cong quên.
1967 và 1972 · Lịch ôn đầu tiênPimsleur đặt lịch nghe lại cố định: 5 giây, 25 giây, 2 phút, 10 phút, 1 giờ... đến 2 năm. Leitner dùng hộp thẻ: nhớ đúng thì thẻ lên hộp ôn thưa hơn, sai thì xuống hộp ôn dày hơn.
2012 · Một app học ngoại ngữ ra đờiĐến lúc viết bài, hơn 150 triệu người đã đăng ký một khóa học trên app này. Lúc đầu nó dùng một biến thể hộp thẻ Leitner để báo từ nào cần ôn.
Học viên phàn nànThanh "độ mạnh" dựa trên Leitner không phản ánh đúng điều họ đã học. Đây là lý do nhóm làm nghiên cứu.
Hai tuần dữ liệuBurr Settles (Duolingo) và Brendan Meeder thu 12,9 triệu dấu vết "một người, một từ, một buổi học", rồi so nhiều cách đoán.
8/2016 · BerlinBài báo trình bày ở hội nghị ACL, hội nghị lớn của ngành ngôn ngữ học tính toán. Nhóm công bố luôn dữ liệu và mã.

Nguồn: Settles và Meeder (2016): §1 (Ebbinghaus), §2 (150 triệu học viên), §3.1–3.2 và Phụ lục A.2 (Pimsleur 1967, Leitner 1972, lịch ôn), §3.2 (phàn nàn của học viên), §4.1 (2 tuần, 12,9 triệu); trang đầu (ACL, Berlin, 7–12/8/2016); kho github.com/duolingo/halflife-regression.

Hệ hộp thẻ Leitner: năm hộp ôn sau 1, 2, 4, 8, 16 ngày. Nhớ đúng thì thẻ lên hộp bên phải, ôn thưa hơn. Nhớ sai thì thẻ lùi về hộp ôn dày hơn. hộp thẻ Leitner: khoảng cách ôn chọn sẵn 1 ngày 2 ngày 4 ngày 8 ngày 16 ngày nhớ đúng → lên hộp sau nhớ sai → lùi về hộp ôn dày hơn mọi từ, mọi người dùng chung một quy tắc, dù "pantalon" dễ còn "manteau" khó
Trước bài báo: quy tắc chọn tay. Hộp thẻ đã thích nghi với từng thẻ, nhưng khoảng cách vẫn do người đặt sẵn: gấp đôi khi đúng, giảm khi sai. Ví dụ từ dễ và từ khó là ví dụ của chính bài báo.Nguồn: Settles và Meeder (2016), §3.2, Hình 3 và Phụ lục A.2.
Phần 3

Bài báo nói gì, trong 3 câu

1. Mỗi từ có một "nửa đời"Khả năng nhớ một từ giảm theo công thức của Ebbinghaus; sau đúng một nửa đời, còn 50%.
2. Dữ liệu tự quyết nửa đờiThay vì quy tắc chọn tay, mô hình học từ số lần bạn đã thấy, đã đúng, đã sai, và độ khó của từ.
3. Đoán tốt hơn, người dùng quay lại nhiều hơnSai số giảm hơn 45% so với hộp thẻ; bản cuối được dùng cho mọi học viên.

Nguồn: Settles và Meeder (2016), tóm tắt, §3.3–3.4, Bảng 2, §4.4.

Công thức nửa đời

half-life regression · p = 2^(−Δ/h)§3.3, công thức (1) và (2)
Đường cong quên p bằng 2 mũ trừ delta chia h. Với nửa đời h bằng 1 ngày, sau 1 ngày khả năng nhớ còn 50 phần trăm, sau 2 ngày 25 phần trăm. Với nửa đời 4 ngày, đường cong thoải hơn nhiều: sau 4 ngày mới còn 50 phần trăm. 100%50%0 01248 ngày h = 1 ngày: còn 50% sau 1 ngày h = 4 ngày: còn 50% sau 4 ngày p = 2^(−Δ/h): Δ là thời gian từ lần ôn trước
Mỗi lần ôn đúng làm nửa đời dài ra. Mô hình ước lượng nửa đời bằng 2 mũ một tổng có trọng số (số lần đã thấy, số lần đúng, số lần sai, từ nào). Trọng số không chọn tay mà học từ 12,9 triệu dấu vết. Đường cong vẽ theo công thức, không phải dữ liệu.Nguồn: Settles và Meeder (2016), §3.3, công thức (1) p = 2^(−Δ/h) và (2) ĥ = 2^(Θ·x); §3.4 (đặc trưng). Hình minh họa do Mark vẽ theo công thức.

Kết quả 1: đoán mức nhớ

mean absolute error · lower is betterBảng 2
Sai số tuyệt đối trung bình, thấp là tốt. Nửa đời học từ dữ liệu 0,128. Đoán hằng số bằng trung bình 0,175. Hồi quy logistic 0,211. Hộp thẻ Leitner 0,235. Pimsleur 0,445. nửa đời (HLR)0,128 đoán hằng số 0,8590,175 hồi quy logistic0,211 hộp thẻ Leitner0,235 Pimsleur0,445 sai số tuyệt đối trung bình giữa tỉ lệ nhớ đoán và tỉ lệ nhớ thật, thấp là tốt
Ít hơn 45% so với hộp thẻ. Nhưng có một chi tiết ít ai kể: khi xếp hạng "từ nào dễ quên hơn" (chỉ số AUC, 0,5 là đoán mò), mô hình mới đạt 0,538, còn hộp thẻ Leitner đạt 0,542, cao nhất bảng. Bài báo giải thích: dữ liệu rất nhiễu và trung bình 85,9% số từ được nhớ đúng.Nguồn: Settles và Meeder (2016), Bảng 2 và §4.1, chú thích 7.

Kết quả 2: thí nghiệm với người dùng thật

daily retention · A/B test§4.3–4.4, Bảng 4
Thí nghiệmQuy môQuay lại hôm sau: mọi hoạt độngBài mớiLuyện tập
I. Nửa đời so với hộp thẻ Leitner6 tuần, gần 1 triệu học viên+0,3%+0,3%−7,3%
II. Nửa đời bản gọn so với bản đầy đủ2 tuần, 3,3 triệu học viên+12,0%+1,7%+9,5%

Nguồn: Settles và Meeder (2016), Bảng 4, §4.3 (6 tuần, "chỉ dưới 1 triệu học viên"), §4.4 (2 tuần, 3,3 triệu). Các ô −7,3%, +12,0%, +1,7%, +9,5% có ý nghĩa thống kê (p < 0,001).

Đọc kỹ bảng này: con số 12% so với cái gì?

Tóm tắt bài báo viết mô hình "cải thiện mức tương tác hằng ngày 12%". Con số đó đến từ thí nghiệm II: bản gọn (bỏ đặc trưng riêng cho từng từ) so với bản đầy đủ. Không phải so với hộp thẻ cũ.

So với hộp thẻ (thí nghiệm I), số người quay lại luyện tập còn giảm 7,3%. Tác giả coi đó là tin tốt: trước đây nhiều người luyện chỉ để "giữ cây vàng", nay thanh độ mạnh sát hơn nên họ học bài mới thay vì luyện vô ích.

Và "quay lại hôm sau" là thước đo gắn bó, không phải điểm thi ngoại ngữ.

Phần 4

Bài báo này được đánh giá thế nào

Mỗi dòng có nguồn và ngày tra.

MụcKết quả
Nơi đăng, nămHội nghị ACL lần thứ 54, Berlin, 8/2016, tr. 1848–1858, có bình duyệt. DOI 10.18653/v1/P16-1174.
Số lần trích dẫnGoogle Scholar: chưa tra được (bị chặn). Trang tổng hợp liner.com ghi 176 lần (thấy khi tra 15/10/2026, không rõ ngày cập nhật).
Đã được lặp lại chưaDữ liệu và mã công khai. Một dự án cá nhân trên GitHub chạy lại và ra sai số ít hơn khoảng 46% so với Leitner, cũng thấy Leitner xếp hạng nhỉnh hơn. Chưa thấy bản lặp lại có bình duyệt cho thí nghiệm người dùng.
Được dùng làm mốcTabibian và cộng sự (PNAS 2019) dùng dữ liệu này; Ye và cộng sự (KDD 2022) so với các mô hình kiểu này trên 220 triệu nhật ký của một app khác.
Phản biện chính(1) Xếp hạng gần đoán mò, thua hộp thẻ; (2) đo quay lại hôm sau, không đo học; (3) 12% là so với chính mô hình đầy đủ; (4) tác giả là người của công ty, thử trên sản phẩm của mình.
Giải thưởngKhông tìm thấy nguồn, không ghi.
Kết luậnVỮNG ở mức vừa: vững cho điều bài báo đo (dự đoán), thận trọng cho câu "giúp học giỏi hơn".

Nguồn: trang đầu bài báo; liner.com (tra 15/10/2026); github.com/HyunsikParker/half-life (dự án cá nhân, không bình duyệt); Tabibian và cộng sự, PNAS 116(10):3988–3993 (2019); Ye, Su, Cao, KDD 2022, tr. 4381–4390. Phản biện (1)–(3) lấy từ Bảng 2, Bảng 4 của chính bài báo; (4) là nhận xét của Mark.

Phần 5

Kiểm chứng: chuyện thật và lời đồn

14 điều hay được nói về bài báo và về "app biết lúc bạn quên". Bấm từng dòng để xem lý do.

VỮNGBài đăng ở hội nghị ACL 2016, tr. 1848–1858

Trang đầu bài báo và README kho mã chính thức.

VỮNGMô hình dựa trên đường cong quên của Ebbinghaus

§3.3: "Central to the theory of memory is the Ebbinghaus model", công thức p = 2^(−Δ/h).

VỮNGDữ liệu là 12,9 triệu dấu vết học trong 2 tuần

§4.1. Mỗi dấu vết là một người, một từ, một buổi học.

VỮNGSai số dự đoán ít hơn hộp thẻ Leitner hơn 45%

Bảng 2: 0,128 so với 0,235. Một dự án chạy lại trên dữ liệu công khai ra khoảng 46% (GitHub, dự án cá nhân, nguồn thứ cấp).

VỮNGSo với hộp thẻ, người quay lại luyện tập giảm 7,3%

Bảng 4, thí nghiệm I. Tác giả cho là học viên bớt luyện "cho cây vàng".

VỮNGBỏ bớt đặc trưng riêng từng từ lại tốt hơn

§4.4: đặc trưng từng từ bị quá khớp, có từ tụt rất nhanh dù luyện nhiều; bản gọn thắng cả 3 chỉ số.

VỮNGHọc giãn cách nhớ lâu hơn học dồn

Phân tích gộp Cepeda và cộng sự (2006), Psychological Bulletin: 317 thí nghiệm trong 184 bài. Chính bài báo dẫn nghiên cứu này.

VỮNGDữ liệu và mã được công khai

github.com/duolingo/halflife-regression; tệp dữ liệu 361 MB trên Harvard Dataverse.

THẬN TRỌNG"Máy đoán chính xác khoảnh khắc bạn quên một từ"

Đoán tốt tỉ lệ nhớ trung bình. Còn xếp hạng từ nào dễ quên hơn thì AUC chỉ 0,538 (0,5 là đoán mò), thua hộp thẻ 0,542 (Bảng 2).

THẬN TRỌNG"Thuật toán mới làm người học chăm hơn 12% so với cách cũ"

12% là thí nghiệm II, so bản gọn với bản đầy đủ. So với hộp thẻ cũ, mọi hoạt động chỉ +0,3% (Bảng 4).

THẬN TRỌNG"34 giờ trên app bằng một học kỳ tiếng Tây Ban Nha ở đại học"

Chính bài báo dẫn lại (§2). Nghiên cứu gốc của Vesselinov và Grego (2012) do công ty đặt hàng, không bình duyệt; chỉ 90 trong 156 người theo đến cuối (TechCrunch 2013 và các bài phê bình, nguồn thứ cấp).

THẬN TRỌNG"Mô hình mới hơn đã vượt xa"

Ye và cộng sự (KDD 2022) báo cáo hơn 12,6% so với các phương pháp tốt nhất trước đó, trên 220 triệu nhật ký; bản mở rộng 2023 giảm 64% sai số. Nhưng do chính nhóm làm app đó báo cáo, chưa có so sánh độc lập lớn.

SAI"Bài báo chứng minh app giúp bạn học ngoại ngữ giỏi hơn"

Bài đo hai thứ: sai số dự đoán và tỉ lệ quay lại hôm sau. Không có bài thi ngoại ngữ nào trong nghiên cứu.

SAI"App dùng AI kiểu chatbot để đoán lúc bạn quên"

Mô hình là một hồi quy: vài bộ đếm (đã thấy, đúng, sai) cộng đặc trưng từ, khớp bằng phương pháp gradient (§3.3–3.4, Phụ lục A.3). Không có mô hình ngôn ngữ lớn nào.

Nguồn: như ghi trong từng dòng; danh sách đầy đủ ở phần Nguồn.

Phần 6

Nghiên cứu mới nhất nói gì

2006 · Nền móng vẫn vữngCepeda và cộng sự gộp 317 thí nghiệm: học giãn cách thắng học dồn, và muốn nhớ càng lâu thì khoảng cách ôn tốt nhất càng dài.
2019 · PNAS: tối ưu lịch ônTabibian và cộng sự dùng dữ liệu cùng app, báo cáo người học theo lịch của thuật toán nhớ tốt hơn người theo lịch quy tắc.
2020 · Độ khó của từZaidi và cộng sự (Cambridge): độ phức tạp của từ là đặc trưng nhiều thông tin, một mạng nơ-ron học được.
2022–2023 · 220 triệu nhật kýYe và cộng sự (KDD 2022, IEEE TKDE 2023) xây lịch ôn tối thiểu công sức cho một app từ vựng; báo cáo vượt các phương pháp trước 12,6%, sau đó giảm 64% sai số dự đoán.

Nguồn: Cepeda và cộng sự, Psychological Bulletin 132(3):354–380 (2006); Tabibian và cộng sự, PNAS 116(10):3988–3993 (2019); Zaidi và cộng sự, arXiv 2004.11327 (2020); Ye, Su, Cao, KDD 2022, tr. 4381–4390 và IEEE TKDE 2023. Các bài sau 2006 chỉ đọc được tóm tắt.

Tóm lại: việc máy đoán lúc quên ngày càng chính xác. Câu hỏi "người học có giỏi lên thật không, đo bằng bài thi độc lập" vẫn ít được trả lời.

Nhận định của Mark từ các nghiên cứu trên.

Phần 7

Mark chấm bài báo

Điểm là đánh giá của Mark dựa trên các nguồn ở phần Nguồn, không phải số liệu của một nghiên cứu.

Phương pháp
4/5
Dùng được ngoài đời
5/5
Bằng chứng giúp học giỏi hơn
2/5
Minh bạch dữ liệu
5/5
Mạnh
  • Dữ liệu thật, rất lớn, công khai
  • Nối lý thuyết 1885 với máy học
  • Thử trên người dùng thật, kể cả kết quả bất lợi (−7,3%)
Yếu
  • Không đo việc học bằng bài thi
  • Xếp hạng từ gần đoán mò
  • Tóm tắt dễ đọc nhầm con số 12%

Một bài báo trung thực và hữu ích: máy đoán lúc quên tốt hơn. Nhưng "đoán tốt" mới là nửa đường đến "học tốt".

Phần 8

Bài học áp dụng: dùng app ôn ngắt quãng cho đúng

Áp dụng được từ ngày mai, có app hay không có app.

Ôn khi được nhắcApp nhắc là lúc nửa đời sắp hết. Ôn đúng lúc đó, đừng dồn hết vào cuối tuần.
Tự nhớ trước khi lật thẻNói to đáp án trong đầu rồi mới xem. Chọn trắc nghiệm nhanh quá thì app đoán sai về bạn.
Không có app: hộp 1-2-4-8Bốn hộp thẻ giấy. Đúng thì lên hộp ôn thưa hơn, sai thì về hộp 1 ngày. Đây chính là Leitner.
Chuỗi ngày không phải điểm thiGiữ chuỗi giúp bạn quay lại. Còn biết thật hay không thì phải tự kiểm tra ngoài app.

Nguồn: hộp Leitner theo Settles và Meeder (2016), §3.2; "ôn trước khi quên" theo Cepeda và cộng sự (2006). Các thói quen là đề xuất của Mark.

Tự kiểm tra sau 1 tuần: 3 bước

1. Chép ra 20 từ đã học tuần trước, che nghĩa.

2. Không mở app, viết nghĩa và đặt một câu với mỗi từ. Đếm số câu đúng.

3. Ghi con số vào sổ. Tuần sau làm lại với 20 từ mới. Nếu con số không tăng, đổi cách ôn, không chỉ đổi số phút.

Mỗi từ có một nửa đời. Việc của bạn là gặp lại nó trước khi nửa đời hết.Mark tóm ý từ công thức trong bài báo, không phải trích dẫn.

Muốn học cách dùng AI để học (ôn tập, tạo thẻ, tự kiểm tra)? Ghé Mark Học AI (markhocai.com) để đọc hoặc học.

Phần 9

Đọc tiếp

Settles và Meeder (2016), "A Trainable Spaced Repetition Model for Language Learning"Bài gốc, 11 trang, đọc §3.3 và Bảng 4 là đủ ý.
Cepeda và cộng sự (2006), "Distributed practice in verbal recall tasks"Phân tích gộp về học giãn cách, nền móng của mọi app ôn ngắt quãng.
Bài báo đổi cách ta học #1: Đường cong quên (Ebbinghaus, 1885)Người đầu tiên tự đo xem mình quên nhanh thế nào.
Giải mã siêu trí nhớ (Mark Ở Vũ Trụ Khác, sách #4)Các kỹ thuật ghi nhớ, đọc kèm để ôn hiệu quả hơn.
Bài báo đổi cách ta học #10: AI giúp hay hại việc họcKhi học sinh có chatbot trong giờ luyện tập: làm bài tốt hơn, thi lại kém hơn.
Phần 10

Nguồn gốc

Bài báo gốc đọc toàn văn (bản PDF trong kho mã chính thức trên GitHub). Môi trường làm bài chặn Google Scholar, trang hội nghị và phần lớn trang tạp chí; nguồn chỉ đọc được qua kết quả tìm kiếm hoặc báo chí được ghi rõ.

  1. Settles, B. và Meeder, B. (2016). "A Trainable Spaced Repetition Model for Language Learning". Proceedings of the 54th Annual Meeting of the ACL, tr. 1848–1858, Berlin. DOI 10.18653/v1/P16-1174. aclanthology.org · mã và dữ liệu
  2. Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., Rohrer, D. (2006). "Distributed practice in verbal recall tasks: A review and quantitative synthesis". Psychological Bulletin 132(3):354–380. PubMed
  3. Tabibian, B. và cộng sự (2019). "Enhancing human learning via spaced repetition optimization". PNAS 116(10):3988–3993. DOI 10.1073/pnas.1815156116.
  4. Ye, J., Su, J., Cao, Y. (2022). "A Stochastic Shortest Path Algorithm for Optimizing Spaced Repetition Scheduling". KDD 2022, tr. 4381–4390; bản mở rộng IEEE TKDE 2023.
  5. Zaidi, A. và cộng sự (2020). "Adaptive Forgetting Curves for Spaced Repetition Language Learning". arXiv 2004.11327.
  6. Vesselinov, R. và Grego, J. (2012). "Duolingo effectiveness study". Báo cáo kỹ thuật, Queens College, CUNY (không bình duyệt).
  7. Nguồn thứ cấp: liner.com (số trích dẫn, tra 15/10/2026); github.com/HyunsikParker/half-life (chạy lại, dự án cá nhân); TechCrunch 17/1/2013 và các bài phê bình về nghiên cứu 34 giờ.