Mark ở vũ trụ khácENMark học AI
Mark ở vũ trụ khác Giải phẫu thảm họa · Vũ trụ · Phối hợp giữa các nhóm

Tàu Mars Climate Orbiter

57 km lbf·s ≠ N·s

Phóng 11/12/1998 · mất tín hiệu 23/9/1999 · khi vào quỹ đạo Sao Hỏa

Chuyện gìtàu sà quá thấp vào khí quyển Sao Hỏa, mất liên lạc vĩnh viễn
Thiệt hạimột vệ tinh khí tượng Sao Hỏa, không ai bị thương
Nguyên nhân gốcmột tệp phần mềm mặt đất dùng pound thay vì newton
Nguồn chínhBáo cáo Hội đồng điều tra sự cố MCO, 11/1999
Đọc lại trong 1 phút

Tinh hoa

Một hệ số 4,451 pound lực bằng 4,45 newton. Tệp số liệu ghi pound, bên nhận đọc như newton.
Lỗi ở mặt đấtPhần mềm trên tàu đúng hệ mét. Lỗi nằm ở tệp do máy tính dưới đất tạo ra.
Cộng dồn 9 thángMỗi lần sai một chút. Sau hành trình, tàu lệch xuống thấp hơn dự tính gần 170 km.
Có người thấyĐội dẫn đường thấy số lệch từ mùa xuân, nhưng chỉ báo qua email, không thành sự cố chính thức.
Không phải lỗi một ngườiHội đồng điều tra liệt kê 8 nguyên nhân góp phần, từ đào tạo đến kiểm định.

Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I (10/11/1999), tr. 6–7, 13–17.

Phần 1

Câu hỏi của vụ án

Bản đặc tả ghi rõ phải dùng hệ mét. Đội dẫn đường thấy số liệu lệch suốt nhiều tháng. Vậy vì sao một lỗi đơn vị vẫn đi trót lọt qua chỗ bàn giao giữa hai nhóm, đến tận lúc tàu chạm khí quyển Sao Hỏa?

12/1998 – 4/1999Tệp lỗi ra đờiPhần mềm mặt đất xuất số liệu bằng pound. Bốn tháng đầu, tệp còn chưa dùng được.
→
4/1999 – 9/1999Số lệch, báo miệngCác cách tính quỹ đạo không khớp nhau. Mối lo chỉ đi qua email.
→
23/9/199957 kmTàu nhắm 226 km, thực tế sà xuống khoảng 57 km. Mất tín hiệu.

Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 13–18.

Phần 2

Chuyện gì đã xảy ra

Các mốc dưới đây lấy từ báo cáo giai đoạn I của Hội đồng điều tra (chủ tịch Arthur Stephenson, NASA).

Độ cao điểm gần nhất khi vào quỹ đạo Sao Hỏa. Mục tiêu sau lần chỉnh quỹ đạo thứ 4: 226 km. Ước tính trong tuần cuối: 150 đến 170 km. Khoảng một giờ trước khi đốt động cơ: thấp tới 110 km. Ước tính sau khi mất tàu: 57 km. Ngưỡng tàu còn sống sót được: 80 km. mặt Sao Hỏa · 0 km 50100150200250 km 80 km · ngưỡng sống sót mục tiêu (TCM-4) 226 tuần cuối 150–170 1 giờ trước ~110 sau khi mất tàu ~57
Mỗi lần tính lại, tàu lại thấp hơn. Hội đồng điều tra coi 80 km là độ cao thấp nhất tàu còn sống sót được. Ước tính cuối cùng là 57 km: tàu "hoặc đã bị phá hủy trong khí quyển, hoặc đã quay lại không gian quanh Mặt Trời".Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I (11/1999), tr. 7, 13–14.
11/12/1998 · PhóngTàu nặng 629 kg, nhiệm vụ: làm "vệ tinh thời tiết liên hành tinh đầu tiên" và trạm chuyển tiếp cho tàu đổ bộ Mars Polar Lander.
12/1998 – 4/1999 · Tệp số liệu chưa dùng đượcBốn tháng đầu, tệp ghi các lần đốt động cơ nhỏ bị lỗi định dạng nên đội dẫn đường không dùng. Từ tháng 4/1999 mới dùng được, nhưng đơn vị vẫn sai.
Xuân – hè 1999 · Số liệu lệchỞ cấp làm việc đã có lo ngại về các lời giải quỹ đạo không khớp nhau. Lời giải chỉ dùng Doppler "luôn cho thấy" tàu sẽ vào gần hành tinh hơn. Chuyện này "không được giải quyết".
15/9/1999 · Lần chỉnh quỹ đạo thứ 4 (TCM-4)Nhắm điểm gần nhất 226 km.
23/9/1999, khoảng 1 giờ trước · Ước tính 110 kmLần chỉnh thứ 5 (TCM-5) được bàn miệng, nhưng chưa từng được chuẩn bị, nên không thực hiện.
23/9/1999, 09:00:46 UTC · Đốt động cơ vào quỹ đạo09:04:52 tàu khuất sau Sao Hỏa, sớm 49 giây so với dự tính. Tín hiệu không bao giờ trở lại.
29/9/1999 · Tìm ra hệ số 4,45Sáu ngày sau khi mất tàu, người ta phát hiện số liệu lực nhỏ bị thấp đi 4,45 lần.

Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 6, 13–14, 17–20; khối lượng 629 kg: bộ tài liệu báo chí NASA/JPL về MCO (9/1999), tr. 6.

Kỳ 1

Chuyện gì đã xảy ra

226 km57 km9 tháng49 giây
Kỳ 2

Vì sao

pound và newtonchỗ bàn giaoemail thay quy trìnhlời đồn
Kỳ 3

Bài học làm việc

kiểm tra chỗ bàn giaosố lệch là sự cốphương án B
Phần 3

Vì sao: bốn lớp nguyên nhân

Lớp kỹ thuật: con số đi qua chỗ bàn giao

interface · unitsHội đồng MCO, tr. 14–17
Đường đi của con số. Tàu đốt động cơ nhỏ để xả bớt động lượng bánh đà. Phần mềm mặt đất SM_FORCES tính xung lực mỗi lần đốt, xuất ra bằng pound lực nhân giây. Tệp AMD được bàn giao. Bản đặc tả giao diện yêu cầu newton nhân giây. Đội dẫn đường đọc con số như newton nhân giây, nên mỗi lần đốt bị tính nhỏ đi 4,45 lần. Ước tính quỹ đạo sai dần. 1 · phần mềm mặt đất SM_FORCES tính lực mỗi lần đốt động cơ nhỏ xuất ra: lbf·s 2 · tệp AMD bàn giao đặc tả giao diện (SIS) yêu cầu: N·s không ai đối chiếu 3 · đội dẫn đường đọc con số như N·s đưa vào mô hình quỹ đạo lực nhỏ đi 4,45 lần 1 pound lực (lbf) = 4,45 newton (N) Phần mềm trên tàu tính bằng hệ mét và đúng. Lỗi chỉ nằm trong mô hình dưới mặt đất.
Lỗi nằm đúng ở chỗ hai nhóm trao tay nhau. Hội đồng xác định nguyên nhân gốc là "việc không dùng đơn vị hệ mét khi viết mã cho một tệp phần mềm mặt đất, 'Small Forces', dùng trong các mô hình quỹ đạo". Bản đặc tả giao diện có quy định đơn vị, nhưng "không được tuân theo".Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 6, 14, 16–17.

Lớp vật lý: vì sao lỗi nhỏ lại thành lớn

angular momentum desaturationHội đồng MCO, tr. 6–7, 17, 22
Tàu MCO có tấm pin mặt trời lệch một bên so với thân tàu, khác với tàu Mars Global Surveyor. Vì vậy tàu phải đốt động cơ nhỏ để xả động lượng bánh đà nhiều hơn 10 đến 14 lần so với dự kiến của đội dẫn đường. Mỗi lần đốt bị tính thiếu, sai số cộng dồn qua 9 tháng. thân tàutấm pin chỉ ở một bên đốt động cơ nhỏ để xả bánh đà số lần đốt so với dự kiến dự kiến: 1 phần thực tế: 10–14 lần nhiều hơn mỗi lần thiếu một chút · cộng dồn 9 tháng
Thiết kế mới, dự kiến cũ. So với tàu Mars Global Surveyor, tấm pin của MCO lệch hẳn về một bên. Vì vậy những lần đốt này xảy ra "nhiều hơn 10–14 lần so với dự kiến của đội dẫn đường", và một sai số nhỏ mỗi lần trở thành "những sai số nhỏ đưa vào ước tính quỹ đạo trong suốt hành trình 9 tháng".Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 6–7, 17, 22.

Lớp quy trình: bốn tấm lưới đều thủng

checks and balancesHội đồng MCO, tr. 13, 18–25, 30
Bốn lớp kiểm tra lẽ ra bắt được lỗi. Một: kiểm định phần mềm mặt đất, không rõ có làm độc lập hay không. Hai: đặc tả giao diện, không được tuân theo và không ai đối chiếu. Ba: quy trình báo cáo sự cố bất thường ISA, nhiều người không hiểu để làm gì, đội dùng email thay thế. Bốn: lần chỉnh quỹ đạo dự phòng TCM-5, chưa từng được chuẩn bị. Lỗi đi xuyên qua cả bốn. kiểm địnhphần mềm mặt đất"không rõ" đặc tả giao diệncó quy định N·s"không được tuân theo" phiếu sự cố ISAsố lệch được thấychỉ báo qua email phương án Blần chỉnh TCM-5chưa chuẩn bị Lỗi đơn vị đi xuyên qua cả bốn lớp
Lỗi thì ai cũng có thể mắc. Lưới thì phải có người giữ. Hội đồng viết: đội "dựa vào e-mail để giải quyết vấn đề, thay vì quy trình giải quyết vấn đề chính thức", nên mọi chuyện "lọt qua các kẽ hở". Họ cũng "không thấy cây lỗi hay phân tích trước nào" về những gì có thể hỏng.Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 13 (số lệch báo không chính thức), 16 (đặc tả), 20 (TCM-5), 22–23 (email), 25 (ISA, kiểm định), 30 (cây lỗi).

Lớp tổ chức: hai con tàu, giá một con tàu

faster, better, cheaperMPIAT, 3/2000
Chi phí phát triển theo đô la năm 1999. Mars Pathfinder, một sứ mệnh đổ bộ: 196 triệu USD. Mars 98, gồm cả tàu quỹ đạo MCO và tàu đổ bộ Mars Polar Lander: 188 triệu USD. Nhóm đánh giá độc lập nhận định dự án Mars 98 thiếu ít nhất 30 phần trăm kinh phí. Đội dẫn đường cùng lúc lo 3 sứ mệnh, MCO chỉ có một người dẫn đường. Mars Pathfinder (1 sứ mệnh) 196 Mars '98 (2 tàu) 188 triệu USD phát triển, theo giá năm 1999 "thiếu kinh phí ít nhất 30%" đội dẫn đường lo 3 sứ mệnh cùng lúc · MCO có 1 người dẫn đường
"Nhanh hơn, tốt hơn, rẻ hơn" không sai, nhưng đã bị làm sai. Nhóm đánh giá độc lập của Thomas Young kết luận khẩu hiệu này "hiệu quả nếu áp dụng đúng", còn việc áp dụng sai "đã góp phần vào tỷ lệ thất bại cao không chấp nhận được". Báo cáo thứ hai của Hội đồng MCO viết đội quản lý dự án "có vẻ tập trung hơn vào mục tiêu chi phí và tiến độ".Nguồn: Báo cáo Nhóm đánh giá độc lập chương trình Sao Hỏa (MPIAT, 14/3/2000), slide 8, 12, 24, 25; Hội đồng MCO, giai đoạn I, tr. 24 (3 sứ mệnh, 1 người dẫn đường); Hội đồng MCO, Report on Project Management in NASA (13/3/2000), tr. 18.

Người mới, tàu mới

Đội dẫn đường "không quen với con tàu" và được "đào tạo chưa đầy đủ" (2 trong 8 nguyên nhân góp phần).

Chuyển giao hụt

Kỹ thuật hệ thống "không xử lý đầy đủ" bước chuyển từ phát triển sang vận hành. Câu hỏi lặp lại: "Ai chịu trách nhiệm?"

Không ai sở hữu chỗ nối

Đội dẫn đường lo ngại nhưng "không truyền đạt hiệu quả" cho đội vận hành tàu.

Nguồn: Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 7, 22; Report on Project Management in NASA (3/2000), tr. 18.

Phần 4

Kiểm chứng: chuyện thật và lời đồn

12 điều hay được kể về Mars Climate Orbiter, đối chiếu với hồ sơ gốc. Bấm từng dòng để xem lý do.

VỮNGLỗi pound và newton trong phần mềm mặt đất là nguyên nhân gốc

Kết luận của Hội đồng (giai đoạn I, tr. 6, 16): tệp "Small Forces" không dùng hệ mét, thấp đi 4,45 lần.

VỮNGTàu bay thấp hơn kế hoạch rất nhiều

Nhắm 226 km, ước tính sau cùng khoảng 57 km, dưới ngưỡng sống sót 80 km (tr. 13–14).

VỮNGDự án thiếu người và thiếu tiền

Đội dẫn đường lo 3 sứ mệnh cùng lúc, MCO có 1 người dẫn đường (Hội đồng, tr. 24). Nhóm MPIAT nhận định Mars '98 "thiếu kinh phí ít nhất 30%".

THẬN TRỌNG"Lockheed dùng hệ Anh, NASA dùng hệ mét"

Đúng về đại thể: thông cáo NASA 30/9/1999 nói một nhóm ở Colorado (đối tác Lockheed Martin) và một nhóm ở California (JPL) dùng hai hệ đơn vị. Nhưng NASA không "dùng hệ mét" còn hãng kia "dùng hệ Anh": bản đặc tả chung đã quy định hệ mét, và báo cáo Hội đồng không đổ lỗi cho riêng một công ty.

THẬN TRỌNGTàu "đâm xuống" Sao Hỏa

Không ai biết chắc. Hội đồng viết tàu "hoặc đã bị phá hủy trong khí quyển, hoặc đã quay lại không gian quanh Mặt Trời" (tr. 7).

THẬN TRỌNG"Mất 125 triệu USD"

Con số này do báo chí đưa năm 1999 (Reuters, 1/10/1999), không có trong báo cáo điều tra. Số chính thức của NASA tính chung cả tàu quỹ đạo và tàu đổ bộ: 193,1 triệu USD phát triển và 42,8 triệu USD vận hành (bộ tài liệu báo chí NASA/JPL, 9/1999).

THẬN TRỌNG"Nhanh hơn, tốt hơn, rẻ hơn" là thủ phạm

Nhóm MPIAT nói khẩu hiệu này hiệu quả "nếu áp dụng đúng". Thủ phạm là áp dụng sai: cắt người, cắt tiền, bớt kiểm tra.

THẬN TRỌNGLần chỉnh TCM-5 chắc chắn đã cứu được tàu

Đây là một trong 8 nguyên nhân góp phần, và nó được thiết kế để nâng quỹ đạo lên độ cao an toàn. Nhưng nó chưa từng được chuẩn bị, và Hội đồng không khẳng định nếu làm thì chắc chắn thành công (tr. 19–20).

SAI"Chỉ vì một người quên đổi đơn vị"

Hội đồng liệt kê 8 nguyên nhân góp phần. Ông Edward Weiler (NASA): "Vấn đề không phải là lỗi, mà là sự thất bại của kỹ thuật hệ thống của NASA, và của các cơ chế kiểm tra chéo trong quy trình".

SAIPhần mềm trên tàu dùng sai đơn vị

"Phần mềm AMD cài trên tàu dùng đơn vị hệ mét và đúng." Lỗi "chỉ xảy ra trong phần mềm mặt đất" (tr. 17).

SAIKhông ai nhận ra gì cho đến phút chót

Từ mùa xuân 1999, ở cấp làm việc đã có lo ngại về các lời giải quỹ đạo không khớp. Chúng "chỉ được báo không chính thức" và "không được giải quyết" (tr. 13).

SAITàu Mars Polar Lander cũng mất vì lỗi đơn vị

Tàu đổ bộ mất ngày 3/12/1999 vì nguyên nhân khác: "nguyên nhân có khả năng" là động cơ hãm tắt sớm do tín hiệu chạm đất giả khi bung chân (Ban xét duyệt đặc biệt của JPL, 3/2000).

Nguồn: Hội đồng điều tra sự cố MCO, giai đoạn I (11/1999); thông cáo NASA 99-113 (30/9/1999); MPIAT (3/2000); bộ tài liệu báo chí NASA/JPL (9/1999); Reuters (1/10/1999); JPL D-18709 (22/3/2000).

Phần 5

Đánh giá vụ việc

Điểm là đánh giá của Mark dựa trên các nguồn ở Phần 8, không phải số liệu của một nghiên cứu.

Có thể tránh được
5/5
Cảnh báo có từ trước
4/5
Điều tra minh bạch
5/5
Bài học được giữ lại
3/5
Làm đúng sau thảm họa
  • Công bố nguyên nhân sơ bộ chỉ 7 ngày sau
  • Nói thẳng: lỗi là của hệ thống, không phải của một người
  • Khuyến nghị áp dụng ngay cho tàu Mars Polar Lander
Làm chưa đúng
  • 10 tuần sau, Mars Polar Lander cũng mất (nguyên nhân khác)
  • Câu chuyện "quên đổi đơn vị" lan nhanh hơn bài học quy trình
  • Sửa văn hóa báo cáo sự cố chậm hơn sửa một tệp số liệu

Một lỗi rất bình thường, nhưng phải xuyên qua bốn lớp kiểm tra mới thành thảm họa. Vì vậy nó đáng học hơn hẳn một câu chuyện cười về đơn vị đo.

Xem thêm: hai con tàu, hai thất bại, một gốc

Mars Polar Lander mất ngày 3/12/1999. Ban xét duyệt của JPL cho rằng phần mềm đã hiểu nhầm tín hiệu nhiễu khi bung chân là lúc chạm đất, tắt động cơ ở độ cao khoảng 40 m. Lỗi khác hẳn, nhưng nhóm đánh giá độc lập MPIAT xếp cả hai vụ vào cùng một bức tranh: dự án Mars '98 thiếu tiền, thiếu người, và bớt kiểm tra.

Báo cáo thứ hai của Hội đồng MCO (3/2000) đề ra tầm nhìn "Thành công nhiệm vụ trước tiên" và yêu cầu tạo môi trường để "có thể nêu vấn đề mà không sợ bị trả đũa".

Nguồn: thông cáo NASA 99-113 (30/9/1999); JPL D-18709 (22/3/2000); MPIAT (14/3/2000); Report on Project Management in NASA (13/3/2000), tr. 6, 37.

Phần 6

Bài học làm việc: kiểm tra chỗ bàn giao giữa hai nhóm

Áp dụng cho mọi chỗ một nhóm đưa số liệu, tệp hay API cho nhóm khác: kế toán và kinh doanh, backend và frontend, nhà cung cấp và khách hàng.

Bốn bước kiểm tra chỗ bàn giao: ghi đơn vị trong chính dữ liệu, thử đầu cuối bằng dữ liệu thật, coi số lệch là sự cố và ghi phiếu, chuẩn bị phương án B trước khi cần. 1 · ghi đơn vị vào dữ liệu"luc_Ns", không "luc"máy kiểm tra được 2 · thử đầu cuốimột ca thật, hai bên tínhso kết quả với nhau 3 · số lệch là sự cốghi phiếu, có người nhậnkhông giải quyết bằng email 4 · chuẩn bị phương án Bkhi nào dùng, ai bấmviết trước khi cần Có bản đặc tả chưa đủ. Phải có người kiểm tra nó được tuân theo.
Mỗi bước vá một lớp lưới thủng của MCO. Đơn vị không được kiểm tra, không có thử đầu cuối cho phần mềm mặt đất, số lệch đi qua email, và TCM-5 chưa từng được chuẩn bị.Nguồn: các lớp lưới theo Báo cáo Hội đồng điều tra sự cố MCO, giai đoạn I, tr. 16–25; các bước là đề xuất của Mark.
Mỗi chỗ nối có một người sở hữuKhông phải nhóm A, không phải nhóm B, mà một người chịu trách nhiệm cả hai đầu.
Đừng giải quyết sự cố bằng emailEmail thì trôi. Phiếu thì có trạng thái, người nhận và hạn chót.
Người làm ra cũng đi cùng lúc vận hànhHội đồng khuyến nghị người chủ chốt "ở lại với dự án từ đầu đến khi vận hành".
Hỏi trước "nếu sai thì sao?"Vẽ cây lỗi trước khi phóng. Hội đồng không thấy phân tích nào như vậy cho MCO.

Nguồn: Report on Project Management in NASA (3/2000), tr. 40; Hội đồng MCO, giai đoạn I, tr. 22–23, 30.

Con người đôi khi mắc lỗi. Vấn đề ở đây không phải là lỗi, mà là sự thất bại của kỹ thuật hệ thống của NASA, và của các cơ chế kiểm tra chéo trong quy trình để phát hiện lỗi.Edward Weiler, Phó Tổng giám đốc NASA phụ trách khoa học vũ trụ, thông cáo 99-113 (30/9/1999).
Phần 7

Đọc tiếp

Hội đồng điều tra sự cố MCO, Phase I Report (10/11/1999)Phần 5 về các nguyên nhân góp phần đọc rất cuốn. Đáng đọc hơn mọi bài báo kể lại.
Hội đồng điều tra sự cố MCO, Report on Project Management in NASA (13/3/2000)Bài học quản lý dự án rút từ vụ việc, dùng được cho mọi ngành.
Nhóm MPIAT của Thomas Young (14/3/2000)Nhìn cả chương trình Sao Hỏa: tiền, người, và khẩu hiệu "nhanh hơn, tốt hơn, rẻ hơn".
Giải phẫu thảm họa #03: Va chạm ở Tenerife (1977)Hai chiếc Boeing 747 trên một đường băng phủ sương mù, và những câu nói chưa đủ rõ.
Phần 8

Nguồn gốc

Ưu tiên tài liệu gốc. Số trang lấy theo bản PDF, có thể lệch một trang. Chỗ chỉ có nguồn báo chí đã ghi rõ ở phần Kiểm chứng.

  1. Mars Climate Orbiter Mishap Investigation Board, Phase I Report, 10/11/1999. llis.nasa.gov
  2. Mars Climate Orbiter Mishap Investigation Board, Report on Project Management in NASA, 13/3/2000. discovery.larc.nasa.gov
  3. NASA, thông cáo 99-113, "Mars Climate Orbiter team finds likely cause of loss", 30/9/1999. nssdc.gsfc.nasa.gov
  4. Mars Program Independent Assessment Team (chủ tịch T. Young), báo cáo 14/3/2000. bản sao PDF
  5. NASA/JPL, Mars Climate Orbiter Arrival, bộ tài liệu báo chí, 9/1999. jpl.nasa.gov
  6. JPL Special Review Board, Report on the Loss of the Mars Polar Lander and Deep Space 2 Missions, JPL D-18709, 22/3/2000. bản sao PDF
  7. NASA NSSDCA, mục Mars Climate Orbiter (1998-073A). nssdc.gsfc.nasa.gov
  8. Reuters, "NASA Says Human Error Caused Loss Of Mars Craft", 1/10/1999 (nguồn báo chí cho con số 125 triệu USD). bản lưu