空白不能代替驗收狀態
驗收表最危險的模糊處,不是明確寫失敗,而是留白後大家以為沒問題。先定義每個狀態:通過代表在指定條件下取得符合準則的證據;未測代表尚未取得必要結果;不適用代表該要求不屬於此配置或核准範圍,且有可查理由。
另保留失敗、受阻與無法判定等適用狀態。設備行為不符合準則是失敗,治具未到無法開始是受阻,量測檔損毀可能是無法判定。分開記才能知道下一步是修產品、補資源,還是重新取得證據。
本文教一般工業設備的驗收紀錄,不替任何特定機型宣告合格。實際接受準則、簽核權責及必要測項以專案約定為準;標準或客戶要求不能因為試驗麻煩就自行改成不適用。
NASA要求驗證矩陣的概念,是讓每項要求有識別並連到驗證方式與結果。本文採用這個追溯原則設計例表,狀態名稱可依公司流程調整,但不能讓未測與通過共用同一個綠色勾號。
一列只對應可判定的要求
若一個要求以分析方式驗證,紀錄應附模型、輸入與適用前提;以檢查方式驗證則附識別與檢查結果。不是每項都一定要跑程式,但選用的方法須能回答該要求,不能拿外觀檢查代替動作時間量測。
每列至少放要求編號、內容、適用配置、測試方法、接受準則、實際結果、證據位置、版本與狀態。例如「畫面正常」無法客觀判斷,改成已知輸入253按倍率零點一顯示25.3,並保留小數位與單位要求。
若同一列包含讀取、寫入、斷線及恢復,只有讀取完成時很難填狀態。把它拆成數列或子案例,各有預期行為與結果。摘要再按規則彙總,避免一個局部成功蓋過其他尚未測試的路徑。
通過列要有實際資料,例如測得更新間隔九百毫秒,要求不超過一秒,並附測試負載與紀錄。單寫「OK」缺少比較基礎;如果測試器解析度不足,也不能僅憑顯示相近就判定符合精細門檻。
不適用列寫理由與依據,例如本配置未安裝且需求未包含第二通道,引用配置清單與需求版本。若通道已納入合約但硬體未到,應是未測或受阻,不是因現場沒有就不適用。
完成這一步,表內每個狀態都能回答「憑什麼」。找不到證據檔或配置版本的通過項先補資料,不要靠測試者簽名推定全部內容都已完成。
把完成率與通過率的分母說清楚
教學案例共有二十項,其中十五項通過、兩項失敗、兩項未測、一項核准不適用。適用項是十九項,已執行並可判定項是十七項。以此定義,執行完成比例為十七除十九,約百分之八十九點五。
適用要求的通過覆蓋比例為十五除十九,約百分之七十八點九;已執行項中的通過比例為十五除十七,約百分之八十八點二。兩個比例回答不同問題,報告不能只寫「通過率八十八」而讓讀者誤以為其他要求也完成。
不適用需有核准依據才從適用分母排除。若為了提高比例把失敗改成不適用,數學雖變漂亮,驗收資訊卻被破壞。保留總項數、各狀態筆數與計算定義,讓摘要可從明細重算。
有條件接受或偏差放行,與技術上符合原要求不同。若流程允許例外,紀錄引用其依據、限制及後續期限,原始失敗結果仍保存。不要把管理決定接受風險寫成測試數值已符合門檻。
驗收可能以關鍵要求全數通過為必要條件,不能拿平均比例抵銷關鍵失敗。是否能移交,依專案放行準則判定,本文的百分比只是進度溝通工具。
重測要保留歷史並綁定版本
電子表格可將狀態做成固定選項,並檢查通過列是否缺證據、不適用列是否缺理由。這些檢查只能找資料完整性問題,不能代替工程師判斷測試內容是否真的足夠。
修正後重測建立新結果,連回原缺陷與原失敗案例。舊紀錄保留,當前摘要可顯示最新有效狀態,但不能刪掉失敗歷史。這樣才看得出修了什麼、何時確認,以及哪些其他項目可能受變更影響。
若驗證版本V1通過,交付卻換成V2,先做影響分析決定哪些證據仍可沿用、哪些需要重測。檔名寫最新版不是版本證明;保存可識別的版本、設定與必要檔案指紋,並對應實際載入配置。
未測項需有原因、所需資源及下一步,例如外部設備未到、尚待停機時窗或缺少量測治具。別把未測清單只放在附錄最後而摘要寫全部完成。交接者應先看到尚未滿足的移交條件。
測試器自身出錯時,先判定該次結果能否使用。若無法證明量測可靠,就標記無法判定並補測,不能挑看起來合理的數據留下。配置、儀器及程序錯誤也要記錄,因為它們可能影響其他已判定項。
練習與常見問題
練習:十二項要求中八項通過、一項失敗、兩項未測、一項核准不適用。適用十一項,已執行九項,執行完成比例約百分之八十一點八,通過覆蓋約百分之七十二點七。已執行通過比例約百分之八十八點九,不能以此宣告全部驗收完成。
完成後應得到一份有證據可追溯、分母明確、未決項可安排的驗收表。失敗時先查狀態定義與要求拆分,再查證據是否對應目前配置;不要先花時間美化勾選欄。
問:沒有測試工具能填不適用嗎?答:應記未測或受阻,要求是否適用由需求與配置決定。
問:模擬通過可填實機通過嗎?答:不能,方法與涵蓋層次必須明寫。
問:客戶接受偏差後可以刪失敗嗎?答:保留原結果,另記核准決定與限制。
問:所有一般項通過但關鍵項未測能放行嗎?答:按事先約定的放行條件判定,不能用總百分比自行取代。
參考:NASA Appendix D Requirements Verification Matrix:要求與驗證資訊的識別及追溯。
參考:NASA 5.3 Product Verification:驗證結果、異常、配置及偏差紀錄。