先固定比較條件
維護前後比較不是把兩張儀表板並排。先記錄維護前後版本，再定義相同資料來源、窗口長度、時區、負載、案例集合與指標公式；若來源或聚合方式變了，數字看似可比其實不是同一量。
關鍵指標可包含成功率、p95/p99 延遲、逾時、重試、佇列深度、CPU 與記憶體，但每一項都要有單位和取樣規則。平均延遲下降，不代表尾端延遲沒有惡化。
維護窗前應保存基準 manifest，包含案例版本、輸入雜湊、時間範圍、負載摘要與缺測說明。維護後若案例集合不同，先標記不可直接比較，再補跑共同子集。
不要事後挑選看起來好的區間。比較規則在維護前寫下並由負責人確認，遇到資料缺口就列為限制，不能改時間窗直到結果符合預期。
同一指標若收集器版本不同，先建立轉換或新基準；不應把舊資料硬套新公式。比較表中保留原始值與標準化值，方便日後重新計算。
本文適用通用 PLC、HMI 與整合服務的維護回歸管理，不指定型號或指令能力；現場輸出、互鎖與安全放行依專案程序另驗。
建立維護前基準
案例以固定負載執行三個相同窗口，每窗口 15 分鐘；記錄每筆請求、服務版本、依賴狀態與監控摘要。三個窗口若差異很大，先查原因，不應把最大值或最小值任意當基準。
例如維護前共同子集的 p95 為 180、176、182 ms，取中位數 180 ms作描述，不把它誤稱真實長期平均；p99 另列，因為尾端可能受少數逾時影響。門檻例如 p95 不得增加超過 20%，需事前批准。
同時記錄資料品質：某窗口缺少五分鐘監控時，該指標不能和完整窗口直接比較。若使用聚合資料，保存聚合版本與原始計數，避免後續無法解釋差異。
基準結果要包括正常與故障路徑，例如逾時恢復、重新連線與資料寫入。只跑健康路徑可能漏掉維護後真正的回歸。
窗口長度會影響尾端統計，五分鐘與一小時的 p99 不是同一問題。前後必須固定窗口與聚合方式，若需求不同就分組說明。
前後比較要保留共同案例、版本、負載與資料品質；若監控代理或聚合公式變更，先做量測校準，再談產品是否回歸。
百分位數的算法與逾時樣本處理也要固定。有些報表只對成功請求算延遲，逾時反而不進長尾；若維護後更多請求逾時，成功請求的百分位可能看起來變好。因此同表附成功延遲分布、逾時數與尚未完成數。
維護後分段驗證
維護後先做連線與版本核對，再跑和前次相同的共同案例。把結果分為冒煙、功能、負載與恢復四段，任何一段失敗都要保留原始證據，不因後段成功而刪除。
案例中維護後 p95 為 187 ms、p99 由 410 增至 690 ms；平均可能仍正常，但尾端已變差。若門檻包含 p99，就應標記回歸候選並查逾時、資源尖峰與依賴服務，而非只看 p95。
前後時間未校準時，不能把兩端時間差說成處理延遲。用同一收集器、同一主機時鐘域內的單調計時間隔或明確校時來源；若做不到，在報告中保留『時間可比性不足』。
重跑要沿用同樣輸入與負載。若修復後改了設定或資料，建立新執行組，不能把新組結果塞回原比較表。每組都保留版本與操作人。
回歸不一定表現為平均變差，也可能是失敗集中在某一設備、某一資料型別或夜間排程。切分維度前要先定義，避免事後切到有利結果。
門檻附近的差異應保留完整分布與重測條件，不能只報四捨五入後百分比。若某指標缺資料，結論限定在可比較範圍，其他列未判定。
門檻與判定
事前門檻應寫成可計算規則，例如共同案例成功率不得低於 99.5%、p95 不得比基準增加 20% 以上、恢復時間不得超過 30 秒；缺測或不可比則是待判，不自動算通過。
正常結果是所有指標、分母、窗口和證據一致，且差異在門檻內。失敗結果是某一尾端指標超門檻，即使平均和畫面看起來正常，也應先擋住放行並啟動排查。
排查順序是確認案例和負載相同、確認版本與設定、檢查資源與依賴、再查產品日誌。若發現維護前後監控代理不同，先標記量測變更，不要直接判產品回歸。
限制要附在結論旁：只比較了夜間低負載、未驗證尖峰、或有十分鐘資料缺口。這些限制會決定是否需要追加窗口，而不是由一句『未見問題』帶過。
維護後發現差異時先保留現場狀態，不要立即再次變更以求數字恢復。一次只改一個假說相關因素，才保留診斷能力。
若維護窗口同時改了網路、設定與資料庫，回歸候選的原因未定；先保存狀態並分離假說，避免再次大改造成證據遺失。
事後探索發現某類設備異常仍然有價值，應標成探索發現並另建確認案例，而不是完全禁止切分資料。原本事前門檻的判定保持不變；新的發現則列入後續排查與風險決策，避免混淆正式驗收與新增假說。
練習與常見問題
問：維護後平均變好就代表沒有回歸嗎？答：不代表，還要看尾端、失敗類型、分母與同條件案例。
問：前後案例數不同能直接比成功率嗎？答：先找共同子集並說明缺失；不同分母可能造成誤判。
問：門檻可否看結果後調整？答：應先核准規則；若需求改變，另出新版基準並保留原判定。
問：監控代理更新後數字不同怎麼辦？答：先標記量測系統變更，校準或建立新基準，不能直接歸因維護對象。
放行會議應同時看到基準、比較規則、差異與限制；若只看到紅綠燈，決策者無法知道風險是產品、量測或資料缺口。
練習若沿用基準一百八十毫秒且容許增加兩成，p95上限為二百一十六毫秒，維護後一百九十毫秒符合這項門檻。p99若沒有事前門檻，只能記錄由四百二十升至七百的待查差異，不能事後補一條規則宣稱原驗收已通過或失敗。
參考：NIST SP 800-82 Rev. 3：OT 變更、測試與運營影響。
參考：NIST SP 800-55 Vol. 1：資訊安全效能量測與指標設計。