← 所有文章

FIELD NOTES / 資料記錄與報表

等間隔重採樣如何標示原始點與填補點

資料記錄與報表作者:站長預估 5 分鐘閱讀

保留格點來源、插值支點與缺口限制,讓重採樣結果可用且不冒充實測。

本文目錄

整齊時間格不代表每格都量過

把不規則資料整理成每秒一點,可以讓圖表與比較更方便,但新時間格上的數值可能是原始量測、區間統計、保持前值或插值估計。先為每一種來源加上標記,避免曲線變整齊後,使用者誤以為現場真的每秒量到這些值。

重採樣包含不同操作:把高頻點彙成低頻平均,或在原本沒有資料的時刻建立估計值。前者丟掉部分時間細節,後者增加模型推定;兩者都不會憑空增加量測證據。先寫清楚結果的用途,再選方法。

準備原始時間、值、品質、點位識別與單位,先處理時區、重複事件及排序。原始資料保留不改,另產生重採樣結果,並記錄格點起點、間隔、區間端點規則及方法版本。

本文適用於離線趨勢與報表整理,不把插值用作安全判定或取代原始控制回饋。資料若是產品件數、狀態轉換或脈衝事件,不能因繪圖方便就套用連續量的線性插值。

先用三個時間點算一次

假設原始有效測量為零秒10、二秒14、四秒18,建立零至四秒每秒一格。零、二、四秒仍是原始點;若採線性插值,一秒為12、三秒為16,這兩點明確標為估計,不能把原始品質直接複製成實測良好。

一秒的算式是10加上(14減10)乘(一減零)除以(二減零),得到12。公式使用實際時間距離;原始間隔不相等時,不能只按資料列位置平均,否則時間權重會錯。

若改採保持前值,一秒是10、三秒是14。這代表假設值在下一筆前保持不變,與線性插值假設不同。兩種方法都可能適合某些用途,但不能只因其中一條線更漂亮就選它。

結果每列可有值來源、左右參考事件、方法、估計跨度及品質說明。原始點連回自己的事件,線性估計點連回兩端,保持前值點連回前一個有效點與資料年齡。如此才能追查一個新值是怎麼來的。

完成例子應得到五個格點,其中三個實測、兩個填補。若報表寫有效量測五筆,就已混淆資料來源;格點數與原始有效樣本數分別呈現。

限制缺口避免無限延伸

先設定允許估計的最大時間跨度與品質條件。教學假設兩個有效端點距離不得超過五秒;若下一點在六十秒後,不沿直線補完整分鐘。這個五秒不是通用要求,應由製程變化速度及分析目的決定。

序列開始以前或最後一點以後沒有雙側支撐,屬外推而非區間插值。若允許短時間保持前值,另設最大年齡並標示;超過後維持缺值。不要讓系統用昨天最後溫度補出今天整天的平穩趨勢。

兩端之一品質無效、期間有明確停機或配置切換時,也不應自動跨越填補。即使數學能算直線,物理狀態可能不連續。把禁止跨越的事件邊界列入規則,例如換料、量程改變或資料來源重啟。

pandas提供插值、前後填補與限制選項,但參數限制的是什麼需要查版本文件。有些限制按連續缺值個數,未必直接等於實際缺口秒數;原始資料不等間隔時,仍需按時間跨度額外判斷。

某些重採樣再插值流程可能先把不在新格點上的原始點移除,讓它們不再作為插值支點。官方文件對此提出注意;實作時核對保留的支點,必要時先保留原時間與目標格點的聯集,再按明確方法估計與取樣。

低頻彙總與原始點分開標示

若把每秒十點降成每秒一個平均,輸出時間可能代表區間起點或終點,需寫明。平均值不是該時刻的瞬時量測,也不是其中某個原始點;標為區間平均並保存來源筆數、品質與時間範圍。

降頻若用於訊號分析,還要考慮混疊與適當濾波,不能只隔十筆取一筆就保證保留原頻率特性。若目的只是報表每分鐘最大值,也要明確表示它是觀察到的樣本最大,而非連續製程的絕對最大。

統計時可分別給原始有效資料結果與包含估計的結果。不要把填補點當額外獨立量測來縮小不確定度,因為它們由既有資料推導,並沒有帶來新的獨立觀察。

畫面可用實心標記表示原始、虛線表示填補、空白區表示不允許估計,並提供文字圖例。匯出檔同時輸出來源類別,不能只有網頁上分顏色,下載後就把所有點混成同一種量測。

完成驗收時比較原始點保真、格點數、填補數與未填補數,再測不等間隔、長缺口、壞品質及邊界外推。從結果任選一個估計點,應能回算到其支點與公式。

格點起點也要列入設定。同樣每秒一格,從整秒開始與從半秒開始,會得到不同的對齊結果;比較兩次處理前先核對起點。匯出時把來源標記與值放在同一列,不要只用畫面顏色區分,否則複製到試算表後就失去判讀依據。驗收另做全區間皆無有效點的案例,結果應保持缺值並交代原因,不能因填補功能開啟就生成一條零值直線。

練習與常見問題

練習:零秒為20,三秒為26,兩端有效且允許三秒跨度。線性插值一秒為22、二秒為24;它們是估計兩點,原始量測仍只有兩點。若最大允許跨度改成兩秒,中間兩格應維持缺值或按明確禁估狀態呈現。

失敗時先查時間排序、支點是否被移除、缺口限制及品質條件,再查圖表是否把估計誤標成實測。數值看起來合理不能代替來源可追溯。

問:每秒一格就代表取樣率一赫茲嗎?答:只代表輸出格點,原始取樣與估計要另外說明。

問:布林運轉狀態能線性補成零點五嗎?答:通常不應,狀態資料需依轉換語意處理。

問:填補後缺值變少就是品質提高嗎?答:只是估計增加,量測證據沒有因此增加。

問:估計點可和原始點一起計樣本數嗎?答:若用途需要可另報總格點,但原始有效數必須分開。

參考:pandas Working with missing data:缺值、插值及填補方法。

參考:pandas 2.2 Resampler.interpolate:重採樣支點與插值限制的注意事項。

延伸閱讀