當「顯著」變不顯著：預先登錄如何揭穿 cherry-pick

回測績效亮眼，買進去卻立刻虧損，這是散戶最常遭遇的陷阱之一。背後藏著一件事：那份「漂亮的回測」，是選出來的，不是隨機跑出來的。

學術研究裡有個同等嚴重的版本，叫做資料探勘偏誤（data snooping）。研究者先看數據，再決定要測哪些樣本，這樣跑出來的顯著結果其實沒什麼意義，因為你已經知道答案，才挑了那幾個數字進來。

我們在台股個股研究裡，拿到了一個教科書級的案例。

那個「三顆星顯著」是怎麼來的

在早期的一組研究中，我們測試台積電等大型股在季報公告後的異常波動行為。為了看不同產業之間有沒有差異，我們試著把個股按產業分組比較。

問題出在 IC 設計產業的樣本挑選：只選了聯發科和瑞昱兩家。

這兩家在更早的分析裡就已經被發現是「季報後波動下降」的代表。沒有納入的是同樣 IC 設計業的聯詠科技（同一套方法跑出來的係數是正的，方向相反）和群聯電子。

換句話說：在 6 家 IC 設計股裡，先挑了 2 家「已知答案符合假說的」進來，漏掉另外 4 家，其中至少有 1 家答案相反。

這樣跑出來的結果自然漂亮：統計係數 -2.29×10⁻³，達到研究上最高等級的顯著水準（三顆星）。看起來非常漂亮。

預先登錄怎麼解決這個問題

在後續的確認性實驗中，我們用了一個辦法： 在任何數字開始計算之前，先把樣本清單鎖死，提交到 git 版本庫 。

實際做法是：先用固定的隨機種子從 8 個產業各自抽樣，把最後的 32 家公司清單寫成一份文件，並且 commit 到版本庫。這個 commit 的時間戳記早於任何估計運算的時間，鐵證如山，你無法在看到結果之後回去「預先登錄」。

抽完的完整樣本如下：

這次，聯詠科技和群聯電子都進來了。

數字怎麼變了

加入完整樣本之後，結果如下：

cherry-pick 前後對照表

最關鍵的是最後一行：當我們把 8 個產業同時放進模型、問「這些產業之間有沒有系統性差異」，聯合檢定完全失敗。統計上無法拒絕「各產業其實沒差」這個假說。

IC 設計業的效果也在多重比較校正後消失。當你同時測 7 個產業，每個都有 5% 的機率純靠運氣跑出顯著，光用原始數字不夠。校正之後，IC 設計業的「顯著」徹底消失。

左圖是只用 14 家、IC 設計只選 2 家時的結果；右圖是預先登錄 31 家後的估計分布，可以看到 IC 設計的 95% 信賴區間直接跨過 0 軸，不再顯著負向。

不同產業的真實分布長什麼樣

下圖是 31 家個股按產業分組後，用抽樣重複法（resampling）算出的 95% 信賴區間：

從圖裡可以讀到幾件事：

EMS 電子代工和消費品的平均值偏正，信賴區間不跨零，顯示這兩個族群在季報後波動上升比較一致。但每個產業樣本數只有 3-5 家，這仍算描述性觀察，不算確認性結論。

IC 設計族群的信賴區間跨越正負兩側，明顯混亂。裡面既有「季報後波動下降」的個股，也有「季報後波動上升」的個股。用產業標籤去描述它沒什麼意義，因為同一產業內部差異比產業之間的差異還大。

兩個教訓，不同對象

 對做研究的人 ：預先登錄是很便宜的保險。在看到任何結果之前，把樣本清單、假說、分析方法全寫進一份文件並打上時間戳記。執行成本只有幾分鐘，但它讓你事後無法輕易換樣本、換方法來「找」顯著結果。我們用 git commit 做時間戳記，任何人都可以查。

 對投資人 ：下次看到有人展示「這個策略在 A 股、B 股都有效，年化績效達 XXX%」，先問一個問題：樣本是事前決定還是事後挑的？如果策略是先看哪些股票漲、再宣稱「這些特徵能預測漲」，那個回測沒有參考價值。挑出 N=14 家已知有效的樣本，跑出顯著結果，是很容易的事。

我們的後續修正

基於確認性實驗的結論，我們在 Paper 2 的分析框架裡放棄了「以產業分桶」的方向。產業分類無法通過嚴格的聯合檢定，用它作為分類依據會引入不必要的主觀性。

替代方案是直接用個股的波動敏感度估計值分級：正向且統計顯著的個股用一種規格，負向且統計顯著的個股用另一種。這樣的分類完全基於實證數字，不依賴產業標籤。

預先登錄揭穿了一個漂亮的結果，但這才是研究應該有的樣子。

數據來源：yfinance 日頻台股資料（2010–2025），樣本 31 家上市個股。樣本清單預先登錄於 git commit（早於任何估計運算），詳見平台實驗紀錄。