---
slideOptions:
transition: slide
---

# Bias

---

## 引子故事

- 19世紀美國醫師與自然學者Samuel George Morton： 公開完整的白人與印笰安人頭骨調查資料
- 20世紀美國古生物學者Stephen Jay Gould (1978,1981)： 指出Morton收集的資料有種族偏誤

----

- 科學研究過程的任何時刻都可能發生產生偏頗論點
- 檢索閱覽文獻
- 設定研究問題
- 收集資料
- 寫作論文
- 評審論文

---

## 科學論文出版系統過度期待正面結果

----

- Fanelli (2010) 91.5%心理科學論文報告正面結果


----

- 發表科學論文的初衷是基於無私利性(disinterestedness):根據研究方法的嚴謹性，而非研究結果符合特定偏好(如Stuart批判的統計陽性結果)
- 惡果：出版偏誤現象(publication bias)/抽屜問題(file-drawer problem)
- 科學：無效或無意義的研究成果充斥文獻
- 實用：政府或組織根據被誇大的研究結果擬定、執行政策
- 道德：因無效政策導致的損失無法究責

----

- 學術論文追求低p值的執迷心態
- 單一的alpha認定標準
- 學術教育造成多數學者對p值的錯誤認知

---

## 出版偏誤現象與影響

- 效果量與樣本數的設定如何影響正面結果的判斷
- [疫苗的副作用發生率](https://health.udn.com/health/story/121833/5269745)

----

- 整合分析(Meta analysis)的功用 ~ Funnel plots確認研究結果的完備程度

source: [Hoffman(2019)](https://www.sciencedirect.com/book/9780128170847/basic-biostatistics-for-medical-and-biomedical-practitioners) Fig 36.3

----

- 心理學的出版偏誤實例 ~ Romantic Priming的整合分析[(Shanks, et al., 2015)](https://discovery.ucl.ac.uk/id/eprint/1472788/3/Shanks_Priming%20Mating%20Motives%20ms_FINAL_COMPLETE.pdf)


----

- 出版偏誤誇大抗癌藥物療效(Kyzas et al., 2007),心血管疾病藥物療效(Tzoulaki et al., 2013), 憂鬱症藥物療效 (Turner et al., 2008; Cipriani et al, 2018)
- 許多需要整合統計資訊的醫學領域，長期低估出版偏誤的影響，如流行病學(Onishi & Furukawa, 2014)、癌症檢驗(Herrmann, et al. 2017)。

----

- 社會科學有顯著:不顯著研究比例[(Franco et al., 2014)](https://doi.org/10.1126/science.1255484)
- 實際成果~ 41% 有顯著 37% 混合 22% 不顯著
- 發表成果~ 53% 有顯著 37% 混合 9% 不顯著
(Insert Franco et al., 2014, Table S6)

---

## 為追求可出版的結果而操弄資料的案例

- [Brian Wansink案](https://scchen.com/zh-hant/post/text_2017006/)

----

- 認識p hacking
- 不斷執行實驗，直到一個實驗結果出現低p值
- HARKing ~ 不預做假設，從資料組合出有低p值的變項組合，再設法包裝成事前預測

----

- 了解p hacking的問題：計算真陽率與偽陽率
- 設定一次獨立實驗偽陽率是0.05
- 一次獨立實驗的真陽率是(1 - 0.05)
- n次獨立實驗的真陽率是$(1 - 0.05)^n$
- n次獨立實驗的偽陽率是$1 - (1 - 0.05)^n$
- 5次獨立實驗的偽陽率是$1 - (1 - 0.05)^5 = 0.226$

----

#### Brain Wansink的p hacking行為

- 自爆的四篇論文：讓研究生自由發揮HARKing的成果，且高達150處數值不一致
- 爭議的Elmo論文：與同事的電子郵件裡，討論手動降p值的可行方案

----

#### power posing的p hacking行為

<small>留意你正在學習或即將學習的研究方法，鼓勵這類行為的狀況。</small>

---

### 正向結果偏誤的盛行率


<small>[John et la.(2012)](https://journals.sagepub.com/doi/abs/10.1177/0956797611430953) 2000名心理學者的QRP自陳調查</small>

----


<small>[Wang et al.(2017)](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5695368/) 18000名生物醫學學者的QRP自陳調查</small>

----


<small>[Necker (2014)](https://www.sciencedirect.com/science/article/abs/pii/S0048733314000900) 420名經濟學者的QRP自陳調查 </small>

----

#### 正向結果偏誤的盛行原因

- 確證偏誤(Confirmation Bias)：研究者自認設定好的假設，必然存在支持的證據。
- [Gelman & Loken(2014)](www.americanscientist.org/issues/feature/2014/6/the-statistical-crisis-in-science): 分析過程的歧路花園
- [Simmons et al. (2011)](https://hackmd.io/@CSC/r1FxvMSUu#/9) 不可能的因果推論
- 出版偏誤與p hacking的共同原因：對完美結果的過度追求，對美好故事的渴望。

----

#### 科學家追求正向結果的動機

- 取得研究經費與提高名聲相對容易
- 個人價值觀及立場體現於學術企圖
- 英國公衛研究的[Glasgow Effect](https://en.wikipedia.org/wiki/Glasgow_effect)，研究者左派立場滲入結論
- 美國心理學界的進步派人數遠多於保守派(10:1)，出版的文獻主題大量反映進步派價值

----

#### 放任正向結果偏誤的苦果

- 過度適應問題(overfitting): 模型能完美解釋當下的結果，無法真正預測未來的發現。
- 有害無私利性(disinterestedness)與普遍主義(universalism)等規範

---

###### tags:`2021 Book` `Journal club`