# Bias --- ## 引子故事 - 19世紀美國醫師與自然學者Samuel George Morton： 公開完整的白人與印笰安人頭骨調查資料 - 20世紀美國古生物學者Stephen Jay Gould (1978,1981)： 指出Morton收集的資料有種族偏誤 ---- - 科學研究過程的任何時刻都可能發生產生偏頗論點 - 檢索閱覽文獻 - 設定研究問題 - 收集資料 - 寫作論文 - 評審論文 --- ## 科學論文出版系統過度期待正面結果 ---- - Fanelli (2010) 91.5%心理科學論文報告正面結果  ---- - 發表科學論文的初衷是基於無私利性(disinterestedness):根據研究方法的嚴謹性，而非研究結果符合特定偏好(如Stuart批判的統計陽性結果) - 惡果：出版偏誤現象(publication bias)/抽屜問題(file-drawer problem) - 科學：無效或無意義的研究成果充斥文獻 - 實用：政府或組織根據被誇大的研究結果擬定、執行政策 - 道德：因無效政策導致的損失無法究責 ---- - 學術論文追求低p值的執迷心態 - 單一的alpha認定標準 - 學術教育造成多數學者對p值的錯誤認知 --- ## 出版偏誤現象與影響 - 效果量與樣本數的設定如何影響正面結果的判斷 - [疫苗的副作用發生率](https://health.udn.com/health/story/121833/5269745) ---- - 整合分析(Meta analysis)的功用 ~ Funnel plots確認研究結果的完備程度  source: [Hoffman(2019)](https://www.sciencedirect.com/book/9780128170847/basic-biostatistics-for-medical-and-biomedical-practitioners) Fig 36.3 ---- - 心理學的出版偏誤實例 ~ Romantic Priming的整合分析[(Shanks, et al., 2015)](https://discovery.ucl.ac.uk/id/eprint/1472788/3/Shanks_Priming%20Mating%20Motives%20ms_FINAL_COMPLETE.pdf)  ---- - 出版偏誤誇大抗癌藥物療效(Kyzas et al., 2007),心血管疾病藥物療效(Tzoulaki et al., 2013), 憂鬱症藥物療效 (Turner et al., 2008; Cipriani et al, 2018) - 許多需要整合統計資訊的醫學領域，長期低估出版偏誤的影響，如流行病學(Onishi & Furukawa, 2014)、癌症檢驗(Herrmann, et al. 2017)。 ---- - 社會科學有顯著:不顯著研究比例[(Franco et al., 2014)](https://doi.org/10.1126/science.1255484) - 實際成果~ 41% 有顯著 37% 混合 22% 不顯著 - 發表成果~ 53% 有顯著 37% 混合 9% 不顯著 (Insert Franco et al., 2014, Table S6) --- ## 為追求可出版的結果而操弄資料的案例 - [Brian Wansink案](https://scchen.com/zh-hant/post/text_2017006/) ---- - 認識p hacking - 不斷執行實驗，直到一個實驗結果出現低p值 - HARKing ~ 不預做假設，從資料組合出有低p值的變項組合，再設法包裝成事前預測 ---- - 了解p hacking的問題：計算真陽率與偽陽率 - 設定一次獨立實驗偽陽率是0.05 - 一次獨立實驗的真陽率是(1 - 0.05) - n次獨立實驗的真陽率是$(1 - 0.05)^n$ - n次獨立實驗的偽陽率是$1 - (1 - 0.05)^n$ - 5次獨立實驗的偽陽率是$1 - (1 - 0.05)^5 = 0.226$ ---- #### Brain Wansink的p hacking行為 - 自爆的四篇論文：讓研究生自由發揮HARKing的成果，且高達150處數值不一致 - 爭議的Elmo論文：與同事的電子郵件裡，討論手動降p值的可行方案 ---- #### power posing的p hacking行為  <small>留意你正在學習或即將學習的研究方法，鼓勵這類行為的狀況。</small> --- ### 正向結果偏誤的盛行率  <small>[John et la.(2012)](https://journals.sagepub.com/doi/abs/10.1177/0956797611430953) 2000名心理學者的QRP自陳調查</small> ----  <small>[Wang et al.(2017)](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5695368/) 18000名生物醫學學者的QRP自陳調查</small> ----  <small>[Necker (2014)](https://www.sciencedirect.com/science/article/abs/pii/S0048733314000900) 420名經濟學者的QRP自陳調查 </small> ---- #### 正向結果偏誤的盛行原因 - 確證偏誤(Confirmation Bias)：研究者自認設定好的假設，必然存在支持的證據。 - [Gelman & Loken(2014)](www.americanscientist.org/issues/feature/2014/6/the-statistical-crisis-in-science): 分析過程的歧路花園 - [Simmons et al. (2011)](https://hackmd.io/@CSC/r1FxvMSUu#/9) 不可能的因果推論 - 出版偏誤與p hacking的共同原因：對完美結果的過度追求，對美好故事的渴望。 ---- #### 科學家追求正向結果的動機 - 取得研究經費與提高名聲相對容易 - 個人價值觀及立場體現於學術企圖 - 英國公衛研究的[Glasgow Effect](https://en.wikipedia.org/wiki/Glasgow_effect)，研究者左派立場滲入結論 - 美國心理學界的進步派人數遠多於保守派(10:1)，出版的文獻主題大量反映進步派價值 ---- #### 放任正向結果偏誤的苦果 - 過度適應問題(overfitting): 模型能完美解釋當下的結果，無法真正預測未來的發現。 - 有害無私利性(disinterestedness)與普遍主義(universalism)等規範 --- ###### tags:`2021 Book` `Journal club`