--- tags: 2021 Book, TCPSR #slideOptions: # transition: slide --- # The Replication Crisis --- ### 什麼是現象([Diener and Biswas-Diener, 2021](https://nobaproject.com/modules/the-replication-crisis-in-psychology#authors)) - 一件事情發生在不只一個人，不只一個地方，不只一個時間 - 2021鮭魚之亂 - COVID-19全球疫情 ![](https://www.fieggen.com/Dont_Link/IllusionPic4.gif) ---- ### 現象成為科學事實的條件 - 不同時間地點，不只一人確認現象的發生。 - 通過科學方法檢定，確認現象發生的原因。 ---- ### “再現” 就是“*再*次確認*現*象的發生” ---- ### 再現危機是什麼問題 - 通過科學方法確認的現象及原因，無法再次被其他研究者確認。 --- ## 難以再現的心理學研究 ---- ### 各種行為促發研究 - 在不經意中喚起特定概念，會影響個人下一秒的行為。 - Macbeth effect 抄寫反派故事增加參與者購買清潔用品的次數 - Money priming 在電腦螢幕都是紙鈔影像的教室裡，參與者傾向與其他人保持較長社交距離 - Elder priming 排列老年概念有關的字詞，參與者的動作變得比較遲緩 <!---- ### 從不良案例學習科學方法-1 ---> - 維持測量不變異(Measurement invariance)的困難之處。 ---- ### [權力姿勢效應爭議](https://scchen.com/zh-hant/post/text_2016005e01/) <!--- 陳紹慶(2017)。[擺姿勢也許能增加你的自信，但是不能真正改變你](https://scchen.com/zh-hant/post/text_2016005e01/)。 ### 從不良案例學習科學方法-2 ----> - 為了驗證研究者的想法，只挑賣相好看的結果(cherry picking)。 ---- ### [史丹福監獄實驗爭議](https://www.thenewslens.com/article/98076) <!---- Kayue(2018)。[著名的「史丹福監獄實驗」到底有何問題？](https://www.thenewslens.com/article/98076) ### 從不良案例學習科學方法-3 ---> - 為了驗證研究者的想法，不擇手段逼出符合預期的資料。 ---- ### 滿出來的再現危機 - [Open Science Collaboration (2015)](https://science.sciencemag.org/content/349/6251/aac4716.full) ![](https://nobaproject.com/images/shared/images/000/002/736/original.png =400x) ---- ### Stuart整理低再現率的評論 - 研究造假? - 統計分析手法操作過度? - 再現研究者運氣不好 - 與原創研究方法的些微差異，導致無法重製$^*$ <small>延伸資訊：[LeBel, McCarthy, Earp, Elson, and Vanpaemel (2018)](https://journals.sagepub.com/doi/10.1177/2515245918787489)</small> ---- ### 不只是一個研究無法重製的問題 - 快思慢想熱銷，已經形塑大眾對行為促發研究的印象與信心 - 論文評審系統對新奇的研究結果有利，減少無法再現的結果發表機會 - [台灣的心理學系教學內容也被影響？](https://www.facebook.com/chaoticstable/posts/1657358881022415) ---- ### 研究無法再現是心理學研究的原罪嗎？ - 難兄難弟們：經濟學、神經科學、演化生物學、海洋生物學、有機化學... - 研究對象的不確定因素多於可確定因素。 - **真正重要的問題**：如果經過同儕評審認可的研究無法再現，專家們有多大的勇氣去面對不夠確定的理論與證據。 -> **科學家的規範認知** --- ### Reproducibility可重製課題 - [滷肉飯](https://nw0912.pixnet.net/blog/post/41069935)食譜 - 有食譜與食材，仼何人能不靠大廚監督，做出一樣好吃的滷肉飯嗎？ - 有研究計畫與設備，任何科學家能不需原創研究者協助，做出一樣結果的實驗？ ---- ### 評估可重製性的案例 - <small>Chang, Andrew C., and Phillip Li (2015). “Is **Economics** Research Replicable? Sixty Pub-lished Papers from Thirteen Journals Say ”Usually Not”,” Finance and Economics Dis-cussion Series 2015-083. Washington: Board of Governors of the Federal Reserve System,http://dx.doi.org/10.17016/FEDS.2015.083.</small> - <small>Markus Konkol et al., ‘Computational Reproducibility in **Geoscientific** Papers: Insights from a Series of Studies with Geoscientists and a Reproduction Study’, International Journal of Geographical Information Science 33, no. 2 (Feb. 2019): pp. 408–29; https://doi.org/10.1080/13658816.2018.1508687 </small> - <small>Hutson M. (2018). **Artificial intelligence** faces reproducibility crisis. Science (New York, N.Y.), 359(6377), 725–726. https://doi.org/10.1126/science.359.6377.725 </small> --- ### 醫學研究的可重製課題 - 科學與現代社會密不可分，造成低品質且無法再現研究的科學標準必須提昇。 - 悠關生命福祉的研究必須是可再現/可重製。 （以上是Stuart Ritch的觀點） ---- ### 大規模醫學研究重製嘗試 - Amgen : ~ 11% - Bayer : ~ 20% - RP: cnacer (2013) - 多數原始研究未提供完整重製資訊 ---- ### 無法重製的醫學研究之負面影響 - Medical reversal: 基於最新方法產生的臨床試驗結果，優於現行臨床處置的成效。 - Prasad, V., & Cifu, A. (2011). Medical reversal: why we must raise the bar before adopting new technologies. The Yale journal of biology and medicine, 84(4), 471–478. - 醫療人員無法按照指南重製醫藥製程與治療程序，會導致什麼結果？ ---- ### 無法重製的醫學研究之負面影響 - [BIS監視器有效性爭議](https://en.wikipedia.org/wiki/Bispectral_index) - 回顧實例失效/無效醫學研究造成的金錢損失 - 新生兒 childbirth - 過敏 allergy - 心臟病 heart attack - 中風 stroke --- ### 科學家們對於研究可重製性的信心調查 ![](https://www.nature.com/news/polopoly_fs/7.36716.1469695923!/image/reproducibility-graphic-online1.jpeg_gen/derivatives/landscape_630/reproducibility-graphic-online1.jpeg =500x) ---- ### 偽陽性研究充斥科學文獻 - [Ioannidis (2005) "Why Most Published Research Findings Are False"](https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124) - 醫學界至今聽者藐藐，心理學界2011年爆發**環大西洋**事件，開始認直理解Ioannidis的警告。 --- ### Call for coPI: 評估開放科學觀點及實踐的普及狀況 #### 目標 - 台灣地區心理科學有執行科技部計畫的教研人員 - 研究者的規範認知 - 研究者計畫成果的可重製狀況 #### 探索方向 - 台灣地區教研人員的規範認知與美國教研人員的一致程度 - 根據開放科學實踐倡議，包括[FAIR](https://www.go-fair.org/fair-principles/)、[TOP guidelines](https://www.cos.io/initiatives/top-guidelines)、[Contributor Roles Taxonomy](http://credit.niso.org/)，評估台灣地區教研人員的研究成果可重製狀況 #### 方法 1. 目標對象：近x年有執行完成科技部心理學門計畫的主持人。 2. 規範認知調查：經由可查到的電子郵件，發送問卷給主持人。問卷最後知會將檢視成果報告及發表論文成果的可重製狀況。[點此見編修中的問卷範本](https://forms.gle/b84fU4zZCE1sRNqA6) 3. 可重製狀況評估：綜合FAIR, TOP guidelines, Contributor Roles Taxonomy的具體項目，編碼目標對象的研究成果達成之可重製項目。