Fixing Science

--- title: Fixing Science slideOptions: transition: slide --- # Fixing Science ---- ## 封面故事 ![](https://static.cambridge.org/binary/version/id/urn:cambridge.org:id:binary:20181009171020389-0167:S0033291718001873:S0033291718001873_fig1g.jpeg =500x) [de Veris et al.(2018)](https://doi.org/10.1017/S0033291718001873)檢查105種美國FDA核准上市的抗憂鬱症藥物效用，其中53種效用並未明顯比安慰劑好。下圖檢視所有藥物試驗研究能發表的原因，包括"發表偏誤"、"報告偏誤(p-hacking)"、"美化數據"、"引用偏誤"。即使是有明顯效用的藥物試驗報告，也有部分運用這些手段發表。 ---- ### 乖張誘因 - 論文發表多 - 論文發表的期刊排名好 - 經費多多 ---- ### 乖張誘因導致的四大問題 #### Fraud #### Bias #### Negligence #### Hype ---- ## 討論方向 - [消除四大問題](https://hackmd.io/eXLa5uKvTK6FZvLzgPfROQ?both#%E5%AF%A6%E8%B8%90%E9%96%8B%E6%94%BE%E7%A7%91%E5%AD%B8%E5%A6%82%E4%BD%95%E6%B6%88%E9%99%A4%E5%9B%9B%E5%A4%A7%E5%95%8F%E9%A1%8C) - [扭轉乖張誘因](https://hackmd.io/eXLa5uKvTK6FZvLzgPfROQ?both#%E7%A7%91%E5%AD%B8%E6%96%87%E5%8C%96%E6%B2%89%E5%80%AB%E7%9A%84%E6%B7%B1%E5%B1%A4%E5%8E%9F%E5%9B%A0) --- ## 實踐開放科學如何消除四大問題 ---- ### 什麼是開放科學 - SR的定義：科學研究過程的所有細節，盡研究者所能地完整公開。 - Pre-submitted studies: Open data & Open materials. e.g, [PSA 002 on OSF](https://osf.io/e428p/) - Published studies: Open access & Open peer reivew. e.g., [Collabra: Psychology](https://online.ucpress.edu/collabra) 每篇文章皆可自由下載，檢閱評審紀錄。 - **透明(transparency)**: 研究者向全世界揭露研究計畫及分析細節。 --- ### Fraud - 分析數據/圖像的造假 - 抄襲 ---- 1. 圖像/數據檢核演算法 - 期刊可要求投稿者上傳前先做檢核，消除造假與抄襲。 - SR認為應該鼓勵研究一開始進行就使用，檢核計算過失。 ---- 2. 報告紀錄透明化 - 使用可紀錄版本更新的**動態文件**撰寫報告。 - [Rouder(2016)](https://link.springer.com/article/10.3758/s13428-015-0630-z)倡議心理學資料應該在第一時間完成收集就登錄不可逆備份。 --- 3. 謹慎使用自動化資料處理功能 - 例：Excel會自動將任何符合日期的文字，自動轉換成日期格式，很多情況造成分析的過失。 --- ### Bias  - 期待新奇發現及發明的偏見 - publication bias <-> file drawer - p-hacking ---- #### 可行的開放科學方案 1. 學術期刊期刊依照[透明與開放倡議指導原則(Transparency and Openness Promotion Guidelines, TOP)](https://www.cos.io/initiatives/top-guidelines)，設定[投稿政策](https://www.apa.org/pubs/journals/psp?tab=4) - 提供期刊設定投稿政策符合開放科學程度的指引 - 曾拒絕SR重製Bem超感知覺研究的JPSP，更新響應開放科學倡議的投稿政策 2. 嚴謹地使用統計指標/統計學論戰 - [Amrhein et al.(2019)](https://www.nature.com/articles/d41586-019-00857-9): 2016年美國統計學會發起論壇，超過800位學者提供各種意見，有認為過時指標應該放棄，有認為可以改進。 - [我的一些淺見](https://scchen.com/zh/post/comment-retired-p/) - SR認為嚴格使用p值或改用其他替代方案都不能解決p-hacking的根本問題，人性與科學系統可操作的地方都會讓老問題以新面目出現。 3. 預先註冊(pre-registration) - 收集資料前，先揭露要採取各種收集方法。 - 分析資料前，先揭露要採取各種分析方法。 - 預先註冊計畫與報告需要區分： - 確認事前假設的確證性(confirmatory)分析 - 演繹可行假設的探索性(exploratory)分析 ----  - 預先註冊的主要功用：抑制有偏見的操作，抵削實驗效果過度膨脹(管制放空消息影響股市) - [Kaplan & Irvin(2015)](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0132382): 比較心臟病藥物開發報告，在臨床試驗預先註冊前後的報告結果。 ![](https://i.imgur.com/RMwBjTY.png =400x) ---- #### 協作式科學(team science) - 多個團隊同步執行一件研究案，累積單一團隊無法收集的大樣本資料。 [neuroscience](http://enigma.ini.usc.edu/) [cancer epidemiology](https://epi.grants.cancer.gov/InterLymph/) [psychology](https://psysciacc.org/) [translational medical research](http://www.dcn.ed.ac.uk/camarades/default.htm) - [adversarial collaborations](https://en.wikipedia.org/wiki/Adversarial_collaboration)：觀點不同的團隊一起參與同一件研究案，並陳不同假設的研究結果。 --- ### Negligence #### 計算與分析的過失 #### 數量不足的樣本資料 ---- - 推廣數據偵錯工具的使用。 - 我的看法: 推廣對象是需要依賴套裝軟體進行研究的研究者。 - 提昇使用統計的品質 - 從學習內容與方式下手 - Open Data, Open Materials - 除了少數敏感科技，如開發基因武器，研究者有義務公開所有研究細節。 ---- #### 註冊報告 - 投稿前及發表後，公開讓人檢核研究內容。 - 部分採用註冊報告政策的期刊有要求詳細的樣本數估計。 - 提高沒有顯著效果的預先註冊研究能公開發表的投稿途徑。 ![](https://cdn.cos.io/media/images/registered_reports.width-800.png =600x) 圖片來源：[Center for open science](https://www.cos.io/initiatives/registered-reports) --- ### Hype #### 美化統計資訊 #### 自我吹捧研究重要性 ---- - 不濫用或過度解讀統計指標 - SR推薦多重版本分析(Multiverse Analysis; [Sttegen et al, 2016](https://journals.sagepub.com/doi/10.1177/1745691616658637))，整合多種資料來源，多位人員分析的結果。例如[青少年沈迷3C產品的時間長度與福祉的相關性研究](https://www.nature.com/articles/s41562-018-0506-1) ---- #### 學術評審系統的革新 - 預印本平台在[資訊](https://arxiv.org/)及[生物](https://www.biorxiv.org/)等從業人數多的領域興起，揭示開放同儕評審的可行性。 - 預印本平台紀錄論文內容的更新資訊，可公開徵信論文內容。 - 如何評估公開預印本品質 - （案例）[Fryer(2016)](https://www.nber.org/system/files/working_papers/w22399/w22399.pdf)的研究調查休士頓警察逮捕資料，結果指出美國警察開槍射擊黑人的比例低於白人23.8% ---- - 不同領域的開放科學行動者合作建置，透過預印本平台實施公開評審，不需要如投稿傳統高影響力期刊依賴吹捧或化粧手法。參考[Peer Community in](https://peercommunityin.org/);2021年4月[PCI RR](https://rr.peercommunityin.org/)正式上線，[podcast介紹](https://open-cafe.netlify.app/project/ep031/);[我參與PCI RR Stage 1評審的經驗](https://open-cafe.netlify.app/project/ep036/)。 - 有多份計畫競爭時，PCI評審機制以設計品質評估，而非研究者名聲或題材創新性評估。 - SR看好預發表在預印本平台的學術論文，比起傳統同儕評審，能得到更公開透明，更快速有效的修正評論。 ---- #### 推動Open Access的重要行動 - EU ~ [Plan S](https://www.nature.com/articles/d41586-018-06178-7) - [Gates Foudation](https://www.nature.com/news/gates-foundation-announces-open-access-publishing-venture-1.21700) require all their granted project published on OA journals. - 預印本平台的興起同時促成開放取用(Open Access)的發展 ---- - 學術論文無法完全Open Access的原因：商業利益 - 高影響力期刊的付費論文的版權被出版公司把持，成為宣傳工具 - Schekman(2019) [Scientific Research Shouldn’t Sit behind a Paywall](https://blogs.scientificamerican.com/observations/scientific-research-shouldnt-sit-behind-a-paywall/) - [學術出版獲利本益比遠勝google, apple, facebook等科技巨擘](https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science) - [學者自力抵制協助評審商業出版公司所發行的學術期刊論文](https://www.talyarkoni.org/blog/2016/12/12/why-i-still-wont-review-for-or-publish-with-elsevier-and-think-you-shouldnt-either/) --- ## 科學文化沉倫的深層原因 ---- - 乖張誘因能發揮作用來自三種組織運作: **學術機構**、**學術期刊**、**研究經費補助單位** - 追隨乖張誘因而成功的**學界人士**，最有機會掌握組織的運作，持續追求更高的數字績效，並複製思想與行為給下一代。 ---- ### 扭轉再現危機原因的各種長期努力 - [UKRN的目標與運作方式](https://www.nature.com/articles/d41586-019-03750-7):提昇高品質可重製研究出頭的機會; 由下至上，凝聚社群，建立與各大學管理階層對話的管道  - 善用科技革新科學文化 - [Markowetz(2015)](https://genomebiology.biomedcentral.com/articles/10.1186/s13059-015-0850-7) 五個你該讓研究工作可重製的自私理由 - 引導社會大眾關注比新奇科學發現更深度的科學課題 ---- ### SR的建議 - 改善新一代的科學人員養成方向 - 各種科學領域有類似症狀，但是需要的解方不同 - 有智慧地面對認為再現危機不存在的聲音 - 推動開放科學面對的狀況，類似仍然有不少人認為氣候危機是謊言 --- ### 化解發表追多追高 - 深化科學工作無私利性的概念 - open data, open materials, preregisteration - authors -> contributors - good sceintific citizen: - 以開放科學角度評估科研人員聘任及昇遷的六種原則 [![](https://blogsmedia.lse.ac.uk/blogs.dir/9/files/2018/05/Table-1-colour.jpg)](https://blogs.lse.ac.uk/impactofsocialsciences/2018/06/04/six-principles-for-assessing-scientists-for-hiring-promotion-and-tenure/) ### 化解補助經費迷思 - 研究計畫審查的無效性：Feng et al.(2016)統計發現NIH資助的計畫經費與成果品質沒有相關。 - SR據此建議經費補助可採取樂透方式分配 - SR給研究計畫審查單位的建議 - 評估計畫能產生的資料數量與品質 - 要求必須有能與學術社群分享的內容 - 追繳無法公開所有資料的研究計畫經費 - 研究經費補助機構提供再現研究的獎助項目 - 荷蘭科學研究組織提供專項補助[(de Vrieze, 2018)](http://www.sciencemag.org/news/2017/07/replication-grants-will-allow-researchers-repeat-nine-influential-studies-still-raise) - 來自non-WIERD的意見：[Local research matters](https://www.nature.com/articles/d41586-021-02832-9) ###### tags:`2021 Book` `Journal club`