<style type="text/css"> .reveal p { text-align: center; } .reveal ul { display: left; } .reveal ol { display: left; } #left { left:-8.33%; text-align: left; float: left; width:30%; z-index:-10; } #right { left:31.25%; top: 75px; float: right; text-align: right; z-index:-10; width:60%; } </style> ### 可重製研究標準及指南 說明工作坊與製造黑客松 --- ## 什麼是可重製研究？ |計算的可重製|實證設計的可重製*| |:---|:---| |報告內的圖表、統計數值<br/>都能一鍵還原為原始資料<br/>與程式碼，以及收集程序<br/>設定。|| <small>\* Source: [LeBel, McCarthy, Earp, Elson, and Vanpaemel (2018)](https://journals.sagepub.com/doi/10.1177/2515245918787489)</small> --- ## 為什麼心理學研究需要可重製 **第二次機會的重要性** ---- ### Julia Strand's 2nd chance <div id="left">  <small>[Scientists Make Mistakes. I Made a Big One.](https://elemental.medium.com/when-science-needs-self-correcting-a130eacb4235)</small> </div> <div id="right">   </div> ---- ### Ben de Haas' 2nd chance <div id="left">  <small>[What my retraction taught me](https://www.nature.com/articles/d41586-021-00073-4)</small> </div> <div id="right">   </div> ---- ### Something wrong in my work <small>[Chen et al. (2020)](https://curatescience.org/app/article/536)</small> <div id="left"> <small>Results: sentence-picture verification</small>  </div> <div id="right">  <small>Our first 50 ~ 60 Dutch participants ran the below list only!</small>  </div> ---- ## 心理學研究有第二次機會的可能性 - <small>[Open Science Collaboration (2015)](https://science.sciencemag.org/content/349/6251/aac4716.full)</small>  - <small>為何不到一半的心理學研究沒有第二次機會？</small> ---- ## 第二次機會來自可重製程度 --- ## 致力提高第二次機會的組織們 | [](https://www.cos.io/)|[](https://leibniz-psychology.org/en/)|[](https://improvingpsych.org/)| |---|---|---| |||[](https://improvingpsych.org/sipsinaction/sips-products/)| ---- <!-- .slide: data-background="https://imgur.com/nAMKXQD.png" --> ## 2021年TCPSR的任務 - [定期研讀會](https://sites.google.com/gms.tcu.edu.tw/exppsyunion/home/club) - [網路實驗推廣及徵案](https://sites.google.com/gms.tcu.edu.tw/exppsyunion/home/Projects) - **製訂及推廣台灣心理學人都能達成的可重製研究標準** --- ## 可重製操作檢核表 - <small>根據67位歐美學者$^*$的共識提出的檢核表: Aczel, B., Szaszi, B., Sarafoglou, A. et al. A consensus-based transparency checklist. Nat Hum Behav 4, 4–6 (2020). https://doi.org/10.1038/s41562-019-0772-6</small> - <small>[TRANSPARENCY CHECKLIST short ver.](http://www.shinyapps.org/apps/ShortTransparencyChecklist/)</small> - <small>[TRANSPARENCY CHECKLIST full ver.](http://www.shinyapps.org/apps/TransparencyChecklist/)</small> $^*$ <small>其中61位曾參與OSC(2015)</small> ---- - 我們需要適用本地學術發展現況的檢核表 - 我們從未體會過促進國外學者採取行動的關鍵事件 - 台灣學術圈目前缺乏理解或認同開放及可重製科學的文化動能 - 多數同儕不一定能達到或接受國外學者的共識與作為 ---- ### TCPSR版檢核表<small>[v.0.0.1.1版本連結](https://docs.google.com/document/d/114HkFHS-08TAJlfzHmpxOpUAfK5RMUJzPt7If4j7Ed0/edit#)</small> - [ ] A [假設與實驗設計](https://docs.google.com/document/d/1gCUgYIwbGzHocsg13UHKRgxFTBeHe1uM2JAKCp5nS48/edit?usp=sharing) - [ ] A-1 實驗效果測量條件 - [ ] A-2 實驗操作條件 - [ ] A-3 預估實驗效果量的方法 ---- - [ ] B [實驗方法可重製條件清單](https://docs.google.com/document/d/10L0CzyluAMpdnXfELSTVuN1Fqb7GsRcnj-NEp_nFYXo/edit?usp=sharing) - [ ] B-1 實驗程序設置 - [ ] B-2 實驗刺激配置 - [ ] B-3 參與者隨機分派配置 ---- - [ ] C [實驗資料分析可重製條件清單](https://docs.google.com/document/d/10mD8rn-Bwgkw5_0OSlJ3hjELzk18vPcdYUsAF9Esehg/edit?usp=sharing) - [ ] C-1 說明樣本數預估方法 - [ ] C-2 預設考驗力的分析策略 ---- - [ ] D [實驗程序說明](https://docs.google.com/document/d/1l-8ulrcWas5i1pemCRYdU_xHEe9kRRku7KPPnRHPT80/edit?usp=sharing) - [ ] D-1 示範資訊(錄影、圖解說明、示範網頁...) - [ ] D-2 實驗人員操作紀錄表(手動 / 自動 …) ---- - [ ] E [實驗資料處理說明](https://docs.google.com/document/d/1hKIbFTKOQWyW5ZQXiJzTw-2a2YsDgqoipUwBMXbeHaA/edit?usp=sharing) - [ ] E-1 資料編碼簿 - [ ] E-2 FAIR實作計畫(選填) ---- - [ ] F [實驗資訊公開網址](https://docs.google.com/document/d/1mVpTqtE95KkkCh5w7_gPH8HOpWarkeD4rLFmCMKEl7c/edit?usp=sharing) - [ ] F-1 CRediT貢獻者角色清單(選填) ---- ### 檢核表用途 - 認證研究專案可重製條件 - 協作群接受各方送件，提供認證 - 推廣可重製研究指南 - 提供研究人員操作準則 - 推動研究表現指標革新 - 過程及結果兼具 --- ## 製造黑客松 ---- ### 本日任務 **上午** - 彙整[指南素材](https://docs.google.com/spreadsheets/d/1b6inhlaWCVvPeftUoNfrZoV4vT3Zf00I2xmS3One2OE/edit?usp=sharing) **下午** 1. 編輯可重製檢核項目指南 2. 初版檢核表評估機制 ---- ### 彙整指南素材 - 挑選並瀏覽[登記表](https://docs.google.com/spreadsheets/d/1b6inhlaWCVvPeftUoNfrZoV4vT3Zf00I2xmS3One2OE/edit?usp=sharing)列出的參考資源 - 有興趣深入了解參考資源，在<領取簽名>欄之內留名。 - 午休圍爐會:閱讀相同資源，或有興趣的項目相同的人可一起討論。確認下午分組項目。 ---- ### 參與要點 - 選好任務項目，理解個人要達成的工作目標。 - **編輯指南**儘可能安靜作業。如果需要交談，可採用[蕃茄鐘計時器](https://0123456789.tw/tomato/)節制交談時間。 - **草擬認證機制**需要兩人以上進行討論，宜在獨立空間進行，可採用**逆蕃茄鐘**，定時整理討論重點。 - 應用80/20法則： - 預定時間結束時，達到工作目標80%可視為達成任務。 - 任務時間前80%處理核心工作，後20%進行收尾工作。 ---- ### 編輯指南 - 各大項的子項目為暫定，參與者經討論取得共識後，可增減或修改子項目主題。 - 每個子項目的工作可再細分，以一人能在預定時間內完成80%核心內容為原則。 - 考慮參與人數與各大項的連貫性，一組可負責不只一個大項的編輯工作。 ---- ### 草擬認證機制 - 適合有興趣協助完善檢核表功能的參與者。 - 討論為主，紀錄討論重點在[檢核表草稿](https://docs.google.com/document/d/114HkFHS-08TAJlfzHmpxOpUAfK5RMUJzPt7If4j7Ed0/edit?usp=sharing)。 - 今日結束前，討論授權TCPSR運作**可重製認證辦法**。 ---- ### 黑客松時間表 |時間|任務內容| |---|---| |11:00~12:00 | 閱讀資料,設定任務 | |12:00~13:30 | 午餐會談,調整身心 | |13:30~15:30 | 分組黑客松 | |15:30~16:00 | 分組閃電講,總結 | ---- ### [黑客松參與攻略](https://photos.app.goo.gl/8SU9uNE4mEmyBaEd9) --- ## 本日工作總結 ---- ### 可重製中文指南 A. [假設與實驗設計](https://docs.google.com/document/d/1gCUgYIwbGzHocsg13UHKRgxFTBeHe1uM2JAKCp5nS48/edit?usp=sharing) B. [實驗方法可重製條件清單](https://docs.google.com/document/d/10L0CzyluAMpdnXfELSTVuN1Fqb7GsRcnj-NEp_nFYXo/edit?usp=sharing) C. [實驗資料分析可重製條件清單](https://docs.google.com/document/d/10mD8rn-Bwgkw5_0OSlJ3hjELzk18vPcdYUsAF9Esehg/edit?usp=sharing) D. [實驗程序說明](https://docs.google.com/document/d/1l-8ulrcWas5i1pemCRYdU_xHEe9kRRku7KPPnRHPT80/edit?usp=sharing) E. [實驗資料處理說明](https://docs.google.com/document/d/1hKIbFTKOQWyW5ZQXiJzTw-2a2YsDgqoipUwBMXbeHaA/edit?usp=sharing) F. [實驗資訊公開網址](https://docs.google.com/document/d/1mVpTqtE95KkkCh5w7_gPH8HOpWarkeD4rLFmCMKEl7c/edit?usp=sharing) ---- ### 可重製研究認證辦法 - <small>對象：在台灣進行獨立行為實驗或觀察研究的團隊或個人</small> - <small>方式：採用最新版條件清單，邀請第三方評審提供評估</small> - <small>送件管道：寄送申請信至TCPSR論壇信箱</small> - <small>聲明：雖然通過可重製認證的專案計畫有成為預先註冊的條件，送認證的專案計畫不必要是正式備份版本，是否要宣告預先註冊由專案負責人員決定。</small> ---- ### 論文寫作計畫 - 倡議書 - 佐證資料收集？ - 調查台灣社會與行為科學研究人員對研究可重製性的意識與需求？ - 依據檢核表列出的條件，查證台灣社會與行為科學研究的可重製程度？ - 歡迎至TCPSR臉書社團自由報名 --- ### 觀迎參加SIPS 2021 [](https://www.improvingpsych.org/SIPS2021/) ---- ### TCPSR網路管道 - [網站](https://sites.google.com/gms.tcu.edu.tw/exppsyunion/) - [臉書社團](https://www.facebook.com/groups/697283700707823) - [論壇](https://groups.google.com/g/tcpsr)(申請案件用) - [推特](https://twitter.com/TCPSR1)