Season 3 Reading note --- 2021/12/03 標靶論文： Serra-Garcia, M., & Gneezy, U. (2021). Nonreplicable publications are cited more than replicable ones. Science Advances, 7(21), eabd1705. https://doi.org/10.1126/sciadv.abd1705 相關文獻及資源 Open Science Collaboration. (2015). Estimating the reproducibility of **psychological science**. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716 Camerer, C. F., Dreber, A., Forsell, E., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Almenberg, J., Altmejd, A., Chan, T., Heikensten, E., Holzmeister, F., Imai, T., Isaksson, S., Nave, G., Pfeiffer, T., Razen, M., & Wu, H. (2016). Evaluating replicability of laboratory experiments in **economics**. Science, 351(6280), 1433–1436. https://doi.org/10.1126/science.aaf0918 Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., … Wu, H. (2018). Evaluating the replicability of **social science experiments** in Nature and Science between 2010 and 2015. Nature Human Behaviour, 1. https://doi.org/10.1038/s41562-018-0399-z [Replication Markets](https://www.replicationmarkets.com/) [The Science Prediction Market Project](https://www.citationfuture.com/) [Social Science Prediction Platform](https://socialscienceprediction.org/) 各位老師對各項專案的認識？ cck: 都有聽過。但皆無第一手 download/reuse 的經驗。第一篇(Science2015後的2016 fierce debate 記憶較新)。其餘兩篇只有看過題目與摘要。有參與過一次 fMRI的 prediction market [研究](https://www.narps.info/)。一方面也看到這種 data reuse/ publish 出新results 的例子愈來愈多了。這些都是好事。 你認為Serra-Garcia and Gneezy 分析與評論有實際意義嗎？ cck: 同意紹慶老師所說的，三篇公開研究的結論，在類推到所有研究結論的時候，要小心其適用度(generalizability)。另外想到的一個可能，是因為 eye-opening, sexy, counter-intuitive 的研究結果，往往也較印象深刻，故也在不知不覺中，加強傳播或寫在文章裡(citing more likelly)。 這些專案有沒有更新各位老師對於心理學與社會科學的認識？ CWL: 有。對單一研究以更嚴謹保守的態度看待；認同開放科學，想從己身做起，但門檻仍高，時間上的投注成本還過高。理論上應該有簡易的SOP能讓願意的人容易開始。 cck: 想要貼一個 [counter-example](https://twitter.com/briannosek/status/1304015642304172032) CYL notes: • 新的 重製失敗的 paper，會被注意到 & 引用嗎？ ○ 也許更多人只記得經典，不知道被翻案了 ○ 被翻案的原文，被引用時是怎麼用的？ ○ Prediction market: 專家是如何預測，且那麼準的？ § 直覺？證據/經驗？ ○ In review process: 有趣但預測可能不能重製的，會因此不給發嗎？ ○ 是否它們被引用率高，且 點擊率也高？ ○ 是否 sexy 的 標準較低，可量化實證來檢驗？可有量化index，讓期刊在發表時來檢視、參考用嗎？ cck: [Karl Friston on Free Energy Principle](https://www.nature.com/articles/nrn2787) [NeuroPowerTools](https://www.neuropowertools.org/) - Theory crisis 書單 [reproducibiliTea zotero雲端](https://www.zotero.org/groups/2354006/reproducibilitea/collections/GW6ELH5N) [Paul Meehl](https://meehl.umn.edu/biography/curriculum-vitae-0) [著作列表](https://meehl.umn.edu/publications/all-publications2) [Deborah G. Mayo](https://errorstatistics.files.wordpress.com/2021/05/d.-g.-mayo-may-26-2021-cv.pdf) [著作列表](https://errorstatistics.com/mayo-publications/) [PPS Special Issue: Theory in Psychological Science](https://journals.sagepub.com/toc/ppsa/16/4) Comment on PPS special issue: > Maatman, F. O. (2021). Psychology’s Theory Crisis, and Why Formal Modelling Cannot Solve It. PsyArXiv. https://doi.org/10.31234/osf.io/puqvs [a recent related paper/preprint by Anne Scheel](https://www.facebook.com/groups/853552931365745/permalink/4623879440999723/)