HackMDSeason 3 Reading note
2021/12/03
標靶論文：
Serra-Garcia, M., & Gneezy, U. (2021). Nonreplicable publications are cited more than replicable ones. Science Advances, 7(21), eabd1705. https://doi.org/10.1126/sciadv.abd1705
相關文獻及資源
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Camerer, C. F., Dreber, A., Forsell, E., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Almenberg, J., Altmejd, A., Chan, T., Heikensten, E., Holzmeister, F., Imai, T., Isaksson, S., Nave, G., Pfeiffer, T., Razen, M., & Wu, H. (2016). Evaluating replicability of laboratory experiments in economics. Science, 351(6280), 1433–1436. https://doi.org/10.1126/science.aaf0918
Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., … Wu, H. (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behaviour, 1. https://doi.org/10.1038/s41562-018-0399-z
The Science Prediction Market Project
Social Science Prediction Platform
各位老師對各項專案的認識？
cck: 都有聽過。但皆無第一手 download/reuse 的經驗。第一篇(Science2015後的2016 fierce debate 記憶較新)。其餘兩篇只有看過題目與摘要。有參與過一次 fMRI的 prediction market 研究。一方面也看到這種 data reuse/ publish 出新results 的例子愈來愈多了。這些都是好事。
你認為Serra-Garcia and Gneezy 分析與評論有實際意義嗎？
cck: 同意紹慶老師所說的，三篇公開研究的結論，在類推到所有研究結論的時候，要小心其適用度(generalizability)。另外想到的一個可能，是因為 eye-opening, sexy, counter-intuitive 的研究結果，往往也較印象深刻，故也在不知不覺中，加強傳播或寫在文章裡(citing more likelly)。
這些專案有沒有更新各位老師對於心理學與社會科學的認識？
CWL: 有。對單一研究以更嚴謹保守的態度看待；認同開放科學，想從己身做起，但門檻仍高，時間上的投注成本還過高。理論上應該有簡易的SOP能讓願意的人容易開始。
cck: 想要貼一個 counter-example
CYL notes:
• 新的 重製失敗的 paper，會被注意到 & 引用嗎？
○ 也許更多人只記得經典，不知道被翻案了
○ 被翻案的原文，被引用時是怎麼用的？
○ Prediction market: 專家是如何預測，且那麼準的？
§ 直覺？證據/經驗？
○ In review process: 有趣但預測可能不能重製的，會因此不給發嗎？
○ 是否它們被引用率高，且 點擊率也高？
○ 是否 sexy 的 標準較低，可量化實證來檢驗？可有量化index，讓期刊在發表時來檢視、參考用嗎？
cck: Karl Friston on Free Energy Principle
NeuroPowerTools
- Theory crisis 書單
PPS Special Issue: Theory in Psychological Science
Comment on PPS special issue:
Maatman, F. O. (2021). Psychology’s Theory Crisis, and Why Formal Modelling Cannot Solve It. PsyArXiv. https://doi.org/10.31234/osf.io/puqvs
a recent related paper/preprint by Anne Scheel
