認知與評價讀後心得
===

- 閱讀部分：

第七章 實驗的複製（一）如何判斷實驗被複製了？
第八章 實驗的複製（二）歸納、推論與傳遞的問題

- 閱讀原因

The Generalizability Crisis (Yarkoni, 2019 https://osf.io/jqw35)

Following debates: Review of "The Generalizability Crisis" by Tal Yarkoni (Daniel Lakens) https://daniellakens.blogspot.com/2020/01/review-of-generalizability-crisis-by.html

Summary by Two Psychologists Four Beers: [EP.38](https://fourbeers.fireside.fm/38?t=0)

> 我的評論前方加bullet point註記

## 第七章 如何判斷實驗被複製了？

這章以陰極射線實驗為例，表達何謂"實驗行為的典型結構"，以及如何評估後續實驗的「複製程度」：

- "預期"應該增加「分析」～由於物理學到行為科學都要依賴統計模型判斷實際結果符合預測的程度，必須探討研究者採用相同或不同統計模型的理由。

"實驗的複製性或複製程度就是實驗的目的、手段和結果三者的聯合函數。"

描述實驗模型的方式有"「實驗模型的圖像表徵」和「實驗模型的語言表徵」"

- 合作過程收到其他領域學者的回饋意見，許多意見希望以圖像表現實驗程序(手段)，儘管與我相同領域的學者依賴以簡潔的文字描述程序。

## 第八章 歸納、推論與傳遞的問題

這章的主要問題"該怎麼理解和判斷「重複（複製）實驗」？這問題預設了一個「理論假設－實驗－複製實驗」的架構"
"如果一個實驗被宣稱印證或否證了一個理論假設，而它的重複實驗也一致於原實驗的結果，那麼該重複實驗和原實驗的相似程度（或差異程度）究竟是增強或減弱實驗對理論的印證或否證程度？如果它的重複實驗與原實驗結果不一致，該重複實驗和原實驗的相似程度，對於理論假說的印證或否證程度是增強或減弱？"


- 這裡的提問立場類似"The Generalizability Crisis"的爭論脈絡

複製實驗是為了歸納出"通則"，"一個通則表達了自然事物的規律性，一旦得到經驗或實驗的印證或證實，便擁有定律的地位。"

"通則或通則述句（general statement）一般有兩種基本形式。一種我們稱作「數值的通則性」（generality in number），即「全稱性」[6]——以「所有」開頭的全稱述句，例如「所有烏鴉都是黑色的」。另一種稱作「規律的通則性」（generality in regularity），也就是「可重複性」，即是表達規律地或重複地發生的現象之述句，例如「每當黎明來臨時，太陽從東方昇起。」在量化邏輯系統中，兩者使用條件句的形式來表達，前者如「所有x，如果x是烏鴉，則x是黑的。」後者如「所有t，如果t是黎明，則太陽在t時昇起。」進而，這兩種通則都被認為是由歸納法推論得到的。"

"以不同的實驗裝備系統卻又具有相似的實驗模型和結構（即有效複製）來執行，才能擁有印證力。"

- 讀至此以為這是科學家追求「概念性再現/複製」(Conceptual Replication)的思想基礎

歸納推論系統符號表達

C ~ 觀察現象的時空脈絡
S ~ 實驗模型和結構
P ~ 實驗模型的物質落實
E ~ 實驗的檢驗條件，歸納通則的事件單元，C,P,S的函數集成

後來以演繹說明檢驗條件的有效性，比較不同檢驗條件的檢驗能力：

"E'是E的有效檢驗，而且E'可對E產生程度性的印證力和否證力，若且唯若，"

"E意味著「在一時空脈絡C，觀察到或建構一物理系統P，有一結構S」；E'意味著「在另一時空脈絡C'，觀察到或建構另一物理系統P'，有一結構S'，S'程度性地相似於S」。"

E'對E的印證程度，取決於三個層次的考慮：

R1"在S'和S有不同的背景觀念下，與S'和S的相似程度成正比。"
R2"在S'和S有相同的背景觀念下，與S'和S的相似程度成反比。"
CR1"E'對E的否證程度，不管背景觀念如何，與S'和S的相似程度成正比。 "

- 至此反轉前面的理解。檢驗條件E的定義更接近「直接再現/複製」：直接再現強調複製實驗與原始實驗的模型相似，得到一致結果的程度。概念再現期望不同的實驗模型獲得相似的結果。

科學知識本質是非規則性的，內容有兩個層次：為了達成物質落實，需要由資深者傳授，不斷練習的技術知識；"明示性、非規則性的模型知識"

- "預先註冊"要求科學家明確表現心中的實驗模型。第七章所提的模型要素加上分析計畫，是許多預先註冊範本列出的明示條件。專業科學家養成，或科學素養的培養應該區別兩個層次的養成策略。

## 延伸閱讀

Diener, E. & Biswas-Diener, R. (2020). The replication crisis in psychology. In R. Biswas-Diener & E. Diener (Eds), Noba textbook series: Psychology. Champaign, IL: DEF publishers. Retrieved from http://noba.to/q4cvydeh

• How to evaluate Pre-registrations and Registered Reports:
◦ Obels, P., Lakens, D., Coles, N. A., & Gottfried, J. (2019, August 19). [Analysis of Open Data and Computational Reproducibility in Registered Reports in Psychology.](https://osf.io/suqz3/) [PDF](https://osf.io/dw9ub/) [Coding book](https://osf.io/uxjnd/)
◦ Claesen, A., Gomes, S. L. B. T., Tuerlinckx, F., & vanpaemel, w. (2019, May 9). [Preregistration: Comparing Dream to Reality.](https://psyarxiv.com/cdgyh/)

• Evaluating flexibility and degrees of freedom: Veldkamp, C. L. S., Bakker, M., van Assen, M. A. L. M., Crompvoets, E. A. V., Ong, H. H., Nosek, B. A., … Wicherts, J. M. (2018, September 4). [Ensuring the quality and specificity of preregistrations.](https://psyarxiv.com/cdgyh/) [pre-registration and coding protocol](https://osf.io/k94ve/)

• Evaluate flexibility in preregistration: [Pre-Registration Workshop Activity – Where is the flexibility?](https://osf.io/y8f4c/)

• Replication Recipe: Brandt, M. J., IJzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., ... & Van't Veer, A. (2014). [The replication recipe: What makes for a convincing replication?.](https://www.researchgate.net/profile/Hans_IJzerman2/publication/259090892_The_Replication_Recipe_What_Makes_for_a_Convincing_Replication/links/00b7d52c6a3b82c65a000000/The-Replication-Recipe-What-Makes-for-a-Convincing-Replication.pdf) Journal of Experimental Social Psychology, 50, 217-224.

• Hardwicke, T. E., Mathur, M. B., MacDonald, K., Nilsonne, G., Banks, G. C., Kidwell, M. C., ... & Lenne, R. L. (2018). [Data availability, reusability, and analytic reproducibility: Evaluating the impact of a mandatory open data policy at the journal Cognition.](https://royalsocietypublishing.org/doi/abs/10.1098/rsos.180448) Royal Society open science, 5, 180448. [protocol](https://osf.io/q4qy3/)

• Evaluating replications designs compared to original: LeBel, E. P., McCarthy, R. J., Earp, B. D., Elson, M., & Vanpaemel, W. (2018). [A unified framework to quantify the credibility of scientific findings.](https://journals.sagepub.com/doi/10.1177/2515245918787489) Advances in Methods and Practices in Psychological Science, 1, 389-402.

• Evaluating replication findings compared to original findings: LeBel, E. P., Vanpaemel, W., Cheung, I., & Campbell, L. (2019). [A brief guide to evaluate replications.](https://open.lnu.se/index.php/metapsychology/article/view/843) Meta-Psychology, 3. DOI: 10.15626/MP.2018.843

• Assessing “quality” and impact/importance - GRADE: Guyatt, G. H., Oxman, A. D., Vist, G. E., Kunz, R., Falck-Ytter, Y., Alonso-Coello, P., & Schünemann, H. J. (2008). [GRADE: an emerging consensus on rating quality of evidence and strength of recommendations.](https://www.bmj.com/content/336/7650/924.short) Bmj, 336(7650), 924-926.
◦ [Grade homepage](http://www.gradeworkinggroup.org/)

• Grey, A., Avenell, A., Klein, A. A., & Gunsalus, C. K. (2020). [Check for publication integrity before misconduct.](https://www.nature.com/articles/d41586-019-03959-6) Nature, 577(7789), 167.
◦ [Checklist: The "REAPPRAISED" Checklist for Evaluation of Publication Integrity](https://teachingcommons.lakeheadu.ca/index.php/reappraised-checklist-evaluation-publication-integrity)

• Good Science, Bad Science, Pseudoscience: How to Tell the Difference ([book](https://books.google.com/books?hl=en&lr=&id=7o_xY4Wwj4QC&oi=fnd&pg=PR7&dq=Good+Science,+Bad+Science,+Pseudoscience:+How+to+Tell+the+Difference&ots=crFjGeMpmt&sig=gYyetdheNV38NGHWlYR7G2MScpM&redir_esc=y#v=onepage&q=Good%20Science%2C%20Bad%20Science%2C%20Pseudoscience%3A%20How%20to%20Tell%20the%20Difference&f=false) / [blogpost](https://fs.blog/2020/01/good-science-bad-science/))

• [Twitter thread asking for recommendation here:](https://twitter.com/giladfeldman/status/1177059201027149824?s=20)

###### tags: `open science` `reproducibility` `replication`