# Paul Meehl: Making of Failed Theories
![](https://upload.wikimedia.org/wikipedia/en/b/b4/Paul_Meehl_at_induction_to_National_Academy_of_Sciences.jpg =200x)
<small>陳紹慶
慈濟大學人類發展與心理學系</small>
---
### 報告材料
Meehl, P. E. (1967). Theory-Testing in Psychology and Physics: A Methodological Paradox. Philosophy of Science, 34(2), 103–115. [pdf](https://meehl.dl.umn.edu/sites/g/files/pua1696/f/074theorytestingparadox.pdf)
Meehl, P. E. (1990). Why Summaries of Research on Psychological Theories are Often Uninterpretable. Psychological Reports, 66(1), 195–244. doi: 10.2466/pr0.1990.66.1.195 [pdf](https://meehl.dl.umn.edu/sites/g/files/pua1696/f/144whysummaries.pdf)
[Philosophical Psychology 1989](http://meehl.umn.edu/unpublished-material/philosophical-psychology-1989) - <small>[Lecture Note](http://psychbrief.com/category/meehl-lectures/) by [PsychBrief](http://psychbrief.com/)</small>
---
### 其人其事
- 與 Herbert Feigl、Wilfrid Sellars兩位哲學家共同創辦明尼蘇達科學哲學中心。
- 早期支持Karl Popper的否證主義,後期受其弟子Imre Lakatos與Paul Feyerabend影響,轉型為批判觀點的支持者。
- 由否證主義批判關聯性研究的Null Hypothesis Significance Testing。
- 發展構念效度(Construct validity)的應用方法:概念關係網路(nomological network)。
---
### 中心思想
- [逼真性](http://meehl.umn.edu/memos-paul-meehl)(Verisimilitude)
理論逼近真實的程度
- 可佐證性(Corroboration)
正面證據最大化確證理論逼真程度
反面證據最大化否證理論非真程度
---
### 心理學方法五大原罪 (1967)
1. 錯用否定後項式(modus tollens)確信邏輯評價支持理論的事實。 <br>
2. 採信通過門檻最低的證據,當做理論逼真的事實。 <br>
3. 沒有預期發現,傾向用事後解釋,營造理論逼真的印象。 <br>
4. 篡改得到反面證據的否定後項式預測,維持預測成功的印象。 <br>
5. 設計並製造支持事後解釋的後續實驗。
---
### 否定後項與假設檢定
|$$\frac{P \rightarrow Q, \neg Q}{∴ \neg P}$$|$$\frac{H_0 \rightarrow O_0, \neg O_0}{∴ \neg H_0}$$|
|---|---|
---
### 過度簡易的有效反駁
|物理學|心理學|
|:---:|:---:|
|$$H_0: \mu = a$$|$$H_0: \mu = 0$$|
|$$H_1: \mu \neq a$$|$$H_1: \mu \neq 0$$|
|引力透鏡效應|Social Priming|
---
- 五大罪來自Paul Mheel對"來路不明的高相關因素"(crud factors)的洞見
- (異曲同工)Deborah Mayo的著作"Statistical inference as severe testing: how to get beyond the statistics wars",借用"apophenia"一詞,描述大數據分析者著迷找大量資料中顯著相關,強調是有重要意義的傾向。
---
### 十種煉製劣質心理學理論的方式 (1990)
---
### 不牢靠理論的三大特徵
1. 理論命題不可計量
2. 重要證據是相關性資料
3. 驗證理論成立的參數沒有明確的數值範圍
---
### 四壞球研究報告
- 研究宣稱的關鍵效果
- 數值龐大(sizeable)
- 正負不一致(opposed)
- 變異範圍廣(variable)
- 真實效果無法估計(unknown)
---
- 實例:Wansink, Just, Payne, & Klinger (2012, retracted) Table 1
![](https://i.imgur.com/Xkrdw6a.png)
---
### 理論–事實邏輯鏈
|$$ T \cdot A_1\cdot A_2 \cdot C_p \cdot C_n \rightarrow ( O_1 \supset O_2) $$|
|---|
|T:<small>核心理論命題</small>|
|$A_1$,$A_2$:<small>輔助理論命題</small>|
|$C_p$:<small>*其他條件不變*(ceteris paribus),控制變項</small>|
|$C_n$:<small>研究操作條件、獨變項、自變項</small>|
|$O_1$:<small>確證核心理論命題的觀察結果</small>|
|$O_2$:<small>否證核心理論命題的觀察結果</small>|
- 四壞球研究通常高估$P(O_1|O_2)$
---
### 五種劣化理論的途徑
1. 脆弱的邏輯鏈(Loose derivation chain)
2. 不良輔助理論命題(Problematic auxiliary theories)
3. 不良控制條件(Problematic ceteris paribus clause)
4. 實驗者偏誤(Experimenter error and bias)
5. 不適當的考驗力分析(Inadequate statistical power)
---
### 五種粉飾劣質理論的手法
1. 排除不如預期的前置研究(Pilot study)
2. 操作投稿偏誤(Submission bias)
3. 放任出版偏誤(Publication bias)
4. 報告不充分的效度資訊(Detached validation claim for psychometric instruments)
5. 運用來路不明的高相關因素(Crud factor)製造顯著結果
---
### 來路不明的高相關因素
- “everything correlates to some extent with everything else.”
- 不設計實驗驗證高相關因素之間的因果關係,只依賴分析方法排除
- 任何只依賴因素間相關性,評估**可佐證性**的研究,都會存在Crud factor。
- Paul Meehl生前只有指出相關性研究充斥這類因素,未發展出完整的評估系統([Orben & Lakens, 2019](https://psyarxiv.com/96dpy/))
---
###### tags: `open science`
{"metaMigratedAt":"2023-06-14T22:06:42.048Z","metaMigratedFrom":"YAML","title":"Paul Meehl: Making of Failed Theories","breaks":true,"slideOptions":"{\"transition\":\"slide\",\"theme\":\"white\"}","contributors":"[{\"id\":\"0c00f290-2641-464d-af58-e5b248b23065\",\"add\":4151,\"del\":684}]"}