### Perverse Incentives([乖張誘因](https://en.wikipedia.org/wiki/Perverse_incentive)) ---- ## 封面故事 <small>[2017加州野火善後弊端](https://www.kqed.org/news/11681280/cleaning-up-inside-the-wildfire-debris-removal-job-that-cost-taxpayers-1-3-billion)</small> ||| |---|---| ---- ### 本土故事 [下重手加速檢驗！衛福部：6月7日起24小時沒報告不給錢](https://udn.com/news/story/122173/5496247) --- ## 學術發展的乖張誘因 - 2007 ~ 2010年以美國科學家為對象的調查，[絕大多數的科學家認同**莫頓規範**](https://hackmd.io/@tcpsr/HJmjt-5Od)，但是為何許多科學家的行為背離規範 - SR: 追求發表論文的誘因機制要負最大責任 ---- ## 論文數量倍增的真相 - 每位在機構任職的研究人員都有發表論文的績效壓力 - 全球每年論文發表數增長率[(Bornmann and Mutz, 2015)](https://asistdl.onlinelibrary.wiley.com/doi/full/10.1002/asi.23329)  ---- - 1990年代中國政府開啟的發表獎賞政策，引發亞洲國家及部分歐洲大學倣效。 - Science的分析[(Franzoni1, Scellato, and Stephan, 2011)](https://science.sciencemag.org/content/333/6043/702): 發表獎金有增加投稿率，也增加拒稿率 ---- #### 學術環境充滿競爭的現實狀況 - <small>publish or perish/發表經歷影響各國學術人員應徵職位與升遷</small> - <small>學者個人/學術機構需要申請經費維持日常研究與教學需要; [Link et al.(2008)](https://www.sciencedirect.com/science/article/pii/S0272775707000623)調查美國學者的工作與研究時間事項分配，寫計畫佔去8% ~ 19%</small> - <small>研究經費的馬太效應：能取得啟動經費的學者有較高比例持續獲得補助[(Bow et al., 2018)](https://www.pnas.org/content/115/19/4887)。NGO組織Welcome Trust [2020年的調查](https://wellcome.org/reports/what-researchers-think-about-research-culture)發現計畫書的過度化粧風氣越來越明顯。</small> - <small>法國與加拿大研究顯示2010前後初次求職的新科博士履歷表長度有倍增趨勢([Brischoux and Angelier, 2015](https://doi.org/10.1007/s11192-015-1534-5); [Pennycook and Thompson, 2018](https://psycnet.apa.org/doi/10.1037/cep0000149))。</small> ---- #### 發表與獲得補助做為學術工作績效的問題 - 學術人員的精力時間有限，過度競爭將帶來兩種兩難局勢 - Research-Publication tradeoff - Submission-Review tradeoff - 以金錢酬賞將引導科學家背離無私利性(disinterestedness) --- ## 發表亂相面面觀 ---- ### 擠牙膏式發表策略 - 中國黑龍江大學郭姓材料科學學者，五年內在同一本期刊發表相同主題279篇論文[(Quan, Chen, and Shu, 2017)](https://arxiv.org/abs/1707.01162)。 - SR描述醫學界有發表需求的醫生，常常採用擠牙膏式發表策略。 - 我的見聞。 ---- ### 擠牙膏大量生產的論文造成低品質研究 - 醫藥開發商為了帶起學術討論風向，採用擠牙膏式發表同一種藥物的測試報告，例如抗憂鬱症藥物~度洛西汀[(Spielmans, Biehn, and Sawrey, 2010)](https://www.karger.com/Article/Abstract/270917)。 - 掠奪性期刊的發行策略:鼓勵有發表需求的學者投稿不完整的研究報告，且無評審直接發表。 - 延伸: 天下雜誌 ~ [台灣為何成為掠奪性期刊的大肥羊？](https://www.cw.com.tw/article/5094471) ---- ### 掠奪性期刊為造假者打開方便之門 - 台灣案例：2019年網路媒體事件回顧 [飛蚊症超煩！台研究：吃鳳梨可「溶解黑點點」　登美國科學期刊](https://health.ettoday.net/news/1453560);[UCSF 林慶順教授的網誌](https://professorlin.com/2019/05/27/%E9%A3%9B%E8%9A%8A%E7%97%87%EF%BC%8C%E9%B3%B3%E6%A2%A8%E5%8F%AF%E6%BA%B6%E8%A7%A3%EF%BC%9F/) - 偽造同儕評審 ~ 南韓[Moon Hyung-in](https://retractionwatch.com/2012/09/17/retraction-count-for-scientist-who-faked-emails-to-do-his-own-peer-review-grows-to-35/) ---- ### 提高被引用數的各種手段 - 什麼是被引用數？ - 你在社群媒體發表的作品被公開分享的數目 - 別人分享你的作品 + 自己分享 ---- #### 被引用數有多珍貴？ 論文發表後，五年內被引用數掛零的比例 - 12%醫學論文 - 30%自科與社會科學論文 ---- #### [h-index](https://zh.wikipedia.org/wiki/H%E6%8C%87%E6%95%B0) - 計算方法： - 我有k篇論文，每篇被引用k次以上 => h = k - 我有k篇論文，(k-1)篇被引用k次以上 => h = k-1 - 為了增加h-index，不只要多發paper，也要增加被引用數 ---- #### 自我抄襲與自我引用 - [Nick Borwn(2018)](https://steamtraen.blogspot.com/2018/04/some-instances-of-apparent-duplicate.html): Robert Sternberg的著作充斥自我抄襲 - 自我引用膨脹 - 2018年資深心理學者Robert Sternberg[期刊主編辭職風波](https://www.insidehighered.com/news/2018/04/30/prominent-psychologist-resigns-journal-editor-over-allegations-over-self-citation) --- ## 期刊追求高影響力造成的亂相 ---- ### [期刊影響因子](https://zh.wikipedia.org/wiki/%E5%BD%B1%E5%93%8D%E5%9B%A0%E5%AD%90)(impact factor) - 發明動機是協助圖書館評估訂閱期刊的預算總額 - 現在用來評價期刊價值，IF越高被認為期刊影響力越高 ---- - 計算方式:去年該期刊出版的論文，被引用數的平均值。 - Nature 43.070; Science 41.063 ---- - 2017年，我曾收集[有關IF的批評](https://hackmd.io/uI0vDv1nQ4yml9pkgkhIpQ) - 你該了解的真相:只要是與人類活動有關的數字，懂操作技巧，任何人都能操作 ---- ### 如何炒作影響因子 - 商業出版公司需要經營高IF期刊，才能帶來收益。 - 有經驗的資深期刊主編，深諳抬高IF的操作法門。 ---- - 有心提高個人被引用數的學者，藉著擔任評審的機會，要求投稿者引用自己的論文，[Wilhite and Fong(2012)](https://science.sciencemag.org/content/335/6068/542)的調查指出約20%研究者曾使用此手法抬高被引用數。 - "citation cartels" 發表在A期刊的回顧性論文(review paper)大量引用發表在B期刊的論文。 - 下一個主題，我們來看一個現實例子。 ---- ### 炒作過頭的後果 - Goodhart定律:"當計量方法本身變成目的，就不再是有效的計量方法"[(Goodhart, 1975)](https://books.google.com.tw/books/about/Monetary_Relationships.html?id=GKwJMwEACAAJ&redir_esc=y)。 --- ### 學術界乖張誘因的課層架構 工作機構 - 經費補助來源 學術績效評價系統(h-index, IF) 投稿者 - 同儕評審系統 - 期刊編輯 - 論文出版公司 ## 乖張誘因導致無效研究充斥現代文獻庫? ### 順從乖張誘因 vs. 遵從莫頓規範 - 何者較有機會達到學術生涯高峰? - 何者更容犯下不端、偏誤、過失、造神? [Smaldino and McElreath(2016)](https://royalsocietypublishing.org/doi/10.1098/rsos.160384) 模擬研究:壞科學的物競天擇 當整體科學不講究再現率( r )，不講究控制偽陽率(FDR)的研究群組(low effort labs)，將得到更多回報(pay-off)。  [Higginson & Munafò (2016)](https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.2000995) "If a small number of novel findings counts heavily towards career progression, this encourages scientists to focus almost all of their research effort on underpowered exploratory work. Furthermore, they should carry out lots of underpowered small studies to maximise their number of publications, even though this means around half will be false positives (Fig 2E)" [Grimes, Bauch and Ioannidis(2018)](https://royalsocietypublishing.org/doi/10.1098/rsos.171511) "Higher values of B lead to perverse rewarding of false positives and fraudulent results at the expense of diligent science." ### 比喻:無用卻浪費許多術士生命的中古世紀鍊金術 The Alchemist, Cornelis Bega (Dutch, 1631/1632 - 1664)  ###### tags:`2021 Book` `Journal club`