Notes for Taiwanese Scholars
======

The Challenge of Reproducibility in the Biomedical Sciences
Randy Schekman

生醫科學領域中所面臨的實驗再現性挑戰
藍迪.謝克曼
[1992年美國國家科學院院士、2013年諾貝爾生理醫學獎得主](https://goo.gl/pcPx67)

演講日期: 2017年3月8–10日 美國國家科學院@華盛頓特區
YouTube發佈日期: 2017年3月21日

翻譯與資料補充：**「對科技部、你沒有沈默的權利」社團共筆協作群**
<a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/"><img alt="Creative Commons License" style="border-width:0" src="https://i.creativecommons.org/l/by-nc/4.0/88x31.png" /></a><br />This work is licensed under a <a rel="license" href="http://creativecommons.org/licenses/by-nc/4.0/">Creative Commons Attribution-NonCommercial 4.0 International License</a>.

原始影片:
{%youtube orKak1sXB2k %}

[TOC]

#### [演講開始](https://youtu.be/orKak1sXB2k?t=4m34s)
- 晚安各位。今晚能站在這裡深感光榮的原因，不光是能受邀做這個Sackler講座，同時也是因為美國國家科學院（譯者按：以下簡稱國科院），彰顯了其對美國的科學貢獻所代表的意義。國科院的存在，對於國家科學發展的推動扮演著極重要的角色，過去幾年我也很榮幸被選出，參與國科院的委員會運作。我永遠忘不掉1992年某個早上，我被告知獲選為國科院院士的心情。我一直有注意到國科院在過去，一直扮演著為國家科學把關的角色，其中一個例子依然記憶鮮明，那是許多年前，堪薩斯州在選拔教科書委員會時，有主張創造論的委員極盡其能的要排擠演化論者進入委員會，幸運地，最後創造論者被屏除於委員會外。事後創造論者跟紐約時報說：『要不是那個該死的美國國科院我已在教科書委員會裡了！枉費稍早我還很高興的跟國科院溝通過我的理念耶！』幹得好，國科院！
- 好的，今晚我被賦予極重要的任務，要來講講實驗再現性挑戰這個主題，當然我會以我熟悉的生物醫學領域為例來探討這個主題。你們有些人或許會過度期望我等等要講的內容，我必須先說，我等等主要是針對主流科學期刊，看看他們能做些什麼，好讓更多可被再重現的好文章發表出來。我必須先說，我是期刊eLife的主編，我部份薪水也是由該期刊而來，所以我等等也會以eLife期刊的為例，談談我們打算用什麼方式，去審核癌症生物學領域的文章以確保其品質，並將成果與開放科學的概念連結。我也希望能藉此激勵各學術教育機關在任用、升遷教研人員時，能站在以科學期刊真正的本質為立場，做出判斷。我要先說我這裡大多的演講資料投影片都是我eLife期刊同事，也是編輯的Peter Rogers所製作，他下週要去倫敦也要講述相關的主題。

#### [這些年，全球各科學領域發生的重大學術不端事件](https://youtu.be/orKak1sXB2k?t=8m)
- 過去幾年來大部分科學家已經意識到學術不端的現象，在科學領域中不少假的成果被發表、被推廣，最終導致某些領域的專家們做出錯誤的決策。在此我幫你們整理過去十五年來，在生命科學領域裡的幾個有名案例。這些學術不端案例，最終都以發表的論文被撤稿收場，其中有我熟悉的韓國科學家黃禹錫。他率先宣稱由成人組織中誘導出人類胚胎幹細胞，最後人們發現，他的研究結果圖片是複製其它研究的成果，而宣稱的人類胚胎幹細胞是由其實驗室裡自願提供卵子的女性，經由體外受精得到的。黃禹錫曾經被視為是南韓的英雄人物，獲得龐大的資源，一度被認為是諾貝爾獎的熱門人選，造假被揭發後身敗名裂。這裏可以看出，科學的檢驗可以揪出造假的結果。
- 另一個例子是近年來發生的小保方晴子事件，在他們發表的兩篇Nature文章說到，成人的體細胞可以經由暴露在酸性溶液中的簡單處理，被誘發成胚胎幹細胞。這個成果被各大媒體廣泛報導，世界各國相關實驗室也迫不及待想重現此研究成果，但均以失敗收場。該研究報告在短短兩個月內就被點閱一百二十萬次，作者也受到極大的關注，引起廣大迴響。但在科學同儕對結果發出疑問後，相關單位開始調查，結果顯示該研究成果存在不當的成果重複使用、造假、剽竊等情事。第一作者離職，共同作者之一，同時也是第一作者上司的作者因羞愧而自殺，這是極其遺憾的學術不端結果。這一類的造假錯誤很快就被發現，也馬上作出正式處理，像這樣一有錯誤被關注指證後，能立即訂正還算好的。
- 再來我要舉出對於科學進展有非常負面影響的一個學術不端例子，是Wakefield發表在刺絡針(Lancet)的一篇宣稱注射疫苗與自閉症有強烈關聯的文章。這文章一開始投稿去刺絡針雜誌時，審稿意見是對內容有所批評的，認為應該退稿，但是編輯群還有主編(譯者註:主編Richard Horton對撤稿一事很反感)在內卻認為該發現是非常聳人聽聞(sensational)，因此決定刊登，而結果就是我們現在看到的...這文章造成了公共衛生很大的劫難。儘管最後該文被撤稿 (註:花了11年)，但作者離開學界後，仍去推行相關活動，鼓動大眾拒絕接受疫苗注射以減少孩童罹患自閉症的可能性，讓不少家長信以為真而拒絕小孩注射相關疫苗，負面影響仍在，可見並非所有的學術造假操弄結果是影響不大，或是容易查明訂正的，這就是一個很鮮明的例子。

- 補充未講的例子資料：[Anil Potti](https://en.wikipedia.org/wiki/Anil_Potti), [Mark Hauser](https://en.wikipedia.org/wiki/Marc_Hauser), [Diederik Stapel](https://en.wikipedia.org/wiki/Diederik_Stapel)

#### [美國學術誠信辦公室定義的學術不端樣態](https://youtu.be/orKak1sXB2k?t=13m9s)
- 在我的學術生涯看到的例子中，許多異常或不盡真實的研究成果並不一定代表著學術不端，在九零年代包含美國國科院Bruce Michael Alberts、國家衛生研究院Harold Varmus等研究機構領導，開始仔細地去探究學術不端的本質與規範，在Keith Yamamoto，以及我親愛的前同事Howard Schachman領導下，整合出學術不端所具有的特質，歸納出廣為接受的學術不端判別準則，**簡稱FFP準則**。他們認為合乎這三個特點任何一個，就是學術不端。第一個特徵是**捏造（fabrication）**：捏造是指捏造數據或結果，並將其記錄或發表。另一個特徵是**篡改（falsification）**：竄改是指操弄研究材料、設備、過程，或是變造或刻意忽略某些數據或結果，並讓研究記錄無法精準呈現研究結果。第三個特徵是**剽竊(plagiarism)**：剽竊指使用他人之想法或是把結果發表在別處(註)。最重要的是他們認為無心的錯誤與不同詮釋觀點，或是科學的風格等等所呈現的結果，並非學術不端。因此Albert、Varmus、Yamamoto、Schachman所揭櫫的原則很精準的界定了何謂學術不端。
- 註: 投影片上的剽竊(plagiarism)指使用他人之想法、研究過程、結果或是字句時未能適度呈現對方貢獻。

#### [近年期刊論文撤稿正在增加](https://youtu.be/orKak1sXB2k?t=15m12s)
- 近年來關於學術不端爭議曾出不窮的問題，有些諸如Retraction Watch(撤稿監視站)，或是PubPeer（公眾同儕）等網站讓很多人能熱絡的討論這個問題。我自己也常上去看。美國國家科學院會刊（PNAS）2012年有篇報告調查了2047篇生物醫學相關領域的撤稿文章，發現43.4%撤稿原因是因為造假，這原因撤稿的比率是1975年之前的十倍；14.2%是重複發表；9.8%是剽竊；21.3%是無心之過或是未知的錯誤。但2013年公眾醫學雜誌(PLoS Medicine)也有文章發表指稱，需要訂正或是被糾舉出學術不端的論文沒有增加，反而是被雜誌撤稿的數目大增，這或許的是因為期刊編輯意識到有些人正在幹學術不端的勾當而加強把關造成。這只是出版方可以做到的防堵不端工作。但有個十二年前文章讓我特別注意到的例子，是由John Ioannidis(約翰．伊歐恩尼迪斯)發表在PLoS Medicine的文章 [*PLoS Med.* 2005, 2(8):e124. Why most published research findings are false. Ioannidis JP. PubMed連結[按我](https://www.ncbi.nlm.nih.gov/pubmed/16060722)]

#### [經典論文伊歐恩尼迪斯2005(Ioannidis)給我們的啟示](https://youtu.be/orKak1sXB2k?t=17m3s)
- Ioannidis宣稱，在大眾比較熟知的臨床醫學領域的相關文章裡，或許有不少文章的不真實性，來自於不適當的統計方法、或是在論文發表壓力下人為選擇數據的結果。下面我將他2005這篇文章摘要念過一次：『近來越來越多人憂慮多數已發表的研究成果是假的。（講者評語：這是很驚人的評論，因為剛剛我們才提到的，研究造假的文章數量其實很少，顯然這作者不認為很少。）因為一個研究成果的真實性，需倚賴其研究深度、公正性、與其它相似問題的研究成果之對照。重要的是，也要參照各自科學領域中，其所宣稱的真實性的程度。在這個框架下，假若某些研究的探討範圍很小、影響層面很窄；數據量很大但只預選小部分做分析；研究的設計、定義、資料來源、分析方式的彈性很大；利益龐大以及興趣取向偏頗；許多團隊參與這工作去尋求結果上的統計顯著性等等，真實性就值得懷疑』文章發表在2005年時，當時多數基礎生醫研究的科學家並沒注意到該文章。但幾年之中，不少藥廠、生技公司卻開始呼應該文章的結論，說他們在進行新藥研發時，的確有許多臨床研究文章的關鍵結論無法被重複，導致他們無所適從。

- 補充資料：
- [互動式圖解Ioannidis提出的*p*值的正預測值(Positive Predictive Value, PPV)](https://goo.gl/40BsNV)
-- by Michael Zehetleitner and Felix Schönbrodt

#### [拜耳醫療2011(Bayer)與安進2012(Amgen)的再現性研究](https://youtu.be/orKak1sXB2k?t=19m10s)
- 拜耳醫療在2011年宣稱，在他們的實驗室裡面所做的相關實驗裡，只有25%的研究成果是可以再現的 (註ㄧ)。更令人訝異的是，2012年安進公司也提到，只有11% (6/53) 的已發表成果可以在他們的實驗室重現 (註二)。這個由安進公司資深科學家Glenn Begley領導的團隊發現， 用以做為研發基礎找尋癌症治療標的癌症科學研究發表中，比如一些可以幫助尋找到可用以癌症化療的標靶蛋白之類的文章，有許多發表的所敘述到的獨特現象是無法在他們手中重現的。後來有一篇發表在Nature(Nature 483, 531–533)的文章指出一個令人吃驚的觀察，在癌症研究領域中，只有11%的發表成果具有再現性。不過很可惜的，不論是拜耳醫療或是安進都沒有發表他們如何驗證上述再現性問題的研究方法，只有安進提到其中兩篇他們試圖驗證的文章後被證實是造假的。，或許這兩家公司對於發表這一類的發現沒有興趣，因為他們只要確定這些研究成果沒有他們所需的商業潛力後就已經達到目的，沒想進一步探究文章無法再現的原因。其中前述Nature paper其中作者Begley提到有，他曾經在癌症生物研討會時訪談一位文章無法再現的作者後發現，令人難以置信的是該文章中的發現無法重複的原因，是因為作者刻意挑選賣相比較好的漂亮數據所造成的錯誤結論，而且這似乎不是罕見的現象。
- 註一：Believe it or not: how much can we rely on published data on potential drug targets? [*Nat Rev Drug Discov.* 2011,10(9):712. **Bayer Health Care.** PubMed連結[按我](https://www.ncbi.nlm.nih.gov/pubmed/21892149)]
- 註二：Drug development: Raise standards for preclinical cancer research. [*Nature*. 2012,483(7391):531-3. **Amgen Inc.** PubMed連結[按我](https://www.ncbi.nlm.nih.gov/pubmed/22460880)]

#### [挑賣相好的資料(cherry-picking data)帶來危機](https://youtu.be/orKak1sXB2k?t=21m22s)
- 我以下把這事件的詳情引述如下：Begley說，在該會議的早餐中他與某篇他認為問題文章的通訊作者坐下來逐行逐圖討論。Begley告訴對方已經重複他們的實驗不下五十次，但是從來沒有得到跟他們一樣的結果。沒想到對方竟然說：『我們做那個實驗六次，有一次看到那個結果，於是就將該次結果放在文章中，因為這會讓整個研究看起來更漂亮!』我不知道這只是一時偏差，亦或是目前研究的常態，從這個例子顯示的特性來看，當研究者在有壓力的狀態下，他們取捨自己要的數據，接著錯誤解讀結果，然後發表在特定的期刊，而究竟這樣的情形有多常見，我等等還會再來談談。在跟你們談談最近這類的研究之前，先讓我來跟你們做個簡單的結語，說明這些現象究竟代表什麼樣的警訊。
- 

#### [Schekman小結以上論文](https://youtu.be/orKak1sXB2k?t=22m48s)

- Ioannidis 2005這篇論文極重要也很有影響力，但充其量那只是一個簡單的評論，並不是全面完整的整合分析，學術深度不足，但他主要想凸顯，某些關鍵報告的成果是有多不容易再現這個重要的問題。拜耳文章，充其量是個讀者來函，他們並沒有詳述究竟是哪些期刊什麼文章再現性那麼的低。安進的文章是篇評論，他們依然沒有說明究竟是哪些文章有這些再現性的問題，因此我們也不知道究竟是哪個環節出錯。
- 註:Ioannidis(2005)的見解對於社會科學，特別是心理學的影響，比預設的對象臨床醫學還來得大。可參考RP:Psychology的[研究成果](http://science.sciencemag.org/content/349/6251/aac4716.full)；中文報導：[270科學家合作，僅能重複36%心理學實驗結果](https://www.thenewslens.com/article/23587)。

- 加映：
<iframe src="https://embed.ted.com/talks/lang/zh-tw/ben_goldacre_battling_bad_science" width="560" height="315" frameborder="0" scrolling="no" webkitAllowFullScreen mozallowfullscreen allowFullScreen></iframe>

#### [Nature 2016的再現危機調查結果](https://youtu.be/orKak1sXB2k?t=23m25s)

- 接下來自然期刊延續這個議題做了調查，該[報告](http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970)的作者Monya Baker也在這裡，他們針對『研究結果再現性的危機』這議題，調查了生物醫學界1576個科學家的看法。有超過一半的科學家(52%)同意這是個危機，只有極少數無視於這個問題。令人吃驚的是，多於七成的人曾經嘗試去重現別人的研究成果但失敗了；但也有多於五成的人承認無法再現自己的研究成果（觀眾笑聲）。我不知道面對這結果該如何說明實驗信賴度(reliability)了。有趣的是，同一調查中，卻有高達七成三的人認為在他們領域中，有一半以上的研究報告應該是值得信賴的...這不是和上面結果自己打架嗎？研究人員竟然比較相信別人的研究成果、而對自己的結果比較沒信心？歐不，現前的研究系統一定有哪裡出問題了！希望像這樣較大規模的調查結果，可以吸引一般大眾或是科技政策制定者的注意與警覺，因為若我們沒有更深入探討其中現象、意識到這議題的危險性，那大眾對科學的關心信賴以及對科學的資助，將會產生危機。


#### [網路及大眾媒體對重製危機的報導](https://youtu.be/orKak1sXB2k?t=24m59s)

- 稍早我提過，我們目前的問題是『研究再現性危機』，這議題以及包含我們剛剛講的相關內容兩年前已經被維基百科收錄 (註)。此外一篇標題為『實驗室的麻煩』(Trouble in lab)的文章也刊登於『經濟學人』雜誌(Oct 2013)，該文特別討論開放科學領域提到的，心理學領域充斥著研究結果無法再現的文章的問題，關於這個等等Brian Nosek會在這個會議裡跟各位談談 ([第三天下午的talk, YouTube連結](https://goo.gl/33NSbE))。其實大眾也可以從底下影片注意到這個問題，讓我給你們看John Oliver一段Sunday Show的片段。 (註 [Replication crisis wiki 連結](https://goo.gl/JQHYH2))

#### Randy Schekman在演講中播放的youtube影片
{%youtube 0Rnq1NpHdmw %}

Randy播放的片段是Center for Open Science(COS)執行總監Brian Nosek的談話，和John Oliver搞笑解釋p-hacking。帶出COS與eLife合作的Reproducibility Project: Cancer Biology。

#### [介紹Reproducibility Project: Cancer Biology (RP:CB)](https://youtu.be/orKak1sXB2k?t=27m32s)

- 開放科學中心(Center for Open Science, COS)與eLife接洽之後，我們就開始參與Reproducibility Project: Cancer Biology (「癌症生物學方面的再現性研究專案」以下簡稱 **RP:CB**，[參考資料](https://osf.io/e81xl/wiki/home/))，這項專案也獲得[Science Exchange](https://www.scienceexchange.com/)與[Laura and John Arnold Foundation](http://www.arnoldfoundation.org/)的支持。我們首先在2010到2012期間出版的癌症研究論文 (註：謝克曼演講時說2012—2014，但Open Science Frame資料是2010—2012，可能是口誤)，透過一系列的文獻分析，挑出其中50篇，針對其中的關鍵實驗(key experiment) 進行完整的再現研究。這50篇論文出自[Science Exchange](https://www.scienceexchange.com/)有合作關係的實驗室，以及大學的研究中心。我們與這些論文的主要作者聯繫，詢問合作的意願，他們都很樂意加入RP:CB，提供原始的研究材料及研究紀錄。

- RP:CB由2014年開始執行，經過兩年多來開放科學平台上所謂的「註冊再現研究」，50篇裏頭有30篇完成**註冊實驗報告(registered report)**。這些報告中，有五篇已通過我們eLife期刊的同儕論文審查階段，被認為已達可以發表的水準 (pmid分別是 28100392, 28100394, 28100395, 28100397, 28100400)。接著讓我說明RP:CB的詳細執行步驟 (註: [英文參考資料](https://cos.io/rr/) 及 [註冊再現研究參考資料](http://scchen.com/Text/text_2017002/))

- RP:CB中，要去重複某篇已發表論文的實驗室稱為 「**契約實驗室 (contract lab)**」。契約實驗室根據要複製的論文內容，選擇幾項具有指標的實驗，規劃好步驟、實驗方法、及欲重現的主題，並將實驗步驟送回eLife審查委員會，檢覈實驗設計是否合理可行。通過的實驗步驟便由契約實驗室開始執行，實驗結果(無論與原論文相同與否)隨後寫成註冊實驗報告，送回eLife論文審查委員會、進行一般論文發表前的同儕審查(peer review)。(註：委員會成員包括多位eLife資深編輯，如幹細胞專家Sean Morrison及癌症生物學權威Charles Sawyers)

- 這裡簡單介紹一下我們eLife。 這本期刊約於五年前創刊，是一本由HHMI, Welcome Trust, Max Planck Society慷慨解囊所贊助的開放獲取(open access)期刊 。又，當時有感於許多科學家都說他們重要的研究成果無法被發表，因此eLife一開始就被設定為要以開放獲取的模式經營。eLife的論文審查制度，還有一項被當時認為是種創舉，那就是我們要求每一篇論文的編輯，必須在收到所有審稿人員的評論後，啟動一個在線諮詢會議(online consultation session)。線上會議中，編輯會介紹所有審稿人員相互認識，並且讓他們來來回回討論彼此的評論，直到獲得共識為止。最後編輯再將討論內容整理成一條條的重點，回覆給投稿人，也就是決定信 (decision letter)。與一般匿名審稿的方式相比，我們發現讓審稿人員在線上相互討論彼此對該文稿的觀點時，往往意見比較理性客觀，且較不會有過度嚴苛的情形發生。討論內容更為充實、正式。我們非常高興看到目前有多家期刊社也紛紛採取帶有類似精神的的審稿程序。
- 我們再回過頭來講RP:CB的初步公開結果。所以eLife審查委員會在投入相當的心力後，走過上述eLife審查一般論文的程序，於今年ㄧ月份接受了其中五篇RP:CB的論文、並且也刊出第一份[RP:CB的報告](https://elife.elifesciences.org/content/6/e23693)(pmid:28182866)。這份報告引起媒體相當的注意，我把其中一段內容摘錄於下:「在這五個RP:CB的研究當中，其中兩個可將原論文中某些重要實驗重複、再現出來; 但其中有一個則無法重現原論文之結果; 剩下兩個再現研究實驗結果，目前則仍無法下定論，因為在他們動物實驗中，控制組腫瘤不是長太快、就是長太慢(甚或消失)，以致於無法評估實驗組的治療效果。所幸原論文的結果目前已應用於臨床試驗當中 (anti-CD47抗體療法)，相信未來的臨床試驗結果對這兩篇論文會挹注更多的評價與討論。」
- 有一點在「再現性研究」中很重要、我必須在這邊提出來，那就是在契約實驗室無法養出腫瘤時，有一位幹細胞領域相當知名、而且也是原論文作者之一的科學家提出他願意讓契約實驗室的研究人員，到他們實驗室操作實驗，看看是否可以幫助他們突破瓶頸。其實這在COS(開放科學中心)開宗明義的條例中，是不被允許的。所謂的再現性實驗，只能就已發表的論文中所提到的實驗方法與材料，在另一個實驗室獨立複製得出來的才算具「再現性」，移駕到原實驗室才做得出來的並不被認可(註: *COS主持過的RP:Psychology，與更早的Many Labs Project都是遵守這些規則*)。當然，這不是說原論文作者有什麼問題，只是COS主張在發表的論文裡應將實驗步驟、材料與方法寫得夠詳細，日後才有辦法被別人再重複
- 至於那一篇無法被重現實驗結果的論文，實際情形其實是這樣子的：一開始契約實驗室與原實驗室接洽並把註冊實驗的步驟繳出來，而且也通過了審核，於是契約實驗室開始執行實驗。但是到了中途，因為由廠商購買的合成胜肽(synthetic peptide)無法在實驗中看到化學治療的效果，因此轉向原實驗室求助，請他們供應實驗室自製的胜肽，以作進一步測試。很遺憾地，原實驗室拒絕了這項請求。所以我想持平而言，這篇論文並不能完全說是重複失敗，實際上這個胜肽已經入臨床試驗，我們希望它終究是一個對癌症有療效的新發現!
- 一月份我們的報告出來後，新聞界以及其它出版社均給予正面的評價。Nature、Science的社論均及時刊出我們的報告。Nature之後還進一步做了詳細的延伸報導，並且給予善意評論，在此我要感謝這些期刊社的支持。
- 其實，我們才剛跨出第一步，現在只刊登了五篇再現性實驗的報告。後面還有24、25篇的註冊實驗結果報告仍在審查中。我不知道最後有多少篇可以通過審查刊登出來，甚至於我不知道往後我們還要不要答應接受參與這類型的研究？因為對eLife的科學部門編輯群而言，真是一份非常耗費心力的工作!
- 至於往後要如何改善RP:CB呢? 我有下面幾點建議：第一，目前的第一份報告內容，告訴我們做cancer biology (CB) 方面的實驗是非常複雜、細緻入微的，乃至於我們無法說上面 Ioannidis 2005、Bayer 2011的結論是對、還是錯，以及是否適用於CB領域。第二、或許在契約實驗室所執行的活體或是細胞株模型之實驗條件，需要加以調整。尤其是契約實驗室缺乏原論文實驗室擁有技術純熟的學生或博後時，預定要重現的實驗必須考量其可行性及衡量點。第三、整個再現性實驗計畫，原論文發表實驗室是否可以與契約實驗室共同協力合作，是非常重要的一環。唯有原實驗室願意從頭參與到尾，再現性實驗報告方可完成。第四、要做這種實驗所需經費比想像中昂貴許多，這次Arnold foundation核准的每一件計畫是兩萬五千元美金，有主持過實驗室的人應該都知道這些錢做不了什麼事。第五、契約實驗室的研究能量，包括是否有具格的實驗操作者、是否清楚了解要重複的重點實驗為何、以及RP:CB所堅持不能到原論文發表實驗室去突破實驗瓶頸是否合理，這些都需要納入考量。最後，對那些無法被重現的論文，它們和學術不端(misconduct)間的界線在哪裡？我特別要說清楚，在我們這次的RP:CB中，完全沒有原始論文的結果有被發現涉及學術不端。

補充：Reproducibility Project: Cancer Biology, COS Webinar - Feb 2017
{%youtube 514PoGT33GI %}

#### [造成學術不端的原因是什麼：年輕學者的壓力](https://youtu.be/orKak1sXB2k?t=47m48s)

- 往下我要提一個非常嚴肅的問題，那就是最近無論到哪裡演講或是與年輕學者座談，我感受到一股前所未有的壓力困擾著他們！他們說如果沒有發表在高IF點數的期刊，他們找不到工作、甚至申請不到獎學金。這我和那個年代相比，是非常不一樣的，至少我們當時投稿多是固定在幾本期刊，不像現在生命科學領域就有上千種不同選擇。下面我把目前年輕學者投稿時的焦慮心態，呈現於下面這張卡通圖(取自[Catriona MacCallum: Openly Streamlining Peer Review](http://blogs.plos.org/biologue/2012/08/03/openly-streamlining-peer-review/))：要發表在一個高點數期刊(小於10%通過率)，你需要通過這麼多的重重考驗，而那些匿名的同儕審稿人就像一關關拿著傢伙要致你於死地的「邪惡」把關者。你需要非常非常努才可以讓文章發表在這類期刊上。
- 

- 和許多學者一樣，我認為這種雜誌社發表文章的模式，自然造就劣質科學的產生(bad science)。

- 同場加映: 傳統模式支持者的憂慮
{%youtube 8ykftugZ44Y %}

#### [出版偏誤與虛假事實](https://youtu.be/orKak1sXB2k?t=50m18s)

- 劣質科學造成的後果就像這篇經Peter Rodgers審閱，發表在eLife的論文[Publication bias and the canonization of false facts](https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5173326/)，所指出的出版偏誤問題。經由作者們的統計分析，發現只有陽性結果(positive results)能被發表，陰性結果(negative results)無法發表的趨勢，會讓研究者產生對於這類研究結果過度樂觀的錯誤認識，我更害怕這些不夠正確的結論會被當成不可否認的事實。

#### [期刊影響係數impact factor(IF)是什麼, 可以吃嗎?](https://youtu.be/orKak1sXB2k?t=50m56s)

- 期刊影響係數impact factor(IF)的濫用，是研究人員的貢獻度被錯誤評估另一個原因。
- 先跟自然期刊(Nature)說聲抱歉，因為這是二年多前的一張舊投影片!2014年Nature在官方網站擺出這張大圖當成廣告(謝克曼的投影片切掉價格)。這張圖的數字不但不是真實的，還傳達很多錯誤訊息。
- IF並無法真實傳達整體科學的成就，因為它只是一本期刊過去兩年間刊出的所有論文，被其他論文引用的次數平均。而IF是由已經被轉賣的Thomson & Reuters公司定期進行的統計，這間公司數十年前由日前(2017/2/26 註)剛過世的Eugene Garfield創立。又、期刊出版社考慮營運效益，行銷策略常被最新發表的IF影響。(註：IF之父[Eugene Garfield的訃告](http://www.nature.com/nature/journal/v543/n7646/full/543492a.html?WT.mc_id=FBK_NatureNews))

- Eugene Garfield原來的想法是提供圖書館員訂購雜誌的一種指標，儘管他本人沒有這麼想，世人還是把IF當成衡量論文好壞以及學術工作者「學術貢獻」的指標。他相當後悔IF被如此濫用。
- 自然期刊的編輯群最近也開始檢討以IF衡量「學術貢獻」帶來的問題，就像這篇評論 - [Time to remodel the journal impact factor](http://www.nature.com/news/time-to-remodel-the-journal-impact-factor-1.20332)。希望能為被IF所苦的學界眾生指引明燈。

#### [科學界為何需要比IF更好的指標](https://youtu.be/orKak1sXB2k?t=53m56s)

- 容我引述這篇評論的開頭："Metrics are intrinsically reductive and, as such, can be dangerous. Relying on them as a yardstick of performance, rather than as a pointer to underlying achievements and challenges, usually leads to pathological behaviour. The journal impact factor is just such a metric." "過度簡化的計量方法是危險的。把這種計量當成表現績效，而非潛在成就或挑戰的指引，會導致**病態的行為**。IF就是如此的計量方法。"

- 接著我快速說明IF計量過度簡化的問題，我配合下圖解說：

- Nature Neuroscience 6, 783 (2003) doi:10.1038/nn0803-783

- 把這四本高IF的期刊，歸入當年度IF計算的個別論文被引用數，依序畫成次數折線圖。這張圖顯示多數論文的被引用數大約在10到20之間，Brain Research這本期刊的多數論文被引用數還是個位數。IF最高的自然期刊(Nature)，靠著少數一些高引用率的論文(紅線平坦處，又、即便其中有幾篇後來被撤稿，仍然加進去計算)，拉抬了這本期刊的平均被引用數。如果用中位數計算IF，這四本期刊的IF其實不會相差那麼多。

- 數年前我有機會訪問Thomson & Reuters位在費城的總公司，當面向一該公司資深專員問起為什麼IF是平均值，而非中位數? 她是這麼回答我的:「是啊，我們一直就是這麼計算的...如果換成別種方式計算的話恐怕會帶來**災難性的效應**! 」。接著去年在國科院這邊開e-Summit的某場小組討論(panel discussion)會議中，這位專員也在場，我再問一次同樣的問題，這次她的回答是: 「幾年前在您問過我們這個問題後，我們的確用中位數重新做了計算，但卻發現若採中位數的話，許多期刊分數會一模一樣、造成難分軒輊的結果，而這應該不是購買我們IF年度報告的人所樂見的吧!」我當下看到Nature、Science的與會人員用手遮住他們的臉，覺得要靠這種方式保持他們期刊的高口碑實在是丟臉極了! (觀眾大笑)

- 現在許多研究者都會依賴IF選擇要投稿的期刊，造成許多極端病態的現象，甚至有機構拿人員發表的期刊IF當做績效考核依據。我甚至聽說過有些機構的院長或是行政人員要求他們的同仁不要把IF低於10的文章列出來。照這種標準來看的話，有PNAS論文的人就不會被列在個人CV或網站上，因為它是一本低於10分的期刊!

#### [中國的IF迷思](https://youtu.be/orKak1sXB2k?t=57m26s)
- 更糟糕的是，幾年前中國國家科學院在他們院內佈告欄上，張貼了這麼ㄧ張聲明(投影片)。 嗯...即便你懂中文也不需試著去讀，因為我的幾位中國博後已幫我做好翻譯。大家請看這邊，無論是何種研究題材，若發表在Cell/Nature/Science，便可獲得約3萬3千美元(表列20萬元人民幣)的個人獎勵獎金! 雖然這個(用錢獎勵高點數論文)已夠糟，但下面這個更令一個曾任PNAS主編的我，感覺受到冒犯...看，發表一篇PNAS得到的賄賂獎金竟然差這麼多(表列5萬元人民幣) (觀眾大笑)

#### [舊金山DORA宣言及研究誠信教戰總則](https://youtu.be/orKak1sXB2k?t=58m16s)
##### San Francisco Declaration On Research Assessment, DORA
- 為解決上述種種濫用期刊影響係數(IF)之問題，以及建立正確研究人員評估體制，在2012年的ASCB大會上，我們幾個雜誌編輯人草擬了所謂的舊金山研究能力評估宣言(slide)。如果還沒有簽名的人，希望你能讀一下內容並且參與聯署。DORA的主要內容是：請勿再使用IF來斷定論文研究品質；相反的，應尋求別的評估指標，甚或用回老方法，直接讀論文內容並依其來衡量研究價值。[更詳盡的DORA內容，請[下載pdf版本](https://goo.gl/YzbvVv)細讀]

- 欲簽署DORA請進入該網站，按右上方第三個項目 (Sign The Declaration)進去簽署 :information_desk_person: [DORA網站連結](http://www.ascb.org/dora/)

#### [現今研究誠信所遭遇之困境](https://youtu.be/orKak1sXB2k?t=59m20s)
- 有關如何改善現前不適當的學術論文評量方式，以及克服論文再現性低的問題，我個人有下面幾點建議，**首先**是針對期刊的部分：每位期刊主編，當有人提供相當程度的實驗結果來質疑您期刊中某篇文章的內容時，你必須要有一個公開公平的討論平台，看是要在網站或是以書面方式，接受讀者的質疑。我自己的eLife已多次發表其它期刊拒登、卻毫無問題通過我們同儕審查的讀者投書(文章)。

- **第二**，請讓論文審查過程更為公開透明些。例如，每篇論文的編輯者(editor)名字須一起放在發表的論文上面以示負責。目前像PNAS、eLife及一些期刊已經這麼做了，希望大部分期刊能跟上。另外是審稿人員的評論，也應該和發表文章一起刊出來，這部分可以是匿名可以是具名。刊出審稿人員的評論對於學生、博後的讀者特別有用，因為藉由這些評論，他們對論文的審查過程可一窺究竟、增加日後他們之投稿能力 (eLife, EMBO J 已如此實施)。

- **第三**，請改變現行無效的的學術不端論文審理方式。目前一般的處理流程多半是這樣子的：
- 雜誌社收到已刊出之論文受到學術不端之質疑時，雖會要求作者提供原始數據與圖表，但是對於一些較專業領域的圖像造假，雜誌社本身並非調查機構，且無足夠之儀器或設備來斷定該論文有無涉及造假，這時我們會通知原論文作者所屬之原隸屬研究機構(home institution)，尋求他們協助調查。
- 學術研究單位收到雜誌社通知時，有些會、但有些不會，去執行一個公平、公開、完整的調查。為什麼有些不會？因為當該單位與被舉發人有涉及利益衝突(conflict of interest, COI)時，往往學術單位對學倫調查是有抗拒心態的。好比當被舉發人是該機構非常傑出的學者時、如今天早上紐約時報剛好登出這樣一個麻煩的例子(註)，這時調查出自己機構內的名學者有學術瑕疵，對該機構並無任何好處。所以，我們需要一個更具介入性(interveneing)的機制與條例，來監督學術研究單位，以防止這類狀況發生(註：2017/3/8紐時科學版 [Years of Ethics Charges, but Star Cancer Researcher Gets a Pass](https://goo.gl/jiD24r))
- 上面情形發生後，研究機構就把無法處理的案子送到計畫出資單位，也就是NIH研究誠信辦公室(office of research integrity, ORI)。而在ORI，即便經過繁複的挖掘步驟與漫長的時日等待，多數案例仍然沒有得到令人信服的審判結果(judication)。
- 因此，上述這種審查流程對學術不端之行為及風氣，是完全沒有約束力的，我們亟需想其它方法來規範這類不良行為。

#### [未來可能有效扭轉歪風的方法](https://youtu.be/orKak1sXB2k?t=1h4m11s)
- **第四**，Bio-Archives的設立。我發現最近有一個相當令人振奮的趨勢，那就是一些雜誌社開始收錄每一篇論文投稿時的第一版文稿，而且將它們存放在一個供人免費取得之開放獲取平台。此乃仿照已有25年歷史的Physics Archives (arXiv.org)。這種作法對日後驗證實驗結果是否涉及學術不端相當有效。目前多家雜誌社已開始這麼做，希望有更多的雜誌社能夠加入(***J Biomed Sci*請加油**)。
- 參考資料一 Open Science Frame [OSF preprints](https://osf.io/preprints/)
- 參考資料二 What are preprints? [YouTube Link](https://youtu.be/2zMgY8Dx9co)
- 參考資料三 NIH’s new embrace of preprints will be a boon to science [Link](https://goo.gl/a2pxCS)
- 2017/03/24 NIH網頁[連結](https://goo.gl/TyUUwn)
- **第五**，除圖書館員外，宜立即停止使用期刊影響係數IF。圖書館員可用它來決定哪本該訂、哪本不要訂；但學術機構若用IF來衡量研究人員的學術能力、論文價值；雜誌社若使用它來鼓吹期刊優劣或衡量編輯者的地位，則無疑是在孕育一個有毒的研究環境！所以請立即停止IF的迷思、轉而奉行DORA之精神。

#### [總結](https://youtu.be/orKak1sXB2k?t=1h5m37s)
- 我知道自己今天嗆出這些想法，有些地方有些人可能會不同意，其實我們的川普總統就是其中一位。一年前，就在大選活動期間，Donald Trump藉由推特並以國家衛生院院長身份 「拜會」了我。他說：「嘿、大新聞啊！我們終於和英國的Macmillan出版社交涉成功，從今天起所有#Nature系列期刊全部重新命名為"TRMUP"，而且，每一本的2016 IF皆是50分以上！謝克曼，認栽了吧！」 (全場大笑) 今天非常感謝大家的聆聽。(霹哩啪拉 霹哩啪拉)
-