撰文 | 十一月

相關閱讀：

CNS可重複性專欄｜可重複性專案中未完成及其他等論文結果總述

CNS可重複性專欄｜Wnt訊號活性與結腸癌幹細胞

擔憂｜十年前的CNS中，超過50%的實驗無法被重複

科學研究最負責的態度不僅僅是做出對推動科學發展的工作，同時也需要科研工作者隨時對自己的實驗結果保持警惕和謹慎。每到年底，無論是實驗室還是公司，大家都會對自己的一年來的工作進行總結。除去總結這個形式本身，回顧自己所得到的資料，對整一年的科研工作進行復盤，是迴圈往復式進步的重要步驟。

elife

編輯部近年來一直在進行一項關於科研工作可重複性的專案Reproducibility Project： Cancer Biology，用於對於癌症生物學領域的文章中關鍵實驗的可重複性進行評估，BioArt編輯部也一直在對該專案進行追蹤。

實驗的可重複性是一件極為嚴肅的話題，作為科研工作者自己的工作離開所在的科研環境在其他組的手裡不能被很好的復現，出現了實驗結果的“水土不服”，是一件非常不負責任的事情，尤其是一些事關臨床治療以及藥物開發的課題更需要多加小心。從科學問題的開始就心懷敬畏之心，對實驗細節以及科研故事具有嚴格的批判思維，是確保科學研究真實可靠的第一步。在研究發表之後，讓自己工作能夠經受得討論和考驗，從科研環境內部開始反思，在條件可能的範圍內為科研社群和領域內提供幫助將有助於科學研究真正的進步。

BioArt編輯部將陸續為大家帶來2021年度的

eLife

所帶來的癌症生物學領域的實驗可重複的紀實，這一專案是對整個科研界的淨化，也是對每項研究以及每位科研工作者的“拷問”，在做實驗得出結論的時候、在工作成形的時候、在論文發表的時候，問自己：我的實驗可重複嗎？

科學本身是一種知識積累的體系，我們的研究都站在前人的肩膀上，因此知識以及論點的可信度一定程度上會依賴於前人科學研究證據的透明度和可重複性。因此，科學作為一種社會系統，有自己的規範和運作程式，從而能夠促進對實驗成果的批判性評估的，而科研資料本身的透明度以及抱持懷疑態度是大多數科學家所認可的科研美德。科學沒有等級，也沒有國界，但同行可以對新的主張和證據進行質疑，其中最正式的方式是同行評審。一旦科學研究公開發表，其他科學家可能會參與其中進行實驗重複或者據此來進行新的研究，從而對該結論進行質疑、挑戰或者是擴充套件。因此，同行評審以及實驗重複的評估過程是科學研究自我修正的基礎。這一自我修正過程是必要的，因為在探索知識的邊界時，錯誤是不可避免的。科學之所以有效，是因為它能有效地識別那些錯誤的開始，並將資源重新導向新的可能性。在這篇總論中，

eLife

編輯部首先呈現了他們在大規模重複癌症生物學中的科學發現所面臨的挑戰，並對如何提高科學研究的透明度、如何進行科研材料的共享以及如何更容易對實驗的可重複性進行評估進行了討論，從而提高研究效率。

想要對一個實驗進行重複，首先需要能夠方便地獲得其中的實驗方法、實驗材料以及原始資料以及從這些資料中得到結論的具體過程。除此之外，能夠讓其他的研究人員訪問資料、材料以及程式碼等可以幫助外界重複實驗結果或者識別一些違背初始發現的錯誤。因此，透明度和共享有助於評估研究的可再現性、穩健性和可複製性。從2013年到2020年，作為Reproducibility Project： Cancer Biology專案的一部分，作者們試圖在癌症生物學領域的高影響力的論文中複製選定的結果，該專案的目的並不是為了重複論文中每一個實驗，而是為了重複其中最為關鍵的一個到幾個實驗

【1】

。該專案還採用了一種方法，即在開始實驗工作之前，必須對一份描述實驗方案和資料分析計劃進行同行審查並發表。報告實驗結果的複製研究隨後也進行同行評審，以確保實驗是按照已發表論文中概述的程式進行和分析的。另外至關重要的是，審稿人被要求在審查複製研究時不要考慮實驗的成功或失敗，只考慮實驗的可再現性、穩健性和可複製性。

最初的目標是重複2010年至2012年間發表的53篇高影響力論文中的193個實驗，但是作者們每個階段都遇到了不同程度障礙和挑戰，最終作者們只選擇了23篇論文中的50個實驗及進行重複。

本篇總述中主要對遇到的不同挑戰進行討論，一方面是對該專案進行一個全域性性的理解，另一方面是可以根據遇到這些問題對現有的科研環境以及發表過程中的問題進行反思。作者們所建立的一個完整實驗可重複性評估主要包括六個階段：設計實驗、同行評審、準備實驗、進行實驗、資料分析以及對可重複性報告進行再次的同行評審和發表

（圖1）

。

圖1 實驗可重複性流程與時間

在這六個階段作者們遇到過不同程度的問題。在初始階段，作者們希望從論文原作者處得到一些幫助。其中的73%的原作者願意分享至少一種做實驗的關鍵材料。在136個關鍵實驗中，有69%的作者願意分享重要的試劑。這些反饋對於實驗的重複非常必要。一個對於實驗重複很有幫助的例子是，其中一篇文章的通訊作者幫助聯絡其他已經去到其他機構的作者們一起解決重複過程中遇到的問題，分享詳細的實驗方法和實驗資訊，甚至會幫助提供額外的資訊以確保實驗細節的完整，並對任何已知的實驗偏差例如不同的實驗儀器造成的系統性偏差提供反饋，以幫助設計和完善實驗的可重複性。這是實驗可重複性專案中較為負責任的情況。

最終總共有32篇實驗可重複性報告送審，

eLife

經常邀請原論文的一名或多名作者參與同行評審過程。其中有一篇論文由於資源不能達到修改的水平而沒有重新提交，兩篇文章被拒稿，剩下所有的論文都經過修改後被接收。因此，總共有29篇論文以報告形式發表。而在發表後續階段仍遇到了多種問題和挑戰。

比如一篇文章中所採用了異體移植的實驗手段，但是由於很難達到目的細胞數量的比例，所以很難進行實驗的複製。這並不能證明原始文章中的結論是錯誤的，可能是因為有一些實驗條件難以達到。但如果出現了與預期結果不同實驗證據，負責重複的作者們也會將其如實整理和報道，提供給沒有預設立場的審稿人進行參考，確保所有的結果都被認真對待。當結果與最初的發現不一致時，審稿人通常會返回並重新評估方法，不同的實驗結果和結論將為公眾提供討論的平臺。另外，關於可重複性專案的運作時間週期，選擇論文到提交首次的實驗方案論文平均需要30周的時間，準備實驗需要12周的時間，實驗開始到最終拿到資料大約是90周的時間，分析資料並撰寫報告需要24周的時間

（圖1）

。所有的實驗細節可以在https：//osf。io/collections/rpcb/上公開獲得。

實驗重複過程中可以說是一步一個坎，但這一專案對於重要的課題的可重複性提供了重要的監督作用。關於實驗中可重複性科學家們主要的擔憂是這些重複是否可信，可重複性專案中的作者們儘可能地對所有的實驗中的細節進行了公開。但是作者們所重複的193個實驗中，沒有一個實驗方案是足夠完整可以不聯絡原作者直接進行重複的。每個階段遇到的問題都減緩了專案的進展並增加了成本。因此，關於本專案作者們的提供了領域內能夠提高科學精神，促進可重複性評估的一些建議。

首先是要提高原始檔案的儲存和公開報告，因為空間限制的以及標準定製的差異，會使得其他研究者很難直接獲得較為細節的實驗方案，但近年來試劑、工具等引用率越來越高，豐富實驗用品的詳細資訊刻不容緩。其次，需要提高資料、程式碼、材料等的透明性和共享性。比如作者們重複實驗時發現很多細節不能確認，提供的資料和程式碼用不起來的，要求作者們共享資料大多以失敗告終，因此，原始作者以及期刊等促進資料和程式碼的共享也非常關鍵。最後，需要改進實驗方案和分析發放的公開性，這將有助於重複者有機會里瞭解到資料分析過程中的重要邏輯。

本篇總論，主要講述了Reproducibility Project： Cancer Biology專案執行過程中遇到的各種各樣的挑戰，並對完善現有情況提出的一些思考。該專案對於提高科研界研究的可再現性、穩健性和可複製性具有非常重要的意義，同樣也會對現有領域內的一些科研結果進行糾錯和改善。

提高實驗可重複性，從科研界的每個你我做起。

原文連結：

https://elifesciences.org/articles/67995

參考文獻

1。 Errington， T。 M。 et al。 An open investigation of the reproducibility of cancer biology research。

eLife

3， doi：10。7554/eLife。04333 （2014）。