2020年9月21日-25日是同行評議周（Peer Review Week），主題是“同行評議中的信任”。

國家自然科學基金委員會原主任，浙江大學教授、原校長楊衛做客愛思唯爾專題線上研討會，暢談對“信任與科研評審制度”的理解，給青年科研人員進行項目評審、基金申請提出了不少中肯、操作性強的建議，并與網友進行互動。

《中國科學報》對研討會內容進行了整理，以下為研討會實錄：

Q1: 同行評議除了在期刊評審發揮作用外，相信您還了解同行評議在其他方面的廣泛應用，可以介紹一下嗎？

楊衛：

不同方面的同行評議我都做過，現在還是愛思唯爾一個期刊的編輯之一。每年從我手里要評五六百篇來稿，涉及發送給審稿人、判斷其審稿意見、決定錄取與否等。

我們一般談論的廣義評審，可以稱作“三評”——評審、評估、評價。其最基本的形式有兩種：主觀評價和客觀評價，分別指由人來評價和由數據來評價。當然也有主觀和客觀結合在一起進行評價。

我曾做過一個報告，將目前國內實施的主客觀相結合的評價歸結為9種具體形式。

主觀評價，即同行評議（peer review），是一種最基本的評價形式。廣泛應用在期刊、科研項目、獎項、職稱乃至學生獎學金、先進模范等評審中。

與期刊的同行評議相比，科研項目評審呈現出以下不同特點：

1. 評價項目涉及標的更大，并涉及到國家經費，即納稅人的錢。所以評審過程中一旦出現問題，審計、監督部門就會介入。

科研項目的評審一般是單向的，評完后通知評審結論和意見，沒有評上的很難以學術觀點不同的爭辯而改變結果。

國家自然科學基金條例中規定，評審過程中如果違反了程序，可以申訴，維持程序正義。但如果對評價意見有異議，只能保留。

這和期刊評審采取交互的方式，審稿人、編輯、投稿人有時候可以進行爭辯而有所不同。

這是因為，在評價過程中，國家自然科學基金委認為它已經找了一組最權威、最合適的專家，如果你對意見不滿意，想要推翻這些專家的意見，就需要找更加權威的專家。

2. 項目評審的時間，尤其是會評的時間往往比較固定，在評審之前不公開專家信息。

在評審之前公布專家信息行不行呢？我們以前試過，在某一年，依照當時一份文件，公開了專家信息。結果很多專家的手機都被打爆了，電話、短信幾百個。

這些申請人們并不直接找相應的評審專家，而是去找一個評審專家最難說不的人當說客，這就帶來很多問題。

一直以來，我們讓評審專家互相打分，來判斷組里別的評審專家是否公正，公正程度分為A、B、C，在信息公布的那一年，這個分數一下子下降很多。

因此，從下一年起，我們就不再提前公開評審人的信息，而是在評審之后公布。同時把統計數據、情況說明等報給了相應的管理部門。

3. 項目評審往往會框定一個項目的總數量，如30項或50項，有時則是定出資助金額總量，如1000萬等。

一般采取定額補助的財務管理模式，對比所有參評的項目，從中擇優選取。

可能你的分數很高，評價也不錯，但如果同組里的其他申請人分數更高，你就會被淘汰。

這是一種學術共識性的評價，即綜合幾個評審人的意見，最終給出結論。這對具有顛覆性的、從0到1的創新是不利的。

既然是顛覆性的，還能形成共識嗎？現在大家也在探索，對這種項目該以什么方式去評審。

4. 在評審項目時，除了要看項目本身的重要性外，還要看它有沒有可能做成、價值怎么樣，要檢查可行性。

這與期刊評審不同，論文是經過可以形成完備論證鏈的理論、實驗、計算工作所取得的成果。

但研究項目在提出時并不一定能保證成功，是某人提議去做這么個項目，即使最后做不成，也不完全是申請人的責任。畢竟科學探索不一定都是成功的，如果要追求一定成功，那可能就不會有大的創造。

而評獎更加滯后一些，所以更注重應用價值、突破和進步的程度、別人對其評價和引用、相應問題知識產權的占有情況。

比如科技進步獎，就要看經濟效益和社會效益。曾經有諾貝爾獎評獎委員會的評委告訴我，諾貝爾獎最注重兩點：是否是“開門之作”，有沒有持續的影響力。

Q2: 期刊為了提高透明度和可信度，會公布審稿人的意見，科研項目在評審之后會公布評審人信息，同時給單向的評審意見。

您認為除了目前這些措施外，還可以從哪些方面提高整個評審程序的透明度？

楊衛：

透明度目前還是一個有一定爭議的議題，得特別謹慎地加以處理。

評審人和申請人的角色經常互換，并不是固定的。評審的意見一般要求非常具體，要讓在申請人拿到意見之后，無論贊同與否都有收獲。

這個意見要隱去所有能揭示自己身份的信息，對國家自然科學基金來講，在函評時，誰審得誰，是基金委的核心機密，任何一個工作人員如果透露出這個信息，就不再適宜在基金委工作。

我曾擔任國家自然科學基金委主任，也不知道是誰審了誰，系統里這塊內容對我是封閉的。

只有具體操作的人才知道，他們的操作，也必然留下痕跡。所以一旦泄露，很容易追蹤到這個人。這才能保證大家對國家自然科學基金的信任感，不至于出現專家之間的猜疑和人身報復。這一體系在絕大多數情況下也是被認可的。

畢竟目前來看，中國還是比較講人情的，如果你要把審稿人公布給申請人，還要求提出尖銳的意見，大部分人就拒絕審稿了。即使不拒絕，其意見也會含混不清、模棱兩可。

期刊也是這樣，大多數期刊也不會把審稿人告訴給作者。以我所在的期刊來說，如果審稿人的名字被泄露給作者，就算是一個事故。

Q3: 匿名評審是為了保護同行評議的信任感，但評審委員會內部如何決定誰審誰？怎么避免人為的偏見呢？

楊衛：

我剛才講到，我們的基金評審是學術共識性的。一般的程序是，先把所有的申請按照關鍵詞進行分類，分成若干個包，每個包可能有十幾份申請，會發送給同一撥專家。

在評審專家看到申請人名字和申請課題后，他們依照原有的認知，對申請人形成一個排序，這是預判斷。

在對申請書進行比較、分析之后，他們可能會調整預判斷，形成個人最終的次序判斷。最后，對這一組的評審人意見進行匯總，形成最終的意見。

Q4:您對青年科研人員有哪些建議？在申請基金時有什么需要注意的？

楊衛：

自然科學基金委原來的規矩是，項目主管不許給別人講怎么能申請到基金。我不做主任有兩三年時間了，但現在我不能主動去詳細講述這件事。

在我當校長的時候，年年都給老師們講，怎么才能申請到基金。現在我只能給大家講，在我當國家自然科學基金委主任以前，給年輕老師的提議。

1. 項目背景要能夠讓大同行明確理解。

有些年輕的申請人以為，自己寫的東西別人都應該知道，但其實很多時候別人并不知道，隔行如隔山。缺了解釋性的一兩句話，中間的邏輯就會斷裂。因此，要照顧到大同行的理解程度。

2. 研究內容、技術路線、創新點等要適度聚焦，但在難點上要一線貫通。

你的項目可能涉及很多個方面，但并不需要面面俱到，不然大家看的也很疲憊。而要把最難實現的路徑、別人認為最不可行的問題講清楚，包括技術細節等。

這樣評審人會覺得，最難的東西你都講清楚了，其他的問題也不大。

這和寫論文不一樣，寫論文要把所有的步驟、方法都講明白，但是項目要求內容聚焦，要論證其執行路徑的可行性。

3. 不能省略同行的工作。

有人在進行闡述時，忘了提自己同行的工作。但評審人很有可能就是你沒提到的某個同行，或者是他們的學生、同事等。別人做過的工作，絕不能只字不提，尤其是國內同行的相關工作，要寫清楚。

4. 寫自己的研究經歷及成果時，突出重點。

不需要一一羅列，寫幾十頁，只需要把自己最重要的和與研究問題最相關的工作寫清楚。

5. 思考如何才能令人眼前一亮。

剛才我講到，最初申請書是由人工智能系統檢索打包的，將相似主題的申請發送給給同一撥人。

這時你要想：在這十幾份申請書里，我的課題申請憑什么能打動評審人？一般的中標率是20%左右，15份申請里的前3名有可能中標。大家要思考如何才能成為前3名，令人眼前一亮。

不同的學科習慣不一樣，生命科學可能要求把故事講好，而工程類的呢，要保證寫得實實在在、精確到位。

上述意見僅供參考。

Q5: 青年科研人員也逐漸參與到各項評審工作中，通過經驗積累來提升自己的評審能力，但目前市面上很少有專門的課程指導大家如何去做同行評議。

在這方面，項目評審是否有同樣的挑戰？如何成為優秀的評審人？

楊衛：

國家自然科學基金委有一個專家庫，里面大概有十幾、二十萬個專家。在項目主管指定評審人的時候，根據項目主題和內容，可以看到相關專家在關聯度上的降序排序。

項目主管可以選擇系統篩選出專家，也可以根據自己的知識，指定其他更合適的專家，他的選擇也會被帶到機器學習中，相應做出調整。

這個系統的信息一般是從科研人員的網站搜過來的，因此建設個人網站很重要。如果網站信息顯示你曾經研究過某一類的問題，就有可能請你來評審。

你給的分數等級普遍比大家高或低都沒問題，但如果總是跟大家的平均結果缺乏相關性的話，你在系統中的優先級就會下降。比如多次出現這種情況，其他人一般給B，你給了D，其他人給C，你給了A。

再有，基金委給大家規定了評審時間，你最好及時審回提交，項目主任一般比較喜歡審的及時、意見具體準確的人。基金委很自豪的是其邀請審查基金的審回率在90%以上，比所有的期刊都要高，期刊的評審人有一半能審回就不錯了。

Q6: 如何調動審稿人的積極性？有哪些激勵措施？

楊衛：

首先，跟期刊審稿一樣，評審一次基金項目，就能了解到某一個問題。而且項目書所覆蓋的面往往比論文更寬，審完后對大家做什么題目，同行中比較重要的團隊做些什么都有了解，這對學術生涯有正面作用。

第二，評審費在2年前就增漲了，而且漲幅很大。審一包項目書，肯定比你干一天活掙的工資要多。

同時，心理上來說，這也是為學界服務，是在做貢獻。

Q7: 您提到，我們目前的評審制度是學術共識性的評審，對顛覆性的、創新性較強的項目有局限性，但目前中國正從科研大國到科研強國轉變，越來越強調科研原創性，如何改變這種局限性？

楊衛：

基金委最近出了一個對待“從0到1”研究項目的特殊評審辦法，更多地強調申請人和基金項目主管的交互。

申請人最開始寫的項目書可以很簡單，然后被拿去預審。只要其中有一處明顯的創新點，就可以讓申請人圍繞這一點，重新寫一個比較詳細的項目書。

這是一個迭代過程，希望能最終迭代出最能突出創新性的版本。在項目進行過程中，也會分階段進行評估，根據評估結果決定資助金額。

延伸閱讀：

基金委與阿里云達成合作，應用 AI 技術遴選評審專家

據《中國科學報》從中國政府采購網和阿里云獲得的消息，國家自然科學基金委員會已和阿里云達成合作，建設應用人工智能技術的科學基金項目管理系統，支撐自然科學項目申請、評審、立項、在研、結題、成果等等核心業務穩定可靠運轉。阿里云方面介紹稱，本次項目基于科研大數據、人工智能等技術，提取科研項目申請書、評議人的多維特征及科研行為信息，對科研對象進行更加準確的定義描述。基于 AI 技術的輔助指派系統，將為科研項目申請書遴選出最合適的評審專家，并結合反饋調節機制持續完善評議指派準確度。

基金委正在搭建的這套 AI 系統則更加復雜。在Nature的報道中，基金委主任李靜海描述了系統的工作原理：爬蟲會在網絡上抓取文獻數據庫、學者的個人主頁等在線數據，然后使用自然語言處理的方法提取學者的學術出版物、科研項目等信息的關鍵細節；匹配基金申請項目與潛在評審人時，系統將對兩部分信息進行語義分析，以得到最優的結果。 

基金委前任主任楊衛稱，2018年，這個系統的一個早期版本已經在為基金委提供服務：基金申請書的評審工作由3～7人組成的專家組承擔，而系統為44000個批準了基金申請的專家組各推薦了至少一位成員。 

科研人員的裙帶關系一直是基金評審公正性的一大阻礙，基金委希望使用AI系統減少評審的偏向性。李靜海認為，“AI是不會被被腐化的”。《中國科學報》稱，雖然此前基金委已經為規范評審紀律采取了遏制措施，比如提高評審信息保密水平、提高評審人員紀律意識，但今年仍有人通過各種途徑“活動關系”，甚至有“廣撒網”式的“打招呼”現象存在。 

過去5年內，基金委收到的項目申請以每年約10%的速度增長，這讓評審公正性面臨的壓力進一步提升。2018年下半年，基金委提出要用5～10年的時間對科學基金進行深層次的重大改革，“完善評審機制”是彼時提出的三大改革任務之一，任務的實現措施中，明確包括了“使用智能輔助評審管理系統”。 

智能系統的工作質量，將是影響改革成效的關鍵因素之一。Nature 的報道顯示，加拿大衛生研究院使用的一個評審人挑選算法，效果并不盡如人意：算法挑選出的評審人可能與項目存在利益沖突，或者不適合、甚至根本不具備評審項目的資格。

目前，基金委的這套試驗性系統只能處理中文的網絡信息，英文信息的處理將是下一步的計劃。