近日在國際頂級期刊Nature上發(fā)表題為“Impact factors are still widely used in academic evaluations”的新聞。調(diào)查發(fā)現(xiàn)，40%的研究型大學(xué)在評估報告中提到了有爭議的指標(biāo)（影響因子），盡管他們努力降低其影響~

早在去年倫敦帝國理工學(xué)院Stephen Curry教授在Nature上發(fā)表一篇“Let's move beyond the rhetoric: it's time to change how we judge research”的文章，指出迫切需要改進學(xué)術(shù)研究的評估方式，并要求科學(xué)家、資助者、機構(gòu)和出版商放棄使用期刊影響因子（JIFs）來評判單個研究人員。2012年在舊金山舉行的美國細胞生物學(xué)學(xué)會年會上就提出過類似的問題，認識到有必要改進對學(xué)術(shù)研究成果進行評估的方法。并提出了The Declaration on Research Assessment （DORA研究評估宣言）。

JIFs從來就不是單個論文的衡量標(biāo)準(zhǔn)，更不用說單個人了。它們是某一期刊論文在兩年內(nèi)被引用的偏態(tài)分布的平均值。這些平均值不僅掩蓋了同一期刊論文之間的巨大差異，而且引用量也不是衡量質(zhì)量和影響力的完美指標(biāo)。IF高的期刊可能會發(fā)表許多頂尖的科學(xué)論文，但我們不應(yīng)該把對個別研究人員及其產(chǎn)出的評估外包給誘人的期刊指標(biāo)。

因此，DORA現(xiàn)在的工作是加速它所要求的更改。Stephen Curry教授說道“每當(dāng)我遇到博士后時，我都覺得有必要做出改變。他們對世界的好奇心和改善世界的決心燃燒得很旺。但他們追求最迷人、最具影響力的問題的欲望，被我們的評估體系顛覆了。當(dāng)他們申請他們的第一個長期職位時，他們已經(jīng)在計算如何在依賴JIFs的現(xiàn)代科學(xué)管理主義中運作。”

期刊影響因子（JIF）最初是為了幫助圖書館決定索引和購買哪一個期刊而建立的。然而，在過去的幾十年里，它已經(jīng)成為一種基于期刊排名來評價研究論文的依賴指標(biāo)。接受調(diào)查的科研人員經(jīng)常抱怨說要在高JIFs的期刊上發(fā)表論文，他們感到了壓力。近日墨西哥國立自治大學(xué)Erin C. McKiernan教授在Peer J Preprints上發(fā)表了一項針對北美院校的調(diào)查發(fā)現(xiàn)，有近一半的研究型大學(xué)在決定提拔人員時都會考慮期刊的IF。這份分析報告對美國和加拿大129所大學(xué)及381個學(xué)術(shù)單位的800多份文件進行了研究，他們通過軟件運行這些評估文件，軟件設(shè)計了用來標(biāo)記與影響因子相關(guān)的特定術(shù)語，他們閱讀文件子集中的相關(guān)段落，用來了解學(xué)校或機構(gòu)如何以及為何使用該指標(biāo)。為IF用于科研人員評審、晉升、終身職位獲取的相關(guān)信息提供了支持。

結(jié)果顯示，在重點關(guān)注的研究型機構(gòu)中，約40%的研究型機構(gòu)在審查、晉升和終身職位過程中使用的文件中提到了IF。而只有18%的關(guān)注碩士學(xué)位的大學(xué)提到了期刊影響因子或與其密切相關(guān)的術(shù)語。我們的定性分析顯示：在研究型大學(xué)中，超過80%的相關(guān)文件在科研人員審查、晉升和終身職位聘用過程中提到鼓勵在學(xué)術(shù)評估中使用IF，而在提到JIFs的這些機構(gòu)時，只有13%的機構(gòu)對這一指標(biāo)提出了質(zhì)疑的態(tài)度。但大多語言傾向于暗示高影響因子與更好的研究有關(guān)，例如，61%的被提及者將影響因素描述為研究質(zhì)量的衡量標(biāo)準(zhǔn)，35%的被提及者表示它反映了工作的重要性。

評判的誤差

JIFs是衡量某一特定期刊上發(fā)表的文章在過去兩年中平均被引用的次數(shù)。出版商經(jīng)常宣傳這個數(shù)字，以反映期刊的質(zhì)量。但是，許多學(xué)者和評審小組已經(jīng)將影響因素作為判斷一項研究或發(fā)表該研究的科學(xué)家的質(zhì)量、重要性和聲譽的一種快速方法。這惹惱了許多學(xué)者，他們表示IF傳播了不利于科學(xué)的不健康研究文化，他們希望大學(xué)在招聘和晉升過程中不再使用這種衡量標(biāo)準(zhǔn)。

Erin C. McKiernan教授指出：我們現(xiàn)在有數(shù)據(jù)顯示學(xué)術(shù)評估的進展。她預(yù)計在這些文件中明確使用IF的機構(gòu)比例會更高，她警告稱他們的結(jié)果可能只是“冰山一角”。在評估過程中，可能會有更多間接提到影響因素的術(shù)語，比如“頂級期刊”或“高級期刊”。

評價方法的重要性

Stephen Curry教授表示對于大學(xué)來說，想出其他評估員工的方法至關(guān)重要。他說：“對研究人員的評價應(yīng)該基于他們所做的工作，而不僅僅是他們在哪里發(fā)表了論文，而且應(yīng)該對他們在發(fā)表研究論文之外所做的許多貢獻給予肯定。”

對于很少發(fā)表文章的人來說，JIFs的好處在于它是前瞻性的，而不是回顧性的。JIFs提供即時驗證：隨著時間的推移，h指數(shù)和被引用次數(shù)都在增加，這是早期研究人員積累起來的財富。在舊的體制下，如果你努力學(xué)習(xí)，你的第一作者論文就會出現(xiàn)在IF很高的期刊上，這將帶來晉升及終身職位的幸福感。

倫敦帝國理工學(xué)院的高級講師John Tregoning教授說：“新一代的科研人員擁有一系列獨特的優(yōu)勢，從長遠來看，如果學(xué)校或機構(gòu)考慮對他們進行獎勵，這些優(yōu)勢可能會使他們的科研事業(yè)更加強大。這些特點包括更社會化的科學(xué)研究方法，以及利用信息技術(shù)共享數(shù)據(jù)、方法和學(xué)分的便利。”

也許DORA或者科學(xué)家們會想出一個非常公平的方法來衡量5年或10年后的科學(xué)產(chǎn)出。也許它將是全面的，廣泛接受的，支持的和簡單的。如果真的發(fā)生了，那就太好了。與此同時，對如何判斷科學(xué)生產(chǎn)力的困惑正在侵蝕科學(xué)生產(chǎn)力。我們需要一個快速的解決方案，而最快的解決方案就是清晰的、透明化的。

不知道國內(nèi)這種現(xiàn)象是否也普遍存在呢，大家可以在留言區(qū)發(fā)表自己的看法和意見。（插圖摘自相關(guān)文章）

參考文獻：

1 Nature （2019） doi: 10.1038/d41586-019-01151-4

2 McKiernan, E. C. et al. Preprint at PeerJ Preprints 

https://doi.org/10.7287/peerj.preprints.27638v2 （2019）。

3 Nature 544, 411–412 （2017） doi:10.1038/544411a

4 Nature 558, 345 （2018） doi: 10.1038/d41586-018-05467-5