International Open Access Journal Platform

1 研究背景和意义

在“破五唯”等政策背景下，随着大数据时代下的科学成果交流模式的巨大变化，以及科学载体的多元化，对科研工作者学术成果的评价越来越复杂，评价方法众多。目前对学术评价的研究主要围绕着文献计量、影响力评价、替代计量（Altmetrics）、同行评议、学术评价指标体系等方向。宋艳辉等人[1]认为科研评价的重点应聚焦在科学研究的“本质”，以促进知识创新为主要目的，实施评价多元化。陈燕等人[2]提出合理设置代表性“数量”，突出“代表作集群”的质量、创新和实际贡献，研制专家评价指南，优化学术共同体评价机制等对策。在评价指标体系方面，则主要通过实践，围绕高校学科建设进行［3，4］。

学者在研究中常用的关于学术评价相关术语表达，往往不是同一个意思，厘清这些概念的关系是本文研究的第一步。在《关于破除科技评价中“唯论文”不良导向的若干措施（试行）》[5]文件中出现的“科技评价（Evaluation of Science and Technology）”，是指受托方根据委托方明确的目的，由专门的机构和人员依据大量的客观事实和数据，按照专门的规范、程序，遵循适用的原则和标准，运用科学的方法所进行的论证、评审、评议、评估、验收等活动。根据《科学技术评价办法（试行）》［6］中的规定，科技评价的对象主要包括中央或地方财政资金资助的科学技术计划、项目、机构、人员和成果。科研评价（Scientific Research Evaluation/Research Performance Evaluation），指的是评价科学研究本身和科学研究人员，尤其是评价科研人员的科研表现[7]。学术评价与科研评价较为相似，学术评价是以科学的标准为尺度对学术活动结果作出价值判断[8]。从《措施》对七类评价对象描述中不难看出，基于论文的学术评价是一切学术活动评价的基础和支撑。

论文学术质量是指论文的优劣程度，具体表现为某一论文对创新性、科学性、实用性、启发性、规范性、逻辑性、客观真实性等的满足程度[9]。论文的学术评价，是指对论文的学术质量的评价，学术评价的核心是考察其论文质量，即贡献度、创造性和不可替代性。而目前论文的评价方法，仍然是围绕基于论文影响力的量化评价，这是很多原因造成的，包括量化评价的科学性和便捷性，以及颇受争议的同行评议公正性问题。

论文影响力分为论文的学术影响力和论文的社会影响力。论文的学术影响力是指论文在传播过程中因自身学术价值获得的关注度[10]，被引次数是论文学术成果影响力的最直接反映，也是目前最主要的学术影响力评价方法。教育部2020年12月7日印发的《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》中指出：“在项目管理、平台建设、成果奖励、职称评审等过程中，重点考核论文、著作、决策咨询报告等代表性成果的政治立场、理论创新、学术贡献和社会影响。”把研究成果的社会影响力放在了更加突出的位置。在网络环境下，大部分科研工作者都会使用网络作为他们浏览论文、讨论和交流的工具，对于社会科学的论文来说，成果所产生的社会影响力不容忽视，甚至比被引次数还重要［11］。

笔者认为“破五唯”、破除“唯SCI”不代表完全否定学术论文的学术评价维度和SCI指标的价值，以引用频次、以论文“刊物出身”为代表的论文学术影响力，以及以替代计量学为评价方法的论文社会影响力，谁更能诠释和表征论文的学术质量？论文学术影响力与论文社会影响力的关系是怎么样的？能否真实反映论文的学术质量？如何凭借论文可获取的影响力指标来正确评价论文的学术质量？这是本文的研究初衷。而以学术论文为基础，如何正确地选择辅助性指标，建立科学完备的评价指标体系，是后续所有科研评价研究工作的重点和难点。

2 数据来源与研究方法

2.1 数据获取

2.1.1 高引用频次论文的获取

本文将目标对准社科领域高引用频次论文的评价。对高引用频次论文的评价，目前全球范围内使用最广的是基本科学指标数据库ESI（Essential Science Indicators），该指标数据库是科睿唯安（原名汤森路透）集团在基于Web of Science核心合集中SCIE（Science Citation Expanded，科学引文索引）和SSCI（Social Science Citation Index，社会科学引文索引），以及A&HCI（Art & Humanities Citation Index，人文艺术引文索引）所收录的学术文献及其所引用的参考文献的基础上建立起来的事实数值型数据库。在ESI中，ESI高被引论文是指某一篇学术论文近10年被引总频次位于某ESI学科所有同出版年学术论文的前1%。本文采用ESI数据库的前1%高引用论文作为高学术影响力论文代表，ESI数据库检索时间为2023.01.15-2023.01.20，ESI数据库更新时间为2023.1.12，数据范围为：2012.1.1-2022.10.31。从ESI数据库中选择国内学者发表的社会科学领域（Social Sciences，general）前1%高被引论文，提取出情报学与图书馆学（INFORMATION SCIENCE &LIBRARY SCIENCE）的151篇前1%高被引文献，并获取每篇文献在2012.1.1-2022.10.31时间段在Web of Science核心合集（包括SCIE、SSCI等10个数据库）数据集中的被引用次数。

2.1.2 论文社会影响力指标的获取

随着社交媒体和开放获取运动的发展，学术载体朝着更加多元化的方向发展，科研群体学术交流的方式发生巨大改变。基于期刊论文的引用不再是唯一的形式，社交媒体承载的非正式学术交流也逐渐进入大众视野，如国外的Mendeley、Twitter，国内微信公众号、微博等的产生与发展[12]。本文选取的论文社会影响力指标包括：社交媒体中的收藏-Mendeley 读者数（Mendeley Readers，MR）和讨论、论文使用数据（UC）、Twitter转载数（Twitter Mentions，TM）、Policy Citations（政策引用）和Facebook转载次数作为研究对象。获取方法为将目标文献，通过文章标题和DOI号在Scopus数据库中逐一检索，并分别获取Altmetrics（替代计量学）相关计量指标，文献覆盖率为100%，即目标文献151篇都具有论文社会影响力指标。

2.2 数据清理

采用DDA软件进行数据清理去重，SPSS 19进行数据标准化。

2.3 分析方法

本文采用数据分析实证方法，描述统计分析采用SPSS 19统计分析软件，进行相关性分析。

3 结果与讨论

3.1 论文学术影响力与社会影响力的关系论证

本文以论文被WoS核心合集数据库集引用次数代表学术影响力，论文使用数据（UC）、Mendeley读者数（Mendeley Readers，MR）、推特转载数（Twitter interactions）等来代表论文社会影响力。

3.1.1 学术影响力与WoS使用量（Usage Count，UC）

论文的引用是有时间滞后的，即“引用时滞”，对于新发表论文来说，引用需要2～3年才能达到引用峰值[12]。因此，WoS使用量（UC）是对论文发表后使用情况最为直接的计量指标[13]，可以表示科研成果的早期影响力。本文选择了目标论文180天内的论文浏览量（包括浏览量和下载量）数据，与论文学术引用数据进行了相关性分析。如表1所示，论文学术引用与论文使用数据之间具有很明显的正相关性。也就是说，论文在短期内的浏览与下载，与论文在后期的引用上是息息相关的。

表 1 论文学术引用与论文使用数据相关性分析

Table 1 Correlation analysis of academic citations and paper usage data

注：**在0.01水平（双侧）上显著相关。

3.1.2 学术影响力与Mendeley读者数（Mendeley Readers，MR）

Mendeley是一个开源的文献管理社区和软件，Mendeley的读者收藏数在一定程度上反映了论文在同行中的认可度，也反映了在其他群体（如初级研究者、学生、教师或者临床工作者）中的影响力[14]。对国内图情领域的ESI高被引论文MR数据，与引用数据进行相关性分析（见表2），结果显示，两者呈显著相关。即学术影响力高的论文，其在Mendeley社交媒体上的关注度也高，这可能与学生是Mendeley最大的使用群体有关。MR读者数可以理解为是从学术的角度反映其社会影响力。

表 2 论文学术影响力与Mendeley读者数（MR）相关性分析

Table 2 Correlation analysis of academic impact and Mendeley Readers

注：**在0.01水平（双侧）上显著相关。

3.1.3 论文学术影响力与Twitter、Facebook、Policy Citations政策引用等社交媒体对科研成果的关注度

Twitter interactions（TW）推特互动和Facebook的使用者范围更加广泛，使用对象不仅仅是科研人员，还包括了更普遍的社会大众，体现了论文更为广泛的社会影响力。对图情领域国内学者参与发表的151篇ESI高被引文献的数据分析中发现，TW推特互动文献覆盖率大于Policy Citations政策引用覆盖率，Facebook转载数据覆盖率最低，统计对象覆盖率会影响文献社会影响力评估结果的科学性，所以应优先选择覆盖率更多的社会影响力指标。同时，相关性分析结果显示（见表3），在针对较高学术引用的高被引文献集中，代表学术影响力的学术引用次数，与TW推特互动次数（包括转发和推文）、Policy Citations政策引用、Facebook转载次数均无显著相关性，也就是说，学术引用高的文献，并不一定就有社会关注度，两者间无规律。

表 3 论文学术影响力与社交媒体关注度相关性分析

Table 3 Correlation analysis of academic influence and social media attention

3.2 论文影响力与论文质量的关系探讨

期刊的JCR（Journal Citation Reports）影响因子指的是该刊前两年发表的文献在当前年的平均被引用次数，反映该刊物的学术水平。在情报学与图书馆学领域的151篇前1%高被引文献中，Q1期刊（前25%最有影响力的期刊）收录论文百分比达到了88.46%，Q2（期刊影响因子在前25%～50%）及Q3（期刊影响因子在50%～75%）期刊收录的论文占比为11.54%。这表明具有高影响力指标的论文，其收录期刊影响因子也较高，同时在以往的研究中发现，论文的学术影响力指标受期刊影响很大。本文去除期刊的影响力，用期刊规范化的引文影响力（Journal Normalized Citation Impact，JNCI），即学术文献实际被引频次与该发表期刊同出版年、同文献类型论文的平均被引频次的比值，尝试在一定程度上表征同一学科领域学术论文的论文质量，探讨与论文影响力之间的关系。得出如下发现：

（1）目标论文质量与以论文使用数据为代表的早期影响力，与以引用数据为代表的学术影响力无显著相关性；

（2）目标论文质量与以MR读者数为代表的社会影响力，与以Twitter推特互动次数、Facebook等为代表的社会关注度无显著相关性，例如，在分析中发现：两篇具有高期刊规范化引文影响力数值，可以认为是质量较高的文献，其引用数值、社会关注度数值差距很大（见表4）。

表 4 部分论文质量与论文影响力数值

Table 4 Part of the paper quality and paper impact data

（3）在分析中发现，虽然目标论文的质量与其社会影响力、社会关注度无显著相关性，但以期刊规范化的引文影响力为表征的论文质量高的文献，其社会影响力、社会关注度的数值覆盖率也较高。即论文的质量高，在Mendeley读者收藏数、Twitter推特互动次数、Facebook以及政策引用方面基本都会有数值体现，反之，若目标论文质量表征数值低，则在Twitter或者Facebook社区几乎零关注。

4 结语

本文拟从基于论文为主的学术成果质量与影响力关系实证出发，分析探讨了论文学术影响力和社会影响力之间、论文影响力与论文质量之间的关系，同时厘清界定学术评价相关概念，尝试探讨分析当前学术评价面临的争议和困境，为学术评价的指标选择提供一个新的角度和借鉴。研究结果如下：

第一，区分科技评价、科研评价和学术评价，论文质量和论文影响力，论文学术影响力和论文社会影响力等概念，对于社会科学领域的论文，其社会影响力不容忽视。

第二，针对本文研究的图情领域论文集，论文在短期内的浏览与下载，对论文在后期的引用上有一定影响，学术影响力高的论文，其论文在短期内的浏览与下载次数多，同时在Mendeley社交媒体上的关注度也高，这可能与学生是Mendeley最大的使用群体有关，Mendeley读者数可以理解为是从学术的角度反映其社会影响力。

第三，关于论文影响力与论文质量：对于本文研究的图情领域高引用频次论文集，研究发现论文的学术影响力指标受期刊影响很大。本文选择以去除期刊影响力的期刊规范化引文数值来表征同一领域的论文质量。数据表明，论文质量与论文的学术影响力无明显相关性，与以Mendeley读者数为代表的社会影响力，以及以Twitter推特互动次数、Facebook等为代表的社会关注度也无显著相关性。期刊规范化的引文影响力高的论文，其社会影响力、社会关注度数值覆盖率也较高，即该论文在Mendeley读者收藏数、Twitter推特互动次数、Facebook以及政策引用方面基本都会有数值体现。反之，若目标论文期刊规范化的引文影响力表征数值低，则论文在Twitter和Facebook社区等几乎零关注。因此，对于本身就有一定学术引用基础的人文社科类同一领域的学术文献，是否可以用在社交媒体中的广泛度和普及率来衡量其学术质量？这需要后续的深入研究。

第四，有部分学术评价相关研究中是以专家评分来代表论文内容质量[7]。在某些学科领域中，比如医学，专家的评价确实可以在很大程度上代表论文的质量，但是大部分学科领域，特别是人文社科领域，专家评价难免会有主观性偏颇，失去公正性。基于论文质量考察的学术评价研究发展至今，何种评价方法和评价指标能够更准确评价论文质量仍未有公认的明确定论。在实际操作中，即使是在政策指导下，往往又因为考虑可行性及便利性，学术评价与其评价初衷背道而驰，学术评价异化现象频出。笔者认为，在评价探讨一篇学术成果的影响力时，不能局限于以学术引用为特征的学术影响力，也要考察其社会影响力。但是，一篇在社交媒体上广泛传播的论文，有可能仅仅是因为其新颖性、趣味性和话题性，就获得了较大的社会影响力。因此，要根据科研论文的学科属性，选取适当的社会影响力评价指标进行评价，并同时结合学术影响力，使对论文的学术评价更为全面合理。

参考文献

[1] 宋艳辉，朱李，邱均平．“破五唯”背景下我国科研评价体系构建的几点思考［J］．情报杂志，2022，41（2）：190-197．

[2] 陈燕，韩菲．代表作评价制度：制约因素与对策分析［J］．中国高教研究，2020（12）：15-20．

[3] 李非凡，刘彩娥，李永芳．高校科研绩效与学科发展潜力评价方法的研究［J］．农业图书情报学报，2021，33（4）：68-77．

[4] 钟铃．基于SciVal科研评价工具的中小型院校科研绩效评价实践研究［J］．农业图书情报学刊，2018，30（4）：90-95．

[5] 关于破除科技评价中“唯论文”不良导向的若干措施（试行）．［EB/OL］．（2020-02-17）［2024-05-28］．https://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html?eqid=be663be00018cdb800000002648e822d．

[6] 科技部．科学技术评价办法［EB/OL］．（2003-11-15）［2024-05-28］．https://www.most.gov.cn/xwzx/xwfb/200312/t20031214_10437.html．

[7] Gronow T．Scientific research evaluation：a review of methods and various contexts of their application［J］．R & D management，1987，17（3）：207-221．

[8] 张保生．学术评价的性质和作用［J］．学术研究，2006（2）：10-15．

[9] 索传军，盖双双．基于引文的论文质量与影响力探析［J］．情报理论与实践，2018，41（5）：11-15．

[10] 邱均平，刘亚飞，魏开洋．科学交流视角下学术论文影响力多维评价［J］．情报理论与实践，2023，46（6）：47-54．

[11] 王贤文，刘趁，毛文莉．数字出版时代的科学论文综合评价研究［J］．中国科技期刊研究，2014，25（11）：1391-1396．

[12] 贾玉文，牛铭渝．基于Altmetrics的科研机构影响力综合评价研究［J］．情报探索，2022（9）：71-76．

[13] Glänzel W，Thijs B，Debackere K．Productivity，performance，efficiency，impact—What do we measure anyway?［J］．Journal of Informetrics，2016，10（2）：658-660．

[14] 王贤文，方志超，胡志刚．科学论文的科学计量分析：数据、方法与用途的整合框架［J］．图书情报工作，2015，59（16）：74-82．