积极建设同行评议大数据平台

大数据3

当前，学术界和管理部门对学术评价尤其是对项目评审、人才评价和机构评估（以下简称“三评”）的需求十分迫切。“三评”所需的一类重要数据是论文评价结果。从以往学术评价经验出发，一方面，通过同行评议生成的论文评价结果更符合评价需求；另一方面，便捷可用的同行评议数据较难获取，组织评议的成本较高，科学性也易受诟病。

鉴于当前、智能化技术广泛应用于经济社会生活场景，不妨基于大数据理念和方法，革新旧有的论文同行评议机制，打造匹配需求的评价大数据，探索符合中国实际的学术评价道路。

提供同行评议可用数据的新平台

学术论文同行评议大数据平台是数字化、网络化平台，可以供广大学者对已发表论文进行同行评议，逐渐积累形成可用的评议大数据。平台的关键词是“同行评议”和“大数据”，核心特征有四方面，分别是论文为指向、数据全量化、定位第三方和强调可用性。

首先，论文为指向是指同行学者可以通过网络、移动端等便利工具阅读学术文献，不参考期刊等级、作者背景等任何其他信息，仅对论文内容进行随时随地的价值判断，最终形成针对每篇论文的评价结果，既可是简捷的量化评级，也可是深度的定性分析。

其次，数据全量化包括两方面：一是评价对象的全量化，即涵盖已公开发表的所有学术论文；二是评价主体的全量化，即发表过论文的学者通过认证身份均可参与评价。根据大数据的理念，“全数据”代替了“样本数据”，可以冲淡甚至规避少量混杂甚至不合理数据带来的弊端。这不仅会大幅降低样本评价的偏颇，使评价结果更为公正客观，还有利于提升评价结果的可比性和重复使用价值。

再次，定位第三方是指平台的构建者和运营者应为第三方机构，即既非学术科研机构，也非科研管理部门，以此确保评价的独立性和公正性。同行评委对论文开展独立评价，但需要接受平台制度约束。论文的最终评价结果是由数量众多、背景多样的评委共同评价产生的综合结论。

最后，强调可用性是指平台将形成具有同类可比性的论文同行评议指标和数据。随着学术生产和同行评议的持续进行，论文的评价结论也是动态更新的，长期积累后将形成针对学术论文的大量量化评价结果和定性结论等大数据。学者个人、管理部门、企业等均可依规查询使用。针对“三评”需求，项目评审可用来判断项目的创新性和前期研究基础，人才评价可据此了解学者的研究特长、影响力和潜力，机构评估可掌握机构的科研绩效和成果质量。由于大数据的绝对数量大且实时更新，其评价成本和效果将优于专门组织同行评议。

提高评价效率和质量

学术论文同行评议大数据平台的构建也并非异想天开，在需求、理论和实践三个方面均具有可行性。一是这样的平台符合当前需求。目前，定量评价和定性评价在应用中严重失衡、难以真正融合，其根本原因在于无法获取可用的同行评议数据。管理部门和学术界的强烈需求是构建这一平台的内在动力。二是大数据时代的新理念和新工具为平台的构建提供了可能。随着大数据时代的来临，“一些皆可数据化”的观念日益渗透到经济社会发展的各个领域，众多的大数据实践为平台的构建提供了可借鉴的成功经验和技术方法。三是二次文献的同行评议探索成为平台构建的“先锋队”。《中国社会科学文摘》《新华文摘》《高等学校文科学术文摘》以及人大复印报刊资料等二次文献，广泛收集、整理、评价和精选学术论文，在同行评议的评价体系、专家团队等方面，均已积累了大量资源和丰富经验并产生重要影响，甚至有些已形成了大数据平台的雏形。

在此背景下可以看到，构建学术论文同行评议大数据平台，对于改进中国学术评价现状极为迫切且意义重大。一是可以改变引文数据相对丰富，但同行评议数据相对匮乏的现状，提高评价效率和质量。二是可以推进以论文为指向的评价，有效规避“以刊评文”。三是可以减少同行评议弊端，提供可用的新评价指标。

大数据评议平台构建的重点难点

构建学术论文同行评议大数据平台的重点、难点至少包括评价资源整合、学者参评激励和评价行为监管三个方面，须有的放矢地研究对策。

一是要重视评价资源整合。学术论文文献是平台建设的核心资源。应充分依托已有的报刊文献资源数据库进行整合、改造、挖掘，而非从头开始建设。对于条件较成熟的数据库，应着力引导、重点扶持，使其建设能够满足评价需要。同时应加强资源存储和传输标准建设，推动论文文献的集成化管理和持续更新。还可将同行评议功能嵌入已有文献数据库中。在哲学社会科学领域，二次文献数据库的评议范围已覆盖中国公开发表论文的90%以上，应作为评价资源整合的试点。

二是要重视学者参评激励。如何吸引学者积极参与论文评价是平台建设的重中之重。应基于国内现有的各类专家数据库，以及学会、协会和研究会，建立起专门的评委库，并分为“海评”和“精评”团队共同评价、相辅相成。前者面向所有学者，通过认证后即可进行评议。后者须在前者中遴选出在各学科影响力较大且热衷评价者，并在学科、地区、机构分布上覆盖全面、比例合理、定期更新，确保评价公正性。为调动学者参评积极性，可采用“以奖促评”的机制，根据评价记录对优秀评委给予奖励。

三是要重视评价行为监管。对评价行为进行监管，是确保评价信度和效度的必要手段。监管分为两个层面。首先是政府对平台的监管。应分学科门类设立平台建设监管部门，鼓励、扶持、指导有条件的单位在已有基础上建设此类平台，把控建设方向，指导解决建设难题。其次是平台对用户的监管。平台运营者应建立健全制度体系，确保学者的评价行为遵循统一规范准则且其权利得到保障。重点制度包括论文评价标准和指标，分类和量化评价规程，匿名/公开、回避、诚信等制度，评价言论准则，评价冲突仲裁方式，数据使用要求等。

（本文系国家社科基金项目“大数据时代学术评价理论方法改进研究”（17BTQ015）阶段性成果）

（作者系中国人民大学人文社会科学学术成果评价研究中心编审）