高校科研成果非学术影响评估的比较研究——基于对美、英、荷三国科研评估框架的考察

王 楠，罗珺文

（1.首都师范大学教育学院，北京 100048；
2.新疆大学研究生院，新疆维吾尔自治区乌鲁木齐 830046；
3.都柏林大学公共政策研究所，爱尔兰都柏林 999015）

人类社会发展的历史证明，依托知识创新推动的科技进步是人类生存和可持续发展的重要基础，也是现代人类社会进步的重要支柱。作为人类发展史上的重要里程碑，几次工业革命都源于将研究成果推向创新的工业市场而彻底改变了人类发展与文明进程。知识经济时代的到来对知识生产提出更加多元的诉求：既要肩负知识创新的使命，也要兼顾其对外部社会的责任。这引发各国在不断增加科学研究经费的同时，开始了对科研评估价值导向的反思。近年来，包括美国、英国、荷兰在内的科研投入和产出大国都纷纷扭转了评估导向，从单纯地关注科研成果的学术影响，转向兼顾其非学术影响，即关注科研成果对学术界以外的更宽泛的社会、经济、文化、公共政策、医疗、教育、环境以及公民生活质量所产生的影响和推动作用，并在科研评估制度中引入了“非学术影响”这一全新的维度。虽然在不同的社会语境下，各国使用了不同的表达方式：美国称之为社会影响（societal impact），英国将其定义为非学术影响（impact of research beyond academia），荷兰则使用社会相关性（relevance of society）的表述，但就其内涵而言，都共同指向科研成果为外部社会带来的贡献与收益。评估范式的转型被认为有可能完全改变知识创新活动的走向、国家的科研战略选择和高校的学科发展路径，引发各国学界和社会的高度关注和热议。

我国近年来也颁布了一系列科研评估改革方案，包括2018 年教育部发布《关于开展清理“唯论文、唯帽子、唯职称、唯学历、唯奖项”专项行动的通知》，国务院印发《关于优化科研管理提升科研绩效若干措施的通知》；
2020 年教育部、科技部印发《关于规范高等学校SCI 论文相关指标使用 树立正确评价导向的若干意见》，中共中央、国务院印发《深化新时代教育评价改革总体方案》等，其中均突出强调衡量科研成果对社会的实际影响与贡献，以期扭转不科学的评价导向，引导科学研究更多地面向国家重大需求和社会经济发展。但是在传统的评估范式之下，改革依旧面临破局之艰，比如仍未针对科研成果非学术影响的特点设计专门的评价指标、强调数量至上的评价方法难以有效衡量高校与社会互动的多维关系等，这使得评估方案的社会价值导向功能发挥不足，亟待进一步探索破局之道。

本研究对美、英、荷开展的科研成果非学术影响评估进行了系统考察，力图更加深入地理解这一全新评估维度的价值追求，把握各国评估实施中的创新与亮点，并以此为基础对照和反思我国科研评估制度存在的不足，以期对当前由于价值偏离导致的评价异化现象进行纠偏，为我国高校探索科研评估制度的改革与创新提供可资借鉴的国际经验。

1.1 美国：开发了专门指向“社会影响力”的STAR METRICS 评估项目

美国于2005 年开发实施了一项专门针对科研成果社会影响力的评估项目：美国再投资中的科学与技术：测量研究工作在创新、竞争力与科学上的影响（Science and Technology for America"s Reinvestment:Measuring the Effects of Research on Innovation,Competitiveness and Science，STAR METRICS）。该项目由美国国家卫生研究院和国家科学基金会联合发起，旨在建立一个基于计量指标的数据分析模型，通过计算投入指标和产出指标的比率，追踪联邦研发经费使用效率，进而评估由联邦研发经费所支持的科研产出为社会带来的积极影响（societal impact）［1］。项目希望依托评价结果进一步明确联邦政府在科研投入方面的责任；
提升科技政策决策的科学化水平；
保证并增强公众对于研发经费流向与使用的知情权。

项目分两个阶段展开。第一阶段的目标是利用联邦政府和全美高校的数据，评测研发经费对劳动力市场产生的影响［2］。项目涉及的投入指标主要包括科研经费信息、资金流向等；
产出指标主要包括项目人员信息、供应商信息等［3］。因联邦政府拨付的每一笔科研经费都有唯一的资金编号，当一笔经费由联邦政府下拨后，将会以分解的若干笔子资金的形式拨付给项目供应单位（高校或研究团队），因此通过追踪科研资金的走向和用途，便可以获知科研经费投入对增加院校中的就业岗位做出的间接贡献。

项目第二阶段聚焦美国联邦政府的科研投入对科学知识、社会产出、劳动力产出以及经济增长四个维度产生的影响［4］。投入指标主要包括个人或机构层面的研发经费流向。产出指标方面，在四个不同维度分别面向大学、科研机构、项目负责人设计了有针对性的指标［4］。在科学知识维度，面向大学和科研机构设计的指标主要涉及教师和研究人员的知识生产与创新成果在社会中被传播和使用的效果。面向项目负责人的指标则更多关注科研成果如何通过社会参与的方式被公众所认知与理解。社会产出维度面向三方主体设计的指标均关注科研成果对健康、环境、公平、安全、治安、基础设施这6 方面的影响。劳动力产出维度，面向大学与科研机构的指标主要关注本科生和研究生规模及其职业生涯发展轨迹。而面向项目负责人的指标则关注本科生与研究生参与科研项目的工作时长。经济增长维度，面向大学与科研机构的指标一致聚焦于机构内部就业岗位的增减情况，以及专利创新、新公司上市等影响经济发展的若干指标［5］。项目通过将上述投入指标与产出指标进行关联，以投入产出比作为评价标准测度科研成果的社会影响力。

STAR METRICS 项目会在政府公开数据库data.gov 和项目官网上实时更新项目的各项过程性指标数据以及评估报告［5-6］，以增加公众的参与度，保障公民的知情权。同时，不同机构也根据不同目的对该项目开展了多维度的元评估。如美国国家科学院［7］由联邦政府授权，与国家科学基金会、信息技术与创新基金会等多部门合作完成了元评估报告《STAR METRICS 项目评估》，就该项目的数据结构、数据价值、数据质量管理进行了充分的论证。美国医学院协会也委托独立咨询机构欧洲兰德公司（RAND Europe）对项目的评估方法、数据收集和处理过程等开展了元评估［4］。

1.2 英国：在REF2014 中首次设立“非学术影响”评估维度

英国于20 世纪80 年代就建立了比较系统的高等学校科研评估制度。2008 年英格兰高等教育基金委员会（Higher Education Funding Council for England，HEFCE）制定并颁布了新一轮高等学校科研评估体系——“科研卓越框架（Research Excellence Framework，REF）”。REF 评估主要指向3 个目标：第一，以评估结果作为重要参考依据，指导英国政府更加合理地分配科研经费，推动英国的科研产出保持世界领先水平，并持续以高水平的研究推动英国社会与经济的发展［8］。第二，以评估结果作为有力的证据，为国家科研投入的收益和影响提供问责保障。第三，以评估结果作为参照，为院校之间进行比对、开展合作提供基准比较信息，并建立衡量院校声誉的标尺［9］。

REF 在2014 年开展的首轮评估中开创性地将科研成果的“非学术影响（impact of research beyond academia）”列为一个独立的评估维度，将其定义为“研究成果在学术界以外所产生的辐射影响，包括对社会经济、文化、公共政策、医疗、环境以及公民生活质量所带来的改变和作出的积极贡献”［9］，将其权重设定为20%，希望引入这一全新的评价维度以引导高校更好地利用和转化科研成果，为社会带来更多的改变和贡献［10］。在2021 年开展的第二轮REF 评估中，不仅延续了非学术影响评估，还将其权重提升为25%，可见英国对科研成果社会影响的关注和重视。

REF 中的非学术影响评估采取专家评议的方式进行，参评高校及院系依据其研究所属的主要学科领域，选择相应的单元提交材料。4 个学科大组及其下的36 个二级学科评估单元1）均由一位专家领衔、由多位科研人员及来自工业或其他社会各界的终端用户代表（约23%）担任组员，共同组成评估小组。

参评单位需要提交以下两份评估材料：第一，影响力案例。通过结构化叙事详细阐述某一项研究成果在评估周期内为社会带来的积极影响，包括影响辐射的范围、程度，涉及领域，受益人群，持续性等，并需同时提供这一社会影响得以形成的支撑研究材料，包括科研成果的核心结论、成果类型、依托基金、发表和转化情况。第二，战略措施信息。按照规定模板阐释高校为促进科研成果的非学术影响采取的战略措施和战略行动，以辅助对影响力案例的评估［11］。

评估小组将通过影响力的辐射范围（Reach）和重要意义（Significance）两个标准对案例进行评估，以4*、3*、2*、1*、U（未评级）5 个等级进行打分，分别代表科研成果的社会影响卓越、可观、较大、一般、较小［12］，随后乘以权重与其他维度的得分一起计入评估总分。由于评估结果将对院校的资源配置产生直接的影响，因此评估单元在竞争压力下将非常认真地组织和收集支撑材料，评估小组也将审慎地为评估单元进行打分。

REF2014 评估结束后，为回应英国各界对评估透明度的关注，项目组在官网上公开了参评专家和代表的选择标准及最终名单，评估单元提交的6 679份2）影响力案例及评估结果［13］，鼓励学界和第三方开展进一步的分析。同时，委托欧洲兰德公司对新增加的非学术影响评估展开了多维度的元评估。第一项元评估主要面向高校及研究人员，针对他们准备和提交影响力案例材料的过程进行评估。结果表明，在REF2014 中开展非学术影响评估带来了一系列可喜的变化：研究者对科研影响的认知和理解能力普遍增强；
科研人员与外部利益相关者的沟通渠道变得更加畅通；
有利于激发学者和院校对科研外部影响进行更广泛的战略思考。但是与此同时，也认为评估为撰写案例的研究人员、参与评估的学校部门在工作时间和强度上带来了一定的负荷［14］。第二项元评估面向包括学术委员会和终端用户组成的评估小组，针对非学术影响评估方法的优势与不足、评估结果的可信度及公平性展开评估。总体而言，评估主体的反馈比较积极，认为影响力案例的提交和评审过程能够得到公平、可信且具有一定说服力的评价结果；
评估为知识的创造者和使用者搭建了平台，具有很高的价值。但同时也提出了改进建议，希望在下一轮评估中更加细化区分不同类型的影响力案例；
允许评审专家在打分的同时给出更多具体的、有针对性的建议；
进一步完善评估指南以更有效地指导影响力案例的准备与撰写工作［15］。这些元评估的结论都对REF2021 的改革提供了基于证据的启示。

1.3 荷兰：在SEP2015 中增加“社会相关性”独立指标

荷兰从20 世纪90 年代起建立了国家层面的科研评估制度，设计了《标准化评估指南》（Standard Evaluation Protocol，SEP），规定了在荷兰所有高校和公立科研机构开展评估的目标、维度、方法和流程［16］，并达成遵照SEP 框架定期开展评估的协定和共识。《标准化评估指南2015—2021》（以下简称“SEP2015”）是最新版本的在荷兰开展科研评估的制度框架，其实施的核心目标是以评估结果为参照，理解并提升科研工作的质量；
促进科研工作对社会的贡献和影响；
指导和服务研究人员开展科研工作、院校董事会改进战略、政府进行科学决策［17］。总体而言，SEP2015 的目的在于“改进”而非“考核”,强调实施指向未来的“战略可行性”评估，侧重考量评估单元是否有能力采取相应的战略措施和手段实现预先拟定的战略目标［16］。

SEP2015 首次在科研综合实力维度下单独设立了科研成果的“社会相关性（relevance to society）”这一指标，重点考量科研成果与社会的互动及其产生的外部社会影响，例如科研成果对经济、社会、文化的贡献，对政策的建议，对公共事务的推动等［18］。荷兰近年来的科研评估尤为强调科研成果对社会产生的影响，将这一过程称为“价值创造（valorisation）”［19］，即通过知识创造更大经济社会和文化价值的过程，在SEP 的指标中也有充分体现。社会相关性指标下包括3 个考察点：（1）标志性成果，指面向特定群体、服务社会大众的科研产出，如政策咨询报告、面向非学术群体的文章、为大众提供的讲座或展览等成果推广活动；
（2）标志性成果的利用率，指科研成果服务特定目标群体的情况，如专利、与社会各界合作的项目、横向课题等；
（3）标志性成果的认可度，指科研成果获得的社会认可和奖励，如公共奖项、社会投资、在社会公共咨询机构任职的人数等［17］。

社会相关性评估在SEP 框架之下采取自我评估和外部同行评估并行的模式实施。评估单元需在自评报告中根据自身的战略定位，选取最能反映自身特色、绩效和未来发展目标的素材，通过叙事呈现一个最具代表性的、由科研成果形成广泛社会影响的案例，来反映科研工作与社会的互动、产生的影响及其带来的社会价值［19］。研究机构的董事会全权负责设立由同行专家组成的评估委员会，并以评估单元的战略目标实现度作为核心标准，依据自评报告和实地考察进行知情判断，给出等级制的评估结果（包括：卓越、优秀、良好、欠佳）和个性化的建议［17］。

荷兰在开展SEP 评估的过程中同样非常重视评估工作的透明度。高校和研究机构的董事会需要在其官方网站全程公示评估的各项组织工作，包括评估委员会的人员构成、评估流程、评估进度等，并在评估结束后的6 个月内发布最终的评估报告及其过程性支撑材料，公布高校或研究机构所采取的持续改进措施［17］，使公众通过开放的渠道了解评估方案与结果，并接受公众质疑与问责。

2.1 引入非学术影响评估，构建充满活力的科研生态体系

基于上述来源于实践的考察，我们不难发现，自21 世纪初以来不同国家都先后在科研评估的制度框架中加入了非学术影响这一全新的维度。美国于2005 年启动STAR METRICS 项目，英国自2011 年在REF 中加入非学术影响维度，荷兰于2014 年首次引入社会相关性指标。此外，澳大利亚、挪威、芬兰、意大利等国家也在2010 年前后陆续开始关注并提出在科研评估体系中增加非学术影响评估维度。同时，由于非学术影响主要关注科学研究与外部社会的互动，因此格外强调不同国家和地区社会的经济、文化、政治等语境（Context）。虽然在不同的语境下，各国使用了不同的表达方式来指代非学术影响，但就其内涵而言，它们实际上都在关注科研成果为外部社会带来的贡献与收益，并且这些评估项目都采用了不同于传统学术评估的新模式和新方法开展评估工作，希望通过引入非学术影响来引导和加强高校和研究机构更好地思考和理解科研工作对于社会发展的改变和价值，进一步扩大和延伸科研成果利用和转化的范围。这些实践探索凸显了科学研究服务社会的价值导向。

目前我国的科研评估框架中还未设置非学术影响评价维度。尽管部分评估方案已经开始关注和强调科研成果对外部社会的贡献，并增设了社会服务评价指标［20］，但是社会服务指标与非学术影响指标在内涵上仍然存在一定的差异：社会服务是一个由来已久的概念，一直被公认为高校的第三使命，与高校的人才培养和科学研究职能并行，更多地指向高校对社会单向度的智力输出。而非学术影响是近年来在知识生产模式转型的背景下提出的新概念，被看作是科学研究与社会服务软边界下的交集，强调在知识生产过程中，通过大学、产业、政府和公民组织等多元主体的互动参与及其对科学的协同治理，共同解决社会关切的现实问题。显然，传统的社会服务指标已经不足以涵盖当前高校与经济社会发展互动的丰富、多维关系，更无法回应高校治理能力现代化的要求。

在当前我国高校提出破“五唯”和研究扎根中国大地的科研评价导向下，我们有必要在准确地理解和界定非学术影响内涵的基础上，适时引入这一全新的评价维度，聚焦高校与经济社会发展的紧密联系，强调知识生产对服务国家和地区发展的实际贡献和影响。树立这样的评估风向标有利于强化研究者的社会责任与价值，促进知识创造者和使用者之间的互动和理解，推动研究者有意识地去关注和回应潜在用户对科研成果的诉求，进而主动、有针对性地推动和促进研究的社会影响，使科研工作面向服务国家重大需求和解决社会发展实际问题；
同时，也有利于提升高校科研体系的多样性，在学术影响与非学术影响的互动与平衡中构建充满活力的科研生态体系。

2.2 进一步优化评估方案，强化非学术影响评估的社会价值导向功能

美、英、荷三国的非学术影响评估因其目标不同，评估的方法、标准、结果及其带来的影响与效应也都不同，呈现出多样的评估模式与特色，有很多创新经验可资借鉴。例如，美国STAR METRICS 项目表现为突出量化评估的绩效模式，其评估方法可操作性较强、评价结果相对直接、客观，横向可比性更强。在指标设置上，STAR METRICS 项目搭建了一套与传统评价指标观测点完全不同的、凸显社会影响的计量指标体系。英国REF 中的非学术影响评估则呈现很明显的竞争模式特点，院校审慎地收集和提交资料，评估结果最终计入总分，并对院校的资源配置产生重要且直接的影响。在评价方法上，REF 是首个采用影响力案例叙事开展非学术影响评估的体系，允许研究者以自由、开放的方式描述不同情境下的影响力故事，充分尊重了学科差异和研究活动的多样性。荷兰SEP 评估则表现为反思共建模式，指向改进与发展，竞争意味相对淡化，因此其社会相关性评估中多元主体评价反思、价值共建的特色尤为明显。

我国当前的科研评估制度也在力图扭转片面追求科研成果学术影响的导向，尝试引入鼓励社会贡献与扩大社会影响的评价维度，但是现有的评估方案仍有待进一步优化。比如，从第四轮学科评估开始增设社会服务与学科声誉一级指标，希望推动高校重视与社会发展的紧密联系，具有一定的正向指导意义，但在具体的指标设计上，社会服务旨在引导学科建设关注国家和地区经济社会发展的现实需求，而学科声誉则强调关注参评单位的在学术领域的影响力及其学术道德情况。将两个发挥着不同导向作用的指标进行捆绑，且前者在整个评估框架中所占权重比较单薄，这样的指标设置方式将弱化评估的社会价值导向。

非学术影响评估是科研评估体系中一个全新的评价维度，要保证评估的信效度，使其切实发挥社会价值导向功能，需要突破传统评价方式的惯习，优化创新评估方案，包括进一步明确评估的价值选择、构建凸显社会影响特点的指标体系、选取不同于传统学术评价的创新方法等。在新时代深化教育评价改革的背景下，需要有突破顽瘴痼疾的魄力，同时更要妥善处理破与立的辩证关系，多措并举，形成富有时代特征、彰显中国特色的科研评估体系，并在其中真正发挥非学术影响评估应有之功能。

2.3 开展多维度的元评估，营造并形成良好的评估文化

美、英、荷三国在引入非学术影响这一新兴评估维度的过程中，都非常重视评估过程和结果的透明度，抱着开放的态度公开发布了过程性信息数据和影响力案例支撑材料，并通过积极开展不同类型的元评估提升其可信度和专业性，营造和建设良好的评估文化。

近年来我国各级各类科研评估框架都在指标设计、数据采集、评价模式、结果发布与应用等方面进行了诸多制度创新，但是在上述评估实施的全流程中，仍普遍缺少元评估环节的设置，且由于评估方法与流程透明度不足，支撑数据和材料公开性不够，也鲜见第三方机构开展系统、专业的元评估，明显缺少多元主体参与和多元价值共建环节，也缺少了社会公众对评估方案表达理性诉求的制度化渠道，难免造成了一系列相应的问题，包括评估的信效度无法得到证明，评估的方法与过程无法得到充分理解，评估的结果无法得到公认，学界也无法为评估实践活动提供有证可循的政策建议，甚至有些非理性的评价和批评完全是因为未能充分了解而产生的误解所致。

我们应该认识到开展元评估的必要性及其积极意义：通过向公众公开资料，有利于增加评估过程的透明度和合法性；
通过针对评估结果的元评估，对原始数据和资料进行二次分析，有利于检验评估的可靠性和可重复性；
通过对评估方法与流程的元评估，有利于获得基于证据的专业化建议，从而不断改进与提升评估实效。同时，来自多元主体的讨论与质疑是社会高度关注的体现，也是对评估有效性的理想期待，更是学科评估文化走向良性的证明［21］。在我国未来的评估实践中，特别是在引入非学术影响评估维度的过程中，有必要适度公开过程性资料，增加评估透明度和可验证性，并从评估目的、评估指标、评价标准、评估实施、评估影响等方面鼓励和开展系统多维的元评估，以帮助我们了解该指标的引入是否切实有效加强了高校科研与社会发展的紧密联系，同时规避这一新兴的评估维度可能带来的潜在风险。这将为评估本身提供质量保障机制，改进评估实践、提升评估专业性、更有利于促进营造和形成良好的评估文化。

科研成果的非学术影响评估是近年来各国科研评估框架中的重要维度，也是我国科研评估改革破除“唯论文”“SCI 至上”等不良评价导向、建立多元评价标准的重要抓手。本研究从评估目标、评估方法、评估标准、评估流程等维度对美英荷三国近年来开展的非学术影响评估进行了系统考察，以期为我国科研评估制度的改革与创新提供可资借鉴的经验，助力中国特色学术规范和评价体系建设。

研究发现，近年来美英荷等国家都纷纷扭转了评估导向，从单纯地关注科研成果的学术影响，转向兼顾其非学术影响，即关注科研成果对学术界以外的更宽泛的社会、经济、文化、公共政策、医疗、教育、环境以及公民生活质量所产生的影响和推动作用，并在科研评估制度中引入了非学术影响这一全新的维度，希望发挥其社会价值导向功能，引导院校和学者通过知识生产活动为社会作出更多积极的贡献。各国在探索非学术影响评估的实践过程中形成了多样的评估模式与特色：美国开发了专门指向社会影响力的STAR METRICS 评估项目，运用基于计量指标的数据分析模型来评估由联邦研发经费所支持的科研产出为社会带来的积极影响，形成了突出量化评估的绩效模式；
英国在REF2014 中首次设立非学术影响评估维度，采取专家评议的方式对科研成果的社会影响辐射范围和重要意义进行评估，并将评价结果以25%的权重计入总分，作为指导政府合理分配科研经费的重要参考依据，形成了比较鲜明的竞争模式；
荷兰在SEP2015 中增加了社会相关性独立指标，以评估结果为参照来指导和促进科研工作为社会做出更多有益的贡献，其多元主体评价反思、价值共建的特色尤为明显，形成了 反思共建模式。基于从国际比较中获得的启示，本研究为我国科研评价体系改革提出三点建议：第一，引入非学术影响评估，构建充满活力的科研生态体系；
第二，进一步优化评估方案，强化非学术影响评估的社会价值导向功能；
第三，开展多维度的元评估，营造并形成良好的评估文化。

注释：

1）REF 以学科为单位开展评估，设立了生命科学学科（学科A组）、工程与物理科学学科（学科B 组）、社会科学学科（学科C 组）、艺术与人文学科（学科D 组）四个学科大组，并在各学科大组下根据学科分类进行了细分，分设共计36 个二级学科小组，其中每一个二级学科小组都成为一个独立的评估单元（unit of assessment，UoA），各自开展评估。

2）REF2014 一共收到来自高校和科研院所的6 975 份影响力案例，其中296 份影响力案例由于涉密等原因未完全公开，其余6 679份影响力案例均公开。