(科技政策与管理科学研究所 北京 100080)
摘要 介绍了马普学会、弗朗霍夫学会、赫尔姆霍兹协会、莱布尼茨协会等德国科研机构采用同行评议方法评价研究所的实践与经验,探讨了对我院开展研究所综合质量评估的启示。
2003年12月,在全面改革我院研究所评价体系方案提出前夕,中国科学院评价工作代表团,访问了马普学会以及经马普学会精心组织与安排的德国其它主要科研机构与科研管理机构,包括弗朗霍夫学会、赫尔姆霍兹协会、莱布尼茨协会以及科学委员会、基金理事会(DFG)与教研部,分别了解这些单位的评价实践。它山之石可以攻玉,在此介绍它们的评价实践与经验,作为我院开展研究所综合质量评估的参考。
一 评价实践
1 马普学会
马普学会共有81个研究所,涉及物理技术、生物医学与人文三个学科领域,致力于国际前沿与尖端的基础性研究工作。约12 000名雇员,9 000名客座科学家、博士后与学生。年经费约12.5亿欧元,几乎全部由联邦与州政府拨款。马普的评价分为事前评价、事后评价与国家系统评估三部分。事前评价包括新所成立、所长任命、研究项目与计划评价等,事后评价包括每2年一次的研究所评价以及每6年一次的同领域研究所评价,国家系统评估是国家每5年一次对马普整体的评价(其它研究机构也一样要接受系统评估)。在此,重点介绍对研究所的事后评价。
对研究所每2年一次的评价由外聘的学术咨询委员会以同行评议的方式开展。马普的学术咨询委员会成员(专家)共计550名,主要为来自高校和研究机构的高层科学家,其中,95%来自马普外部,60%来自国外。专家先由研究所推荐,马普主席聘任,任期一般为6年,可以续聘。一个研究所的专家约8人,每个学科方向2人。专家通过阅读研究所的状态报告并到研究所听取汇报和考察后给出评价意见。
状态报告由研究活动、管理与对外关系三方面构成。其中,研究活动的内容包括研究理念与战略、重点研究领域布局、出版物、青年科学家与客座科学家以及和国内外研究机构的联系等;管理方面包括预算、第三方经费、人员结构、设备与工作环境的安排等;对外关系包括在高校的教学活动,任职、获奖与学术头衔,与工商界、政界及社会的联系,特别的事件及科普等。状态报告为英文,长度在100-600页之间。
专家对研究所的实地考察一般为2-3天。在评价前一天的晚宴上,通常先由马普副主席致欢迎辞,介绍马普及被评研究所。第一天有两项内容,第一项是召开预备会,介绍与讨论评价的有关事宜(包括评价的具体操作过程以及要达到的目的),随后举行封闭会议,推选本次咨询委员会主席;第二项内容为听取研究所所长报告。第二天,专家继续听取各研究室的报告或参阅墙报,并在研究所分头组织调查、访谈。第三天的内容先是学术咨询委员会举行封闭会议,形成初步评价意见,随后与马普主席、副主席及所长会谈。评价的最后意见和报告在评价结束后3个月直接送交马普学会主席。
评价工作的时间安排见图1。评价的组织、接待及食宿费用、旅费由研究所承担,不付专家工资,只付每天约200欧元的零花钱。
评价报告由学术咨询委员会主席与其他专家协商后撰写,报告对研究所在国内外的地位、研究成果与研究绩效、经费(包括第三方经费)安排的合理性以及与研究所内外部同事的合作等若干方面做出评价,提出将来努力与发展的方向,并说明哪些研究室应该继续支持或关闭,研究所应该如何改变或重组等。除评价报告外,有时咨询委员会还单独给马普主席附上一封信。
研究所评价主要在于确保研究所高水平的科学研究质量,探讨研究所的发展战略与研究领域,改进管理工作,合理分配资源。评价结果还用来调整研究所研究方向甚至关闭研究所,1990年以来,根据评价结果已先后关闭了4个研究所,另有3个研究所调整了研究方向。另外,评价结果还影响对研究所的资源分配,评价结果不好的研究所将减少25%的资源分配,不过,因为马普的人员雇佣是终身制,分配资源的灵活度不是很大。
马普对研究所的评价已有30年历史,5年前马普又增加了领域评价,即以相近学科领域的研究所之间的相互比较而对研究所进行评价。马普将其81个研究所分为15个领域,每6年进行一次领域评价,即在第三次2年度评价时开展领域评价。领域评价直接由总部组织,评价委员会的构成包括马普的一名副主席、在学术咨询委员会之外另外聘请的2名国际专家、各被评研究所咨询委员会的主席以及该学科领域的负责人(专业局长)。马普的副主席担当领域评价主席,在学术咨询委员会之外聘请的2名国际专家负责起草评价报告,这2名国际专家全程参加各被评研究所的评价会议。领域评估全面评价各研究所及其基于该领域科学研究重要性的资源利用情况,特别关注领域内各研究所之间的相互比较。领域评价一般在3个月内完成工作并形成报告,评价结果用于领域内经费的调整。
2 弗朗霍夫学会
弗朗霍夫学会是为中小企业、政府部门、国防安全等提供合同科研服务的非营利性机构,主要研究领域包括微电子、制造、信息与通讯、材料与零部件、生命科学以及工艺(surface technology)与光子学等。现有57个研究所,雇员12 500人(其中大部分是资深的科研人员和工程师)。年经费10亿欧元,其中1/3由政府资助,1/3来自企业,1/3来自联邦、州及欧盟等的项目。弗朗霍夫学会非常重视学会及各研究所的战略计划制定与评价工作。
与马普一样,弗朗霍夫学会对研究所的评价由研究所从外部聘请的学术委员会承担。但专家的构成与聘任方式上与马普不同,来自学术界与产业界的专家各占一半,每个研究所学术委员会专家人数约10人,50%的专家来自国外;专家由研究所聘请,并且一般为终生聘任。评价的程序与马普相似,包括阅读研究所状态报告与到研究所实地考察两个部分,实地考察的评价时间也是2-3天。因其应用研究的特征,其评价内容与标准与马普不同,弗朗霍夫学会对研究所的评价主要考察研究所的科技竞争力以及完成战略计划的情况,特别关注的评价指标包括研究所获得的年度总经费中外争经费是否达到70%的比例、在外争经费中从企业获得项目经费的数量以及从欧盟获得经费的数量、专利数量、客户满意度、提供的技术与成果情况以及人员状况等。出版物一般不作为考察指标。专家撰写的评价报告主要用于指导研究所的发展,同时提供给学会主席,但总部一般不将评价结果用于研究所的资源配置等方面,这与其经费来源主要为外争项目有关。弗朗霍夫学会对研究所的评价每年一次。评价费用由研究所承担,除为专家提供食宿、旅费外,还向专家支付每天500欧元的零花钱,一般按5天支付。
3 赫尔姆霍兹协会
赫尔姆霍兹协会是德国最大的科研组织,下辖15个大科学中心、250个研究所,雇员2.4 万人,年经费21亿欧元,占政府科研经费(大学除外)的38%,有六大研究领域,包括能源、地球环境、健康、关键技术、物资结构、航空航天。赫尔姆霍兹协会与我院近代物理研究所的重离子加速器、合肥物质科学研究院等离子体研究所的HT-7u装置有密切合作。此外,与同济大学、北京阜外医院等单位有共建项目。
赫尔姆霍兹协会前身为15个独立的大科学中心,几年前组织起来成为协会。同时,变过去由政府直接对各中心拨款的方式,为以任务为中心、以项目竞争的方式争取经费。通过项目经费的竞争,实现资源的有效配置,调整甚至取消相应的学科研究方向或单位。资源配置减少的单位不得不削减人员,这使得其雇佣制度也随之发生改变,由过去的终身雇佣变为弹性较大的合同雇佣。在赫尔姆霍兹协会,评价是一种非常重要的管理手段。对各单位的评价也以专家评议方式开展,最高评价委员会成员包括各大研究机构的主席、政府官员、科学家、管理专家等。赫尔姆霍兹协会的评价强调研究质量(包括原始性创新与竞争能力)以及计划的合理性(包括目标与成本)、研究领域的优势、人才优势、组织机构是否有效、潜在的创新能力及成果转化的可能、国内外合作、人才培养等。
4 莱布尼茨协会
莱布尼茨协会的前身为经过评价后保留下来进入蓝名单的原东德的研究所,以后又增加了一些西部的研究所。现有研究所84个,1.25万名员工,其中,5 000名为科学家,另有1 300名博士生与博士后。经费总量约10亿欧元,其中1/3为通过与大学竞争得来的项目经费,2/3为政府拨款包括联邦与州政府的拨款。莱布尼茨协会定位于问题导向的研究,同时提供咨询与服务。研究所分为人文与教育、经济、生命科学、数学、自然科学与工程以及环境科学等学科领域。
莱布尼茨协会的研究力量相对弱一些,但是,在我们访问的机构中其评价是最硬的。2002年通过决议,所有研究所每7年接受总部评价,由聘请的外部专家评价。评价结果分三类:优秀、合格与不合格。评价结果为优秀的研究所7年后再接受评价;评价结果为合格的研究所继续保留3年经费支持,3年后再次评价;评价结果为不合格的研究所关闭。评价报告呈交董事会,董事会根据评价报告向联邦和州政府提出关于该研究所的建议报告。评价报告出来后很快公开发表,在发表前先征求研究所的意见,明确的错误可以修改,但结论不能修改,研究所写的反驳报告也不予理睬。自2002年夏天开始至2003年底,已有17个研究所接受评价,公开发表了9个研究所的评价报告,其中6个研究所被评为优秀,3个被评为合格。
与马普一样,莱布尼茨协会的评价方法也是采用外部专家到所评价。专家由总部任命,研究所可以要求某些专家回避。1/3的专家来自国外,要求国外专家熟悉德语,评价时的工作语言是德语。提前2年确定评价时间,提前3-4个月向专家提供评价材料,专家到所考察2天。评价工作由总部评价处直接组织,除组织工作外,评价处人员还要写评价纪要,并可以提醒专家哪些问题讨论了,哪些问题还没有讨论等。因此,在莱布尼茨协会评价组织者参与到了专家的评价过程之中,以保证评价报告在各研究所的一致性。
二 经验与启示
1 德国科研机构的评价制度正逐步完善
以上介绍可见,无论是马普还是弗朗霍夫学会、赫尔姆霍兹协会、莱布尼茨协会,都有规范、严格的评价制度,其中许多评价制度是从上世纪90年代就开始建立,并呈现出逐步完善的趋势。首先,近年来国家开始对研究机构进行5年一次的系统评估,系统评估由教研部委托受政府资助的科学委员会具体执行。其次,5年前马普在对研究所进行2年一次单独评价的基础上增加了领域评价,通过对同一领域研究所相互比较进行更深入的评估。最后,赫尔姆霍兹协会、莱布尼茨协会严格的评价制度也是近年来开展起来的,原来这些机构只接受科学委员会的评价。
在德国这样一个有深厚科技传统的国家,科技评价的发展轨迹是从没有评价到有评价、从弱的评价逐步过渡到强的评价。其实,严格的评价制度的实施与德国科技界对科技评价的态度并不完全一致,我们访问的几个单位普遍感到科技评价难以被接受,评价结果的实施则更加困难,“几乎没有人喜欢被评价”。德国科技评价逐渐增强的动力一方面固然是科技发展的必然需要,除此之外,来自美国和日本的强大科技竞争压力也是重要的动力来源。在科学评价方面,美国于1993年通过了“政府绩效法案”(GPRA),日本于1997年出台“国家研究开发评估实施办法指南”。德国虽然至今并没有从国家层面上出台科技评价的法律规定,其评价制度的严格并不逊于美国和日本。
在我国和我院关于科技评价也一直有比较多的争论,包括是否需要评价以及如何评价等。与德国相比,我们这样一个科技传统相对薄弱、科技水平还不高的国家,要实现科技的跨越式发展,必定要承受更多的压力,包括评价的压力。我们需要遵循科学自身的规律,创造一种有利于出成果出人才的宽松自由的科研环境;但是,另一方面,我们也需要不断完善科技评价制度,充分发挥科技评价的导向与激励作用。从德国的实践来看,科技评价完善与发展的方向应该是更完备与更全面,而不是减弱,至少在科技发展的一定阶段是如此。
2 科技评价的主体方法是同行评议
德国科研机构评价的基本方法是同行专家评议,即便如弗朗霍夫学会这样的应用开发研究机构也是如此。专家评价的过程一般为先阅读定量数据为主的状态报告,专家随后到研究所实地考察了解情况,最后通过集体讨论形成评价报告。同行评议专家几乎全部外聘,根据研究所性质与研究水平不同,外聘专家中来自国外的比例不同,马普学会国外专家的比例最高达60%,莱布尼茨协会外国专家的比例只占30%。从其它国家来看,研究机构的评价一般也是同行评议方法,如美国的基础科学资助与研究机构NSF、NIH以及美国国防部、能源部、农业部等所属应用开发机构等的评价都采用了同行评议方法。可以说,不论基础研究机构还是应用开发机构的评价,国际上通行的评价方法都是同行评议。
我院研究所评价从1994年开始以来基本上采用的是定量评价方法,1999年对知识创新工程试点序列研究所的评价开始引入同行评议,如目标完成情况评价就是采用的同行评议方法。但是,评价的最后结果主要还是由定量方法决定的。定量评价方法的采用应该说与我们当时的研究水平是相适应的,在客观上也推动了我院(尤其是知识创新工程试点以来)高影响因子研究论文、发明专利、软件登记数量等科技产出的迅速提升。现在,我院在SCI等高水平刊物发表论文、与国际同行开展学术交流与对话,已经不再是10多年前少见的事了。事实上,到2000年我院在SCI刊物上发表的论文已经超过马普。
目前,我院科技产出在数量上已经达到一定的程度,到了需要从量变到质变转化的时候,在评价导向上尤其需要关注产出的质量与重大创新贡献。因此,以国际接轨的同行评议方式开展研究所评价成为必然的选择。为此,院党组决策以综合质量评估作为研究所评价的根本方法以代替原来定量为主的方法。毫无疑问,综合质量评估方法的引入最终必然极大地提升我院的科研质量与水平,提升我院的国际化水平。不过,我院不论是研究水平还是管理机制与文化传统,毕竟与马普等一流研究机构还有相当距离,我们需要充分认识评价方法根本转变的困难和问题以及实现这种根本转变所需要的时间。
3 不同类型研究机构的评价标准与专家构成不同
虽然德国研究机构都采用同行评议方法作为根本的评价方法,但是,在评价标准与相应的专家构成上存在较大差异。马普是一个以基础研究为主的研究机构,评价标准最根本的是研究的质量与水平,研究论文的数量与水平成为其重要的评价指标,评价专家主要为来自高校与研究机构的国际水平的科学家。弗朗霍夫学会是一个应用开发型研究机构,外争经费的数量与构成、客户的满意度等成为非常重要的指标,出版物则一般不纳入评价指标,专家的构成一半来自学术界,一半来自企业。赫尔姆霍兹协会属于大科学装置的研究机构,经费投入大,其项目规划与管理显得尤为重要,因而其评价委员会成员除科学家外还包括政府官员与管理专家等。
我院学科广泛,既涉及如马普的基础研究,还涉及如弗朗霍夫学会的应用开发、赫尔姆霍兹协会的大科学装置,同时还有公益性的资源环境研究等,因此,虽然按院党组决策我院各研究所都采用综合质量评估方法,但评价的标准与专家构成甚至评价的程序等可以有所不同,应该充分考虑不同学科的特色。 |