科研绩效评价范文
时间:2023-06-13 17:16:23
导语:如何才能写好一篇科研绩效评价,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
一、引言
科研项目是对高校综合科技水平以及综合实力进行评价的一个重要标志,是培养高科技人才、建立重点学科的重要保障。随着高等教育事业的不断发展,高校承担的科研项目以及相应的科研经费都处于不断增长的过程中,科研经费已成为目前高校发展的重要资金来源之一。基于科研经费投入的增加,确保科研工作的顺利开展,促进科研质量的提升,增强教学改革、人才培养工作快速发展。同时,也遇到新情况,发现新问题,产生新矛盾。大致归纳如下:
(一)科研经费来源多元化,致使科研管理水平、监督手段不能适应新要求
目前各大高校科研经费,根据来源渠道不同可分为纵向科研经费和横向科研经费。纵向科研经费主要指财政性拨款,例如:973计划、863计划,另外国家和省部的自然科学基金、社会科学基金,教育部博士学科点、社科重大项目,重点实验室运行经费等。由于这些财政性科研经费不包含创收成分,必须按国家专项经费办法管理。横向科研经费就是高校和各种企、事业单位横向联合,进行技术咨询服务、技术协作或科技转让而获得收入,这也是目前高校科研经费的重要来源。由于,科研经费的来源是多元化的,科研经费的提供部门对经费的使用要求没有统一明确的规定,而各类科研项目又有不同的要求,这就使科研经费管理及核算带来特殊性和复杂性,加大了经费管理和监督的难度。
(二)“课题制”模式下的财务管理遇到的难题
“课题制”的科研经费管理模式目前在高校普遍推行,项目负责人对课题的立项、科研经费使用、项目验收以及项目形成的资产、成果进行全程管理。有力地推动课题管理的科学化、规范化,取得明显效果。但由于有些高校重视科研“上项目”,而对科研经费的使用情况及效益性没有给予足够重视;例如:有些学校在项目经费上核算机制不健全,有的则财务制度执行标准不严谨,而更多的是不按规定执行预算,直接费用在课题间分割不清晰,公共费用分摊困难,使得科研项目成本核算不准确,更有甚者某些科研项目中出现“真的假账,假的真账,假的假账,就是缺少真的真账”的怪现象。
(三)缺乏对科研经费使用情况的绩效考核与评价
科研委托单位和管理部门缺乏对科研项目的协调、监督,又缺乏统一的评价体系,不能科学合理地对科研项目进行效益考核,难以对科研项目经费进行合理的评价。
为解决上述问题,促进“课题组”科学、合理、高效地使用科研经费,加强预算,加强财务制度执行力度,克服不规范、不符合制度的现象,本文对高校科研经费的使用开展绩效评价的研究是必要的,有现实意义和实用价值。
二、高校科研经费绩效评价指标体系的构建
“绩效”(Performance)来源于管理学,最初广泛应用于企业管理。20世纪80年代新公共管理运动,绩效评价成为政府部门和其他公共部门评价的重要内容。后来高等教育领域也引用绩效评价,设定绩效指标对高校取得的业绩、效益进行评价,很多国家以对高校的绩效评价进行绩效拨款,促进学校进行绩效管理。
“评价”(Evaluate)是一种认识活动,评价本身不创造价值,但是对已存在的价值作出判断。开展绩效评价也是科研经费审计的关键点,是开展绩效管理的基础。
现在我们对高校的科研经费部分进行绩效评价。因为科研经费问题是多因素、多目标、多层次的复杂的大系统,其中不少因素相互联系,又相互制约,还存在相对独立的一面,另外一些因素具有模糊性,没有明确的外延,内涵也很复杂。总之,对这些因素不能一个个地单独考虑,而需要全面、综合地加以权衡。传统的评价方法难以奏效。必须建立科学的评价方法,使各因素间关系条理化、层次化、理论化,使许多只能定性分析的指标加以定量化处理,使模糊量向经典量转化,利用模糊数学、区间数学构建的模糊综合评价法正适合解决高校科研经费使用的绩效评价问题。
所谓“绩效”就是“业绩”、“效率”、“效果”的意思。通常包括两方面的内容:即包括静态的“结果”,也包括动态的“过程”,两者相辅相成。“结果”是工作的目标,“过程”则影响和控制目标的实现。为了得到正确的评价结论必须建立一套科学、系统的评价指标。所谓评价指标是指从哪些方面进行评价,评价什么问题;而评价标准,就是指明各项指标应达到什么程度。
在建立指标体系时,参考了国家科技部提出的科技评价指标体系的设计原则,即:(1)科学性;(2)有效性;(3)整体性;(4)可操作性;(5)定性与定量相结合。
指标体系的建立,还参考了由哈佛大学卡普兰教授等提出的绩效评价方法,即“平衡计分卡”,该方法将相关单位战略目标落实到可行目标、可衡量指标上的一个战略实施工具。它促使高层管理人员从财务、客户、内部流程和学习成长四个角度平衡定义企业战略,分析其相关性,发现问题,及时调整战略,建立战略实施架构以确定重点。本文将指标体系分三部分:(1)科研投入;(2)科研运行;(3)科研成果。设置5个一级指标、18个二级指标,紧扣人、财、物的投入情况,科学评价科技人员科研水平,客观反映经费使用效率,公正评判科研质量。(见表1)
三、高校科研经费模糊综合绩效评价数学模型
绩效评价指标体系构建后,就以此为出发点,进一步开展调查研究,收集资料,进行计算,开展评价。
现在建立绩效评价数学模型。该模型分单级模型和多级模型两类。而单级模型是多级模型的基础,多级模型是单级模型的拓展。而高校科研经费的绩效评价属多级模型。
(一)综合评价中的几个要素
1.确定评价对象的因素集
因素集是指影响评价对象的各个因素组成的集合,用U表示,
即 U={U1,U2,…,Um} (1)
其中Ui(i=1,2,…,m)表示影响事物的第i个因素。
例:表1中各项指标就是影响高校科研经费使用绩效的各个因素。
2.给出评价集
评价结果就是对评价对象优劣程度的描述,将评价结果的全体称为评价集。
本文研究的各指标的评价结果分为四个等级,即
V={优,良,中,差} (2)
评价集对各层次的指标都是一致。评价集一般表示为:
V={v1,v2,…,vn} (3)
其中vj称为等级评语,j=1,2,…,n。
3.权重集
权重用于描述各指标对上级评价指标的相对重要程度。因某些指标较为重要,考虑的分量多一些,另一些指标不那么看重,分量轻一些,是各自综合权衡的依据,为使影响程度定量化,赋予相应数值,称为权重。
对本文而言,第一层次的5个指标的权重构成权重向量
A={a1,a2,…,a5} (4)
权重ai满足归一性及非负性,即
■ai=1,ai≥0,(i=1,2,…,5) (5)
第二层次的5组二级指标分别对应第一层次的相应指标,相应权重向量组:
Ai=(ai1,…,aij…aiki)(i=1,2,…,5) (6)
权重aij也应满足归一性与非负性。
权重的确定有多种方法,如:
(1)专家法,可以聘请有关专家根据高校科研经费来源、使用等情况,以及他们长期的实践经验,来确定最恰当的权数分配。
(2)层次分析法(AHP),这是主观赋值法中比较科学的方法。层次分析法是美国运筹学家T.L.Saaty教授于20世纪70年代首先提出的。该方法是一种定性与定量相结合的方法,是社会、经济系统决策的有效工具。
总之,根据课题性质、要求,选择合适的方法。
(二)单层模糊综合评价
单层模糊评价大体分两步:首先按每个单因素单独进行评价,其次按全部因素进行综合评价。基本方法如下。
设单层评价对象U受评价因素U1,U2,…,Um的影响
权重向量 A={a1,a2,…,am}
评价集 V={V1,V2,…,Vn}
本文评价集 V={优,良,中,差}
试求评价向量B=(b1,b2,…,bn)
第一步,构建单因素Ui的评价向量
Ri=(ri1,ri2,…,rin) i=1,2,3,…,m (7)
其中rij表示第i个因素Ui使评价对象达到第j个评价等级的可能性。确定的方法可用统计调查法、专家法或确定隶属度方法。为了提高精度,用区间数学中的区间数来表示。向量Ri的个数与相应因数组中因数的个数相同,皆为m个。
第二步,构建评价矩阵R
用单因素Ui对应的评价向量Ri为行向量构成矩阵
R=r11 r12 … r1nr21 r22 … r2n… … … …rm1 rm2 … rmn (8)
称R为评价矩阵。这是因素集U与评价集之间的对应关系。
第三步,单层综合评价计算
B=A·R (9)
其中,A=(a1,a2,…,am)为权向量
B=(b1,b2,…,bn)为所求的评价向量。
表示被评价对象达到各评价等级的可能性。
而A·R的合成运算可以按模糊矩阵合成的取大取小(∧,∨)来进行,也可以用其他的算子进行。但用不同算子就得不同的模型,产生不同的评价结果。换句话说,这好比从不同的角度去观察、分析同一事物而得到不同的结论。在解实际问题时应选择合适的模型。而本文在考虑隶属度时,为保留单因素的全部信息,采用“加权平均型”综合评价,其运算就是通常的矩阵运算。
最后,确定评价结果。
将评价向量单位化,即将B=(b1,b2,…,bn)化为单位向量
B’=(b’1,b’2,…,b’n),
其中b’j=■ j=1,2,…,m
■
(三)多级综合评价计算
若实际问题是多层次的,需要多级综合评价,从最低层开始,逐级上移。本文计算流程见图2。
第一,对各级各因素分别利用单级综合评价方法,得相应评价向量:
B1,B2,…,Bm
第二,以B1,B2,…,Bm为行向量构建高一级的评价矩阵R,再输入权向量A,进行合成计算:B=A·R
从而得综合评价向量,再经适当处理得出评价结果。
■
四、应用举例
某大学是一所拥有近百年办学历史的教育部直属高校,是以水利为特色、工科为主的多学科的实施“211工程”重点建设的高校。近年来,以科技部批准成立水文水资源与水利工程科学国家重点实验室,国家发改委批准成立水资源高效利用研究中心,教育部批准成立研究生院等为标志,学校的建设与发展上了一个新台阶,现在以该校科研经费的综合绩效评价为例进行探讨。
(一)建立一级评价矩阵、确定权重
因为科研经费来源渠道是多元的,各项目经费的使用规则不尽相同,科研质量的层次不相同,所以绩效评价的侧重点不相同。根据本例情况,利用(表1)的指标体系,一级指标5个,二级指标18个,共分两层进行评价。根据指标体系的要求,在已有资料的基础上,再与相关领导、专家、管理工作者及相关学生代表进行调研,对具有模糊性的量,用区间数表示,得到基本数据后,经汇总分析、计算、结果见(表2)。
由表2可得一级评价矩阵:
R1=0.40 0.40 0.20 0.000.36 0.36 0.15 0.130.50 0.40 0.05 0.050.42 0.40 0.15 0.03
R2=0.50 0.25 0.20 0.050.45 0.25 0.20 0.100.40 0.30 0.20 0.100.40 0.30 0.25 0.05
R3=0.40 0.30 0.20 0.100.35 0.35 0.20 0.100.40 0.30 0.20 0.100.45 0.30 0.20 0.05
R4=0.40 0.30 0.20 0.100.35 0.30 0.20 0.150.40 0.30 0.20 0.10
R5=0.40 0.35 0.15 0.100.35 0.40 0.15 0.100.38 0.42 0.12 0.08
相应的权向量为:
A1=[0.32,0.30,0.20,0.18]
A2=[0.28,0.22,0.30,0.20]
A3=[0.30,0.25,0.25,0.20]
A4=[0.34,0.36,0.30]
A5=[0.35,0.35,0.30]
(二)一级综合评价
设B1表示因素U11,U12,…,U15的综合评价向量,由公式(9)
B1=A1·R1=[0.41,0.39,0.15,0.05]
值得指出的是,矩阵合成时,采用不同算子,就会得到不同评价结果。正如前面指出的,本文为了确定各因素对评价等级的影响,不仅只是考虑影响最大的因素,而且保留全部信息,因此注意到:(1)权重系数ai是满足归一性;(2)矩阵合成按通常矩阵乘法法则进行。计算得到:
B2=A2·R2=[0.44,0.28,0.21,0.07]
B3=A3·R3=[0.40,0.31,0.20,0.09]
B4=A4·R4=[0.38,0.30,0.20,0.12]
B5=A5·R5=[0.38,0.39,0.14,0.09]
(三)二级综合评价
由B1,B2,B3,B4,B5分别为行向量构成二级综合评价矩阵R,再由(表2)得权向量
A=[0.23,0.19,0.19,0.19,0.20]
利用合成公式(9),
B=A·R=[0.40,0.34,0.18,0.08]
由此可以判断该校科研经费绩效评价的结果。向量B中分量表示专家组中选定各评价等级的人数比例,即判断“优秀”占40%,认为“良好”占34%,认为“合格”占18%,认为“不合格”占8%。综合而言,科研经费使用的综合绩效是优良的,当然还应该进一步的提高。比如,科研经费的制度进一步完善,在实施“课题制”过程中,对财务制度执行力度要加强,监督管理要加强。
(四)以绩效评价促进高校科研经费的绩效管理
注重绩效是重点高校管理工作的特色,是管理工作者的职责。绩效管理与绩效评价密切相关,绩效管理是绩效评价的延伸与发展。本例的绩效评价工作,从指标体系的建立,评价方法的确定,评价过程的实施及评价结果的应用,都是围绕绩效管理开展的。从评价结果看是属“优良”等级,当然还要进一步提高。事实上,高校科研工作,尤其是科研经费方面,以评价为契机,努力开展工作,已取得很大成绩。近年来,学校承接的科研项目质量不断提高,承担了一些国家层面的重点、重大研究计划和重点、重大科研项目。其中一批科研取得重大突破,达到国际先进水平,获得国家或省、部级科技成果奖。学校有优良育人传统,毕业生就业率高,2005年学校以优秀成绩通过教育部本科教学工作水平评估。研究生培养质量持续提高,已建成具有水利特色的高层次人才培养和知识创新基地。科研经费不断增加,仅以2009年为例,全年新增科技合同经费4.18亿元,其中科技处归口合同经费2.28亿元,科技产业经费1.36亿元。科技经费使用效率不断提高,为科研事业的发展发挥了应有的作用。今后,在评价基础上,进一步开展对科研经费使用的绩效管理,在促进科研事业的发展中发挥更大作用。
五、探讨与建议
(一)科研经费使用绩效评价指标体系的探讨
当前,高校科研项目普遍实行“课题制”管理,这种管理模式,赋予项目负责人支配课题经费及相关资源的自,这符合科技发展规律和市场经济的要求。相应地绩效评价问题应从“项目依托单位”及“课题组”两个范围开展。“科研经费”虽属经济范围,更是科学研究的支撑,是高等学校管理工作的重要任务之一。从而,设计评价指标时,不仅应考虑经济指标,还应考虑非经济指标。于是,利用“平衡计分卡”,这是新的绩效评价方法,是一个战略实施工具,可将高校科研经费使用的战略落实到可行的目标,使管理者从财务、客户、内部流程和学习成长四个角度均衡考虑,分析相关性及其链接,并进行跟踪分析,尽快发现问题,及时调整,从而使指标体系更符合实际。
(二)绩效管理是绩效评价的延伸与发展
绩效管理与绩效评价密切相关,但又不完全相同。绩效管理是绩效评价的延伸和发展,而绩效评价是绩效管理的基础。本文对高校科研经费的预算、运用、管理和监督的综合系统进行绩效评价,并将评价工作、评价结果与“课题制”及其相关部门管理工作结合起来,促进管理工作更上一个新台阶。
当开展绩效评价工作时,从建立评价指标体系,确立评价方法,开展评价工作,直到得出评价结果,都是紧紧地围绕绩效管理开展的。绩效管理是一个完整的过程,贯穿始终。而绩效评价只是其中的一个重要环节,出现在特定时期。
在绩效评价开展以后,应将评价结果及时反馈与沟通,“发现问题,解决问题”。成功的沟通是一个系统工程,应抓好各个环节。也就是说,在制定战略目标时应进行沟通;在考核环节上应沟通;在反馈评价结果时应沟通,在绩效改进时应沟通。从而不仅巩固了已有成绩,更为今后的发展夯实了基础。
六、结束语
文中主要讨论了绩效评价问题,以“平衡计分卡”为指导,构建绩效评价指标体系,提出了模糊综合评价数学模型,通过实例得出评价结果。该方法简洁、实用,评价结果合理,算例表明该方法值得推广。
随着高校科研的大力发展,科研经费的不断增加,应开展以绩效评价为基础的绩效管理,保证科研经费管理制度不断完善,经费使用效率不断增强,科研质量不断提升。
【参考文献】
[1] 赵善庆.高校科研经费精细化管理探析[J].财会通讯,2011(3中).
[2] 杨杰.加强高校科研经费管理的对策研究[J].高教探索,2009(3).
[3] 石金涛.绩效管理[M].北京师范大学出版社,2007(1).
[4] 张静,张乔.关于高校财务实行绩效预算管理的探讨[M].教育财会研究,2007(5).
[5] 常笑霓,王心雁.高校科研经费管理监督中的问题及对策研究[J].北京航空航天大学学报(社会科学版),2006(9).
[6] 张乃良.最优化方法[M].山东大学出版社,1995.
篇2
对于不同的财政专项经费投入,由于经费管理办法不同,所资助的科研活动各有特点,因此应采用不同的指标体系进行考核。例如,如果财政资金投入到基础研究领域,那么此类项目的社会效益考核指标应该加强,而经济效益考核指标体系应该弱化。
2财政科研经费绩效评价指标体系
2.1设计指标体系框架的总体思路
本文中设计财政科研经费绩效评价指标体系是基于对财政科研经费投入—产出这一思路设计的,涵盖项目立项、组织实施、产出全过程。我们提出的是财政科研经费绩效评价指标体系框架,也就是通用指标。由于每一类财政科研经费资助的研究内容具有不同的特点,因此,可以按照这个框架设计每一具体项目的绩效评价指标体系,例如,可以针对基础研究、应用研究、试验发展等项目分类设置指标。
2.2指标体系框架的内容
本指标体系设三个层次,一级指标3项,分为项目决策、项目实施、项目绩效;二级指标10项,三级指标30项。这一指标体系虽然分为三个层次,但是各层次、各指标不是孤立的,而是有机联系的整体。例如,一级指标中的“预算落实情况”指标和二级指标中的财务管理相关指标就是相互关联的。
2.2.1项目决策指标的设计思路项目决策评价指标体系主要考核的是项目立项是否科学合理。这项指标包括4项二级指标和6项三级指标。由于项目立项阶段主要是专家对项目的合理、可行进行的判断。因此对于这一过程的评价毋庸置疑采用的主要是定性指标。包括项目目标、决策过程、项目创新、项目预算等。但是在设计这些指标时,尽可能选取能够客观评价的内容,减少人为主观评判的因素。例如,项目目标的明确程度,是否量化;决策依据充分性中的申报单位资质情况等;决策过程指标中决策程序是否合规等考评内容都具有客观性。项目预算中项目“预算落实情况”指标在整个评价指标体系中都具有重要意义。项目预算与项目目标是否匹配,决定着整个项目绩效水平。如果预算资金远大于完成目标所需经费,那么整个项目经费就会有浪费、违规现象,项目绩效水平低;如果预算资金不足,不能满足完成目标所需经费,那么整个项目工作无法完成。因此,对于这项指标的评价需要针对不同类型的科研经费进一步细化考核指标。
2.2.2项目实施指标设计该级指标包括2项二级指标和9项三级指标,主要内容是项目组织管理和财务管理。通过这些指标可以评价项目实施过程的管理水平,包括组织管理、财务管理等。其中财务管理指标所占的比重较大,是考评的核心内容,涵盖资金到位情况、支出情况、预算执行率、会计信息、财务管理等各方面,既有定量指标,例如资金到位率、预算执行率等,也有定性指标。通过对这些基于项目支出的指标体系,可以较为客观地反映出该项目实施是否有效,也从一定程度上印证项目决策指标体系中“预算落实情况”。通常情况下,预算落实情况评价较低时,说明项目预算资金过大或过小,那么预算执行指标都会出现异常,预算资金过大时,预算执行率偏低,或许会出现突击花钱的现象,资金支出方面违规现象时有发生;预算资金过小时,预算执行进度和工作进度一般不会同步。财政科研经费在使用中是否安全有效,在这一层次的指标中基本上可以评价出来。
2.2.3项目绩效指标设计这是基于项目产出的指标体系,包括4项二级指标和15项三级指标。具体有项目产出指标、经济效益和社会效益指标。项目产出指标和经济效益指标是绩效评价最直接的指标,而社会效益指标是间接影响的考评指标。项目产出指标和经济效益指标尽可能采用定量考核指标,而社会效益等无法量化的,采用定性指标。这些指标较为全面的概括了科研经费投入后,可能出现的各种产出情况,如论文、专利、人才培养、成果转化收入等。在这些指标中,较难把握的是“生态影响程度”这一定性指标,主要依赖于考评专家的判断。
2.3对本指标体系需要说明的其他问题
2.3.1针对不同类型的科研项目应当进一步细化考评指标。本指标体系是财政科研经费投入绩效考评的框架指标。不同类型的科研项目研发目标及产出情况各不相同,例如,对于基础研究类项目可以弱化经济效益指标,同时进一步细化社会效益指标;而对于试验发展类项目则进一步细化经济效益指标。
篇3
关键词 德尔菲法 高等院校 科研绩效评价 指标体系
0 引言
绩效评价体系是以实际的业绩效果为考核评价依据的价值衡量体系,可广泛地应用于现代社会行政、教育、经济等领域,从而对被评价对象做出合理、量化的评定。①近年来,随着我国高校科研实力的不断提升,科研绩效评价也逐步被引入到高校中来。
我国高校的科研绩效评价体系起步于20 世纪70 年代,大致经过了行政评价、同行评价、指标量化评价和国际科研计量评价四个阶段。②该体系评价结果不但是衡量高校科研水平、教师科研能力的重要指标,也是教师职称评审、岗位评聘和福利津贴的主要标准。虽然该体系对教师在学术上的科学发展能起到促进和激励作用,但是正是由于诸多利益的驱动,近年来高校内部对科研绩效评价的合理性和公正性的质疑声也愈来愈强烈,评价指标多而杂、评价标准不科学以及人为主观因素干扰等诸多问题,已经严重影响了高校作为科技创新重要力量的发挥。
鉴于此,本文尝试性地提出一种基于德尔菲法的高校科研绩效评价体系,通过科学合理可靠的多层次数据分析,既避免了评价指标多而杂、评价标准不科学,又规避了诸如人情风、官本位、打压异己以及 “马太效应”等人为主观干扰因素,从而构建一套科学公正合理的高校科研绩效评价体系方法。
1 基于德尔菲法的高校科研绩效评价体系
1.1 德尔菲法的涵义
德尔菲法是在20世纪40年代由O·赫尔姆和N·达尔克首创,经过T·J·戈登和兰德公司进一步发展而成的。该方法属于专家集体评价法,即专家以匿名的方式对调查者所提的问题发表意见,通过多轮次调查专家对问卷所提问题的看法,经过反复的征询、汇总、修改,使专家小组的预测意见趋于集中,最终获得具有统计学意义的结果,从而做出科学、公正、合理的结论,是一种利用集体智慧来确定各因素在评判问题或决策问题中的重要程度系数的有效方法之一。该方法具有较高的代表性和可靠性,被广泛地运用于各种评价指标体系的确定过程中。③
1.2 应用德尔菲法的方法和过程
(1)组成专家小组。专家的挑选是应用德尔菲法的前提,针对高校科研工作的特点,在应用德尔菲法前,需要按照所需要进行科研绩效评价的学科知识范围来确定专家。既要考虑到专家的学术科研能力,又要兼顾其本人的基本道德水平。考虑到具体实施的复杂程度,人数一般以不超过20人为宜。
(2)筛选评价指标、编制咨询问卷。问卷的设计是体现组织者能力的重要因素,选择哪些评价指标,如何根据科研工作的实际情况确定评价指标的层次结构,都是决定应用德尔菲法成功与否的关键因素。
(3)高校科研绩效评价指标体系的确立。根据德尔菲法的指标确立原则,结合高校科研工作的实际情况,本文给出了高校科研绩效评价指标体系的框架。本指标体系由科研项目及经费、发表学术论文及著作、成果(专利) 获奖情况以及参加学术活动情况4个一级指标构成。其中科研项目及经费包括纵向计划项目和横向合作项目两个二级指标;发表学术论文及著作包括论文质量和论文及著作数量两个二级指标;成果(专利) 获奖情况包括获奖成果和专利两个二级指标;参加学术活动情况包括学术会议大会报告、专业学会委员、专业学术期刊评委和导师任职情况4个二级指标;每个二级指标下又设若干条三级指标。
(4)确定关键性指标及其权重值。在确立了高校科研绩效评价指标体系的各级层次后,科研管理人员还需要根据高校科研实际情况,确定关键性指标及其权重值。根据表1,我们给出了4个一级指标的权重值:科研项目及经费0.3,发表学术论文及著作0.3,成果(专利) 获奖情况0.2,参加学术活动情况0.2。
(5)具体实施德尔菲法:发放高校科研绩效评价指标体系调查表给专家小组成员,收集所有专家对于每一个指标的评分值,然后进行汇总;②向专家小组成员第二次发放调查表(列有第一次调查其他人的意见),要求其根据其他人的观点第二次对每一个指标的分值进行评估,第二次收集后再次进行汇总;向专家小组成员第三次发放调查表(列有前两次调查汇总后其他人的意见),要求其第三次对每一个指标的分值进行评估后第三次收集汇总;组织者根据第三次收集的调查表数据计算出中间值,并作出最终评价。
2 结语
高校科研绩效评价是一项涉及因素众多、关系复杂的系统工程,因此建立一套科学、合理、公正、实用和可操作性的评价指标体系具有重要的现实意义。本文在分析了高校科研工作的特点和运行机制的基础上,基于德尔菲法提出了一种对科研绩效评价指标体系进行优化的思路和方法。该方法具有以下几个优势:
(1)资源利用的充分性。利用相关学科专家丰富的经验和学识,吸收了大量不同专家的意见,充分发挥专家的作用,集思广益,准确性高,实现了对相关学科领域资源的全面利用。
(2)指标体系的全面性。应用德尔菲法的高校科研绩效评价体系涵盖了科研项目、学术论文、著作、获奖成果、专利以及学术交流等评价指标,最大可能地保证了指标数据的全面性。
(3)最终结论的客观性和可信性。由于采用匿名或背靠背的方式,能使每一位专家能够独立地做出自己的判断,而不会受到其他人为主观因素的影响。因此匿名的调查方式极大地提高了咨询结果的客观性和可信性。
篇4
一、测度体系分类
公益类科研机构绩效评价的测度体系是对公益类科研机构绩效的定量或定性描述。郝瑟和凯特兹(hauser, j. and katz. metrics,1998)在综合有关文献的基础上,将比较关键的测度体系按照创新过程的不同阶段和方面,分为科技投入及投资测度体系、经济财务测度体系、商业和经营测度体系、文献计量测度体系、专利、同行评议测度体系、组织的战略和管理测度体系、成果阶段测度体系八个大类;埃利泽·盖斯勒(eliezer geisler, 2000)则指出,对于科研机构而言,科学技术的测度体系主要包括文献计量指标、专利指标、共词分析、经济指标、同行评议和投入产出指标六种类型的评价指标(表1)。
表1 科学技术测度体系的种类及测量特征 测度体系的种类 测量工具的效用特征
准确性 精确性 重复性 容差 偏差 灵敏度 测量层次
文献计量指标 高 高 高 高 高 高 定量
专利指标 高 高 高 高 高 高 定量
共词分析 低 高 低 低 高 低 大部分定性
经济指标 低 高 低 高 高 低 大部分定性
同行评议 高 高 低 低 高 低 定性
投入产出指标 高 高 高 低 高 高 定量和定性
其他学者也曾试图建立对科学技术测度的分类方法,但除科学技术投入测度、文献计量学测度和专利测度外,学者们很难认同其他测度体系。如卢柯能·格罗诺(luukkonen gronow, 1987)认为,不存在一套标准化的可作为常规应用的评价方法;而nber在一份研究报告中指出,并没有可以直接量度研发成果的测度体系。
二、科学技术指标
科学技术指标是一个通用术语,它适用于在广泛范围内对研究、开发和创新的有关活动投入以及产出的定量测度。目前比较有影响的科学技术指标有《主要科学技术指标(msti)》、《科学与工程指标》、《世界竞争力指标(wcy)》以及《量度科学、技术与发明创造的新科学指标》(un, 2003)等。但到目前为止依然没有形成一套国际通用的核心指标(表2)。
表2 现有科学技术指标比较 指标类别 测度 优势 缺陷
·科技领域、 资金来源等分类必须定期更新
投入科研活 ·被多数国家所 ·国家体系不同导致部门覆盖不同
动的费用和 采用 ·某些概念难以理解,如全职、兼职、等同全
研发投入 人力资源测 ·历史记录已经 职等
量指标 标准化 ·难于估量分别用于研发和其他科技活动
的时间
技术贸易支 ·仅限于对经济的影响
付差,高科技 ·可评价科技投 ·依赖于高度完善和透明的会计体系
科技产出 贸易和技术 入的效益 ·只反映相关关系而非因果关系
传播
·对投入和成本难于分离和测量
导致技术提 ·有些概念依然不清晰
创新产出 高活动的量 ·对没有工商领域统计系统的国家难于采
度 用
·没有方法来源手册
对论文和文 ·出版物是知识 ·对各个国家和语种覆盖不全
出版物 献引用的量 生产的主要产 ·引用不能反映出版物质量,只反映其科技
度 物 影响
·专利的申请数 ·或专利保护的发明比例较低
专利 对发明的量 量和公布数量 ·专利数量不能反映发明的重要性和商业
度 易于获得 价值
三、基于过程——结果方法的绩效评价测度体系
要对公益类科研机构的绩效进行评价,就必须以某一可行方法为基础,构建相应的测度体系和评价指标。然而,当我们在社会科学、管理科学以及组织科学中讨论科学技术时,它们是复杂和非结构化的现象,这就要求对这些现象构造出概念和定义,并对这些可定义为“不可量化的”维度和变量进行适当的测度。
1.投入产出模型
为恰当描述公益类科研机构从资源投入到科技产出的整个科技创新过程,本文将公益类科研机构作为社会经济系统中的一个子系统,对创新过程的阶段、各阶段的投入与产出进行区分并重新加以界定。其中资源投入指的是在其研发和转化过程注入的所有资源和强加在科技过程及其环境上的约束;而产出可以是有形的物体或者物质性的其他内容(如产品、工艺或报告等),或者是组织性、社会性、经济性的现象(如成本的降低或生产率的提高),也可以是无形的东西,如知识、客户满意度以及由科技带来的其他益处或有害的影响,并可划分为直接产出、中间产出、后续产出和最终产出四类。
2.测度指标体系
根据公益类科研机构投入的相似形式和属性特点,本文将纷繁复杂的量度指标归并到科技人力资源投入和研究开发资本投入两大类别中去,从而将一组相似的测度标准施用于同一个类别的几种投入。但需要指出的是,由于科研机构分为不同的类型,每一类型的投入与产出又具有各自的特点,因而评价指标体系也应有所区别。本文则根据中科院下属研究所的典型特征,从上述一般指标体系中选取适宜的指标,形成针对特定类型机构的投入产出测度指标体系(表3)。
表3 公益类科研机构投入产出测度指标体系 投入 指标构成 量度
指标
c[,11]研究开发人员 当年科技人员投入当量
科技人 c[,12]人员素质 学历结构,职称结构
力资源 863、973 计划项目重大科技项目课题组长或首席科学家,
(c[,1]) c[,13]将帅人才 国家杰出青年基金获得者,国家级奖励获得者,两院院士及
外国国家科学院院士;国际组织任职,享受政府特殊津贴等
c[,14]在职职工总数 包括专业技术人员、行政管理人员和在册工人
c[,21]事业经费 从财政部门取得的科学事业费、房改经费、公费医疗经费等
研究开 c[,22]课题经费 国家级课题;省部级课题;其他课题;国际科技合作项目
发资本 c[,23]设备购置经费 当年用于购置仪器设备的支出
(c[,2]) c[,24]仪器设备总值 可用科研仪器设备总值
q[,11]发表国际论文篇数
文献计 q[,12]发表国内论文篇数
量学测 q[,1]论文 q[,13]sci收录论文篇数
度(q[,1]) q[,14]被国际上引用篇次
q[,21]专利 国际、国内专利申请及授权
知识产 被批准一类新药、二类新药,动植物新品种、新农药、新兽
权测度 q[,22]其他 药、新肥料,软件著作权授权,制修订并正式国际标准、
(q[,2]) 国家标准、行业标准;重要咨询报告
q[,31]科技奖励 国家最高科学技术奖;国家三大奖一、二、三等奖;省部级三
绩效测 大奖
度(q[,3]) q[,32]人才培养 博士后出站、新增正高职职称;博士毕业、新增副高级职称;
硕士毕业、新增中级职称
q[,33]技术扩散 单位对外提供技术转让、技术咨询、技术服务、技术培训、
技术承包取得收入
q[,34]生产经营 科技成果转让收入;下属独资公司营业收入;与社会资本联
合投资的公司营业收入所占股份
3.定义绩效水平
知识生产函数的概念最初是由格瑞里茨(griliches, 1979)在量度研究开发和知识溢出对生产率增长的影响时提出的,其基本假设是将创新过程的产出看作研发资本投入的函数:
ln(r&d output)=lna+bln(r&d input)
(1)
在修正后的griliches-jaffe知识生产函数模型中,新经济知识(new economic knowledge)是最重要的产出,企业追求新经济知识并将其投入生产过程,而投入变量则包括研发经费投入和人力资源投入:
q[,i]=ak[,i][α]l[,i][β]ε
(2)
其中,q表示研发活动强度(注:实质上应该是研发活动的产出,原文为:where i stands for the degree of innovative activity, david b. audretsch & maryann p. feldman. handbook of urban and regional economics. vol 4 p3),k和l分别表示研发经费和科技人力资源的投入,α,β分别为研发资本投入和科技人力资源投入的产出弹性,ε为误差项。
从本质上看,公益类科研机构是将科技人力资源和研究开发资本等资源投入,通过研发过程的知识溢出使之转化成为论文、专著、专利、成果以及改进的产品和工艺、服务等产出的知识生产系统,因而可以用知识生产函数来评价其绩效:
lnq=lna+αlnk+βlnl+ε
(3)
绩效评价就是要对同类科研机构进行优劣比较,而比较的前提是较为科学合理的分类。基于研究开发资本投入对研究机构产出贡献的分类,可将同类科研机构看作是同质的,通过计算该类机构在一定时间段内的α和a,可得到第j类研究所的理论平均产出水平: 表4 各研究所1993—2002年绩效水平 所属类型 单位代码 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
dm001 2.18 1.35 1.26 1.35 1.30 1.17 1.16 1.07 1.16 1.28
0 3 5 6 0 0 6 6 6 0
dm004 5.06 4.00 4.87 4.46 3.99 3.41 2.07 2.25 2.26 2.04
1 9 6 5 2 8 8 5 5 3
研发资本 dm020 0.38 0.42 0.48 0.57 0.48 0.42 0.49 0.47 0.55 0.54
低依赖型 6 6 5 0 6 5 6 9 0 3
dm068 0.39 0.37 0.20 0.37 0.49 0.48 0.53 0.51 0.36 0.41
6 0 3 0 3 1 6 2 5 7
dm071 1.91 1.67 1.95 2.10 1.63 1.62 1.57 2.12 2.04 2.41
3 5 0 4 1 9 9 7 6 2
dm102 0.45 0.48 0.56 0.57 0.52 0.48 0.44 0.47 0.54 0.59
3 9 2 5 7 7 6 3 9 8
dm131 0.37 0.30 0.34 0.32 0.35 0.42 0.29 0.36 0.38 0.40
5 4 3 5 1 8 4 0 4 8
dm002 1.30 1.55 1.51 1.40 1.43 1.35 1.44 1.42 1.43 1.03
5 7 4 9 2 3 5 5 2 3
dm008 0.50 0.43 0.56 0.55 0.38 0.37 0.44 0.34 0.48 0.58
0 3 4 5 7 8 1 0 7 4
dm009 1.36 1.09 1.38 1.57 1.24 1.07 1.42 1.48 1.74 1.80
1 7 6 5 7 4 9 7 9 1
dm014 0.46 0.47 0.44 0.56 0.52 0.46 0.48 0.51 0.46 0.62
5 6 5 9 6 5 1 3 0 6
dm016 1.03 1.24 1.35 2.07 1.67 1.02 1.60 1.13 1.28 1.01
3 5 1 9 6 2 6 0 9 3
研发资本 dm021 0.53 0.61 0.62 0.68 0.51 0.49 0.45 0.60 0.70 0.87
中依赖型 2 9 7 1 8 2 9 4 6 4
dm024 0.96 0.69 0.85 0.82 0.80 0.90 0.74 1.03 1.13 0.71
4 4 4 8 9 8 8 9 2 5
dm025 0.68 0.36 0.43 0.36 0.43 0.50 0.42 0.63 0.50 0.54
6 2 0 0 6 4 8 1 4 7
dm088 0.91 1.21 1.04 0.79 0.43 0.59 0.57 0.71 0.71 0.86
0 5 3 2 8 6 8 8 2 3
dm106 0.62 0.56 0.52 0.49 0.45 0.52 0.47 0.69 0.85 0.61
4 3 8 7 7 7 1 8 4 7
dm107 1.08 1.07 0.92 0.77 0.99 1.06 0.64 0.56 1.02 0.97
6 5 7 6 3 4 3 3 8 1
dm129 1.17 0.90 0.75 0.95 1.09 0.91 0.83 0.95 0.76 0.89
1 8 1 1 9 6 5 0 0 5
研发资本 dm007 0.87 1.55 1.54 1.31 1.22 1.01 0.58 1.71 0.59 0.73
高依赖型 3 4 5 8 9 3 1 1 6 7
dm023 1.04 0.91 0.78 0.79 0.95 0.80 0.91 0.82 0.74 0.68
3 2 7 9 3 5 0 2 6 7
dm069 0.75 0.82 0.91 0.71 0.59 0.63 0.91 1.03 1.13 2.06
7 6 4 3 3 3 9 0 3 3
dm085 1.07 0.83 0.87 0.75 0.92 0.71 0.70 1.35 1.68 1.36
5 6 5 3 0 7 6 8 4 1
大科学装 dm006 0.81 0.82 0.86 1.00 1.29 1.26 0.69 0.93 0.76 1.03
置类型 6 3 3 7 6 0 1 1 9 1
dm136 0.66 0.74 0.85 1.08 1.22 1.15 1.23 1.28 0.99 0.99
2 0 6 5 6 8 4 9 9 5
1999年以后各研究所绩效水平的整体提升表明,自1998年知识创新工程试点启动以来,中科院通过增加研发投入和推动科研机构改革,科技竞争力有了明显提升,这与2004年国家科技教育领导小组对中科院知识创新工程试点实施情况评价的结论是一致的。
25个研究所10年的k p q变化趋势
若定义公益类科研机构的绩效水平(p)=(实际的产出水平)/(理论平均产出水平),则研究所j的绩效可由下式表示:
p=q[,j]/q[,j]=q[,j]/ak[,j][α]l[,j][β]
(5)
若绩效比值p大于1,说明该科研机构的绩效要好于其一般情况下的平均绩效水平;若绩效比值p小于1,说明该公益类科研机构的绩效不仅没有达到一般水平,甚至要比其一般情况下的平均绩效水平还要糟糕。
篇5
一、科研项目绩效评价概述
科研项目绩效评价是指采用科学、规范的方法,依据评价技术体系,基于科研项目预期目标,对该项目实施的经济性、效率性和效果性的测量与评判。
(一)评价指标与指标体系 评价指标是衡量科研项目总体目标的具体标志,是综合质量和数量的侧度。指标的基本功能:一是反映科研项目态势;二是监测科研项目目标实现程度;三是预测和计划科研项目过程与结果;四是比较和评价科研项目绩效。指标有定性指标和定量指标、描述性指标与评价性指标、主观指标和客观指标、财务指标和非财务指标等类型。通过将对评价项目的价值判断,转化为对其构成要素的价值判断(指标),这些指标全体叫项目目标的指标体系。它是项目综合评价对象系统的结构框架,是综合反映科研项目状态和发展趋势的一组具有内在联系的指标,对评价结果的效度和信度影响最大,是科研项目绩效评价工作的关键所在。评价指标体系的末级指标含义明确,只要有恰当的衡量方法和相同的衡量标准,就能获得与被测对象的实际情况较为一致的结论,可信度高。
(二)指标体系设计要求与构建原则 关于指标体系的设计己有大量文献予以描述。科研项目评价与一般项目立项中的评价的差异在于:科研项目的目标明确,有确定的经济、技术要求,在对项目进行绩效评价时,更注重对项目技术方案的合理性、与项目产出要求的契合性及经济节省性等方面的考察。关于科研绩效指标的设计原则,比较典型的是1986年英国副院长和大学校长协会提出的6条设计原则和凯夫(Cave)等人提出的7条设计准则,他们分别从不同侧面描述了设计原则。为此,根据其经验,构建指标体系应遵行以下原则:
(1)导向性原则。绩效评价的核心特征之一就是结果导向,即指标体系中的每一个指标都应具有导向作用,有目的地引导科研人员紧紧围绕国家和社会发展目标进行科学研究活动。科研绩效评价指标体系应是科研管理目标的细化,准确反应国家、地方和部门的科技发展目标和需求,达到指标体系和科技目标的一致。
(2)系统性原则。各类指标设计要全面系统,各指标间具有一定的内在联系,整体上具有系统性。
(3)简明性原则。指标体系的建立必须遵循简明性原则,突出以绩效为目的的核心指标,选取的指标能充分反映绩效评价的目的,避免重复或交叉设置。指标设置应简单明了,使评价过程便于操作。
(4)可比性与可测量性原则。为使评价的结果具有可比性,要根据评价项目的共同属性来选择评价指标,做到,可通过量化处理差异。同时评价指标的数据资料要易于采集,能利用现有的统计指标和数据,计算简单,对末级指标可以测量。
(5)过程性与结果性相结合原则。绩效评价包含过程与结果,因此,指标体系的建立应包含结果和过程,此两方面因素要相互补充,相互联系。
二、应用研究型科研项目绩效评价构建思路
基于项目绩效的经济性、效益性和效果性这一理念,依据应用研究型科研项目绩效特征,即应用研究重在应用,目的是解决社会经济发展中所提出的实际问题。应用基础研究产生的价值基本上体现在科学价值和社会价值两方面,其绩效综合表现为实施过程绩效和结果绩效两部分。
应用研究型科研项目的效益是指通过科研活动得到有益于科技发展的结果,表现为该科技对经济、社会发展、生态环境的影响和推动。科研项目实施过程绩效包括项目目标、项目水平、财务管理、组织管理等方面。从科研实施过程的合规合理性来看,实施过程绩效包括投入是否以最好的过程方式来实现既定的科研目标。即经费投入与产出是否合理,是否具有经济性。而其实施过程绩效和项目成果绩效有着密切的内在联系。在给定的最终目标和相同投入的情况下,前者绩效越高,产出的科研成果就越多,能够创造出的经济效益、社会效益和生态效益也就越大。同时,科研活动的成果绩效是以能否产生应有的经济效益、社会效益、生态效益和可持续性影响为前提的,如果科研活动没有达到预期目标――没有产出科研成果,即使科研活动产生很高的实施过程绩效也是对科研经费投入的浪费。
从科研活动实施来看,通过对所投经费和其他资源的使用和消耗,最终转化为科研成果,在这一实施过程中的绩效就表现为科研项目承担单位内部科研经济活动的效率。应用研究型科研项目的产出结果绩效则是科研项目完成之后表现出来的对经济、社会发展的贡献。由此可见,应用研究型科研项目绩效,可用实施过程绩效和项目成果绩效来概括,它们综合反映了应用研究型科研项目经费支出在经济性、效益性和有效性三方面的绩效内涵,进而能够综合、全面地对应用研究型科研项目绩效进行评价。由此,形成了应用研究型科研项目绩效评价的思路框架(见图1)。
三、应用研究型科研项目绩效评价指标体系构建
根据应用研究型科研项目绩效评价的思路框架及绩效特征,按照指标体系的设计要求和构建原则,构建一套适合的评价指标体系。
(一)绩效评价指标构成与内容 借鉴国际金融组织贷款赠款项目绩效评价采用4个评价准则,即相关性、效率、效果和可持续性,将其绩效评价指标分为创新性、投入-效率、成果-效益和影响-效果指标四部分。
(1)创新性指标。科研项目的创新性至关重要,该项指标旨在评价项目技术成果的水平高低,主要从技术创新性、技术先进性及技术成熟性来评价项目实施过程中的技术创新度、技术先进程度、技术成熟程度,在国内外的水平以及是否可以大规模应用于相关产业,以创造出新产品或新服务。
(2)投入-效率指标。该项指标从项目管理的角度出发,主要为了考查合同履行情况。考察其研究的进度是否合理,从而提高应用研究的时效性和效率。这类指标主要从项目管理的规范性、经费使用情况及项目完成情况三方面来评价。对于应用研究项目,其研究成果具有不确定性,失败率较高,规范、科学、合理的项目管理方法是科技项目成功的重要保障。这类准则层主要考察项目管理是否规范,资金落实情况、经费使用是否合理、立项目标完成程度、目标完成的可能性、项目是否按时完成计划任务及技术指标并及时通过验收等方面的情况。该类指标是中期评价一项十分重要的指标。
(3)成果-效益性指标。该项指标旨在评价应用研究项目成果在社会生产和生活中的应用程度,根据优化配置资源原则,从社会角度整体评价项目实施的效益情况,即评价项目成果对经济发展、社会进步、环境保护与可持续发展等方面的影响和贡献等。从产出成果、经济效益及社会效益进行评价。
(4)影响-效果指标。该项指标主要从社会现实需求性、社会影响力、经济影响力、应用前景等方面评价项目的目标。表现为项目开展后对社会和经济的影响力和效果。
(二)绩效评价指标体系 根据应用研究型科研项目绩效评价的思路框架、项目特点、评价对象和评价内容,结合政府管理部门评价工作需要,对评价项目整体设计评价指标体系,包括四类一级指标,15项二级评价指标,具体包括3项创新性二级评价指标,3项投入-效率二级评价指标、6项成果-效益二级指标、3项影响-效果二级评价指标;项目整体的评价指标体系见图2。
(三)评价指标的含义 部分指标的含义解释:
(1)论文与著作。论文和著作产出是科研项目绩效很重要的表现形式。按照发表在不同期刊的论文来打分,既要考虑论文的数量,还要考虑论文的质量。
(2)项目成果奖。项目成果奖是指政府相关部门对科研项目成果认可度。我国有国家级、省部级、厅局级、校级奖励。专家根据不同级别的成果奖项来打分,如总分为9分,国家级1项给9分,省部级1项给6分,厅局级4分,校级2分;如1个项目同时获得不同级别,以最高级为限,不同项目可以适当加分。
(3)专利申请与成果采用。专利有发明专利、实用新型和外观设计三类。应用研究项目成果,要通过转化和推广应用来创造经济效益和社会效益。
(4)人才培养。按照培养的人数多少和培养的级别来评分。
(四)评价指标的权重确定 本文是采用层次分析法(AHP)确定指标权重的,具体思路如下:
首先对项目所涉及的因素分类,设立指标体系;其次根据指标体系构建相关层次模型。第一层为目标层为A层;第二层准则层,分为创新性、投入-效率、成果-效益、影响-效果四个方面,为B层;第三层是第二层的子层也叫准则层,即分解的15大类指标;再次构成比较判断矩阵,通过对每层次的因素进行两两比较,确定出相对于上一层各目标的权重,并通过一致性检验;最后计算综合权重,取得各指标的相对权重。本文中判断矩阵通过咨询专家建立,向相关领域的专家发出40份咨询评议表,收回16份,有效卷11份,矩阵计算采用加权平均法计算得出。判断矩阵是层次分析法的基本信息,也是进行相对重要度(权重)计算的重要依据。具体的计算这里不再廒述。在对一级指标和二级指标的权重计算完毕之后,需要对各指标进行综合权重计算和修正,各指标综合权重计算及修正结果如表1所示。
(五)绩效评价得分的确定 指标评分方法为:二级指标由专家根据评价指标的重要程度情况直接打分,二级指标评分加权平均汇总得出一级指标得分。每个指标的满分分值设定为100分。每个一级指标计算评分权重,权重合计为1,在利用应用层次分析法确定一、二级指标的评分权重后,每个一级指标的评分汇总乘以相应的权重,然后加总得出综合评价得分。最后项目评价以100分为满分,得分大于等于90分的项目评价为“优”;在80分到90分之间的为“良”;70分到80分的为“中”;60-70分的为“合格”;60分以下者为“不合格”。具体计算如下:
二级指标得分=专家直接打分加权平均法计算分值
一级指标得分=Σ本级所含有的二级指标得分*权重
综合评价得分=创新性指标评价得分*创新性评价权重+投入-效率评价得分*投入-效率评价权重+成果-效益评价得分*成果-效益评价权重+影响-效果评价得分*影响-效果评价权重
本文构建的评价指标体系是专门针对应用研究型科研项目的绩效评价而设置的,是在借鉴大量的文献资料和前人研究成果基础上,根据项目特点,经过专家咨询,反复修改而构建的。评价分数是专家根据评价指标的描述来打分,并将专家每项分数进行加权平均,得出一个比较客观的分值,再经过层次分析法,计算出各指标的权重,最后根据权重和分值计算综合得分。该指标体系可为科技、财政和教育等相关部门的项目绩效评价工作提供借鉴与指导。该体系的应用,可有效引导科研工作转向更关注成果的应用与推广,促进科研成果转化为现实的生产力。同时通过本论文的研究,可为今后类似科研项目经费的预算编制和使用提供科学的指导,推进我区科研经费管理更加科学、规范;又可为财政、科技等相关部门制定政策制度和科研资源的优化配置提供有效的依据。
参考文献:
[1]刘长颖:《层次分析法与高校科研项目评估指标权重的确
定》,《辽宁师范大学学报(自然科学版)》2011年第1期。
[2]刘新宪、朱道立:《选择与判断――AHP(层次分析法)决策》,上海科学普及出版社1990年版。
[3]T.L Saaty.The Analytic Hie rarchy Process . [M].New York McGraw Hill,1980.
[4]刘瀛:《公益性行业科研项目绩效考评研究》,《中国软科学》2010年第6期。
[5]曾令果、徐辉:《科技项目绩效评估指标体系研究》,《决策管理》2009年第20期。
[6]李功越:《应用研究型科研项目分类绩效评价指标体系研
篇6
关键词:国外;科学研究;绩效评价
中图分类号:G305 文献标志码:A 文章编号:1000-8772(2013)15-0091-01
一、科学研究绩效评价的理论基础
科学是人类最伟大的创造和最成功的事业之一。科学研究是指在遵循科学的系统性、规律性和客观性的原则下,对未知世界探索新知、求证真理的人类活动,具有创造性、突破性、不确定性、长期性、带动性和社会性等特点。对其进行绩效评价也会因为科学研究的不同特点而呈现多样性,但对科学研究评价一般包括宏观层面、中观层面和微观层面。科学研究绩效评价则是针对科学研究的过程产生和结果开展的评价活动,通过运用科学及规范的评价方法对一定时期的科研投入、产出和结果进行定性和定量的分析,做出真实、客观、公正的综合性评价,是科研管理工作的一个重要手段。
二、国外科学研究绩效评价概况
科学研究绩效在国外一直受到很高的重视,其评价体制和制度相对我国来说都比较健全。在英国,大学科研评价体系与大学科研拨款直接挂钩,由5个地区拨款机构共同组织实施,成为监控和提高英国大学科研质量的有效手段。其他的一些欧洲国家也建立了具有半官方性质的全国性、权威性评价中介机构,如法国的国家评价委员会,意大利的国家大学评价委员会等,这些机构的评价结果与政府对大学的教学与科研拨款直接挂钩或者部分挂钩,来促进公平竞争、优化资源配置,提高大学科技创新能力。
美国政府一直坚持着科学研究是对未来的投资,是技术创新的源泉,是美国科技领先世界的基础这一理念,成为世界上最早开展科研绩效评价的国家。20世纪初,美国国会成立了咨询服务部,对委员会及议员提出的科技方面的问题进行研究、分析和评价,成为科技评价的雏形。目前,美国科研绩效评价机构分为三个层次:国会、政府评价机构,州政府科技评价机构和研究院所、大学科技评价机构。主要有:国会技术评价办公室、国会研究服务部、美国总审计署和美国国家科学基金会。部门的不同,其评价的侧重点也不尽相同。为了提高监督和评价效率,美国联邦政府出资委托了一大批高水平、相对稳定的社会咨询评价机构,其中最具代表胜的是世界技术洋价中心。通过多年的不断总结和创新,目前美国最常用的科技评价方法,主要包括文献计量分析、同行评议、经济回报率分析、案例分析、指标分析和案例分析等。
欧盟实施的科学研究绩效评价开始于20世纪80年代初,是伴随着欧盟各期架构的研究计划而演进的,主要集中在英国、德国、法国和瑞士等国家。1996年,欧盟了《绩效管理2000》方案,是为了促进科学研究的有效完成,考评结果反馈到欧盟的决策层,来提升未来科技项目的执行效果并引导未来研究方向。欧盟的科学研究评价指标体系兼顾了定性指标和定量指标。其科研绩效评价主要程序为:成立专项评价工作组,可行性研究,特性描述,专家论证,听证与答辩和委员会最终意见与建议报告和最终反馈意见的陈述。
加拿大政府有联邦政府、省或大区政府、市政府的三大等级。每个等级的政府在所负责的区域内与不同的方式与居民相互联系。在科研评价的实施过程中,主要相关部门有国会,加拿大审计长公署,几个中央部、局和其他一些部门和机构。作为一个专业的领域,加拿大财政委员会秘书处对各部内部的科技评价活动提供支持和指导,并强化各部门将评价问题与政府的科技政策以及相关部门的利益联系起来。评价框架多数在项目启动时建立,主要是用来确定在项目执行中作为进行监控和对未来项目进行评价研究的具体依据,包括重点评价、绩效指标、数据搜集方法、分析和报告方法以及评价方法。在评价的过程中,采用系统的调查研究方法,对项目的实用性,项目的效果以及项目的成本效率进行考核。
澳大利亚是较早实施科研绩效评价的国家之一。其科研绩效评价包括:适当性评价,效率性评价和有效性评价。评价重点根据科研目标和项目生命周期所处的发展阶段来确定。适当性评价主要是用来考评项目设立的认可度、必要性和有限性,还包括项目编制中的可行性和逻辑性;效率性评价考察的是资金、人员、技术和设备等资源使用情况以及项目产出;有效性评价则是用来衡量影响项目结果实现的因素,用来确定是否存在意外的因素将对预期目标产生影响。澳大利亚实施科研绩效评价的主要步骤是:进行项目分析,确定考察重点;找出考评需要解决的主要问题,确定考评重点;对考评资料的搜集和分析;起草、考评报告;回顾绩效考评和利用考评结论。
篇7
关键词:科技投融资;绩效评价;支持向量机;主成分分析
中图分类号:F204 文献标识码:A 文章编号:1001-8409(2014)12-0125-05
The Performance of Science and Technology Investment andFinance Based on the Support Vector Machine
GU Jing1,ZHAO Da2,WANG Chaoling3
(1.School of Economics,Sichuan University,Chengdu 610054;2.School of Economics,FuDan University,Shanghai 200433;
3.School of HSBC Business,Peking University,Shenzhen 518055)
Abstract:To improve the government s science and technology investment and finance management model and raise the level of innovation efficiency. The support vector machine method is presented in this paper to do an empirical study on the performance of S&T investment and finance based on the datas from 1995 to 2011. On the one hand,the test results show that the construction of support vector machine mothod is effective and feasible. On the other hand,the performance of S&T investment and finance is not increasing with the total investment but showing some fluctuations.
Keywords:sicence and technology investment and finance;evaluation of performance;support vector machine;principal component analysis
引言
提高科技自主创新能力不仅是我国科技发展的前提、国家基础设施建设的重要组成部分,也是政府公共财政投资的主要目标之一。对于企业自身来讲,技术创新往往还能够带来丰厚的超额利润回报。但是把资本、技术、劳动力等要素转化为现实生产力不仅取决于资金投入量的增加,还依赖于利用率的提高。杨波等[1,2]认为,科技投融资力度加大和高科技产业发展没有呈现同步增长的态势。因此,政府投融资平台近几年来对科技创新领域投入了大量资金,政策给予了很多扶持,最终企业利用这些资源进行技术创新。那么,科技投融资的实质效果如何?这是当前亟需解决的问题之一。
Yoichi Gokan[3]和杨志安等[4]认为,财政投融资的绩效评价应该有完善的评价体系并使用科学规范的评价方法。对于科技投融资的绩效评价也应该如此。以往研究主要集中于企业间或行业间的科技投融资绩效指标体系的构建与评价。如王利剑等[5]对高校科技平台绩效评价进行了研究;李左峰等[6]研究了政府科技项目投入对95家创新企业的影响。从技术方法层面来讲,现有文献大多利用AHP、专家打分法、BP神经网络、数据包络分析(DEA)等非参数方法,效果并不是十分理想。因为定性的方法不能公正、客观地评价事物,具有较强的个人主观色彩;对于定量分析的方法来说,DEA方法避免模型设定偏差,但忽视随机误差且结论的稳健性较差[6],BP神经网络不能择优寻找支持向量,对全体样本进行迭代导致速度慢且准确率相对较低。由于现实世界过于复杂,一些无法直接纳入量化体系但又对评估具有重大意义的指标如创新产品的环境效益等则需要经过特别处理。
由此可见,在不断加大投融资规模的基础上,评价宏观经济主体投融资绩效具有较大的理论和现实意义。尤其是四川省,作为西部最重要的科技省份,拥有5所211高校、216个研究开发机构、12家高新技术产业化基地。在全国各省市中,高新技术产业化基地总数排名第一。2013年四川省政府出台了《关于促进科技和金融结合加快实施自主创新战略的若干意见》等文件,积极拓宽科技投融资渠道,对于投融资的绩效评价迫于现实需要。由于非线性支持向量机具有很好的泛化性,适于处理高维数据,可以巧妙地解决小样本非线性的问题。由于何悦等[7]认为R&D投入对创新绩效呈倒U型曲线而不是简单的线性关系,因此用非线性支持向量机来进行科技投融资绩效评价恰到好处。但是,非线性支持向量机预测精度会随着样本特征即评价指标维数的增加迅速降低,而评价指标维数太低又不能充分反应出投资绩效的变化情况,使预测没有现实意义。因此为了在能够合理构建众多评价指标的前提下不影响非线性支持向量机的预测精度,本文首先对原始数据进行主成分分析以降低评价指标的维度(由9维降为3维);其次将维数减少后的样本特征送入支持向量机分类器对投融资绩效进行评价,以提高预测精度;最后对四川省科技投融资绩效进行实证检验,根据实证结果为完善科技创新体制提供政策建议。
1 基于支持向量机的科技投融资绩效评价方法
1.1 数据来源及评价指标选择
本文研究样本来源于1995~2012年的四川省科技投融资绩效数据,9项科技投融资评价指标,共162个观测值。统计数据来自《中国科技统计年鉴》、《中国环境统计年鉴》、《四川科技统计》和《全国科技经费投入统计公报》。在利用支持向量机方法处理样本时分为两组,1995~2007年的数据为一组作为训练样本,2008~2012年的数据为测试样本,用于测试。
在评价指标选择上,现有文献主要集中于两点:一是专注于新产品销售收入、新产品开发项目数和专利数的创新绝对指标[8];二是强调R&D效率、创新产出弹性等相对指标[9]。结合现有文献以及相关具体问题,本文在构建指标体系时遵循的原则是:①指标体系是一组既互相依存、相互制约,又相互独立,科学、通用地反映创新绩效评估对象历史、现状及规律的指标群所构成的有机整体,不能是生硬的
结合。②指标体系是动态的,能根据形势变化做出适当调整。③有较强针对性、简明实用。④定量与定性相结合。基于此,构建了以下指标体系(见表1)。
之所以选择R&D投入强度,是因为从宏观层面,加大R&D活动投入力度已成为各国保持科技领先的重要措施;微观上讲,R&D投入不仅是企业技术创新绩效的重要资源,也是企业追求长期竞争优势的原动力。如Lee[10]利用跨国数据发现,对于较低技术能力且处于高技术机会和竞争度产业内的企业而言,R&D补贴对于创新绩效具有显著影响。由于具有实用性、创造性,国内专利申请授权数成为企业技术创新的直观体现。比如Zhang和Rogers[11]研究认为企业的专利授权量对技术创新绩效有显著的正向影响。另外,大中型工业企业新产品销售收入与销售总收入之比和大中型工业企业新产品开发项目数等指标也相对比较重要。虽然四川省大中型工业企业数量只占规模以上工业企业的一成,但资产总额和净资产、销售收入和利润均在五成以上。考虑到创新产品环境效益评价是一个多目标的评价问题,而政策等所导致的环境影响难以直接进行定量分析。模糊综合评价法在评价界限不明确现象时模拟了人类的推理模式,所以引入模糊综合评价法比传统的多要素综合法、AHP法等更具优势[12]。本文从定性和定量两个方面构建了创新产品环境效益的指标体系(见表2)。
由表3可以看到,各地区高等学校R&D支出、创新产品的环境效益、大中型工业企业新产品开发数(项)、国内专利申请授权数和国外主要检索工具收录科技论文等指标相关性相对较大,说明存在较大的冗余。因此可以考虑在主成分贡献率比较大的基础上,用主成分分析方法同时实现降低评价指标维度,从而提高支持向量机预测精度以及不损失信息、保证评价结果可信的目的。由相关矩阵经运行PRINCOMP过程后得到表4。
1.3 支持向量机处理结果
支持向量机(Support Vector Machine,以下简称SVM)主要根据Mercer定理,以结构风险最小化为原则,在约束样本训练误差的条件下能够使置信范围值最小化。具体表现为先用一个非线性映射φ将样本数据S转换到一个高维特征空间H中,使得φ(S)具有很好的线性回归特征。然后在H中进行线性回归,最后返回到Rn,从而转化为求解凸规划问题,并求得全局最优解。
SVM的算法程序主要包括训练参数输入、训练样本输入、模拟训练,评估训练样本等一系列过程,其流程如图1所示。
将表6中1995~2007年13年数据的z1,z2,z3作为SVM属性矩阵输入,综合得分作为标签即输出,并进行RBF训练参数优化。计算机运行环境为Matlab2010b,Microsoft Visual Studio2010,软件版本为Libsvmmat2.89-3。
由于误差惩罚因子c和参数g对RBF核函数的性能产生较大影响,从而影响回归精度[14]。采用最新网格搜索法(Grid Search)来实现参数的寻优。首先对c、g粗略地取MN个值,然后对这些组合分别训练不同的模型,再估计其回归能力,最终得到性能最佳的一个组合(c*,g*)。为了提升推广能力,还可进一步在最佳组合(c*,g*)附近缩小尺度进行搜索。软件运行结果如图2所示。
图1 SVM算法流程
图2 参数选择结果
在得到最优参数c*=11.3137,g*=00625(即log2c*≈3.5,log2g*≈-4)后,将2008~2012年数据作为测试样本并运行预测子模块(support vector machinepredict)对模型精度进行检验,得到最终评价结果如图3(a)、3(b)所示。
图3(a) 数据拟合
图3(b) 误差分析
注:为方便标注,图3(a)及3(b)中横坐标1代表2008年,1.5代表2008年7月份,2代表2009年,2.5代表2009年7月份,以此类推。
运用SVM方法进行科技投融资绩效评价结果与运用主成分分析评价结果的相对误差大多在1.8%左右,最大不超过6%。由于冗余会造成SVM预测误差偏大,因此用主成分分析后能大大提高评价精度。事实上,本文提出的基于SVM的科技投融资绩效评价方法具有很强的普适性。且随着训练样本的增多,准确率会越来越高。另外,由于现实中一些政策或投入影响具有长期性,因此将方法中的自变量提前一期或两期还可做预测。
2 评价结果分析
2.1 评价结果描述
2008~2012年,虽然四川省科技产业的专利申请授权数、R&D支出、国外主要检索工具收录四川省科技论文数分别增加了215%、114%、77%。但评价结果显示,四川省科技投融资绩效由优到劣的顺序为:2012年(2.47),2011年(2.02)、2010年(1.64)、2008年(152)、2009年(1.43)。绩效水平在2009年出现较大回落以后于2010年出现反弹,超越2008年的水平,投融资绩效在2012年势头发展迅猛并达到历史最高水平。这说明科技产业投资是一个包含许多不确定性因素的动态过程,其绩效不仅要考虑投资的数量增长,更要考虑所投资金的利用率问题和宏观经济环境变化等要素。
2.2 四川省科技投融资现状及对策建议
评价结果显示,目前四川省科技投融资绩效总体向好,并未出现较大波动,投融资绩效水平自2009年以来逐年提高。这说明政府、社会、企业在整合科技资源,加速成果转化方面措施得当,这些政策不存在系统性问题,大部分可以继续推行。第一,2008~2012年四川省R&D投入强度由1.28增长到1.47。2008年末,由于金融危机的影响,促使政府进一步优化科技投入结构,不仅企业自筹资金呈上扬趋势,而且形成了以科技企业而不是科研院所为主体的产学研结合局面。第二,作为四川省省会和科技投融资重点城市,成都市近年来高度重视科技企业孵化器,并将其作为区域创新体系的重要组成部分。通过对专业技术孵化器、留学人员创业园以及博士创业园等各类科技企业孵化器的建设,突出对特色产业集群和创新集群的基础性孵育作用,使得科技企业资金利用率和盈利能力显著提高。第三,四川省各级政府科技主管部门主动组织科技企业财务人员利用各种融资方式及运作流程,使科技企业更多地利用各种融资方式。
尽管四川省科技金融工作不断创新,但是从绩效评价结果来看,相比2008年,2009年绩效水平出现了较大程度下降。本文认为,这在一定程度上是受2008年汶川大地震以及年末全球金融危机的波及。比如地震会引起黄光机台断裂,报废大批晶圆,严重影响部分在蓉高科技企业如英特尔、微软出货量,从而导致投融资绩效水平下降。至于金融危机的负面影响则可以由表6看出:比如2009年绩效水平比较低的重要原因是z1得分比较低,而z1主成分表达式显示,这可能主要是因为金融危机导致企业在研发创新产品时融资出现困难,这种情况下企业会把资金较少应用于环境效益。因此,在面对重大风险挑战时,四川省投融资绩效表现出相对的不稳定性,这说明目前投融资机制还不够完善,在增强科技投融资抵抗重大风险能力,提升自身绩效水平方面还存在以下问题:
第一,政府管理方面,四川省科技金融资源整合力度有限,区域市场化程度不高以及对科技产品财税支持力度不够。另外,科技成果转化率相比沿海科技创新突出省份如江苏、上海等偏低,且低于全国水平,投融资具有一定的粗放性。以医药行业为例,近几年科技成果转化率仅为11%,已进行产业化的比例不足5%。明显可以看出,科技企业立项的市场导向性不强,忽视市场需求的问题依然突出。
第二,市场环境及结构方面,政策性银行尤其是商业银行对中小科技企业支持力度不够,担保机构效率不高,创新型企业在初创期严重缺乏融资渠道。中小科技企业作为创新的生力军虽然获得了知识产权质押融资的优惠,但是在出口退税质押、股权质押、保单质押、债券质押等领域需求不易满足,部分原因是由于企业信用体系不完善。对成都市106家科技型中小企业调查结果显示,约有21%的企业认为政府及相关部门要努力督促金融机构推出更多适合科技型中小企业的金融产品,以方便科技型中小企业资金融通。约有18%的企业认为政府及相关部门需要建立企业信用档案,积极向金融机构传递企业信息。
针对四川省科技投融资绩效评价结果以及目前科技投融资存在的问题,提出以下几点建议:
第一,拓宽融资渠道。其中包括大力发展天使投资、建立专门的科技银行以及设立政府引导基金。进一步加强与沿海尤其是香港科技板的交流,充分利用香港地位优势及国际影响力。这样不仅能够引进国外资本还能拓宽风险资本退出渠道,构建创业企业与风投、服务机构对接平台。
第二,合理规划政府投资领域。在处理基础研究与应用研究的责任利益划分时,由于基础性研究具有投资大、回收期长、科研投入者成果极易被模仿等特点,所以应该由政府承担主要出资人的角色;而商业利益较大的应用研究则应由企业承担,并由政府保证其知识产权。
第三,建立多元化评价模式。巩固“政府引导、市场运作、多元投资、专家理财”这一理念,通过组建评价专家库和专业团队,初步建立起市场、专业机构等多元化评价模式,建立中介信誉体系并及时向社会公布结果。同时,政府自身要加强财政科技资金监管,避免重复投资,盲目立项。
第四,提高高科技成果转化率。针对高科技成果转化率较低的问题,政府除了要提高高技术成果转化基金外,还应该健全政策性银行和中小企业间接融资体系,对那些销售收入增加很快、具有极强潜力的中小企业通过加强银企合作、提供必要的信用担保支持和税收减免措施;对一部分由科研院所转化来的科技企业,必须建立完善的现代企业制度,设立科技成果转化收益奖来提高科研人员的主动性。
3 结论与展望
由于SVM具有很好的泛化性适于处理高维数据,可以巧妙地解决小样本非线性的问题;冗余会造成SVM预测误差偏大,用主成分分析后能大大提高评价精度,因此,本文首先运用主成分分析对指标体系的相关性进行处理,结合SVM方法提出基于SVM的科技投融资绩效评价方法,并利用四川省科技投融资数据进行评价,实证结果表明:利用SVM方法进行科技投融资绩效评价结果是可行且有效的。
本文的研究只关注了论文数量以及专利数量,对其质量并没有考虑。后续研究将在以下两个方面进行改进:一是核函数的构造与选择、相关参数的优化;二是进一步考虑检索科技论文质量和专利质量,尝试构造更适合的核函数并优化相关参数。在指标构建方面,将进一步考虑检索科技论文质量及申请专利质量等指标,从而构建更为完备的评价指标体系。
参考文献:
[1]杨波,苏娜. 基于熵理论的高科技企业投融资绩效研究――以湖北省为例[J]. 科研管理,2011,32(8):42-50.
[2]田晓丽,顾婧. 基于熵理论的高新技术企业投融资绩效评价[J]. 统计与决策,2013,18:177-179.
[3]Gokan,Yoichi. The Speed of Convergence and Alternative Government Financing[J]. Journal of Economic Dynamics and Control,2003,27(9):1517-1531.
[4]杨志安,. 财政投融资绩效问题研究综述[J]. 农业经济,2013,5:94-95.
[5]王利剑,刘佳. 高校科技创新平台绩效评价指标体系构建与应用[J]. 科学学与科学技术管理,2010,(2):110-113.
[6]李左峰,张铭慎. 政府科技项目投入对企业创新绩效的影响研究――来自我国95家创新型企业的证据[J]. 中国软科学,2012.(12):123-132.
[7]何悦,朱桂龙,戴勇. 企业创新绩效影响因素的系统动力学研究[J]. 软科学,2010(7):19-23.
[8]王俊. R&D补贴费企业R&D投入及创新产出影响的实证研究[J]. 科学学研究,2010(9):1368-1374.
[9]金祥荣,余冬筠. 创新效率、产业特征与区域经济增长[J]. 浙江大学学报:人文社会科学版,2010(5):116-125.
[10]Lee C Y. The Differential Effects of Public R&D Support on Firm R&D:Theory and Evidence from Multi-Country Data[J]. Technovation,2011,31(5):256-269.
[11]Zhang J J,Rogers J D. The Technological Innovation Performance of Chinese Firms:The Role of Industrial and Academic R&D,FDI and the Markets in Firm Patenting[J]. International Journal of Technology Management,2009,48(4):518-543.
[12]郑童,吕斌,张纯. 基于模糊评价法的宜居社区评价研究[J]. 城市发展研究,2011,18(9):118-124.
篇8
摘要:科技创新能力已经成为高校发展和取得竞争优势的关键。科学有效地评价高校的科技创新能力,对于提升高校整体的竞争力具有特别重要的意义。根据高校科技能力的内涵和特点确立高校创新能力评价的原则,从高校科技能力的人力资源、财力资源、物力资源、人才培养、科研成果、社会服务等几个方面并选取相应若干个要素作为评价指标,构建了高校科技创新能力评价指标体系,运用模糊积分评价法对高校科技创新能力进行综合评价。
关键词:高校 科技创新 模糊积分 能力评价
高校科技创新能力是指高校创新系统的主体,通过整合高校内外的一切可用资源,不断促进高校基础理论研究和新兴科学理论发展的综合能力。高校科技创新能力已经成为衡量一个国家基础研究和高科技前沿领域原始性创新能力的重要标志、衡量高校竞争力的关键因素,高校科技创新是高校发展的根本动力。因此,研究高校科技创新能力对于提高高校的竞争力和推动高校的发展具有重要的理论意义和现实意义。
对于高校科技创新能力评价研究,国外的学者主要反映在院校评估与绩效评估中,如Mc Guire等人对科研型高校生产效率与信誉的研究。国内学者对高校科技创新能力评价进行了大量的实证研究并取得了丰富的研究成果,如王章豹、徐枞巍等在剖析高校科技创新能力及其构成要素的基础上,构建了高校科技创新能力量化综合评价指标体系,同时提出了综合评价的模型与方法;王光平、金浩建立了高校科技创新评价的指标,并运用因子分析法对高校科技创新能力进行实证分析。国内外学者对高校科技创新能力评价的研究可谓硕果累累。
一、高校科技创新能力评价指标体系的构建
1.高校科技创新能力评价指标体系构建原则
高校科技创新能力是一个多约束、多元化和多层次的复杂结构。而增强高校科技创新能力的前提是要对我国目前高校科技创新能力有一个客观而科学的评价。因此,要构建科学、实用的结构评价决策指标,就必须坚持以下原则:整体性与科学性相结合原则,普遍性与特殊性相结合原则,稳定性与动态适应性相结合原则,可测性与可比性相结合的原则,独立性与相关性相结合原则,定性与定量相结合原则。
2.高校创新能力指标体系构建
高校创新能力包含着诸多构成因素,涉及的问题较多,与诸因素之间有着紧密或疏松、间接或直接的关联性,需要对相关因素与具体定位的影响、以及相互之间的影响做出科学分析。本文尝试应用模糊积分评价法,将主要因素按照相互关联的方式、紧密性以及重要程度给予分层,最终通过定性和定量的方法找出各因素之间的关系,从而对影响高校科技创新能力的重要因素进行较为科学的描述,力求得出一些有利于评价高校科技创新能力的结论。我们将评价指标体系设计为“目标层-准则层-约束层-指标层”四个层次的框架结构。见表1。
二、高校科技创新能力的评价方法
美国控制论专家L.A.Zdahe于1965年首先提出了模糊集合理论(fuzzy set theory),1978年又进一步提出了与模糊集合理论相辅相成的可能性理论,随后模糊理论迅速发展,并在数理、经济、人文、工程等方面有了广泛应用。本文根据高校科技创新能力评价问题的特点和要求,借鉴已有研究成果,使用模糊积分评价高校科技创新能力。模糊积分综合评价方法的具体步骤如下:
1.模糊积分评价指标值的确定
(1)人力资源流。人力资源流包括教师流量以及高校科研吸引人才的能力两个方面:高校教师资源流量QM,指高校获得的师资数量;高校科研吸引力FM,指高校吸引人才的能力。
(2)财力资源流。财力资源流包括流入高校的资金总量以及高校对资金的吸引力两个方面:财力资源流量QY。指高校吸引的投资总额;财力资源吸引力FY。指高校吸引资金投资的能力。
(3)物力资源流。物力资源流包括流入高校的设备等物质总量以及高校对物力的吸引力两个方面:物力资源流量QR。指高校吸引各种设备、仪器、图书等投资总量或总额;物力资源吸引力FR。指高校吸引教育教学设备、仪器、图书等物质的能力。
(4)人才培养流。人才培养流包括高校向社会培养输送的各级各类人才以及高校人才培养对社会的吸引力两个方面:人才培养流量QP。指高校人才培养总流量;人才培养吸引力FP。指高校人才培养对社会的吸引力。
(5)科研成果流。科研成果流包括高校输入输出的科研成果总量及其吸引力两个方面:科研成果流量QA。指高校科研成果,促进科研成果的转化和应用;科研成果吸引力FA。指高校科研成果对社会的吸引力。
(6)社会服务流。社会服务流包括高校为社会经济服务所做出的贡献以及由高校的贡献作用所产生的吸引力两个方面:社会服务流量QT。指高校通过人才培养和科技推广为社会经济各个领域提供的所有服务;社会服务吸引力FT。指高校人才培养对社会的吸引力。
2.基于模糊积分评价法的高校科技创新能力估算
在高校科技创新能力中存在吸引力和模糊熵流,运用模糊积分评价法可以估算吸引力参数,然后根据流场理论,根据吸引力与模糊熵流的关系,解得高校科技创新能力的相关流,最后计算由此产生的负熵流。本文以人力资源流为例进行估算:
(1)高校教师变动的估算。高校教师的变动包括专任教师的自然增长率(主要是反映教师离退休的负增长率)和流入与流出。设 为在一年内从高校外流入系统内的教师数量, 为在一年内从高校内流出系统外的教师数量,πi为高校教师自然增长率,Ti为高校教师总数量。则有高校教师数量的变化为dQMi:
(1)
(2)高校教师资源吸引力参数的估算。设FMij为高校对社会系统人力资源(教师)的吸引力,FMji为社会系统对高校人力资源(教师)的吸引力, 为社会系统对所有人力资源的吸引力之和。由于吸引力和流量(密度)成线形关系,因此,从高校外流入系统内人力资源(教师)QMij为:
(2)
由于高校教师数量的变化为dQMi是已知的,社会和高校可能提供的人力资源年变化量 、 己知,高校教师总数量Ti已知,剩下的未知数只有吸引力的待定参数,以及与人力资源吸引力相关的模糊熵流 ,然后通过计算机编程模拟对这些参数进行求解。
(3)高校教师负熵流的估算。根据已被广泛用于社会经济领域的熵变的原理,熵流变化可以通过力与流的乘积表示,可得从高校外流入系统内的人力资源(教师)带来的负熵 :
(3)
根据以上分析,运用同样的方法可以求得高校科技创新能力中的财力资源流、物力资源流、人才培养流、科研成果流、社会服务流。对于高校科技创新能力的不同发展阶段,需要运用模糊积分方法分别估算各自的负熵流及其对应的吸引力。而吸引力参数通常采用学校横截面数据获得。然后,可求得高校科技创新能力值Hs。
三、结论
本文构建了一套系统、量化、适用的高校科技创新能力评价指标体系。根据高校科技创新的实际情况,结合模糊积分评价方法提出了基于模糊积分的高校科技创新能力综合评价方法。认为高校应建立有利于连接主客体的科技创新环境,立足地方科技发展,增强科技创新人财物支持能力、人才培养能力,提高科技成果转化率和社会服务能力,并通过机制创新促进科技创新,增强高校科技创新能力。
参考文献:
[1]王章豹,徐枞巍等.高校科技创新能力综合评价――原则、指标、模型与方法[J].中国科技论坛,2005,2:55-59
[2]王光平,金浩.基于因子分析的高校科技创新能力的实证研究[J].河北师范大学学报(哲学社会科学版),2008,4:48-51
篇9
随着经济的发展和科技资源投入的不断积累,我国的科技事业有了较快发展。众多学者对科技创新的绩效评价进行了研究:Nelson曾设计了一套综合评价指标,主要包括R&D经费来源、R&D经费配置、大学的作用、支持和影响创新的政府政策等;沈菊琴等运用主成分分析,从经济效益、社会效益和科技效益三方面出发,对构建的县域科技成果转化绩效评价指标体系进行分析,得出了较合理的评估结果;王秀明主要从科技投入、科技创新环境、科技产出能力、企业技术创新能力和科技促进经济发展五个层面分别构建相应的评价指标体系,运用因子分析分项展开对全国30个省市区科技创新能力的评价,最终得出新疆的综合排名;黄伟从科技成果转化的产出结果及其对经济发展的贡献角度建立了科技成果转化绩效评价指标体系,用主成分分析确定了各指标的权重,从权重大小和聚类结果两个方面对全国30个省区进行横向和纵向的对比及分析,得出东部地区的科技成果转化绩效值要明显高于中西部地区的结论;邹林全基于省级面板数据,从财政科技投入和科技产出两个方面出发,运用主成分分析得到每个时间截面的评价系数向量和各地区得分情况,得出财政科技投入评价系数具有长期稳定关系,各地区财政科技投入绩效水平逐年提高的结论。通过梳理国内关于科技绩效方面的实证研究发现,我国学者把环保节能、信息化与科技绩效联系起来研究得较少。本文在此基础上,分别从科技投入、科技产出、环保节能和科技潜能四个方面建立了比较全面的指标体系,并利用因子分析对与其他省区的科技创新绩效情况进行比较,然后运用聚类分析对各盟市的科技创新绩效进行了综合评价。
2内蒙古科技创新整体绩效分析
本文对2012年全国29个省区(由于数据缺失,不包括天津市、自治区、台湾地区和香港与澳门特别行政区)的科技创新综合绩效进行了深入探究,从而为提高软实力、实现区域经济发展和产业升级提供决策依据。
2.1指标体系的构建
本文从科技投入、科技产出、节能环保、科技潜能四个方面对内蒙古科技创新综合绩效进行了综合评价。其中,科技投入是科技发展的基础和前提;科技产出是衡量科技活动成败的重要标志;节能环保则从生态角度出发,反映了地区科技进步对环保节能技术的提升;科技潜能是科技创新的重要保障,也是科技绩效水平不断提高的重要前提。这四个方面综合起来可反映科技发展全过程的绩效水平。
2.2实证结果分析
本文主要运用SPSS19.0软件中的因子分析法,对全国29个省区的科技创新绩效进行综合评价。考虑到该方法可很好地解决大样本数据、指标间信息重叠及相关性问题,而且确定的权数不受主观因素影响,从根本上保证了评价结果的客观合理性。主因子的提取:数据预处理后,本文采用巴特利球度检验和KMO检验对标准化后的数据进行检验,结果显示通过KMO统计量的取值为0.699,大于临界值0.5;巴特利球度检验P值小于0.05,说明该数据较适合做因子分析。因子分析结果显示,前四个因子的累计方差贡献率已达到84.584%,大于80%,基本保留了原22个指标的信息,且前四个因子的特征根均大于1,说明该主成分的解释力度比较大。基于以上原因,本文综合考虑选择前四个因子作为主成分,并将四个因子分别命名为科技潜力因子、科技产业化因子、环境治理因子和资源节约因子。
3内蒙古科技创新空间布局绩效分析
除了要从外部对内蒙古科技创新绩效外,还要从内部比较的角度,对各盟市之间的科技创新绩效做具体比较分析。
3.1指标的选取和预处理
由于2013年《内蒙古统计年鉴》有关各盟市的科技绩效指标不全,本文对内蒙古各盟市的科技创新绩效评价主要选取了四个不同方面的指标:①科技人力投入指标。该指标可用从事科技活动人员数占总从业人数的比重来反映。②科技财力投入指标。可用每万人R&D经费支出来体现科技财力投入指标,主要通过R&D经费支出总额与该盟市年末常住人口的比值来计算。③能耗程度指标。本文主要用单位GDP能耗来表示各盟市的能耗程度,内蒙古是资源密集型地区,因此节能环保已成为内蒙古科技研究的重点。由于能耗指标是逆指标,有必要对其进行正向化处理。④生活水平指标。本文主要用城镇居民人均可支配收入来体现各盟市的居民生活水平。科技创新的最终目的是提高人民生活水平,科技创新绩效可在人民生活水平上得以体现。这四个方面综合起来可反映各盟市科学技术创新的绩效水平。数据主要来源于2013年《内蒙古统计年鉴》,本文在进行分析之前已对原始数据进行了标准化处理。
3.2实证结果分析
本文通过SPSS.19.0软件,运用聚类分析中的组间连接方法对2012年各盟市的科技创新绩效进行了具体分类,结果见图1。根据以上聚类分析结果,各盟市科技创新绩效情况可分为四个类别。
4结语
4.1结论
本文利用因子分析模型从整体角度对2012年内蒙古的科技竞争综合绩效进行了分析,并从内部空间结构的角度对内蒙古各盟市2012年的科技竞争绩效情况进行了纵向比较分析。结果表明,相对于其他省市,2012年在学术、信息化、教育、科技投入方面的科技潜力较明显,且环境治理水平位居国家前列,但在高科技产业发展方面滞后,能源消耗相当严重,节能水平较弱;通过聚类分析结果,可将12个盟市依科技绩效实力由强到弱分为首府城市、资源型大城市、能源节约型盟市、经济滞后型盟市四大类别。
4.2建议
篇10
【摘 要】课堂评价语是语文课堂教学评价的重要形式之一,它包括表扬、赞赏的正面评价和指正、否定的反面评价。如何使评价语言人性化、评价方式多样化,让评价真正起到应有的效果,是我们一线语文教师极为关注的课题。
【关键词】课堂评价语;准确;丰富
在日常的教育教学中,我们许多老师在交谈学生课堂上的表现时,总少不了这样的评价:“我班的学生在课外个个活泼开朗,充满灵气,怎么一到课堂上就死气沉沉!”“到底是名师,他们的课堂上学生表现多么生动”的确那些名师们的课堂,似乎有一种魔力,让学生的回答欲止不能,课堂气氛活跃至极,课堂教学效果十分好。我想,这很大程度上取决于名师们精彩的课堂评价语言。然而,我们的语文课堂教学评价语言生硬乏力,缺乏针对性与激励性。如:“很好”、“好的”“答得不错”、 “你说错了”“不对,谁来说?”等等。现在想想课堂内外学生的表现大相径庭也就不难理解了。
随着新一轮课改的不断深入,一些评价新理念已走进课堂,小学语文课堂中教师的评价语言发生了质的变化,令人深受鼓舞。广大教师开始认识到:评价语言是小学语文教学评价的重要组成部分,而且是教学中最直接、最快捷、使用频率最高、对学生影响最大的一种过程性评价方式。评价的语言越来越具有人文性,更加能够激发学生的学习兴趣,调动学生思维的积极性,为学生营造积极探索、求知创造的气氛。但是,不可否认,在当今的小学语文教学实践中仍然或多或少地存在一些评价语言的误区,值得我们去反思。
1. 教师课堂评价语言常见的误区
1.1 语言单调空洞。 课堂上,对学生的发言只要是对的,不加区别一律“说得不错”“很好”,至于好在哪儿,不错在哪儿,此同学与彼同学相比,谁更好一些,或者怎样才能更好些,老师并不做指引,只做简单廉价的评判裁定。比如,教学《颐和园》,老师在展示长廊图片后,进行扩句练习:走进这样的长廊,就像_____________。学生的回答精彩纷呈,有的说:“走进这样的长廊,就像走进画的世界。”有的说:“走进这样的长廊,就像走进一本历史书。”还有的说:“走进这样的长廊,就像走进了知识的海洋。”学生根据自己的知识储备和不同的视角,所说的句子可谓精彩纷呈,而老师的评价语却停留在空洞的“很好”“是啊”。
1.2 表扬夸大其词。 不能给学生的学习成果一个合适的定位,仅仅是正确的答案,老师就夸张地大肆表扬。“你太棒了!”“你太聪明了!”比如,一位老师在教学《要是你在野外迷了路》的生字时,让学生观察九个要求写的生字,发现其中容易写错的地方,提醒同学注意。有一位同学说:“我要提醒同学们注意,'盏'字的第一笔和第二笔是横,不能写成撇。”老师激动地竖起大拇指,兴奋地说:“你的眼睛真比孙悟空的火眼金睛还厉害。”学生得意得屁股着不了地,就在板凳上滑过来滑过去。长期接受这样夸大其词的表扬,会导致学生自我感觉太好,变得心浮气躁。
1.3 价值观错位。 自以为重视了对个体感悟的尊重,忽视了价值观的正确引导,对于学生语文学习中脱离文本的错误观点,不加思考,毫无原则地予以赏识。比如,《爱因斯坦和小女孩》一课中,老师组织同学讨论,爱因斯坦是不是“最伟大的人”?本意是让学生体会爱因斯坦因为潜心科学研究事业,不拘生活小节以及平易近人、关爱孩子的伟大人格。而有的学生说:“我觉得爱因斯坦一点也不伟大,因为他头发长长的,衣服都穿不整齐,还穿着卧室里穿的拖鞋,就像一个疯子。”老师不加引导就说:“很好,你说出了自己的想法。”尊重学生当然重要,可是这个学生的感受脱离了文本所要表达的情感,老师却听之任之,未作正确指导,不利于学生良好情感的发展。
1.4 无言以对。 在课堂中,教师面对学生的发言,不认真倾听,不加思考,把请学生发言当成走过场,或以含糊不清的“哦”“嗯”来回应学生的精彩发言,或等着一个学生发言完,就开始点将“你说”“你说”“你来”“你来”,漠视学生的表现。比如《妈妈睡了》一课,老师设计了和妈妈说说心里话的环节。老师问:“哪位同学先来说一说?”第一个学生说:“妈妈,感谢您陪伴我健康成长,是您用心血教育了我。”老师看着另一个同学,应了声:“哦。”就接着说:“你来。”第二个学生开始说:“妈妈,感谢您对我的养育之恩。每当我放学回家,您总是给我准备好了香喷喷的饭菜。每当我需要帮助的时候,您总是站着我的身边指导我,鼓励我,让我获得克服困难的信心和勇气。妈妈,我要用一生来报答您!”多么令人感动的回答呀!可是,老师仍然不予评价,毫无目标地把目光投向全班:“谁再来?”就这样,一连请了五个同学。面对学生发自肺腑的真情告白,老师无言以对,无力应答。
2. 课堂评价状况的策略 《语文课程标准》强调指出:评价要保护学生自尊和自信,关注个体处境和需要,激发积极主动的情感。评价的最终目的,是促使学生素质得以全面发展,实现学生自身的价值,因此评价必须科学,正确把握评价尺度。
2.1 评价语言要具有趣味性。 莎士比亚说:“赞赏是照在人心灵上的阳光”。在实践中,我们认为教师教学评价的语言应该从学生的年龄特点和心理要求出发,根据目的的不同,或严肃、或温和、或激昂,但无论什么样的语态,都应具有激励性。只有让学生品尝到成功的喜悦,才能唤起他们学习的激情,产生莫大的兴趣和动力。教师在评价学生时要尽可能的多一些欣赏和鼓励的语言,使学生有被认可的满足感和成就感。
2.2 评价语言要具有准确性。 多元智能理论认为:每个人都同时拥有九种智力,这九种智力在每个人的身上以不同的方式,不同的程度组合存在,使得每个人的智力都各具特色。因此,世界上并不存在谁聪明谁不聪明的问题,而是存在哪一方面聪明以及怎样聪明的问题。即学校里没有所谓“差生”的存在,每个学生都是独特的,也是出色的。因此,教师要乐于从多个角度来评价、观察和接纳学生,重在寻找和发现学生身上的闪光点,发现并发展学生的潜能。我认为在课堂上,教师应准确把握评价的尺度,以自然、真诚、恰当、温馨的语言,及时的、有针对性地评价学生的学习活动。评价语言要做到因人而异,因课而异,因时而异。
2.3 评价语言要具有引导性。 马卡连柯曾说:“要尽可能地尊重一个人,也要尽可能地多提出鉴定明确和公开的要求。”“教师的评价,不只停留于表层的简单肯定,而是指出错在哪里,好在何处。评价语要同教学意图结合得相当紧密。”可见,作为教师,当发现学生理解上有偏差时,教师应该及时抓住学生认识上的误区,因势利导,使他们在启发引导下获得正确的价值取向。如有的学生表达时,由于紧张或一时语塞或说错时,老师说:“别急,再想想,你一定会说好!” “你读得很正确,若声音再响一点点就更好了。”“读得真好听,老师要感谢你的爸爸妈妈给了你一副好嗓子,不过要是加上表情就更加能传情达意了,不信,你试一试!”
2.4 评价语言要关注学生情感体验。 美国学者卡耐基也曾指出:使一个人发挥最大能力的方法是赞赏与鼓励。在课堂中,学生除了有渴望被认同、被赞赏的内心需要以外,他们还需要从教师那儿得到尊重、宽容和教诲。教师要用孩子的眼光去看待孩子,用孩子的价值观去理解孩子,要把话说到孩子的心灵中去。曾观看过一位特级教师的课堂实录。课堂上,当老师叫同学们把自己感兴趣的段落读给大家听听,学生纷纷举手,跃跃欲试。这时老师发现有一位女生低着头未举手,于是她走到这位学生跟前轻声问道:“你为什么不举手?”小姑娘说:“我有点紧张。”“读书就不紧张了,能试一试吗?”小女孩望着老师不吱声。老师扶着她的肩膀,轻声说道:“我给你起个头,能读吗?”小女孩说:“能!”于是老师起了头,小女孩开始小声地读了起来,后来越读声音越大,越读越流利,待她顺利地读完后,老师接着问她:“你现在还紧张吗?”小女孩答道:“不紧张了。”老师又问:“你知道你在多少人面前读书吗?”“不知道。”“不知道我告诉你吧,你在四五千人面前读书,多不简单啊,回去告诉你爸妈。你敢当着这么多人的面读书,多么了不起!”小女孩听了小脸乐得像绽开了一朵花。老师这种对胆小孩子的呵护和关爱,在关键时刻一句句真诚的评价语言,让学生找到了进步的方向,平添了无穷的力量,使学生感受到学习是一项充满快乐、富有成就感的趣味性活动。由此可见,教师的课堂评价语言除了具有激励性以外,还应该饱含评价者个人的情感体验和情感关注,以富有真情的评价。
教师充满魅力的课堂评价语言,是蜜,可以牢牢粘住学生;是磁,可以紧紧吸引学生。在课堂上,它让我们看到学生灿烂的笑脸,听到学生爽朗的笑声,体悟到学生张扬的个性。让我们积极行动起来,在课堂教学中巧妙运用评价语言来引领学生快乐地学习,积极、主动地与文本对话,把他们带入瑰丽的知识殿堂。
参考文献
[1] 黄德梅 浅谈课堂评价语言的魅力 《素质教育大参考》 2009年 第17期
[2] 梁春莲 让语文课堂评价“有滋有味”《小学教学参考:语文版》 2009年 第9期
[3] 乔二江 小学语文教学中的课堂评价 《教育研究与实践》 2009年 第7期