评价指标范文
时间:2023-04-03 01:18:13
导语:如何才能写好一篇评价指标,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
【关键词】评分模型 评价指标
如果把业务上的二分类问题(例如信用评分中的“好”与“坏”、“拒绝”与“接受”)从统计角度理解,都在于寻找一个分类器(classifier),这个分类器可能是logistic模型,也可以是多元判别模型(Edward Altman1968年发展的基于财务指标建立的企业破产识别z得分模型),还可以使其它复杂形式的模型。
一、ROC曲线
ROC,英文全称Receiver Operating Curve,翻译成中文,简称受试者工作特征曲线。其在统计实务中应用甚广,尤其应用于处理医学研究中的“正常组”和“异常组”区分建模问题,用于评价分类模型的表现能力。
(一)ROC曲线原理。
要说清楚ROC曲线的原理,我们从一个简单的分类实例问题说起。假如我们有了基于商业银行企业贷款数据建立违约-非违约的业务分类模型,比如说我们是预测的所有样本的违约概率或者信用评级得分,比如信用评级得分,我们获得了关于两类样本的分布图形:
图 3.1 两类样本的违约率经验分布
1.基本假设
上面的图例可以看成一个基于银行债务人违约率分类的分类器。左边的分布表示历史样本数据中违约者预测得到的违约率的分布;右边的分布相应表示非违约者的分布,其中C点表示决策者做出决断的切分点(cutoff),对于该点有这样的经济意义:一旦我们确定了C点,不考虑其他业务处理,的样本被预测为违约者,反之被预测为非谓语这。对于一个固定的Cutoff点,我们可得到一些有实际意义的量化指标:
HR(C)=,表示在C点左边,对Defaulters的信用得分分布中,基于C点做决策时候,被正确命中的比率,这里H(C)表示被正确预测的违约者的样本个数,ND表示违约样本的总数。
HR(C)=,表示在C点左边,对non-Defaulters的信用得分分布中,基于C点做决策时候,被错误预测的比率,这里F(C)表示被错误预测的违约者的样本个数,NND表示非违约样本的总数。
2.ROC绘制方法
很显然,当我们移动C点的时候,我们得到了一个二维坐标点的集合,FAR(C),HR(RC)|C?缀信用得分区间}这里的FAR(C),HR(C)是风险管理领域的专用表示方法。将其用统计中的一些概念进行一般化处理,得到:FD(C)==,表示在C点左边违约样本个数,FD(C)表示在C点违约者信用得分的累积概率;FND(C)=FAR(C)则相应表示非违约者信用得分的累积概率;同样我们可得到二维坐标集合{FND(C),(C)|C?缀信用得分区间}。
我们将{FND(C),(C)|C?缀}在xy坐标平面上绘制,就得到了ROC曲线。
(二)ROC曲线与其他评价指标间关系。
1.K-S统计量
图 3.2 ROC曲线切线—K-S统计量
K-S检验,用于检验样本是否来自一个指定的分布或者检验两类样本是否同分布(独立)。对上述例子,两样本分布独立性的检验常用K-S统计量:
D=MAX|FD(S)-FD(S)|,这里为了符合常识,我们用表示变量得分。
2.GINI系数/AR(accuracy rate)准确率
GINI系数和AR(accuracy rate)准确率实际上是同一个东西,GINI系数这一称呼不知道来源于哪,倒是AR(accuracy rate)准确率这一术语常常在金融风险管理中出现。它的计算方法是:ROC曲线和对角线之间的面积与perfect model(y=1直线)和对角线(y=x)围成的面积之比,用于度量模型精确性的一个相对指标。
AR=■,这里表示ROC曲线与对角线围成的面积,αpD表示y=1直线与对角线围成的面积。很容易计算:AR=2AUC-1。
3.LR(似然比)
考虑ROC曲线上的导数,很显然由这个关系式,我们得到在ROC曲线上某点的似然比(可以直接理解成得分的好坏比)为该点的导数,这一指标可以刻画模型局部的区分能力。
二、CAP曲线
CAP曲线,亦称能力曲线,被各大银行和评级机构用于对违约率(PD)类模型的检验,它检验模型的预测结果排序能力。
我们依然以上面信用评分模型为例子,能力曲线的绘制通过以下步骤得到:
1.对已经评分的银行客户按其预测的违约概率从高到低排序;
2.横坐标表示客户按违约率概率从高到低排序后得到样本总数的累计百分比,纵坐标表示违约客户总数的累计百分比;
3.曲线上任何一点的坐标具有如下意义:表示给定所有排序后客户样本的一个比例;表示在给定的条件下,违约客户概率大于等于比例的客户中最小概率样本个数占总的违约客户样本总数的比率。
很显然,对于任何水平方向的数值,曲线越高,表明模型的预测能力越强。
篇2
1.1目的明确
所选用的指标目的明确.从评价的内容来看,该指标确实能够反映有关的内容,决不能将与评价对象、评价内容无关的指标选进来.
1.2比较全面
选择的指标要尽可能地覆盖评价的内容,如果有所遗漏,评价就会出偏差.比较全面的另一说法就是有代表性,所选的指标确实能反映评价内容,虽然不是全面,但代表了某一侧面.
1.3切实可行
用通俗一些说法,说是可操作性.有些指标虽然很合适,但无法得到,就不切实可行,缺乏可操作性.
2定量指标筛选方法
在按一些原则确立指标体系后,这些量都是可以观察、测量的.在这个基础上,可以用统计分析中的方法来选出一部分,它们有很好的代表性,使我们综合评价时,工作更容易些.
2.1条件广义方差极小法
从统计分析的眼光来看,给定P个指标X1,…XP,的n组观察数据,就称为给了n个样本,相应的全部数据用X表示,即
每一行代表一个样本的观察值,X是n×p矩阵,利用X的数据,可以算出变量xi的均值、方差与xi,xj之间的协方差,相应的表达式是:
由Sii,Sij形成的矩阵S=(Sij)p×p(1)
称为X1…XP这些指标的方差、协方差矩阵,或简称为样本的协差阵.用S的行列式值|S|反映这P个指标变化的状况,称它为广义方差,因为p=1时|S|=|S11|=变量X1的方差,所以它可以看成是方差的推广.可以证明,当X1,…XP相互独立,广义方差|S|达到最大值;当X1,…XP线性相关时,广义方差|S|的值是0.因此,当X1,…XP既不相互独立时,又不线性相关时,广义方差|S|的大小反映了它们内部的相关性.下面来考虑条件广义方差,将(1)式分块表示也就是将X1…XP这P个指标分成两部分(X1,…XP1)和XP1…XP),分别记为X(1)与X(2),即
这样表示后,S11,S12,表示X(1),X(2)的协差阵.给定X(1)之后,X(2)对X(1)的条件协差阵,从数
学上可以推导得到(在正态分布的前提下)
S(X(2)|X(1))=S22-S21S11-1S12(2)
(2)式表示当已知X(1)时,X(2)的变化状况.可以想到,若已知X(1)后,X(2)的变化很小.,那么X(2)这部分指标就可以删去.即X(2)所能反映的信息,在X(1)中几乎都可得到,因此就产生条件广义方差最小的删去方法.方法如下:
将X1,…XP分成两部分(X1,…XP-1)看成X(1),XP看成X(2),用(2)就可算出S(X(2)|X(1)),
此时是一个数值,它是识别XP是否应删去的量,记为tp.类似地,对X1,可以将X1看成X(2),余下P-1个看成X(1),用(2-2)就可以算出一个数值,记为ti.于是得到t1,t2,…tp这P个值,比较他们的大小,最小的一个可以考虑是删去的,这与所选的临界值C有关,C是自己选的,认为小于C就可删去,大于C不宜删去.给定C之后,逐个检查ti<C,(i=1,2…p)是否成立,有就删,删去后对留下的变量,可以完全重复上面的过程,直到没有可删的为止,这就选取了既有代表性,又不重复的指标集.
2.2极大不相关法
显然,如果X1与其它的X2…XP是独立的,那就表明X1是无法用其它指标来代替的,因此保留的指标应该是相关性越小越好,在这个方法指导下,就导出极大不相关方法.首先利用(1)式求出样本的相关阵R,
rij称为xi与xj相关系数,它反映了xi与xj的线性相关程度.现在要考虑的是一个变量Xi与余下的P—1个变量之间的线性相关程度,称为复相关系数,简记为ρi.ρi可以用下面的公式计算.先将R分块,例如要计算ρP,就将R写成
(注意R中的主对角元素rij=1,i=1,2,……,p)于是ρ2p=rTpR-1-prp.类似地,要计算ρ2i时,将R中的第i行.第j列进行置换,放在矩阵的最后一行,最后一列,此时
于是ρ2i的计算公式为ρ2ii=rTiR-1-iri,i=1,2,…p.算得ρ21,…ρ2p后,其中值最大一个,表示它与其它变量相关最大,指定临界值D之后,ρ2i>D时,就可以删去Xi.
2.3选取典型指标法
如果开始考虑的指标过多,可以将这些指标先进性聚类,而后在每一类中选取若干典型指标.典型指标的选取,可用上述2.1,2.2所述方法,但这两种方法计算量都比较大.用单相关系数选取典型指标计算简单,在实际中可依据具体情况选用.假设聚为同一类的指标有N个,分别为a1,a2,an.第一步计算N个指标之间的相关系数矩阵R
第二步计算每一指标与其它n-1个指标的相关系数的平方ri.
则ri-2粗略的反映了ai与其它n-1个指标的相程度.第三步比较ri-2的大小,若有rk-2=max1≤i≤nri-2则可选取ak作为a1,a2…an的典型指标,需要的话,还可以在余下的指标中继续选取.
3定性指标的量化方法
在综合评价时,会遇到一些定性指标,通常总希望能给予量化,使量化后的指标可与其它定量指标一起使用.定性指标有两类:名义指标和顺义指标.名义指标实际上只是一种分类的表示.这类指标只能有代码,无法真正量化.顺序指标可以量化,所以,本段只考虑顺序指标的量化.如果已将全部对象按某一种性质排出了顺序,我们用a>b表示a优于b,a排在b的后面.全部对象共有n个,用a1,…an表示,并且不妨假设a1<a2<…<an.现在的问题是,如何对每一个ai赋予一个数值xi,xi能反映这一前后顺序.设想这个顺序是反映了某一个难以测量的量,例如一个人感觉到的疼痛程度,从无感觉的痛到有一点痛,到中等痛,一直到痛的受不了,比如分成n种,记为a1<a2<…<an.这个疼痛的量是无法测量的,只能比较而排出顺序.设想这个量X是客观存在的,可认为它遵从正态分布N(0,1),于是a1,a2…an分别反映了X在不同范围内的感觉,设xi是相应于ai的值,由于ai在全体n个对象中占第i位,即小于等于它的成员有i/n,因此可以想到,若取Yi为正态N(0,1)的i/n分位数,即P(x<yi)=i/n,i=1,2,…n-1那末,y1y2…yn-1将(-∞,+∞)分成了n段.显然ai表示它相应的xi值应在(y1,yi-1)这个区间之间,在(y1,yi-1)内选那一个比较好,自然要考虑概率分布,比较简便可以操作的方法就是选中位数,即xi满足
其中X服从N(0,1)分布.于是利用正态分布表可查出相应的各个X1,这样就把顺序变量定量化了.把这个方法稍做推广,就可以处理等级数据的量化.
论文关键词评价指标定量指标定性指标
论文摘要在综合评价中,评价指标的选取是否合适,直接影响到综合评价的结果.介绍评价指标选取得一般原则,定量指标的筛选方法,以及如何对定性指标进行量化.
参考文献
篇3
【关键词】土地资源;绩效审计;评价指标
0 前言
随着经济社会的高速发展和我国土地整理事业的发展,土地资源问题不断涌现。土地资源绩效审计作为一种有效的土地资源管理工具,在加强自然资源管理、推动可持续发展方面已开始发挥明显作用。土地资源绩效评价作为衡量土地整理工作成功与否的重要手段被日益重视。
当前,土地资源绩效审计的重点和难点在于如何实现科学的审计评价。与其它领域相比,土地资源审计起步较晚,没有现成的经验和模式,到目前为止,尚没有一套完善的关于土地资源绩效审计的一套评价指标体系,研究这一问题具有理论和实践的双重意义。
在具体对土地资源绩效审计指标的选择运用上,国内外存在一些差异,如国际上逐渐开展的土地资源绩效审计指标在不同的国家,称谓,方法选择有所不同。在澳大利亚称为“污染土地审计”,在美国为“房地产交易评估”(PTA)中的一部分内容,在加拿大为“环境现场评估”(ESA)中的一部分[1]。西方发达资本主义国家目前已逐渐形成两大流派,即以美国为主的PTA三阶段说和以澳大利亚为代表的SCA四阶段说。英国学者Black(布莱克)认为[2],传统的土地绩效审计关注法律规章的遵循,但当土地绩效审计发展到一定阶段以后,它应更多地关注环境管理系统的有效性。
杜冰清[3]主要从如何审计土地出让金(现称土地出让收入)的角度提出了如何对土地资源开展审计,以及为避免缺审漏项,审计应关注的主要内容和采取的方式。王秀华在研究了国际自然资产审计的方式、内容等相关理论与实践的基础上,构建了政府自然资源资产审计的理论框架,包括审计的主体与对象,审计的依据、方法,以及自然资源资产审计与自然资产会计的衔接等重要问题,文章提出审计可以再利用会计信息的的基础上,发挥资金审计和绩效评价与环境影响评价的优势,对自然资源管理情况及效益情况进行审计。
王建刚[4]在2002年介绍了国外的一些发达国家关于土地污染如何实施审计的程序及其发展的历程,在分析的基础上,对我国当时针对土地污染开展的审计的现状进行了分析,提炼了当时存在的问题,并且有针对性地提出了解决问题的对策和建议。
王瑷玲、赵庚星[5-6]等人从反映土地资源项目审批、决策、实施、验收至后期维护全过程的角度,建立包含技术、经济效益、社会效益和景观生态环境效益。
1 土地资源绩效审计评价指标概述
审计是遵循绩效原则,建立起一套系统规范的包含评价标准、评价方式及评价指标在内的评价体系,并对财政支出过程及效果针对社会经济、政治进行理性客观的综合评估。而绩效审计则更加具体,其用于被审计项目的经济性、效率性和效果性进行评价。
土地资源绩效审计评价指标是对土地资源及其经济效益,生态效益,社会效益等为主的综合效益因素所进行的评价。
土地资源绩效审计评价指标包含以下几点:
1)相关性评价:即项目指标与生产需要之间的相关性,一是国家层面的相关性,二是与地方政府之间的相关性。
2)效果性评价:即投入与产出之间的关系,从预期效果,成效及相关影响等方面进行评价。
3)效率性评价:讲求投入与产出之间效益最大化,包含征地率、周期率、储备计划完成率以及闲置率等方面进行评价。
4)可持续性评价:是指项目实施后,其后续的管理、资金、财务等方面的可持续能力的评价。
5)合规性评价:是指项目运行过程中符合国家法律法规的评价,从审计发现的问题和落实整改两个方面进行评价。
6)定性与定量相结合的原则:一方面土地资源管理工作的绩效大部分具有数量特征,可以通过量化的方法来体现,另一方面有部分绩效内容不具有数量特征,无法通过数据计算来直接体现。
2 土地资源绩效审计评价指标发展现状
审计部门陆续开展了土地整改、土地出让金、标准农田建设、政府存量土地等方面的审计,虽然也取得了一些成效,但就绩效评价而言,还存有许多不到位的地方,制约了对土地资源项目审计的绩效评价,因此需采用一系列指标对审计范围内的项目绩效进行评价。
土地资源绩效审计评价指标中存在的问题及原因分析
土地资源绩效审计评价指标存在的问题
1)部分评价指标体系存在漏洞,与现实脱节
随着我国工业化的发展和整体经济实力上升,对土地的刚性需求越来越强烈,土地使用率越来越高,同时粗放式的发展导致了用地粗放、低效浪费等问题,审计部门运用土地资源绩效审计评价的目的是为了适应越来越复杂的土地管理系统。而当前的部分指标体系与时展的高速轨道并为并轨,出现了部分与现实脱节的现象。
2)部分评价指标体系未考虑长期绩效,不可控因素
土地资源绩效审计是一个长期过程,其目的在于从宏、微观不同的角度,运用定性、定量的方法,全方位判断土地管理的现状。全面系统地剖析当前土地管理中存在的问题,督促土地管理部门进一步改进工作,提高土地资源开发利用管理水平。而实际操作过程中并为考虑长期绩效,对一些不可控因素为设置预案。
3)部分指标界定含糊,对评价结果未予全面重视
我们出具的土地资源绩效审计报告还是以反映直观问题为主,审计评价主要集中在管理制度建设方面,很少全面、客观地对土地资源管理的经济性、效率性、效果性进行系统的分析和评价。
3 关于土地资源绩效审计评价指标的建议
1)完善土地资源绩效审计评价指标,加强可操作性
根据《审计署“十二五”审计工作发展规划》,国家的政策要持续贯彻,并渗透到基层政府,全面的开展土地资源绩效审计。由于人员素质、方法复杂、贯彻不力等因素,导致评价指标的效能并没有得到很大程度的发挥,这使得完美的评价方法成为纸面文章,没有实际利用价值。同时土地管理中也存在相当的不规范情况,多头管理、职能交叉、职责不清等现象,使得审计人员要系统全面地收集绩效评价所需要的基础资料难度较大,理论性太强的审计评价方法在实际工作中无法适用。 因此在完善土地资源绩效审计评价指标时,一定要加强可操作性。
2)指标要注重长期绩效与短期绩效并重,可控因素与不可控因素相结合
不可控因素是不能为某一级政府、某个职能部门或个人的行为所制约的因素,不可控因素一般是无法选择或不存在选择余地的而且具有时间和空间上的相对性。对土地资源绩效进行的审计评价指标制定时,关系到相关职能部门和责任人的责任,在制定评价指标时要注意区分可控因素和不可控因素,对于评价对象无法控制因素所产生的影响应尽可能排除,否则会有失公平。
绩效是社会经济管理活动的结果和成效,按照绩效体现时间的长短可分为长期绩效和短期绩效,管理活动要达到的既有长期目标也有短期目标,对土地资源进行绩效审计评价,不能只评价短期行为,忽视土地资源的发展潜能,也不能只评价长期效益,忽视土地资源的管理现状,评价指标的设立要考虑到长短期并重,只有这样才能确保绩效审计评价的全面客观。
3)参考指标建议,注重全面评价结果
采用绩效评价,可以将各专业审计项目的结论引入到相应的绩效评价内容中,进行综合分析评价,这样做既拓宽了土地资源审计的领域,又整合审计资源减少了审计成本投入,还能提高审计成果利用率。运用土地资源审计绩效评价,可以根据报告利用者的关注重点选择评价指标,根据报告利用者的关注目的选择评价标准,审计报告可以从各个角度对土地绩效情况进行分析评价,基本满足各类报告利用者的关注需求。
4 结论
我们实施的土地资源绩效审计虽然已涉及到土地整理、土地出让、土地储备、土地经营等诸多方面,审计范围正在逐步向土地管理绩效的各个方面扩展,但鉴于土地资源开发利用绩效涉及面广,宏观性强,专业技术要求高,没有一个统一规范的审计绩效评价指标体系可供参考,审计人员准确评价土地资源绩效的难度较大,因此以往我们出具的土地资源绩效审计报告还是以反映直观问题为主,审计评价主要集中在管理制度建设方面,很少全面、客观地对土地资源管理的经济性、效率性、效果性进行系统的分析和评价。
【参考文献】
[1]Bouma J, Hordijk L,Stein A.Soil remediation:A systems approach.J.P.Okk,1998.
[2]Philip C,James M,John H .Regulating contaminated land in the UK[R]. London:PSA,2005.
[3]杜冰清.对国有土地资金审计的思考[J].中国审计,1994(105):38-39.
篇4
海量数字信息的持续爆炸式增长使信息管理、保存和获取面临重大的挑战和机遇,这也促使了“信息学院运动”(informationSchoolMovement,iSchool运动)的出现和发展。iSchool关注信息、技术与人之间的关系,使不同学科领域的学者在跨学科社群中充分发挥其特长与兴趣。[1]2005年至今,iSchool成员的数量已经由10个迅速发展到55个,而其成员所在地区也由最初的北美地区扩展到亚洲、欧洲,iSchool的理念广为接受,其影响力也不断扩大。iSchool运动已成为21世纪图书情报学(LibraryandInformationSci-ence,LIS)学院发展中具有历史意义的重要事件。[2]虽然iSchool符合大幅资助的研究活动、参与信息领域未来研究人员的培养、致力于信息领域的进步这三个基本标准,但是该标准较为模糊,难以具体量化。iSchool目前仍处在其发展的初始阶段,对iSchool进行评价将有助于明确不同院校之间的异同,为不同iSchool间的合作提供参考有效指导科研管理,推动iSchool运动的发展。对iSchool联盟的整体发展而言,如果能够建立有效的评价指标体系,则既能对目前现有的iSchool进行全面评价,又能确立iSchool联盟良性发展的价值导向,从而最终使iSchool真正能引领信息领域发展的潮流。
2、iSchool特征分析
2.1iSchool多依附于研究型大学
iSchool大多依附于研究型大学,如华盛顿大学、卡内基梅隆大学等诸多高校更是名列美国研究型大学前30名。[3]iSchool与研究型大学的基本特征近乎吻合:是高层次研究人才培养的重要基地,[4]研究生规模一般都较大,科研经费资助较多,能够保证有充足的经费进行研究活动和高端人才培养。[5]
2.2iSchool
引领信息领域的教育与科研在美国排名前25位的图书情报学学院中有17所学院是iSchools联盟成员;其他国家和地区的iSchool成员也大多是所在地区内最卓越的LIS学院。不管是在课程数量、课程多样性、招生数量与质量、教师数量、师生比方面,还是在研究经费、科研产出的数量与质量、科研效率等方面,iSchool均遥遥领先于传统的LIS院系。[6]而且,相对于传统LIS院系,iSchool的课程设置也更能符合时代的潮流,iSchool的教育内容更能符合当前的工作要求,[7]因此,iSchool能够在信息领域的教育和科研中起到引领的作用。
2.3iSchool跨学科性强
iSchool教师的学科背景更加丰富。据Wiggins等人的研究,传统的LIS学院中教育背景为图书情报学的教师占比超过70%,除了图书情报学之外,具有计算机科学、数学、管理学、心理学等学科知识背景的教师占比更高。[8]iSchool所开设的学科专业更加丰富。相对于传统的LIS学院,除了传统的图书情报学专业之外,iSchool还开设有计算机科学、软件工程、信息系统、信息政策等专业方向,专业设置不仅体现传统的信息,也关注技术与人。iSchool的课程设置更加多样。除了图书情报学传统的传统课程,iSchool的课程也涉及教育、管理、经济、历史等学科,[9]课程具体内容涉及不同年龄、种族、性别、残疾人等多元主题;[10]授课方式上也从本学院内教授扩展到与其他院系联合培养。iSchool的科研产出更加多样。在iSchool所的学科中,信息科学与图书馆学占比已经不足30%,计算机科学、通信、工程与电子等领域的发文量已经占相当高的比例。[11]
3、目前iSchool评价存在的问题
3.1现行学科分类体系不适用于iSchool
《美国新闻与世界报道》的研究生院排名把研究生院分为教育学院、工程学院、科学学院、图书情报学院、社会科学与人文学院等11类学院,[3]由于iSchool的来源不同,有些源于图书情报学院,有些则源于计算机等技术导向的院系,iSchool联盟院系作为一个整体不能归入任何一类学院。因此需要建立能与iSchool成员相适应的不同指标来衡量iSchool成员的复杂性和iSchool运动的动态性。
3.2传统科研评价方法不适用于iSchool
在学术出版和研究方面,传统的根据博士毕业生成为终身教职或在其他学术职位就业来判断学术研究是一种评估方法,但这种方法在iSchool模式下已经不再适用:由于iSchool培养的博士研究方向更加广泛,博士毕业生的就业方向除了传统的学术职位之外,信息架构、编程、数据分析、社会媒体等领域都是iSchool博士的就业领域。传统的引文分析和学术影响评估方法也存在着一些问题。如Bar-Ilan对iSchool科研影响的研究:该研究在WebofKnowledge中按照iSchool所在的大学名称进行检索,在检索结果中选取“信息科学与图书馆学”类的文章,使用文章数量、被引次数、h指数等指标进行评估。[12]但是该研究有两个局限:(1)用大学名进行机构检索的结果中,即使文章发表属于“信息科学与图书馆学”类,该文章也很有可能是该校iSchool以外的其他院系的研究人员发表的;(2)iSchool教研人员发表的文章学科跨度很大,不仅仅局限于“信息科学与图书馆学”类,该研究未能抓住iSchool学术出版的跨学科性。
4、iSchool评价指标构建原则
4.1针对性原则
对iSchool的评价要针对iSchool的跨学科性和致力于信息领域进步的特点。iSchool的宗旨是探索信息、技术与人之间的关系,iSchool致力于学习和理解信息在人类活动中的作用。iSchool通过进行大量的研究活动和高质量的人才培养,达到促进信息领域进步的目标,并最终通过信息提高人的能力。因此,需要从研究和教育两个主要方面来对iSchool进行评价。
4.2定性与定量评价相结合原则
定性与定量相结合的方法是将知识共同体、各种数据和信息有机结合起来。具体而言,在iSchool评价中,定量方法就是采用统计学、科学计量等方法来对iSchool的教学、研究与学术出版进行数量与质量的评估;而定性方法则是指同行评议方法。客观统计的数据能够为iSchool评价提供一种客观量化的、可比较的指标;[13]同行评议则能够充分发挥专家的专业知识和经验。在iSchool评价中,采用定性与定量相结合的方法同时,也要根据具体评价对象的特点来考虑侧重定性方法还是定量方法。
4.3稳定性与发展性相结合原则
iSchool的评价指标应保持相对稳定性,这样该指标才能有连续性和可比性。如果现在建立的指标在几年之后就发生重大的变化,那么就不能纵向把握iSchool的发展进程。同时,由于信息领域在发生着剧变,iSchool在其宗旨的指导下也在不断探索信息领域的新方向,因此,要及时关注iSchool发展的新动向、新特点。要精确把握那些当前虽然不太重要,但在未来对iSchool会非常重要的指标,这种具有发展性的指标能够指导iSchool未来的发展。
4.4平衡数量与质量关系原则
当前高校科研评价中存在的突出问题就是重“量”轻“质”,著作、论文与科研经费的数量往往成为衡量科研能力的重要工具,也是各种奖励、职称评定、岗位竞聘的重要条件。这种做法看似科学,实则与科研精神相悖,因为科研是一个厚积薄发的创新过程,科研评价中数量和时间的限制往往导致大量粗制滥造的学术垃圾的出现,严重背离科研的本质精神。[14]因此,在科研结果评价中,重视数量的同时,更要重视质量。
4.5平衡教育与科研关系原则
在高校中,教育和科研有着不可分割的联系,但这种关系并不是简单的正相关或负相关关系,而是非常复杂的关系。[15]现行的各种大学评价体系,不管是《美国新闻与世界报道》排名,还是美国顶尖研究型大学排名,都非常强调研究指标的权重,而教学指标权重则非常低,[16]这并不合理。现行的评价体制下,高校的排名与声誉在很大程度上是由科研决定的,这种极端重视科研的排名也是学生进行选择学校的重要标准;但事实上,科研质量高并不等同于教学质量高,不能用科研的评价指标来代替教学评价指标。iSchool的宗旨体现了对培养人才和研究的同等重视,因此在iSchool评价体系中,重视科研的同时,也要重视教育。
5、构建iSchool评价指标
针对iSchool的教育和研究两个方面特点,分别从投入、过程、产出几个方面来构建iSchool评价指标,具体指标如表所示。在iSchool评价过程中,投入是指科研经费、教师与科研人员、学生等,而结果包含发文量、被引次数、专利、学生起薪与就业率等内容。
5.1iSchool教育评价指标
iSchool教育评价指标包含了教育投入、教育过程和教育产出三个一级指标。教育投入。主要包括学生投入和学校投入,本指标拟对教育投入赋予15%的权重。就学生投入而言,学生入学时的成绩(如GRE、GPA)越高,表明该iSchool学生的生源越好;录取申请比越高,表明越多学生为进入该iSchool进行竞争。就学校投入而言,教育经费投入越高,越有利于学生的发展。教育过程。教育就是一个培养人的过程,仅仅评估教育结果会忽视教育过程的丰富性与重要性,因此本指标体系非常重视教育过程的质量,因此对权重赋值较高(17.5%)。我们对教育过程从教育项目的学术质量和职业准备两个方面进行评估:在学术质量方面,我们参考了匹兹堡大学iSchool的学生满意度调查,[17]从教师、课程、学术指导等方面来进行评价,重点突出了项目的智力多样性与课程内容的前沿性。在职业准备方面,从“职业指导的质量”等方面进行评估。教育产出。同样,相对于教育投入,本指标更加重视结果,因此教育产出的权重相对较高(17.5%)。教育产出指标设计参考了《美国新闻与世界报道》中的指标,强调毕业生毕业时的就业率、薪水情况,但同时,本指标也非常重视毕业生就业之后所带来的长远社会效益。
5.2iSchool科研评价指标
根据科研的过程,科研评价主要分为研究投入与研究结果两个一级指标。具体二级指标分别如下。研究人员。按照研究人员的知识层次结构与知识领域结构设计了5个三级指标。其中,全职教员的百分比代表了iSchool研究人员的中坚力量;“研究人员智力背景熵值”指标则是源于Wiggins等人提出的用熵值来衡量iSchool教员智力背景的跨学科性,本研究采用了该指标。研究资助。据吴丹等人的研究,[11]iSchool的科研资助主要来源于联邦政府、州政府、企业、非政府组织,因此本研究采用了表中所示的几个指标:联邦政府资助金额、州政府资助金额、非政府组织与企业资助金额、其他资助金额。研究产出。本文产出主要指论文、专著、专利,由于评价时间既不能跨度过长也不能太短,因此本指标对研究产出的统计设定为两年。同样地,为了突出iSchool的跨学科性,我们引入了类似于“科研人员智力背景熵值”的两个熵值指标———论文学科熵值与专利领域熵值,分别来衡量论文产出和专利产出的跨学科性。研究影响。在研究影响中,除了传统的被引频次指标、顶尖论文指标,我们还特别突出一个iSchool在整个iSchool联盟院校中的影响力,因此设计了其他iSchool引用该iSchool出版物的情况、与其他iSchool的合作情况两个针对性指标。
5.3iSchool评价指标的特征
本指标是在上述指标构建原则与iSchool特征的基础上发展起来的,具有如下特征。(1)合理平衡教育与科研。长期以来,各种大学排名体系存在着重科研轻教学的弊病,有些排名甚至没有考虑教学指标,直接以科研代替教学。iSchool致力于通过在信息领域持续的人才培养和科学研究来促进信息社会的进步,因此,培养信息领域的未来人才是iSchool的重要使命,人才培养与科研同等重要。因此,本指标对教育和科研赋予了相同的权重(50%),从而使本指标具有重视教育的导向作用。(2)突出iSchool的跨学科性。如上所述,iSchool在专业设置、课程、教师的学科背景、科研产出方面都有显著的跨学科性与多样性,这也是信息领域的发展趋势。因此,本指标体系中的“促进智力多样性的程度”、“课程的多样性”、“科研人员智力背景熵值”、“论文学科熵值”、“专利领域熵值”等指标从不同方面来衡量iSchool的跨学科性。(3)强调iSchool在iSchool联盟中的影响力。由于iSchool联盟成员的复杂性,传统的引文分析和学术影响评估方法已不适用于iSchool。同时由于iSchool联盟成员之间科研与教学的合作越来越多,本指标体系特别突出iSchool在整个iSchool联盟中的影响力,包括“近两年该iSchool与其他iSchool的合作频次”、“近两年其他iSchool引用该iSchool出版物的频次”等指标。
6、结语
篇5
关键词:评标专家;诚信;评价指标;模糊综合评价
诚信是人们进行社会、经济交往的最基本行为准则。当前社会诚信缺失问题比较突出,加强社会诚信体系建设是时代的迫切要求,建筑市场也不例外。评标专家是建设工程招投标活动的重要参与方,其诚信水平将直接影响评标质量和评标结果,进而影响到此后工程项目的实施和投资效果。然而,评标专家不遵守评标纪律、不履行评标专家职责、索要额外评标费用等不诚信行为时有发生,大大降低了招投标质量,扰乱了建筑市场秩序。需要对评标专家加强诚信管理。
国内有学者对评标专家的管理进行了探讨(如:杨小俊,2004;樊炜,2007;付秀红,2008等),全国多地也制定了较为详细的评标专家管理规定及评标专家考核标准,但缺少对评标专家进行诚信评价的成果。《全国建筑市场注册执业人员不良行为记录认定标准(试行)》(建办市[2011]38号)中也没有对评标专家的不良行为规定统一的评价标准。
因此,需要开展对评标专家进行诚信评价的专门研究。
一、 评标专家诚信内涵
现代诚信具有道德诚信、经济诚信、法律诚信三层涵义,要求说到做到、不欺诈并公平行事。在工程建设领域,“说到”是事前承诺(主要体现在承揽业务过程中),“做到”为事后履约表现(主要体现在合同履行或业务开展过程和结果中),两者的匹配程度即为评价对象的诚信水平。建筑市场诚信具有过程性和积累性。
本研究所称的评标专家,是指满足建设主管部门对入库评标专家条件规定,经建设主管部门认定而进入各地评标专家库,从事建设工程项目评标活动的技术、经济专业人员。其主要职责是在遵守国家法律法规的前提下,按照招标文件规定的评标方法和评分标准,根据自己所拥有的知识技能,独立地对投标文件做出客观、公正、科学、合理的评价,并按照招标文件的要求做出评标结论。
结合评标专家的职责以及诚信内涵,对评标专家诚信定义如下:在评标过程中,评标专家按照法律法规、评标细则的要求,以自己的知识能力,对投标文件做出客观、公正、科学、合理评价以及评价结果获得认可的程度。评标专家诚信水准通过评标工作质量表现出来。
评标专家诚信属于建筑市场个人诚信范畴,具有以下特点:
1. 具有隐契约性。现代契约理论将契约划分为隐性契约和显性契约两类。隐性契约没有成文的契约条款,其兑现取决于双方的诚信水平。评标专家客观公正地进行评标,招标单位支付一定的评标专家费用,双方之间存在某种程度上的隐性契约关系。诚信原则必然成为评标工作中一项必须遵守的隐性严责。
2. 具有动态性。评标工作基于特定项目,决定了对评标专家诚信评价具有一标一评的动态性。而且,也应当考核评标专家在以往评标工作中积累的诚信度,即需要对其评标业绩进行考察。
3. 侧重于基于专业水平的评标诚信。个人诚信应包括职业/执业诚信,以及个人银行信用等内容。本研究主要注重对评标专家在评标过程中的评标诚信进行评价,而不是其他诚信内容。
二、 评标专家诚信评价指标体系
本研究采用理论研究与问卷调查相结合的方式构建评标专家诚信评价指标体系。
1. 概念模型。基于过程思想,结合评标专家诚信内涵,从道德诚信、经济诚信、法律诚信三方面,运用文献研究法、专家访谈法初步构建了包括诚信基础(受教育情况、职称、评标业绩等)、评标诚信(评标出席、评标意见等)、诚信环境(诚信法律环境、政府诚信水平等)指标在内的评标专家诚信评价指标体系概念模型。
2. 问卷调查。
(1)通过课题组讨论和专家意见征求,在概念模型基础上,拟定了问卷调查第一稿。
(2)在建设工程交易中心进行第一稿问卷预测试,并广泛征求了有关专家对问卷的看法。针对反馈意见以及问卷回收分析结果,对问卷进行修改完善,形成评标专家诚信评价指标调查问卷第二稿。
(3)在建设工程交易中心、建设工程招投标管理办公室、相关评标专家支持下,进行了第二稿问卷的先导测试。通过分析和总结,进一步完善了评价指标体系,形成问卷终稿。问卷分为两部分:一是包括“诚信基础”、“评标诚信”、“诚信环境”三个量表组成的评标专家诚信评价指标部分;二是访问对象的背景资料。
(4)课题组历时一年,通过建设工程交易中心、招标机构、监理单位、政府相关主管部门、工程项目管理年会等共发放问卷450份,回收问卷304份,其中有效问卷为241份,满足问卷分析样本回收率要求。
有效问卷填写对象中,高级职称的占61.84%,15年以上执业年限的占86.30%,本科以上(含本科)学历的占67.10%。此外,问卷填写者供职单位广泛,且与评标专家、评标工作具有较高的相关性,可充分获得相关各方对评标专家诚信的看法以及评价指标体系设置的意见和建议,能保证评价指标设置的科学性和全面性。总体上问卷质量较高。
3. 问卷分析。
(1)描述性统计分析。问卷指标均值分布在3.49~4.63之间;标准差介于0.509~1之间;偏度绝对值分布在0.017~0.86之间,峰度绝对值分布在0.113~1之间,满足“偏度小于2,峰度值小于5”的要求。可认为问卷的样本数据满足正态分布要求。
篇6
关键词:生态文明;湖北省;指标体系;评价
中图分类号:Q149 文献标识码:A 文章编号:1671-1165(2013)03-0044-10
虽然国外没有比较成熟的生态文明评价指标体系,但20世纪60年代以来建立的可持续发展、生态现代化、生态省份(城市、县)、宜居城市等评价指标体系对于我国生态文明建设及评价具有重要的参考价值。随着国内生态文明相关理论与实践模式研究的深入,国内学者提出了省域、区域、城市等多套生态文明评价指标体系,总体说来,已有的生态文明评价指标体系为生态文明的建设和发展提供了量化的标准,在引导生态文明建设不断深入、完善、扩展和提升上产生了积极的作用。
从根本上讲,我国生态文明建设是我们党立足于快速工业化过程中资源环境代价过大的严峻现实,实现资源、环境、经济和社会和谐发展的重要战略,是建立在经济发展、资源节约和环境保护筹划与创导的一种远景性的政策述求。因此,设计反映各地区资源条件、生态环境健康、经济效率和社会稳定发展的生态文明评价指标体系,不仅能体现出在“资源-环境-经济-社会”系统中生态文明状态的主要方面,还由于设计指标与资源环境政策、社会经济政策直接关联,可以为生态文明政策提供直接的指导作用。
一、湖北省生态文明评价指标体系的建立
湖北省生态文明指标体系要科学解释生态文明建设的核心要素,还能为科学指导实践和政策制定提供依据。湖北省生态文明评价指标体系的构建将按照以下原则进行:①主要因素原则,各级指标体系要能综合反映以资源环境承载力为基础,实现资源、环境、经济和社会和谐发展的生态文明主要方面;②政策制定与实施原则,指标体系的各个方面要能反映到政府各个部门的职责,能够通过直接的措施来影响和促进生态文明建设;③目标性原则,实现生态文明发展的各个指标有一个合理的目标发展状态,这些目标是国家发展阶段和状态的直接表现;④定量性原则,所构建的指标均为国家公布的相关数据直接或间接计算的数据,是相关公报、统计年鉴所统计和的重要指标。
本研究按照相关原则,在对我国“资源-环境-经济-社会”系统中生态文明状态的主要方面分析基础上,参考现有相关研究成果,从资源条件优越、生态环境健康、经济效率较高、社会稳步发展四个方面设计了湖北省生态文明评价指标体系(表1)。
首先,资源条件是生态文明建设的基础。工业化的实质是对土地、水资源、林业资源和矿产资源等自然资源的大量快速消耗。当资源供给不能有效满足工业化需求,或价格太高时,就形成了社会经济发展的资源约束。一般认为,资源包括人力资源、土地资源、水资源、森林资源和矿产资源这5大类资源。根据反映该类指标的主要指标内容和统计部门统计指标,结合湖北省生态文明建设的资源基础特征,对5大类资源状况的评价可以从从业人员比重、人均耕地面积、人均水资源量、森林覆盖率、矿产资源富集度等5个指标进行评价。
其次,生态环境是人类赖以生存的空间基础,保持健康的生态环境能吸纳生产和生活的环境排放,支持经济的健康发展和可持续发展,因此,湖北省生态文明建设要以生态文明健康为导向。一般认为,城市生态环境包括城市生态系统、环境排放及“三废”治理三个方面。根据反映该类指标的主要指标内容和统计部门统计指标,结合湖北省生态文明建设的环境保护特征,对城市生态系统、环境排放及“三废”治理三个方面的评价,可以分别从建城区绿地覆盖率、环境保护财政支出占财政支出比重、万元产值二氧化硫排放规模、人均污水排放规模和三废综合利用产值占工业产值比重等5个指标进行评价。
再次,经济效率一般理解为以更低的投入,取得更多的产出,不仅体现在单位物耗的产出提高,还体现在人均产出的提高。经济效率评价的内容包括规模效益、科技效益、人均效益、投资效益和能源效益等内容。根据反映该类指标的主要指标内容和统计部门统计指标,结合湖北省生态文明建设的经济发展特征,对经济效益的5大方面可以从规模以上工业企业平均产值、科技产业产值占GDP比重、人均GDP、单位社会固定资产投资拉动GDP增长系数和单位GDP能耗等5个指标进行评价。
最后,社会稳步发展的评价是对居民收入、居民消费、居民住房、教育和医疗等方面的评价。根据反映该类指标的主要指标内容和统计部门统计指标,结合湖北省生态文明建设的社会发展特征,对居民收入、居民消费、居民住房、教育和医疗方面的评价可以分别从城镇居民人均可支配收入、居民消费水平、城镇居民人均住房面积、教育财政支出占GDP比重等5个指标进行评价。
二、数据来源与评价模型
(一)数据来源与处理
湖北省包括13个地级市,3个省管县和1个林区。由于3个省管县(仙桃、潜江、天门)和林区(神农架)环境统计等方面数据缺失,故本研究只对湖北省13个地级市进行评价。全国数据主要来源《中国统计年鉴2011》及中国统计局网站公布数据,湖北省及地级市数据主要来源于《湖北省统计年鉴2011》,各地级市2011年或2010年统计年鉴及相关政府部门公布数据,采矿业产值数据来源于《中国矿业年鉴2011》或《湖北省矿产资源年报2010》。
从统计调查数据来看,湖北省从业人员占总人口比重等10个指标值优于全国水平,但人均耕地面积等10个指标劣于全国水平(表2)。
(二)评价模型
本文采取多层次综合评价的方法对湖北省13个地级市生态文明进行评价,设X={x1,…、x1,…,x4},i=1,2,3,4,表示生态文明评价总目标有4个准则层指标;设i={i1…,xij,…,i5},j=1,…,5,表示准则层一个指标xi有5个指标层指标,该准则层内各指标对应的权重为yi={yi1,…,…,yi5},j=1,2,…,5,且yi1+yi2+…+yi5=1。
多层次综合评价方法如下:
(1)通过指标层各指标的归一化处理,得到评价层指标的评价值xij;
(2)准则层评价采用各指标加权综合评价,评价公式为:xi=yi1xi1+…+yijxij+…+yi5xi5+σi,j√=1,2,…,5。
(3)目标层评价采用各准则层无权重开放式加总评价,评价公式为:X=x1+x2+x3+x4。
(三)指标的归一化处理
由于湖北省生态文明建设各项指标均为动态性指标,只有形成一个可供参考的体系才能形成湖北省生态文明评价的需要。在评价的过程中,我们以全国当年生态文明各类指标状态为评价标准。也就是说,湖北省生态文明评价是相对于全国平均水平评价的结论。
设Hij为指标层指标xij统计值或测算值,Tij指标层指标xij的全国平均值。指标层全国平均值的基本评价水平我们定为60分,高于60分表明该指标层的评价高于全国平均水平,低于60分则低于全国平均水平。
如果指标层指标为正指标,即Hijk或Tijk数值越大表明该指标水平越高。对于正指标而言,Hij/Tij值越大,表明该指标相对于全国平均水平处于发展水平的较高阶段;Hij/Tij值越小,表明该指标相对于全国平均水平处于发展水平的较低阶段。
单项正指标评价公式为:xijk=(Hij/Tij)×60
如果指标层指标为逆指标,即数值越大表明该指标水平越低。对于逆指标而言,如果Tij/Hij值越大,表明该指标相对于全国平均水平处于发展水平的较高阶段;Tij/Hij值越小,表明该指标相对于全国平均水平处于发展水平的较低阶段。
单项逆指标评价公式为:xijk=(Tij/Hij)×60
我们对湖北省及13个地级市生态文明指标层20个定量指标的评价结果如表3所示。
(四)指标层指标权重的确定
对指标层的评价指标权重确定我们采用专家调查法。首先制定表格和调查问卷;然后根据研究问题的具体内容,聘请阅历高、专业知识丰富并有实际工作经验的专家和政府官员就各因素的重要程度发表意见,填入调查表;最后,调查汇总,计算出因素重要程度系数。
经过33名专家及42名各级管理部门领导的咨询与调查,我们得到湖北省生态文明指标层权重如表4所示。
三、评价结论与政策建议
(一)综合评价结果
从2010年湖北省13个地级市(州)生态文明评价综合结果(图1)来看,2010年全省生态文明评价指数255分,高于全国四个准则层,共240分(60×4=240)的平均水平标准。从13个地级市评价情况看,高于全省生态文明评价255分水平的城市依次是武汉、随州、黄石、恩施、十堰、宜昌、襄阳、黄冈;低于全省生态文明建设平均水平的城市依次是鄂州、咸宁、荆门、荆州和孝感。
(二)准则层评价结果
从资源条件优越指标评价结果(图2)来看,全省资源条件优越指标评价超过全国60分平均水平的标准。相对于全省资源条件优越指标评价值65分标准而言,高于全省平均水平的城市依次为恩施、黄石、咸宁、宜昌、鄂州、十堰、黄冈、随州,低于全省平均水平的城市依次为襄阳、荆门、孝感、荆州和武汉。评价较高的城市中,恩施森林覆盖率和人均水资源量比较高;黄石矿产资源和水资源丰富,咸宁森林资源和水资源比较丰富,这些因素形成了恩施、黄石和咸宁良好的生态文明资源基础。对于省会城市武汉而言,武汉资源条件基础较差,由于矿产资源储量、水资源量、耕地面积难以改变,提高森林覆盖率和全社会就业比重对于武汉市建设生态文明尤为重要。
从生态环境健康指标评价结果(图3)来看,湖北省生态环境友好指数超过全国平均水平的60分的标准。相对全省生态环境友好指数65分标准,高于全省平均水平的城市依次为随州、黄冈、十堰、武汉、荆州、恩施,低于全省平均水平的城市依次黄石、荆门、宜昌、襄阳、孝感、鄂州、咸宁。从指标层评价的具体情况来看,随州、黄冈和武汉单位GDP二氧化硫排放规模远低,恩施人均污水排放较低,荆门三废综合利用产值占工业产值比重较高,这些都促进了这些城市的生态环境健康程度。对于省会城市武汉而言,武汉市建城区绿化覆盖率和人均污水排放低于全国平均水平,环境保护财政投入不足,这制约了武汉市生态文明生态环境友好建设,需要加强建设。
从经济效率较高指标评价结果(图4)来看,湖北省经济效率较高指数超过全国平均水平的60分的标准。相对全省经济效率较高66分标准,高于全省平均水平的城市依次为武汉、襄阳、黄石、宜昌,低于平均水平的城市依次是鄂州、十堰、荆门、随州、孝感、荆州、咸宁、黄冈和恩施。从指标层评价的具体情况来看,湖北省科技产业产值占GDP比重和单位社会固定资产投资拉动GDP增长系数较低,单位GDP能耗较高,制约了湖北省经济效率的提高。对于省会城市武汉而言,武汉规模以上工业企业平均产值、科技产业产值占GDP比重和人均GDP相对于全国和湖北省平均水平,需要提高社会固定资产投资对GDP的拉动效率,采取更有效的措施降低单位GDP能耗。
从社会稳定发展指标评价结果(图5)来看,湖北省社会稳定发展指数低于全国平均水平60分的标准。只有武汉市高于全国平均水平。从指标层评价的具体情况来看,全省城镇居民人均可支配收入水平只有武汉高于全国平均水平,恩施、十堰、黄冈等城市均维持在较低水平;全省居民消费水平评价中,只有武汉、宜昌、黄石、鄂州超过全国平均水平,恩施、孝感、荆州、咸宁等城市居民消费水平较低;住房情况方面,全省绝大部分城市人均住房面积高于全国平均水平,黄石、宜昌、十堰和襄樊需要扩大城市住房建设;全省教育投入和医疗水平评价较低,教育财政支出占GDP的比重只有恩施超过了全国平均水平,每千人医生数只有武汉超过全国平均水平。因此,湖北省需要采取措施,提高居民收入水平,扩大居民消费规模,增加居民住房面积,提高教育财政支出和医疗投入。
(三)政策建议
篇7
以“应用成果评价”、“技术成果评价”、“成果评价指标”为主题对同方知网的期刊、学位论文进行检索。通过检索,共检索到与应用类成果评价指标体系密切相关的文献有40余篇。通过拆分、合并,共抽取出20余项评价指标,如科学性、创新性、先进性、技术重现性和成熟度、技术难度和复杂程度、经济效益、社会效益、推广前景、推动科技进步的作用、技术文件、知识产权状态、论文引用评价、成果风险评价、技术壁垒评价等。公安应用创新项目成果是指为落实科技强警战略、提高公安科技研发能力和实战科技应用水平、促进公安事业繁荣发展,针对公安业务实战需求,按照突出重点、贴近基层、聚焦实战、快速见效的原则,开展新型使用产品、软件系统开发及应用技术方法等应用性创新技术而研发的具有实用价值的成果。根据定义,依据设计指标体系应遵循的基本原则,我们对公安应用创新项目成果运用系统论的观点进行系统分析,分别就上述评价指标进行预选,并咨询多名从事科研管理的专家,不断地进行修正完善,对指标做了进一步的筛选,剔除了一些重复、大部分相关或鉴别力不强的指标,最终构建了公安应用创新项目成果评价指标体系,共计5个一级指标、17个二级指标。
二、计算指标权重
层次分析法(AHP)层次分析法(analytichierarchyprocess,AHP)是一种把复杂问题分解成若干因素,按照因素属性的不同将其分组形成有序的递阶层次结构的方法。采用1~9的比例标度,通过两两比较判断,区分确定层次中各因素的相对重要性,构造判断矩阵,计算各因素的相应权重。层次分析法是一种运用定量与定性相结合,将人的主观判断用定量形式表达和处理的方法,改变了长久以来决策者与决策分析者之间难以沟通的现状,有效提高了决策的可信性、有效性和可行性。AHP的基本步骤为:明确问题并确定目标,根据因素属性不同确定因素间关系,建立递阶层次结构;对于某一层次因素下一层次的所有因素的重要性进行两两比较,构造两两比较判断矩阵;根据两两比较判断矩阵计算被比较因素的相对权重,即进行层次单排序,并对判断矩阵进行一致性检验。(1)构造递阶层次结构将消防部队应急救援能力综合评估指标体系分三层,第一层A为基层消防部队应急救援能力即总目标,第二层B包括应急救援人员、应急救援器材装备、应急组织管理和应急救援保障四个子系统,第三层C即每个子系统下面的若干个子指标项。(2)构造判断矩阵假定A层中Ak因素与下一层B1,B2,……,Bn因素有关联,则可构造2所示的判断矩阵。表2中,bij是相对Ak而言,用Bi对Bj相对重要性的数值来表示,通常bij取1,2,3,…,9及其倒数,其标度含义如表3所示:(3)单层指标权重的确定求解判断矩阵的最大特征根。将最大特征根对应的特征向量采用方根法经过归一化后,得到同一层次相应元素对上一层次某一元素相对重要性的排序权值。(4)判断矩阵的一致性检验(5)计算系统目标的合成权重确定同一层次上不同因素对总目标的相对重要性的权值排序称为层次总排序,这一过程是由最高层次到最低层次逐层进行的。层次总排序完成后,仍旧需要进行与单排序类似的一致性检验,当层次总排序随机一致性比率时,认为层次总排序结果具有满意的一致性,否则需要重新调整判断矩阵的元素取值。利用层次分析法计算指标的权重。通过参阅部分成果评价方面的相关文献,咨询一部分熟悉成果评价工作的专家,构造了一、二级指标判断矩阵并计算了各指标权重(表5~10)评价指标合成权重计算相对总目标A的权重是根据每个指标相对上一层次对应因素的权重值,通过层次总排序计算其相对于总目标的权重值。各层次指标相对于总目标的权重值如表11所示。
项目成果综合评价价值计算方法采用加权平均求和法计算项目成果评价值,方法如下:为了成果评价的客观性,可以对每个二级评价指标划分评价等级,采用“百分制”,每个等级制定相应的评分标准。评价专家首先根据指标评分标准对二级指标打分,根据公式=∑iiFXW(其中,F是某专家给被评价成果的评分,iX是该专家根据指标评分标准对某项指标的具体评分,iW是该项指标的权重)计算得出各二级指标的得分,加权求和后就是该成果的总得分。
三、结语
篇8
一、财政资金支出绩效评价指标的设计
1.绩效评价指标设计的原则
构建财政绩效评价指标体系是一个复杂的系统过程,在指标体系构建过程中,必须坚持一定的原则。
(1)科学性原则
科学性原则是一切科学研究工作的共同原则,它是指指标与指标体系的设置应符合客观认识对象本身的性质、特点、关系和运动过程。指标体系中每一项指标的设计都应建立在充分的论证和调研,并对收集的数据进行周密、细致的统计分析的基础上。设计评价指标体系时,首先要有科学的理论作指导,使绩效评价指标体系能够在基本概念和逻辑结构上严谨、合理,能够抓住评价对象的本质,并具有针对性;同时,绩效评价指标体系是理论与实际相结合的产物,无论采用定性、定量方法,还是建立模型,都必须是客观的抽象描述,抓住最重要的、最本质的和最具有代表性的东西,对客观实际现象描述得越清楚、越简练、越符合实际,科学性就越强。
(2)目标导向性原则
绩效评价的目的不是单纯地评出名次及优劣的程度,更重要的是引导和鼓励被评价对象向正确的方向和目标发展。绩效评价是管理工作中控制环节的重要工作内容,采用“黑箱”的方法利用实际成果的评价对被评价对象的行为加以控制,引导其向目标靠近,即目标导向的作用 。建立绩效评价指标体系的目的就是规范支农支出管理工作,实施导向和监控作用,以获取最佳绩效,实现三农持续发展的目标。
(3)共性可比性原则
共性可比性指的是评价指标体系各项指标要量化,指标值采用相对值,以利于不同时期和不同对象间的比较,即纵向比较和横向比较。纵向比较:即同一对象不同时期的比较。横向比较:即指不同对象之间同一时期的比较,这就要找出共同点,按共同点设计绩效评价指标体系。对于各种具体情况,采取调整权重的办法,综合评价各对象的状况再加以比较,对于相同性质的部门或个体,往往很容易取得可比较的指标。
(4)实用性原则
实用性原则要求所建立的指标体系及其评价方法具有可行性和可操作性,指在构建的指标体系中要充分考虑指标体系实施时的可行性与经济性。在满足评价目的需要的前提下,从实际情况出发,指标概念要清晰,表达方式简单易懂,数据易于采集,计算公式科学合理、评价过程简单、评价方法便于实际操作。
①指标要简化,方法要简单。评价指标体系要繁简适中,计算评价方法简便易行,即评价指标体系不可设计得太繁琐,在能基本保证评价结果的客观性、全面性的条件下,指标体系尽可能简化,减少或去掉一些对评价结果影响甚微的指标。
②数据要易于获取。评价指标所需的数据易于采集,无论是定性评价指标还是定量评价指标,其信息来源渠道必须可靠,并且容易取得。否则,评价工作难以进行或代价太大。
③整体操作要规范。各项评价指标及其相应的计算方法,各项数据都要标准化、规范化。
④要严格控制数据的准确性。能够实行评价过程中的质量控制,即对数据的准确性和可靠性加以控制。
(5)系统性原则
评价对象必须用若干指标进行衡量,系统性原则要求这些指标必须是互相联系和互相制约的。有的指标之间有横向联系,反映不同侧面的相互制约关系;有的指标之间有纵向关系,反映不同层次之间的包含关系。在指标体系设置和个体指标选取上,要以构建科学、完整的绩效评价系统为出发点,根据各指标对实现评价目标的重要程度同时考虑各类指标在评价指标体系中的合理构成以及指标间的关联度,通过指标的合理取舍和指标权重的设置,达到评价指标既能突出重点,又能保持相对的均衡统一,实现系统的最优化。
①指标数量的多少及其体系的结构形式以系统优化为原则,即以较少的指标(数量较少,层次较少)较全面系统的反映评价对象的内容,既要避免指标体系过于庞杂,又要避免单因素选择,追求的是评价指标体系的总体最优或满意。
②设计评价指标体系的方法应采用系统的方法,例如系统分解和层次结构分析法,由总指标分解成次级指标,再由次级指标分解成次次级指标(通常人们把这三个层次称为目标层、准则层和指标层),并组成树状结构的指标体系,使体系的各个要素及其结构都能满足系统优化要求。也就是说,通过各项指标之间的有机联系方式和合理的数量关系,体现出对上述各种关系的统筹兼顾,达到评价指标体系的整体功能最优,客观的、全面的评价系统的输出结果。财政资金支出绩效评价指标体系要尽可能覆盖支出工作的投入一活动一产出的全过程,以便在总体评价的同时,能对财政资金支出工作的主要环节分别作出客观的评价。
2、绩效评价指标设计的思路
篇9
制造业企业信息化是指制造企业在生产和经营、管理和决策、研究和开发、市场和销售等各个方面全面应用信息技术、现代管理技术和先进制造技术,建设信息化系统,通过对信息和知识资源的有效开发和利用,调整或重构企业业务过程和组织结构,从整体上优化企业各项活动,服务于企业经营战略,使企业的竞争力更强和收益更多的一个动态发展过程。
由上述定义,可以看出制造业企业信息化具有以下内涵:(本文以制造行业的企业为研究背景,如没有特殊说明,下文中“企业”专指“制造业企业”,“企业信息化”是指“制造业企业信息化”)
信息化的范围涉及企业各个方面:生产和经营、管理和决策、研究和开发、市场和销售等。信息化的内容包括三个主要方面:建设信息化系统、开发信息和知识资源、调整或重构业务流程和组织结构。这三个方面主要内容可以简称为技术、信息和管理。其中,技术是工具和条件,信息是基础,管理是动力和归宿。信息化的本质是在制造企业的各个环节,通过对信息和知识资源的利用,提高人和设施的效率、降低成本、提高决策质量、加快对外部变化的反应,从而提高企业的整体竞争力,服务企业的发展战略和目标。信息化的直接目的是提高对信息和知识的获取、存储、处理、传递和利用的能力及水平,为企业各项活动服务;最终目的是提高经济效益,增强核心竞争力。
由上述分析可知,制造业企业信息化是一项复杂的系统工程,具有不同于其他形式信息化的特点,表现出特有的复杂性:
1.1企业的信息资源复杂
随着供应链管理、动态联盟等理论和方法在企业的应用,制造业企业不仅要开发和利用企业内部的信息,而且要开发和利用供应链合作企业的信息。
1.2业务过程的组成环节众多,过程复杂且易变性强
制造过程往往需要经过众多的处理环节,涉及复杂的事务。而且,先进的经营理念和管理模式、先进的制造工艺以及营销模式都会使制造企业的业务过程发生改变。另外,企业适应多变的市场环境和激烈的竞争,必然要不断完善自己的业务过程。
1.3信息化实施阻力大
制造业企业信息化尤其需要对企业业务过程和组织结构进行优化调整,往往涉及企业各级各类人员、信息化实施人员等众多利益相关者及其利益的协调,实施阻力较大。
1.4信息化实施周期长
由于制造业企业信息化的复杂性使得企业实施信息化的主要手段——信息系统的开发和实施周期比较长。
2制造业企业信息化成熟度评价指标体系构建
企业信息化成熟度评价的根本目的就是确定企业在信息化方面已发展到有效果的程度,即企业信息化成熟度。分析企业的现状,得出企业信息化发展所具备的各种条件,进而判断企业适合利用何种信息技术来建设企业信息化,构建一套企业信息化指导实施方案。因此,要对一个企业的信息化成熟度进行评价,需要一套有系统层次的评价指标体系,在系统分析了制造业企业信息化内涵和特点的基础上,本节构建了企业信息化成熟度指标体系。
2.1指标选取原则
选取指标要做到科学性、合理性和全面性,应当遵从如下原则:
目的性——建立评价指标体系的目的是使企业能清楚地认识到自身的信息化水平所处位置,选择实施企业信息化建设的方向。
可行性——设计的指标要容易采集,便于操作,尽可能避免有重复的指标,简化统计。
可比性——保证选择指标口径的一致性,便于横向、纵向比较。只有比较才能发现方案的优势和劣势所在,然后进行相应改进。
动态性——随着环境的变化和技术、实践的发展,企业信息化方案当然也要作出相应的改进。所以,评价指标体系要反映出企业在信息化过程中的变化,并作调整。
全面性——指标体系的设置应尽可能从多个角度来分析比较,防止片面性。比如:要考虑短期利益和长远利益,考虑企业中信息设备的拥有量及技术含量、设备的利用效率和信息流的通畅以及企业信息化化的可持续发展潜力。
2.2指标体系构建
综上所述,在充分考虑制造业企业的内涵、特点和信息化发展的前提下,依据评价指标的选取原则,制造业企业信息化成熟度的评价指标体系主要包含业务流程合理程度、企业信息化基础设施建设水平、企业信息系统应用水平三大块内容,这三大块作为指标体系的三个一级指标,每一块均有对应的二级指标。如左图所示。
3制造业企业信息化成熟度评价指标体系分析
3.1业务流程合理程度
业务流程对制造业企业来说是至关重要的,业务流程的清晰化、标准化、连续化深刻影响着制造企业的发展,是制造业企业信息化实施的基础。业务流程合理度可以从管理制度和流程规范两方面来衡量。管理制度描述业务流程在企业内的重视程度以及是如何考核的,可以用信息化重视度、管理层合理度和考核程度来进行度量。信息化重视度反映了企业对信息化的重视程度和信息化战略落实情况,管理层合理度反映企业在决策层、管理层和执行层的职责合理分配,而考核程度反映定性、定量地全面考核岗位承担工作的程度。
3.2企业信息化基础设施建设水平
企业信息化基础设施建设是企业信息化的物质基础,也是发挥信息资源作用的必要前提。因此,信息基础设施建设是当前进行企业信息化水平测度的重要标准。本文遴选了计算机硬件及内部局域网建设、企业接入互联网情况、网站建设水平三个方面作为企业信息化基础设施建设水平的衡量指标。其中网站建设水平可由网站建设情况、主机托管情况、网站服务水平、网站更新情况四个次级指标来反映。
3.3企业信息系统应用水平
企业信息系统应用状况是反映企业信息化水平的最重要的因素,是企业信息化评价的核心内容,其考核指标为:CAD/CAM应用水平、ERP系统应用水平、电子商务应用水平、Internet应用水平、系统间信息共享程度、信息化对决策的支持程度、与供应链上下游合作企业的系统衔接能力七个方面。
篇10
物流业作为一种新型行业,越来越受到重视,物流已经成为节约成本的一个重要源泉,它被人们誉为继原材料,人力成本之后的第三利润源泉。正因为如此,许多物流企业纷纷提高物流服务质量,提升顾客的满意度,借此吸引更多的顾客。物流活动往往是跨地区、跨部门、跨行业、跨企业协作进行的,但是对物流企业的服务要求一般限制在服务信誉、服务价格以及交货时间和地点上。同时物流企业也要密切关注顾客的潜在需求及需求变化的发展趋势,以便对物流企业的服务范围进行及时的调整。
服务质量是企业生存的灵魂,具体地说,它既是物流企业营销的基础,也是物流企业营销的核心。深刻理解和认识服务质量,对于物流企业开展营销活动具有重要意义。纵观我国这几年第三方物流企业的发展,越来越多的物流企业开始重视服务质量的管理。特别是我国全面人世后,将与许多“洋公司”开展物流竞争,如何减少自己的物流成本,提高服务质量成为许多学者研究的课题。我国自实施国际质量标准化后,给物流企业的服务质量提出了产品质量检验的认定方案。尽管这仅仅只是广系列的文件规定和条款,但是我们必须把它制度化、数据化、结构化。此时,有效的物流服务绩效衡量和控制对供应链上各企业的监督和合理配置是非常必要的。为此,对第三方物流服务质量进行准确的评估和控制便显得更为重要。
国内有关物流服务质量的概念是指企业为了满足顾客(包括内部和外部客户)的物流需求,开展的一系列活动的结果。企业如果要想扩大市场份额,提高市场占有率,争取更广大的客户群才是一种有效途径。服务质量的提高,满足顾客的基本期望,甚至是超越顾客期望,才能吸引更多的客户进入到该企业当中。
物流服务质量包括以下三个要点:拥有顾客所期望的产品,在顾客所期望的时间内传递商品和符合顾客所期望的质量。国外关于物流服务质量的定义是建立在顾客满意度的基础上,对于物流服务质量最新的研究是美国Tenessee大学2001年的研究结果。他们通过对大量第三方物流企业的调查,从顾客满意度的角度出发建立了5个指标:人员沟通质量,订单释放数量,订购过程,货品精确率,货品完好率指标来衡量物流企业的顾客服务质量。我国关于物流服务质量的指标体系有许多种,大致为:服务水平指标,满足程度指标,交货水平指标,交货期质量指标,商品完好率指标等。本文将建立一套物流企业服务质量评价指标体系,并给出了该指标体系的仿真验证。
2 物流企业服务质量评价指标体系建立
物流企业通过与各产业结合,消除了由原材料、零部件和产品的大量库存所带来费用的浪费及风险,消除由层次复杂的商品分销网所造成的高成本、高风险,通过现代信息技术和快捷的运输手段实现资源采购、营销全球化,以优化的生产营销模式获得最佳投资回报。然而,随着物流企业的优越性越来越被广大企业所认可,越来越被社会所接受,越来越多的物流服务公司如雨后春笋般层出不穷。这一方面使可供选择的对象众多,另一方面每个物流服务公司受其自身资源的限制及环境的影响,又有其各自的缺陷,这就为企业选择物流服务公司带来了一定困难。由于现阶段我国物流企业还处于初步发展阶段,对物流企业的评价大多停留在其质量和价格上。而在供应链环境下,对物流服务的要求是全方位的,不仅要从其提供的物流服务本身的好坏来衡量,还要体现出其对整个供应链体系的适应性和协调性。因此,全面评价物流企业是十分迫切和必要的。为此,本文从供应链环境下物流企业的特性出发,建立综合评价指标体系,采用结合分析的统计评价方法,对物流企业进行比较全面的评价,为我国企业选择物流企业提供借鉴作用。
将有关物流企业服务质量的评价指标分为四类。第一类是按照物流的质量目标分为准时率、准确率、货损率、事故赔付率、完整性、伤害性等方面;第二类是按照物流的价格分为基本价格、批量折扣、价格正常率等方面;第三类是按照物流的能力分为专业性、沟通性、反应性、灵活性、透明度、可靠性和柔性化等方面;第四类是其他:企业信誉、企业责任感、企业品牌效应、技术能力、企业规模、设施装备、物流人员水平。在设计评价指标时,要遵循以上系统全面性、可操控性、可比性以及可拓展性的原则,选择有代表性的物流系统特征值指标组成系统化的评价指标体系。为更加简单直观的了解,我们建立第三方物流服务商评价指标体系,如图1所示。
物流作为第三利润源泉对企业成本降低或效益增加的贡献已逐步被多数企业所重视,而其中第三方物流的实施便是实现上述目标科学便捷的重要途径。第三方物流服务商可以使供应链运作更高效,更好地为企业提供专业的物流服务,成为供应链中可信的合作伙伴。因此,如何选择合适的第三方物流服务商就显得尤为重要。物流企业可以根据以上的统计评价指标体系,结合本企业的物流业务特色进行企业服务质量有关绩效的考核。为企业在竞争激烈的环境中如何增加业务种类、提高生存能力,如何满足客户的复杂业务需求提供决策依据。以下就一家第三方物流企业如何运用物流企业服务质量评价指标体系方法,提高服务质量为案例进行服务质量评价指标的分析。
3 服务质量评价指标在中海物流有限公司的应用
3.1应用背景
中海物流有限公司为了评估客户的偏好程度,以帮助企业确定哪种类型的服务主要影响客户对业务的偏好以及服务水平的哪种组合最受客户欢迎。
首先,根据服务质量评价指标设计调查项目以便为案例收集有价值的信息,见表1。
其次,从以上的调查项目中根据权重选择18种组合方式提交给七位客户。依据客户提供的次序,最喜爱的商品具有最小的次序。建立评价排序表,见表2。
最后,根据以上调查表回收的数据进行信息处理。数据分析表见表3。
3.2研究方法
本文采取市场研究中主要用于评估消费者和可能消费者的偏好和选择的结合分析方法。结合分析用于评估消费者的偏好分析方法。如果产品被认为是由一些属性构成的,那么结合分析可用于确定哪些属性水平的哪种组合是最受消费者欢迎。消费者商品的这些假定等级(次序)号码来批示他们的偏好。市场研究假定消费者购买商品是通过商品属性进行比较判断的。
它的研究对象:通过对商品偏好选择对应的比率或等级,用于评估消费者对商品各种属性水平组合的偏好。
以下是进行结合分析能够回答的一些问题:
对于消费者来说每个商品属性的重要性如何?
消费者偏爱哪些已存在的商品?
消费者最偏爱的商品属性组合是什么?
在当前市场中我的商品定位在哪里?
结合分析的商业应用主要是竞争分析,包括假设情景分析和市场占有率的模拟研究。结合分析具有明显的优越性:
对消费者在属性之间权衡利弊做出购买决策的方式,可用更为准确的模型来表示。
对属性的相对重要性提供更好更接近真实的估计。
可以提供给研究人员一种理想的假设的产品,它是由属性的某些特定水平组合构成的客户所最偏好的产品。
3.3分析工具
本文利用SAS软件作为结合分析方法的软件工具。
在市场研究方法中可同时分析几个属性的能力将表现出结合分析的特色,这里每种属性被分开进行研究。结合分析可帮助你看出客户在可能的属性组合中是如何进行交易的。通常情况下,结合分析是由有序尺度因变量的主效应方差分析组成的。偏好被视为因变量,而商品的属性被视为自变量。分析的目的是确定关于客户可能使用的物流企业服务项目,每种属性对客户偏好影响的重要性。
3.4结论