科研项目实施的经验总结范文
时间:2024-03-26 17:43:26
导语:如何才能写好一篇科研项目实施的经验总结,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
1材料与方法
1.1检索
1.1.1电子数据库选择检索中国科技期刊数据库(维普,VIP),中国知网数据库(CNKI),中国科技论文与引文数据库(万方,CSTPCD),中国生物医学文献数据库(CBM),检索年限从数据库创始至2010年8月,中文检索词采用:“科研项目、评估方法和评估体系”,英文检索词采用“medicalresearch,management,as-sessment,evaluation”。根据不同数据库的特点制定检索策略进行检索。
1.1.2手工检索手工检索《中华医学科研管理杂志》中关于研究项目评估方法的文献。
1.1.3网络搜索采用Google高级搜索功能,在官方网站上搜索关于医学科研项目评估方法相关的信息。
1.1.4其他检查纳入文献的参考文献,从题目判断是否符合纳入标准,如不能从题目判断是否相关,则获取全文后决定是否纳入。咨询相关领域的专家或管理人员,询问医学科研项目评估方法相关问题。
1.2文献筛选和数据提取由两名研究者独立筛选文献和提取数据,不一致的地方讨论后解决。如果讨论后仍不能达成一致,则请第三方裁决。数据提取采用统一的数据提取表格,但根据文献类型和内容有所不同。主要分两个部分:建立评估指标体系和选择评价内容,前者包括:评估指标筛选、评估指标确定、指标值的标准化和权重分配方法;后者包括立项评估、项目过程评估、项目验收评估和项目绩效评估。
1.3数据分析对个案报告或经验总结的文献采用主题分析方法的定性分析方法,提炼各评估方法或措施的主要内容和核心词汇,将不同科研项目评估方法纳入确定的主题下。对相同或相似的措施合并,或用能涵盖两者意义的词语代替。
1.4研究质量评价采用2006年中国循证医学中心针对管理领域的证据分级标准,反应本研究提供的证据强度[2]。
2结果
2.1筛选结果共检出65篇文献,经筛选后最终纳入17篇文献[3~19],其中立题评估5篇,过程评估3篇,验收评估2篇,成果评估4篇,全程评估3篇。证据等级方面,有两篇文献为综述或专家经验介绍,属D级证据[12,15],其他有明确的研究方法,属C级证据。
2.2建立评估系统的方法科研项目评估较常用的是德尔菲法和综合评价法。指标的筛选及选择主要采用下面两种途径实现:①专家评议法:根据指标的重要性打分,按加权总分值从大到小排序来取舍指标。②现场调查法:通过一定数量的样本调查对备选指标进行实际测量,再对各项备选指标的实测值做统计处理,根据统计分析的结果筛选指标。常用的分析方法有:变异系数法、相关系数法、多元回归法、主成分分析法、因子分析法、聚类分析法及判别分析法。指标评价标准的确定:①使用上级部门提出的各项标准与要求。②参考有关机构提出的有关目标与指标;③根据历史上一段时期的指标值,经统计处理而获得评价标准,即根据被评价样本的均值或最优值为标准。指标值的标准化要采用累计概率法、指数法、线性插值法、等级划分法对指标值进行量化处理。确定指标的权重,处于不同层次水平的各项指标,在整个指标体系中的贡献并不相等,根据各指标在评估中的重要程度,科学、合理地确定每一项指标的权重是保证指标体系在评估中切实可行的关键。可通过直接经验法、特尔菲法、百分权重法、层次分析法、排序法、连环比率法和集值迭代法。其中百分权重法和层次分析法是较为常用的确定权重方法。综合评价方法主要有加权求和法、单纯求积法、对数形式的加权平均法、几何平均法、分组乘积求和法(综合指数法)、分组相加求积法(综合系数法)、模糊数学综合评判法、交叉积差法和Ridit法等。各种综合评价的方法都有其优缺点和适用条件,在实际应用中根据具体情况选择使用。
2.3评估内容5篇文献介绍了立题评估的方法[4,7,10,11,14]。立项评估按照公开、公平和竞争的原则,对科研项目进行的评判活动。主要内容包括:立项的必要性、研究目标及技术路线的可行性、成果的应用前景、课题实施的人员、设备及组织管理等条件。总的来说立项评估就是通过对项目的立题依据、研究方案、研究基础、研究队伍及经费等的评价,来反映项目是否具有科学性、创新性、可行性和实施的必要性。3篇文献介绍了过程评估的方法[12,17,18]。项目过程评估为了解、控制并及时对项目进行调整,管理部门或人员必须跟踪项目进展并对其进行评估。过程评估是根据项目需要而进行。由于缺乏及时的项目信息交流手段和有效的监控办法,管理部门难以掌握项目的动态情况,使得过程评估成为科研项目评估的难点。项目实施过程中的评价和调控仍是我国科技项目管理中的薄弱环节,也是容易被忽视的环节[1]。2篇文献介绍了验收评估的方法[5,19]。在项目结束后进行,主要根据项目任务书的内容做最终结题检查。各种科技计划及基金项目都有明确的要求,如国家自然科学基金项目结题报告包括研究计划执行情况、研究工作主要进展和所取得的成果、国内外学术合作交流与人才培养情况、经费使用情况的说明、存在的问题、建议及其他需要说明的情况。4篇研究介绍了绩效评估的方法[3,6,8,10]。项目绩效评估多在项目结束一定时间后进行,一般以投入产出来评价项目的绩效,投入指人力、物力、财力和信息资源,产出包括论文论著、人才培养、科学成果、发明专利和技术服务等。由于该系统多指标量化困难,实际评估中多以易获得的指标来分析投入产出,投入指标常为人力和经费,前者包括学历、职称等,产出为科研成果、鉴定成果、论文论著、人才培养、专利及学术交流,通过构建投入产出分析系统,来量化评估项目绩效。有研究试图从社会效益和经济效益方面进行评价。3篇文献介绍了同时对两个以上环节进行评估[13,15,16]。
3讨论
本研究采用循证医学系统评价的原理和方法,全面总结了科研项目评估不同环节的评估方法和评估体系。虽然科研项目评估一直受到管理科学研究者的关注,但还存在以下问题:首先在科研项目管理中,人们更关心投入-产出比,对项目进展与中间过程关注不够。如何掌握项目动态情况并对项目实施过程进行监督和评估是科研管理部门急需重视和解决的问题。其次采用综合全程评价的方法较少,没有从项目整体评估思路、项目管理决策的角度看待评估问题。项目评估是一个整体,应将项目选择、项目阶段评估、项目绩效评估有机地联系起来,从而把握项目的全貌,做出更为客观的评价。再则,目前科研管理的量化评估研究仍是难点,在评估中如何减少主观性增加客观性,至今尚无公认的评价方法和模式。评估活动趋向于提高量化程度,但定性指标定量化处理缺乏严密的边界限定,仍受主观因素的影响。虽然有新的方法试图减少主观因素的影响,如模糊数学模型和不精确信息模型,但仍不能很好地解决主观性问题。因此客观量化方法也不能完全取代主观评估,需用非定量的方法评价科研工作的水平及价值。因此,正确处理定量评价与定性评价的关系也是科学评估中必须重视的问题。本研究纳入文献证据等级按2006年中国循证医学中心针对管理领域的证据分级标准多数研究有明确的研究方法,但缺乏系统评价或政府法律文件等高级别证据。本研究虽全面总结分析关于评估医学科研项目方法,但实际工作中科研项目评估常由科研管理机构执行,有些评估方法可能以政府文件或报告的形式出现,而未发表,所以仍有部分研究未能纳入。本研究未发现不同评估方法相互比较的研究,不能确定不同评估方法的优劣,为使用者提供推荐意见。
篇2
世界经济的发展,特别是发达国家的经济发展,主要依靠科技创新和技术进步。科学技术在经济发展中的地位日趋重要,随着知识经济的兴起,世界各国之间的竞争愈演愈烈,国家竞争的焦点已转向有效地占有和支配科技资源。因此,世界各国纷纷调整科技政策,将科技发展目标与经济发展目标紧密结合,强调科学技术为提高综合国力、增强竞争力、维护国家安全服务,每年投入大量资金直接资助或间接引导相关科技项目的开展。科学研究活动也从早期是一种科学家及相关学术团体的兴趣性活动,变成为由政府直接领导和支持的一项社会事业,并肩负着国家发展的战略使命。在这种情况下,对科学研究工作进行评价也不再是科学家相互之间的一种个人监督和促进行为,它已成为政府参与和支持科学技术发展的重要手段。由于科学技术本身的迅速发展和复杂度的大幅提高,科学活动的成本不断上涨。要想进行所有领域的科学研究,并保持全面的竞争优势,即使对于发达国家,其经济实力也不能承受。有鉴于此,有必要加强对科学研究活动的监督和控制,特别是对于国家投资开展的科技项目,必须在项目实施的全过程实施高质量的评估,达到确保有限科技资源用于完成最符合国家利益的科研活动的目的。
2 国外科技评估活动的实践总结
2.1 重视科技评估制度建设是各国政府开展科技评估活动的前提
制度化是当前国际科技评估活动的趋势之一,科技评估不同于一般的研究活动,制度建设是科技评估活动健康发展的基本保障条件。世界各国制度建设的方式各不相同,有的以法律,有的以部门法规,有的则以行业规范的形式来进行制度建设。但经过多年的评估实践和努力,都建立了适合自己国情的科技评估体系和相应的保障制度,使科技评估活动成为一项制度化、经常化的行为,成为政府管理决策过程中不可缺少的环节。
作为科技大国,美国是使科技评估活动制度化最早的国家。上世纪初,美国成立了国会服务部,它所进行的与科技有关的研究、分析和评估可以认为是科技评估制度的雏形。然而,科技评估工作在美国的大范围开展是在二战以后。1993年美国第103届国会颁布了“政府绩效与结果法案”(GPRA)。根据GPRA的规定,科技评估的概念与制度、美国国会一级的有关科技评估机构的作用、功能、权力和责任都有明确的法律条文予以确定。此外,日本的《科学技术基本法》(1995)明确了科技评估的地位,《科学技术基本计划》(1996)和《国家研究开发实施办法指南》(1997)提出了建立开放型研究评价体制的基本框架,规定日本科技评估机构不能随意设立或撤销;1985年法国政府做出规定,在没有经过评估之前,任何国家科技计划项目都不能启动。法国议会评价局、国家研究评估委员会,前者通过法律创建,后者由部长会议通过政令任命,评估委员会的任期,评估对象的确定,评估报告的公布,都有相应的法律和制度规定;韩国、澳大利亚等国也规定,凡开展科技计划评估活动,均需依据有关法律设立机构,遵照法定程序进行工作,出具评估结论和向有关单位反馈结果。
2.2 提高科技管理质量和公众的监督是各国政府开展科技评估活动的动因
之所以用立法的形式来规定科技评估制度,是因为各国政府在用国家财政收入资助科学研究项目的实践中,意识到随着科技发展的复杂化,科技研究活动的规模日益庞大,它需要越来越有效的协调、管理和监督来提高科技管理工作的质量和效益。另外一个原因就是来自于社会公众,特别是纳税人的监督需要,他们关心政府的科学研究投资是否与国家目标一致,资金使用是否有效。在这种背景下,科技评估作为科学管理的一项重要内容和手段,成为了制度化、经常性的工作,各国政府纷纷建立了科技评估机构。
一个明显的例子是日本。1955年日本经济开始起飞时,为了在较少的财政预算下尽可能多提高科研活动的产出,日本政府和企业把科技评估作为管理和推进科学研究活动的重要手段。根据产业发展和技术引进情况,开展各种科技评估工作,从而对日本经济的快速发展起了重要作用。在进入上世纪80年代后,科学研究活动日益复杂,政府科技管理工作的质量亟待提高,科技评估再次受到日本朝野各界重视。1983年日本政府决定设立国家级的科技评估机构,在科学技术会议政策委员会设科技评估分会,其职责是对科技振兴调整费资助的项目进行前期、中期和后期评估。同时日本政府所制定的R&D评价方法指南也强调通过对R&D内容与工作绩效的恰当评价,建立能够充分发挥研究人员创造能力、开放、灵活和富于竞争性的R&D环境。日本所建立的开放型研究评价体制,使科技评估发展到一个新的阶段。
2.3 科技评估能力建设是各国开展科技评估活动的重要保证
充分重视并保证评估质量是各国评估活动顺利开展的前提,这就需要不断进行科技评估能力建设。它包括:
1.制定评估规范。通过多年评估实践,各国的评估机构都建立了专业的评估规范。规范要求:从事评估活动的人员必须具备一定的资格和能力;评估活动的设计和实施必须符合规范要求;评估方法的合理性对使用数据的可靠性都要经过论证;评估结果的局限性必须加以说明等等。如美国、韩国在科研项目指南的同时对评估的程序、方法和组织都加以说明。
2.人力资源的建设。由于专家评议是各国普遍采用的科技评估形式,因而各国十分重视专家网络的建立和严格选择专家。评估能力建设是各国评估机构十分重视的长期任务,加强评估专家与科学家、管理专家的沟通,加强评估领域的国际交流,探索新评估方法,培训评估人员,使评估机构成为一个学习的组织,不断实践,不断创新。
3.加强理论研究。对于科技评估模式与方法的研究一直是各国进行科技评估理论研究的重要内容。目前用的较多的是定性定量相结合的分析方法,即在专家评议的基础上,结合科学计量学、经济计量学方法。由于评估对象的复杂性,目前没有哪一种方法,解决所有的问题,每一种评估模型只能适用于特定的环境、特定的评估对象和特定的评估目标,并各有其优缺点。
2.4 各国间科技评估活动的交流日益密切
联合国开发计划署的评估办公室(UNDP EO)在领导成员国开展科技评估活动方面扮演了重要角色,不定期地组织或赞助科技评估国际交流活动的开展。如联合国开发计划署的评估办公室在APEC成员国中定期开展国际会议、国际培训等活动。
一些非政府的评估协会,也纷纷活跃在科技评估国际交流的舞台上。在美国、加拿大、澳大利亚、新西兰等国都成立了评估协会。这些协会的成员主要来自政府各个部门的评估官员、研究机构或大学的专家教授和一些开展评估服务的咨询公司代表组成。比较活跃的组织包括美国评估协会(American Evaluation Association)、澳大利亚评估协会(Australasian Evaluation Society),他们定期开展国际会议,并提供相关培训和评估服务,为各国致力于科技评估工作的工作者提供了交流的场所,他们的活动也得到了联合国开发计划署评估办公室的支持。
3 对我国科技评估工作的借鉴
我国科技评估活动起步晚,始于1994年,它的建立和发展是我国的科技管理体制的改革相适应的,主要由科技部国家科技评估中心以及各个部委的相关部门来承担各自领域的科技评估工作。经过几年的不断实践和经验总结,我国的科技评估工作取得了可喜的成果,但也有不足和值得思考的地方。在分析和了解国外科技评估活动的特点和经验后,可以从以下几个方面加强和改进我国的科技评估工作。
3.1 对科技评估制度给以立法保障
要使科技评估做到制度化、规范化和经常化,需要国家在立法上给以保障。目前,科技部颁布了有关科技评估制度的部门法规用以约束科技部系统内的科技评估工作。我国需要借鉴这些先进国家的经验和做法,通过完善立法、提高科技评估立法的层次,使科技评估工作和对政府财政支出的绩效的监督工作结合起来,制定一部跨部门的法律,使科技评估工作走上制度化、规范化和经常化的道路。
3.2 评估过程必须保持高度的独立性
国外评估研究和评估实践的经验表明,评估的独立程度越高,评估结果的可信度也越大。我国在评估的实践中应借鉴国外的经验,在评估时做到:让评估负责者有充分的权力;让评估管理者尽可能向最高管理层次汇报;让评估执行者独立于接受评估的研究单位,最好还能独立于实施评估的机构。以避免干扰,达到最佳评估效果。
3.3 加强评估队伍和组织建设
科技评估活动是一项要求很高的专业工作,需要有一支长期、稳定、受过系统专业培训的工作队伍和健全的组织机构。建立健全国家、地方和部门三级的科技评估组织体系是顺利、高效实施科技评估工作的组织保障。同时应当优化评估人员的结构,评估人员不能由单一的技术专家和理论学者组成,应当根据项目的类型和特点,应注意吸收经济专家、管理专家和未来的使用者广泛磋商,使科技研究与使用紧密结合,不要将研究和产业化脱节。
3.4 加强评估方法的使用研究
目前用于科技评估的方法较多,这些方法互为补充,但是每种方法都有一定的适用范围,它们经常需要结合起来使用。例如对于基础研究,同行评议是目前国际公认的较为适宜的方法,但由于文献计量等定量指标能够为专家进行评议提供数据参考,所以二者也经常结合起来使用,如德国的现场同行评议就经常在较多定量数据的统计基础上进行。
3.5 注重评估资源建设
首先加强评估人力资源建设,在实践中培养合格的评估专家,发现合适的咨询专家,建立专家资源库。其次加强评估研究资源建设,收集国内外科技评估的最新理论和实践经验,广泛开展国际交流,出版专业杂志,建立相关的科技评估专业协会和各种数据库。最后加强多层次的评估组织资源建设,综观国外科技评估组织机构的组成情况,一般分为政府组织和非政府组织两大类,而我国目前在这方面的建设和实践刚刚起步,主要是政府组织,需借鉴国外的经验加强我国的评估机构建设。
【参考文献】
[1] Mushin Lee. Evaluation of National R&D Projects in Korean[J].Research Policy, 1996,(25):805-818.
[2] Chubin D E.Grants Peer Review in Theory and Practice [J].Evaluation Review, 1994,(18):20-30.
[3] Koftoff R N.Evaluating Federal R&D in the United States[A].B Bozeman J Melkers Evaluating R&D Impacts:Methods and Practice[C].Kluwer Academic Publishers,1993.163-178.
[4] Chubin DE. Hackett Edward J. Peerless Science: Peer Review and US.Science Policy[M].Albany:New York,State Univeristy of New York,Press, 1990.
[5] Robert McDonald ,George Teacther. Science and Technology Evaluation Practices in the Government of Canada[Al. Report Presented in OCED Conference on Policy Evaluation in Innovation and Technology[R].Paris, France, 1997.
[6] Masayuki Kondo.R&D Evaluaton in Japanese MITI[A]. Paper Presented in APEC Symposium on Evaluation of S&T Programmes Among APEC Member Economics[C]. Wellington,New,Zealand, 1998.
[7] Jacques Toulemonde. Scientific Deirector of the Center for European Evaluation Expertise [A]. Paper Presented in International Conference on Evaluation "Capacity Development[C].Beijing, China, 1999.
- 上一篇:经济纠纷调解注意事项
- 下一篇:防洪防汛工作应急预案