人工神经网络的优缺点范文
时间:2024-04-01 18:16:36
导语:如何才能写好一篇人工神经网络的优缺点,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
1.1人工神经网络研究简况
1943年,生理学家W.S.McCulloch和数学家W.A.Pitts首次提出二值神经元模型。半个世纪以来人们对神经网络的研究经历了五六十年代的第一次热潮,跌人了70年代的低谷;80年代后期迎来了第二次研究热潮,至今迭起,不亚于二战期间对原子弹研究的狂热。
人工神经网络是模仿生物脑结构与功能的一种信息处理系统。作为一门新兴的交叉学科,人工神经网络以其大规模并行结构、信息的分布式存储和并行处理,具有良好的自适应性、自组织性和容错性,具有较强的学习、记忆、联想、识别功能气引起众多领域科学家的广泛关注,成为目前国际上非常活跃的前沿领域之一。
1.2人工神经网络的基本模型及其实现
1.2.1人工神经网络的基本模型人工神经网络的基本模型见表1?
1.2.2以误差逆传播模型说明人工神经网络的实现人工神经网络中应用最多的是误差逆传播(ErrorBack-Propagation)网络,简称BP网络,从结构讲’BP网络是典型的多层网络,分为输入层、隐含层和输出层3层,层与层的神经元之间多采用全互连方式,而同层各神经元之间无连接,见图1。BP网络的基本处理单元(输入层单元除外)为非线性输人-输出关系,一般选用S型作用函数f(x)=l/(1+e-当给定网络一个输人模式时,它由输人层单元传到隐含层单元,经隐含层单元逐层处理后再送到输出层单元,由输出层单元处理后产生一个输出模式。这是一个逐层状态更新的过程,称为前向传播。如果期望输出与实际输出之间的误差不满足要求,那么就转人误差反向传播,将误差值沿通路逐层传送并修正各层连接权值(w1,W2),这是一个逐层权值更新的过程,称为误差反向传播过程。随着2个过程的反复进行,误差逐渐减小,直至满足要求为止。
2常用人工神经网络模型的应用分析
当前,人工神经网络方法主要应用于有机有毒化合物毒性的分类及定量预测、对不同污染物生物降解性能的预测、单要素环境质量评价、环境质量综合评价、环境预测、环境综合决策等方面。
2.1预测性能的分析
以BP网络为例,就近两年来应用BP网络进行预测的成功研究来看,人工神经网络的预测性能得到了充分的肯定。
1997年,刘国东等141应用BP网络建立的雅砻江和嘉陵江流域气温、降水和径流之间关系的网络模型,具有较高的拟合精度和预报精度,并具有精度可控制的优点。计算结果同国内外研究成果的一致性表明,用BP网络分析、研究气候变化对一个地区(或流域)水资源环境的影响是一种新颖、有效的方法。
王瑛等w指出,当外界环境和系统本身性质发生剧烈变化时,BP网络能提供一种有效的方法来更新模型,实现新旧模型之间的转换。他们利用最近12年(1981~1992年)的环境经济数据对2000年环境指标进行了预测,并根据预测结果对未来的环境对策进行了分析。这为解决环境预测的模型问题提供了一条新思路。
张爱茜等用人工神经网络预测含硫芳香族化合物好氧生物降解速率常数和孙唏等⑺对胺类有机物急性毒性的分类及定量预测的结果都说明了,人工神经网络作为一种非线性模型预测能力大大优于多兀线性回归模型。
2.2 评价性能的分析
人们在环境评价中主要应用了BP网络、Hopfield网络、径向基函数网络等模型,并不断地改进应用方法,对其在环境评价中的性能进行比较研究》李祚泳的研究结果表明BP网络用于水质评价具有客观性和实用性。刘国东等?改进了BP网络的应用kf法,并比较了BP网络与Hopfield网络在水质综合评价中的性能。他们指出Hopfield网络采用模式(图象)联想或匹配,既适用于定量指标的水质参数又适用于定性指标的水质参数,而且使水质评价形象化,因此更优于BP网络.郭宗楼等将径向基函数人工神经网络(RBF—ANN)模型应用于城市环境综合评价,结果-表明RBF网络不仅具有良好的推广能力,而且避免了反向传播那样繁琐、冗长的计算,其学习速度是常用的BP网络无法比拟的。郭宗楼等[|11又以三峡工程为背景,把该模型应用于水利水电工程环境影响综合评价的人工神经网络专家系统中,与分级加权评价法相比较具有更高的推理效率。
环境科学研究的问题,如环境污染、生态破坏、自然灾害、资源耗竭、人口过量等等,无一不是在某种程度上损伤或破坏了人——环境的和谓。人——环境关系有着自身的变化规律,是可以进行科学量度的。显然这一M?度是多方位、多因素的非线性评价问题,至今尚未建立起一种适当的评价模型,我们是否可以借鉴人工神经网络的应用优点,考虑建立基于人工神经网络方法的评价模型。
篇2
信用评分模型作为信用风险管理的基础和核心,无论是对于建立社会征信体系还是对于金融机构的信贷资产管理,都有着不可替代的作用。其主要目的,在于尽量将能够预测借款人未来行为的指标加以整合,并统一成可以比较的单一指标,以显示借款人在未来特定时间内违约的可能性,所有的信用评分模型,无论采用什么理论或方法,其最终目的都是将贷款申请者的信用级别分类。为达到分类目的。当前,对个人信用评分模型的定义有多种,较为权威的种观点认为:“信用评分是预测贷款申请人或现有借款人违约可能性的一种统计方法。”这一观点指出了信用评分的作用和目的,不过随着信用评分模型的不断发展,信用评分已不仅是一种统计方法,也包含了运筹学,如数学规划法、非线性模糊数学(如神经网络方法)等。此外,信用评分的实际操作应用也与决策原则紧密相关,决策原则事实上决定了信用评分模型实现其目的和作用的程度。因此,对个人信用评分模型这一数学工具在金融和银行业中的应用来说,较为全面和恰当的定义应是,“信用评分是运用数学优化理论(包括统计方法、运筹方法等),依照即定原则或策略(损失最小原则或风险溢价原则),在数据分析决策阶段区分不同违约率水平客户的方法。
二、各类信用评分模型概述
1.判别分析模型
判别分析法是对研究对象所属类别进行判别的一种统计分析方法。进行判别分析必须已知观测对象的分类和若干表明观测对象特征的变量值。判别分析就是要从中筛选出能提供较多信息变量并建立判别函数,使推导出的判别函数对观测样本分类时的错判率最小。这种方法的理论基础是样本由两个分布有显著差异的子样本组成,并且它们拥有共同的属性。它起源于1936年Fisher引进的线性判别函数,这个函数的目的是寻找一个变量的组合,把两个拥有一些共同特征的组区分开来。
判别分析方法的优点:适用于二元或多元性目标变量,能够判断,区分个体应该属于多个不同小组中的哪一组。自身也存在不可避免的缺点:该模型假设前提是自变量的分布都是正态分布的,而实践中的数据往往不是完全的正态分布,从而导致统计结果的不可靠性。
2.决策树方法
决策树模型是对总体进行连续的分割,以预测一定目标变量的结果的统计技术。决策树构造的输入是一组带有类别标记的例子,构造的结果是一棵二叉或多叉树。构造决策树的方法是采用自上而下的递归构造。在实际中,为进行个人信用分析,选取个人信用作为目标属性,其他属性作为独立变量。所有客户被划分为两类,即好客户的和坏客户,将客户信用状况转换为“是否好客户”(值为1或0),而后利用数据集合来生成一个完整的决策树。在生成的决策树中可以建立一个规则基。一个规则基包含一组规则,每一条规则对应决策树的一条不同路径,这条路径代表它经过节点所表示的条件的一条链接。通过创立一个对原始祥本进行最佳分类判别的决策树,采用递归分割方法使期望误判损失达到最小。
决策树模型的优点:浅层的决策树视觉上非常直观,容易解释;对数据的结构和分布不需做任何假设;可以容易地转化成商业规则。它的缺点在于:深层的决策树视觉上和解释上都比较困难;决策树对样本量的需求比较大;决策树容易过分微调于样本数据而失去稳定性和抗震荡性。
3.回归分析法
回归分析法是目前为止应用最为广泛的一种信用评分模型,这其中以著名的logistic回归为代表。除此之外,线性回归分析、probit回归等方法亦属于此类。最早使用回归分析的Orgler,他采用线性回归模型制定了一个类似于信用卡的评分卡,他的研究表明消费者行为特征比申请表资料更能够预测未来违约可能性的大小。同数学规划方法中一样,假设已经通过一定的方法从样本变量中提取出了若干指标作为特征向量,回归分析的思想就是将这些指标变量拟合成为一个可以预测申请者违约率的被解释变量,自然就是违约率p,回归分析中应用最广泛的模型当属线性回归模型,它是对大量的数据点中表现出来的数量关系模拟出一条直线,回归分析的目标就是使目标变量值和实际的目标变量值之间的误差最小。因此最早将回归方法应用于信用评分研究的模型,就是简单的线性回归模型,目前基于logistic回归的信用评分系统应用最为普遍。
回归模型的优点:容易解释和使用;自变量可以是连续性的,也可以是类别性的;许多直观的统计指标来衡量模型的拟合度。缺点:不能有效处理缺失值,必须通过一定的数据加工和信息转换才能处理;模型往往呈线形关系,比较难把握数据中的非线形关系和变量间的互动关系,而且模型假定变量呈正态分布;模型受样本极端值的影响往往比较大。
4.人工神经网络法
近些年来,随着信用评分领域的研究深入,有学者将人工智能领域的一些模型算法引入到了信用评分研究中,人工神经网络模型为典型代表。人工神经网络是由大量简单的基本元件——神经元相互连接而成的自适应非线性动态系统,是一种把各种投入要素通过复杂的网络转换成产出的信息加工结构。神经网络模型本质上所解决的问题仍是分类或者说模式识别问题,但其原理却与其做方法迥然相异。人工神经网络有多种模型,比如BP神经网络、RBF神经网络、Hopfield网络等。BP神经网络为目前研究最为成熟、算法最为稳定同时应用也最为广泛的一种神经网络模型。
神经网络模型的优点:有效地捕捉数据中非线性,非可加性的数量关系;适用于二元性,多元性和连续性的目标变量;能处理连续性和类别性的预测变量。缺点:基本上是一个黑箱方案,难以理解;如果不经过仔细控制,容易微调于样本数据,从而不具备充分的抗震荡性和稳定性。
三、结语
信用评分作为一种严谨的基于统计学等理论的决策手段,正在逐渐被我国商业银行重视。信用评分系统的建设在我国属于起步阶段,应逐步建设适合我国特色的、高水平的信贷决策支持制度不但需要借鉴国外已有的理论研究成果和实践方案,更需要我国学界的创新或结合我国本土数据的实证研究。
参考文献:
[1]陈建:信用评分模型技术与应用.中国财政经济出版社,2005
[2]郭敏华:信用评级.中国人民出版社,2004
[3]孙薇:浅析信用风险评价方法.沿海企业与科技,2005
篇3
关键词:供应链绩效;评价方法;层次分析法;模糊评价
1 序言
供应链绩效评价是供应链管理的关键内容,它联结着供应链仿真与供应链构造,供应链运行与供应链优化。决策者只有通过持续不间断的供应链绩效评价,才能对供应链运行状况进行准确的把握,进而对供应链进行持续优化,这也是供应链管理最基本的内容。
供应链效绩评价方法是供应链绩效评价的具体手段。主要是将各具体指标的评价值经过适当的计算,得出最终目标评价值,最后再与评价标准比较,得出评价结论。没有科学的评价方法对评价指标的运用,就不可能得出正确的结论。下面将对主流的评价方法进行介绍,并对其优势和劣势做出评价。
2 供应链评价方法
2.1 层次分析法
层次分析法(Analytic Hierarchy Process,AHP)是一种定性与定量结合的多目标决策分析方法,由saaty于20世纪70年代首先提出,并用于分析复杂系统[1]。其主要思想是:首先分析复杂系统的要素构成及其相互间的关系,据此构造出一个有序的递阶层次结构;然后通过两两比较的方式确定层次中各个要素的相对重要性,在每一个层次上建立判断矩阵,计算该层要素的相对权重;最后计算出各要素相对于总目标的权重。
层次分析法能够同时从定性和定量两个角度来分析问题,特别适合用于解决复杂系统的评价问题,这是因为针对复杂问题建立精确的数学模型往往是很困难的,某些时候必须依靠人的定性判断。与此同时,层次分析法也存在很多的不足之处,如:层次分析法在很大程度上依靠的是人的经验,无法排除个人偏好造成的片面性;比较和判断的过程较为粗糙,只能用于解决精度要求不高的问题;当影响因素数量较多时,比较判断的工作量会迅速增加。
2.2 模糊综合评价
模糊综合评价(Fuzzy Comprehensive Evaluation,FCE)是在模糊数学理论的基础上发展起来的。模糊数学理论由zadeh于20世纪60年代首先提出,它采用精确的数学方法来描述模糊性现象[2]。模糊综合评价借助模糊数学,将边界不清晰、不易量化的因素定量化,然后计算各个因素与评价对象的隶属度,根据隶属等级状况进行综合评价。
供应链绩效评价的指标之间存在着复杂的因果关系,有些关系是模糊的、不确定的,而且有些指标无法实现精确定量化,应用模糊综合评价就能够很好的解决这些模糊性问题,这也是该方法的最大优势。其劣势在于:(1)计算复杂;(2)指标权重的设定具有较强的人为主观性;(3)当指标数量较多时,容易出现/超模糊现象。
2.3 人工神经网络
人工神经网络(Artificial Neural Networks,ANN)简称神经网络,是人工智能领域的重要分支,它是对人脑进行抽象、简化而建立起来的计算模型,目的是为了模拟实现大脑的某些功能 [3]。
目前有上百种模型问世,其中比较著名的有BP神经网络、径向基神经网络、竞争学习神经网络、学习向量量化神经网络、Elman神经网络、Hopfield神经网络和Boltzmann神经网络,其中BP神经网络的影响和应用最为广泛。神经网络的主要优点是能够自适应样本数据,当数据中有噪声和非线性时,也能够正常工作,另外,联想推理、高速并行处理也是其优点。经过科学的训练和学习,神经网络能够找出输入和输出之间的非线性映射关系,从而实现智能推理和预测。神经网络的劣势在于学习效率低,容易陷入局部极值,以及当样本数据多时收敛速度慢。叶春明等人研究了BP神经网络在供应链管理绩效指标评价中的应用。
2.4 数据包络分析
数据包络分析(Data Envelopment Analysis,DEA)是Charnes等学者于1978年提出的评价相对有效性的方法。DEA使用数学规划模型来比较不同决策单元之间的相对效率,通过综合分析决策单元的输入和输出数据,可以得出每个决策单元的综合效率指标,并且以定量化的形式表示出来。DEA还能判断各决策单元的投入规模是否恰当,如果不恰当,可以向什么方向、以何种程度调整投入规模以此给部门主管提供有用的决策信息[4]。
数据包络分析适合用于多输入、多输出的复杂系统评价,它将输入和输出权重设置为变量,无需人为主观设定。它可以处理不同量纲的数据,将系统的内部过程视为“黑箱”,因此避免了对输入和输出之间的定量关系进行描述。数据包络分析的主要缺点在于该方法对指标数目要求比较严格,当指标数目相对于决策单元的数目太多时,多数决策单元会被判定为有效,从而无法取得有效的信息。
2.5 支持向量机
支持向量机(Support vector Maehines, SVM)是vapnik于1995年提出的一种机器学习算法。其基本思想是:将在低维空间线性不可分的样本通过核函数的非线性变换,映射到高维特征空间,在高维特征空间构造出最优超平面和决策函数,据此可以推断出任意一个输入x对应的输出y[5]。
支持向量机在解决小样本、非线性和高维度问题时具有很大的优势,然而当样本数量较大时,SVM就无能为力了,必须求助于改进的SVM模型。
3 供应链绩效评价方法的融合趋势
供应链是一个典型的复杂、自适应和动态的系统,具有模糊性、不确定性、非线性、系统延迟、网络反馈回路以及多层次、多输入、多输出等特点,针对这样一种系统,任何单一的评价方法都无法对其绩效做出客观的评价。一些学者已经在方法融合上首先做出了尝试,比如2010年,李艳研究了基于遗传算法和支持向量机的供应链绩效评价问题。初颖利用基于密度的聚类挖掘技术(改进的K-均值聚类方法)进行供应链绩效特征的采集和分析,解决了供应链绩效评价的标杆选择问题。评价方法之间的融合是供应链绩效评价方法发展的一个趋势, 具体来说,只有结合各种方法的长处,构建集成的评价模型,才能更好的对绩效做出客观的评价。
参考文献
1 Saaty, T. L. How to make a decision: the analytic hierarehy Proeess[J]. European Journal of Operational Researeh,1990(48)
2 Zadeh, L. A. Fuzzy Sets[J].Information and Control,1965(3)
3 叶春明,马慧民,李丹,柳毅.BP神经网络在供应链管理绩效指标评价中的应用研究[J].工业工程与管理,2005(5)
篇4
关键词:沉降预测;曲线拟合;灰色预测;神经网路.
1 引言
高速公路软土地基路段的建设过程中,软土地基的复杂性,为了控制施工进度,指导后期的施工组织与安排,如何利用沉降观测资料较为准确地推算后期沉降(包括最终沉降)显得至关重要。本文研究了曲线拟合法、灰色系统法、人工神经网络法、遗传算法等多种沉降预测方法的原理及应用,为准确预测高速公路软土路基的沉降提供一定的参考。
2沉降预测方法
此法采用与沉降曲线相似的曲线对沉降过程进行拟合,再外延推求最终沉降量。包括双曲线法、星野法、泊松曲线法及Asaoka法等。
2.1 双曲线法
双曲线法[1]假定沉降量S与时间t按“沉降平均速度呈双曲线递减”的规律变化,其表达式为:
(1)
由上式看出,α和β分别为(t- t0) /(st-s0)―(t-t0)关系图中的截距和斜率,可用图解法求出。将得到的α、β和S0、t0代入式(1),则可求得任意时刻t的预估沉降量S(t)。最终沉降量为:
(2)
基于太沙基一维固结理论,U与T之间应该是指数关系,而双曲线法简化了此关系,且可用图解法简单易行,适合工程人员用。但此法只能推算地基最终沉降量,难以反映地基固结参数,已有的工程实例表明预测结果比实测值偏大。
2.2对数抛物线拟合法
文献[2]在路基完建后的沉降-对数坐标系上看出沉降大致由两部分组成:第一部分可用抛物线拟合;第二(即次固结)部分可由直线拟合。实践证明,除有机质含量高的土体外,沉降量主要集中在第一部分,表达式为:
(3)
式中A、B、C可用优化法求得。
该法仅需掌握短期观测资料,便可求得满足要求的工后沉降量及铺设路面时的沉降速率。
2.3泊松曲线法
泊松曲线[4]法,亦称逻辑斯蒂(Logistic)曲线。此曲线开始增长缓慢,中间段增长快,尾端增长趋势越来越小,这符合饱和粘土的沉降-时间发展关系。表达式为:
(4)
式中:yt―t时刻对应的预测值(长度单位);
t―时间;
a―待定参数且为正,无量纲;
b―待定参数且为正,单位为时间的倒数;
k―待定参数且为正,单位与yt相同。
利用时间序列求出上3个参数即可建立泊松方程,从而可对今后的yt进行预测。
该法能很好地反映全过程的沉降量与时间的“S”形关系,且能通过观测过程中的点(包括施工过程和运营过程)不断的进行预测和调整预测。
2.4 Asaoka法
Asaoka法亦称图解法[3],以一维竖向固结理论为基础,简化预测方程为:
(5)
式中:S―固结沉降量;
a、b―取决固结系数和土层边界的常数。固定边界条件下上式的解为:
(6)
此法可计算固结系数及最终沉降,当固结度达到60%后,用短期内观测资料就可得到可靠的沉降推算值。其是过分依赖于时间间隔的划分。
除了上述常用模型之外,还有指数曲线法(三点法)[1] 、沉降速率法[3] 与星野法[3]等,限于篇幅,笔者在此不再赘述。
2.5 灰色模型
沉降过程难以作精确描述,通过观测得到的较少信息,运用灰色系统理论,把路基沉降过程看成一个灰色系统,建立所需微分方程的动态模型,以此来分析路堤沉降的发展变化[1]。以GM(1,1)为例,前一个“1”表示阶数,后一个“1”表示变量个数,在路基沉降为时间。已知等距时间序列数据:
(7)
式中, ,将式(7)作一次累加(即1-AGO)后,得到序列:
(8)
式中,对S(1)建立白化形式的微分方程:
(9)
方程的解为:
(10)
式中 a,b为待定参数,可通过最小二乘法得到:
(11)
GM(1,1)模型不太适合于对数据序列的长期预测,因此还有改进方法:短期预测宜采用连续型直接数据GM(1,1)模型;沉降中长期预测,宜采用等维新息GM(1,1)模型。此法需要原始数据少,计算简单,无需因素数据,但其仅限于用时间序列预测,不能反映预测对象在各个发展阶段的特征或趋势。
2.6神经网络法
神经网络算法常用BP网络,即误差反向传播算法的学习过程。BP神经网络模型是所建模型中精度较高的一种,由于其自身良好的学习功能,可通过前馈和反馈的动态连接,对大量的测量样本进行自我训练,使得模型具有一定的人工智能水平。BP算法训练网络权值,其本质上是一种梯度下降的最小化方法,但有学者研究证明基于梯度下降的BP算法依赖于初始权值的选择,收敛速度慢且容易陷入局部最优[5]。
实例中:杭甬高速公路,用前250 d 的沉降数据训练网络,再用网络来预测后期沉降;金山油库,用前69 d 的沉降数据训练网络,再用网络来预测后期沉降,可以发现:用前期数据训练网络,再用训练好的网络来预测后期沉降,预测值与实测值吻合较好,可以达到预期效果[6]。
3.结论
篇5
【关键词】 数据挖掘 信用风险 决策树 支持向量机
一、引言
我国上市公司是整个国民经济整体的一个有机组成部分,甚至可以说是整个国民经济的核心所在。至2008年底,沪深两市的股票总市值在缩水62.9%的情况下仍达到12.13万亿,占GDP的48.6%。从这些数据可以看出,上市公司在我国经济中占有主体地位,因此,上市公司的优劣存亡将关系到整个国民经济的发展。然而,我国上市公司所积累的信用风险已经非常巨大,在深交所的诚信档案里仅主板市场就列出了20页的违规通报批评和处分决定。就国有企业而言,信用危机依然存在,突出的表现就是恶意拖欠逃债现象。企业信用风险状况直接关系到我国金融市场的健康发展和国民经济的持续稳定。可见,对上市公司信用风险的管理是非常必要和迫在眉睫的,而上市公司信用风险评估模型的建立是防范信用风险的重要手段。因此,研究上市公司信用风险评估这一课题,已经成为我国目前经济生活中亟待解决的一个重要问题。
目前许多定量技术和支持工具、软件已付诸商业应用,继传统的比例分析之后,统计方法得到了广泛的应用,如判别分析和Logistic回归等。信用等级评估是通过对企业或个人的某些单一财务指标进行加权平均确定的,该方法最大的缺陷在于指标和加权值的确定带有很大的主观性,使得评估结果和实际状况有很大的出入。因此,需要引入科学方法来确定有效评估指标,并建立准确的定量模型来解决信用等级评估的问题。近年来,信息技术得到了迅速发展,如数据挖掘技术等能从海量数据中智能发现有用的规则和知识,再加上我国上市公司信息披露制度的不断完善,使得我们的研究能够得到的数据资料也不断的增多,这些有利条件的出现使得我们对基于数据挖掘的上市公司信用风险评估模型的研究有了数据基础和技术基础。
二、基于数据挖掘的信用风险评估模型比较综述
1、决策树
决策树方法于20世纪60年代起源于对概念学习建模;20世纪70年代后期Quinlan发明用信息增益作为启发策略的ID3算法,从样本中学习构造专家系统;1993年Quinlan在ID3算法基础上研究出了改进的决策树归纳包(C4.5),这是目前被普遍采用的数据分类方法。其思想是一个类似于流程图的树结构,其中每个内部结点表示在一个属性熵的测试,每个分支代表一个测试输出,而每个树叶节点代表类或类分布。决策树通过把实例从根节点排列到某个叶子节点来分类实例,叶子节点即为实例所属的分类,树上每个节点说明了对实例的某个属性的测试,节点的每个后继分支对应于该属性的一个可能值。决策树分类模型之所以被广泛应用于信用风险评估,主要是因为决策树具有以下优点:(1)与神经网络或贝叶斯分类等其他分类模型相比,决策树的分类原理简单易懂,很容易被使用人员理解和接受。在决策树分类过程中,一般不需要人为设定参数,更适合于知识发现的要求;(2)决策树的学习算法具有建立速度快、计算量相对不是很大、可以处理连续值和离散值属性;(3)决策树能使用信息原理对大量样本的属性进行信息量分析,计算各属性的信息量,找出反映类别的重要属性(可以清晰的显示哪些属性对分类比较重要);(4)决策树分类方法与其他分类模型相比,易于生成可理解的规则。决策树方法对记录数越大的数据库,它的效果越明显,这就是它显著的优点。
研究表明,一般情况下,树越小则树的预测能力越强。要构造尽可能小的决策树,关键在于选择恰当属性。而属性选择依赖于各种对例子子集的不纯度度量方法。其中,基于数据挖掘中决策树C4.5算法的分析框架建立的上市公司信用风险评估模型,对数据分布无任何要求,应用于上市公司信用风险评估的效果比较好,因此具有良好的发展前景,值得我们深入研究。
2、神经网络
BP网是面向映射变换的神经网络中应用最广泛的一种,其结构如图1所示。典型的BP网有三个层次:输入层、隐含层和输出层,相邻层次神经元间采用全互连形式,同层神经元间则不相连。其思路是:当给网络提供一个输入模式时,该模式由输入层传到隐含,经隐含层神经元作用函数处理后传送到输出层,再经由输出层神经元作用函数处理后产生一个输出模式。如果输出模式与期望的输出模式有误差,就从输出层反向将误差逐层传送到输入层,把误差“分摊”给各神经元并修改连接权,使网络实现从输入模式到输出模式的正确映射。对于一组训练模式,可以逐个用训练模式作为输入,反复进行误差检测和反向传播过程,直到不出现误差为止。这时,BP网完成了学习阶段,具备所需的模式分类(识别)能力。
20世纪80年代末,西方发达国家将人工智能引入银行业,协助银行进行贷款决策,这其中,尤其以人工神经网络最为突出,其在企业财务分析中显示了巨大的优势和潜力。而在我国,无论是用统计方法还是用神经网络技术来研究信用风险,目前都尚处于起步阶段。王春峰等(1999)用神经网络技术进行商业银行信用风险评估;郝丽萍等(2001)研究了商业银行信贷风险分析的人工神经网络模型;柳炳祥、盛昭翰(2003)利用粗神经网络对企业财务危机进行了分析;庞素琳等(2003)利用BP算法对我国某商业银行2001年120家贷款企业进行3类模式(“信用好”、“信用一般”、“信用差”)分类,分类准确率达到83.34%;张德栋、张强(2004)建立了基于BP神经网络的企业信用3层神经网络评估模型,实验结果证明,该模型用于企业信用评估,减少了企业信用评估传统的定性方法中权重确定的人为因素,评估正确率达到了92.12%;王凯、黄世祥(2007)建立起基于BP神经网络的行业间信用评估模型,并代入2003年度全国农业和工业的部分行业数据进行实证。
神经网络由于其自身优势已经在各个领域得到了广泛的应用,近几年来,经济学和管理学方面的学者将其运用到经济领域,特别是在信用风险评估方面取得了很好的成效。尤其BP神经网络在商业银行信用风险评估上应用的可行性,其优点主要体现在:(1)BP神经网络模型具有高速信息处理能力。信用风险评价是一个非常复杂的系统,简单的信用风险打分模型不能很好地表述这种关系,同时结果与实际也有较大的差别。而神经网络是由大量的神经元广泛互连而成的系统,并行处理能力很强,得到的模型能对实际作出很好的预测。(2)BP神经网络模型具有很强的不确定性信息处理能力。由于神经网络中神经元个数众多以及整个网络存储信息容量巨大,使得它具有很强的对不确定性信息的处理能力。而信用风险本身就有一种不确定性,信用风险评价指标体系涉及指标众多,这些变量本身就具有一种动态性和不稳定性。运用BP神经网络模型进行预测可以很好地解决这种不确定性。(3)BP神经网络模型是一个具有高度非线性的系统。神经网络同现行的计算机不同,它是一种非线性的处理单元,因此神经网络是一种具有高度非线性的系统。在信用风险评估运用上,它突破了传统信用风险评估方法以线性处理为基础的局限性,能更有效、更精确地处理复杂信息。但是,神经网络也存在明显的不足。首先,当神经网络的输入维数高时,隐含规则呈几何级数增加,致使网络结构庞大,同时神经网络学习速率固定,存在局部最小点问题,因此网络收敛速度慢,需要很长的训练时间,甚至可能发生网络瘫痪;其次,网络结构复杂,导致网络的输入节点单元数、隐含层数的确定缺乏理论依据。尽管存在一些遗憾,神经网络方法作为一门崭新的信息处理科学方法仍然吸引着众多领域的研究者。
3、支持向量机
支持向量机(Support Vector Machine,SVM)是根据统计学习理论得出的一种新的机器学习算法,它用结构风险最小化原则替代经验风险最小化原则,较好地解决了小样本学习问题,是一种通用的前馈网络类型。支持向量机的实现是通过某种事先选择的非线性映射(核函数)将输入向量映射到一个高维特征空间,在这个空间中构造最优分类超平面。使用SVM进行数据集分类工作的过程首先是通过预先选定的一些非线性映射将输入空间映射到高维特征空间,它使得在高维属性空间中有可能对训练数据实现超平面的分割,避免了在原输入空间中进行非线性曲面分割计算。SVM数据集形成的分类函数具有这样的性质:它是一组以支持向量为参数的非线性函数的线性组合,因此分类函数的表达式仅和支持向量的数量有关,而独立于空间的维度。
随着机器学习理论的不断发展,支持向量机作为一种专门针对小样本学习的算法被引入到了信用风险评估中。在我国,张秋水、罗林开等(2006)通过SVM与传统的多元线性回归(Multi Linear Regression,MLR)和Logit分析(Logit Analysis,LA)的实证对比和模型分析,得出SVM在20组测试样本集上的平均误判率是最低的,显著优于MLR,也优于LA。吴冲等(2009)建立了基于模糊积分的支持向量机集成方法,该方法综合考虑了子支持向量机的输出重要性并与单个支持向量机和最多投票原则的支持向量机集成进行比较,实证结果表明,该方法具有更高的分类精度。与BP神经网络相比,SVM方法的优缺点是:(1)模型的准确率。SVM是通过解一个凸二次规划来得出结果的,因此找到的解是全局最优解,且精度高,利用支持向量机进行上市公司信用风险评估,根据有限的训练样本,建立了非线性映射关系,解决了维数问题,这种算法具有简单、准确率高的优点,很适合推广。(2)泛化能力。SVM通过结构风险最小化原则实现了经验风险和置信范围的良好折衷,避免了过拟合现象,而人工神经网络是基于经验风险最小化原理。(3)模型的适用性。SVM方法通过对不同的核函数和参数的选择,可以优化评估结果,不同的核函数可以满足不同的需求,模型的适用范围更广。(4)对数据要求。SVM可以避免小样本和“维数灾难”问题,对有限数量和维数较高的样本评估精度较高;而BP神经网络模型由于数据较少,易产生过拟合现象,因而使用范围受限制。(5)核函数也需要人为的确定,尚未有理论证明决定应选择的核函数。
三、结束语
随着信息技术的发展,数据挖掘方法被广泛应用于金融、经济领域,在信用风险方面也受到越来越多的重视。在我国,对上市企业的信用风险评估还是一个很具有挑战性的领域,不仅体现在其信用风险变化的复杂性,还在于评估所面临的巨大工作量。上市企业的信用状况是构成整个社会体系不可缺少的重要部分,因此,解决其信用风险评估问题的首要任务是要建立简单可操作的模型,并充分发挥计算机处理信息等的优势作用。
(注:本文系华东交通大学校立科研基金资助课题《基于数据挖掘的上市公司信用风险评估模型研究》的部分研究成果,课题编号:09GD02。)
【参考文献】
[1] Qualian JR,C4.5: Programs for Machine Learning [J],San Mateo, CA:Morgan Kaufmann Publishers,1993.
[2] Virongrong Tesprasit,Paisarn Charoenpornsawat ,Virach Sornlertlamvanich,A Context-Sensitive Homograph Disambiguation in Thai Text-to-Speech Synthesis,Proceedings ofHuman Language Technology Conference,2003.
[3] 周松林、吴铭:沪深两市总市值全年缩水62.9%[J].金融界,2009(1).
[4] 王春峰、万海晖、张维:基于神经网络技术的商业银行信用风险评估[J].系统工程理论与实践,1999(9).
[5] 郝丽萍、胡欣悦、李丽:商业银行信贷风险分析的人工神经网络模型研究[J].系统工程理论与实践,2001(5).
[6] 柳炳祥、盛昭翰:基于粗神经网络的企业危机预警系统设计[J].信息与控制,2003(1).
[7] 庞素琳、王燕鸣、黎荣舟:基于BP算法的信用风险评价模型研究[J].数学的实践与认识,2003(8).
[8] 张德栋、张强,基于神经网络的企业信用评估模型[J].北京理工大学学报,2004(11).
[9] 王凯、黄世祥:基于BP神经网络的行业间中小企业信用评估模型及应用[J].数学的实践与认识,2007(24).
篇6
关键词:模糊控制;滑模控制;复杂系统
中图分类号:G632 文献标识码:B 文章编号:1002-7661(2014)14-094-01
随着控制理论实践的不断深入,被控对象的结构及数学模型也越来越复杂,呈现出时变性、多输入多输出、高度复杂性、非线性、不确定性等特点。面对这些复杂特征,传统的基于精确数学模型的控制理论的局限性日趋明显,于是出现了诸如变结构控制、自适应控制、模糊控制、神经网络控制以及智能控制等新的控制手段。本文就模糊滑模控制的产生及发展现状做简单介绍。
滑模控制因其独特的优势在伺服机构、飞行器控制等领域有着广阔的发展前景。但是,实际系统由于切换装置不可避免地存在惯性,变结构控制在不同的控制逻辑中来回切换,会导致实际滑模运动不是准确地发生在切换面上,容易引起系统的剧烈抖动。这一缺点使其在实际应用中受到了很大的限制。抖动不仅影响控制的精确性,增加能量消耗,而且系统中的高频未建模动态很容易被激发起来,破坏系统性能,甚至使系统产生振荡或失稳,损坏控制器部件。而将模糊控制与滑模变结构控制结合应用来克服变结构控制所带来的抖动便成为很多专家学者的研究重点。
一、常规模糊滑模控制
模糊控制和滑模变结构控制各有优缺点,有某种相似之处,又有互补之处。90年代以后专家学者把二者结合,构成模糊滑模控制,实现两者之间的取长补短。同时还可在一定程度上削弱或克服滑模变结构控制的抖动现象。目前,模糊控制与滑模变结构控制的结合运用主要有以下三种方式[1]。
1、通过模糊控制规则自适应地调节符号函数项的值,可以在保证趋近速度和减小抖动的前提下较好地选择和 。
2、通过模糊控制规则直接确定滑模控制量,即直接把切换函数及其微分 作为输入量,通过模糊推理获得滑模控制的控制量。
3、变结构控制、模糊控制的复合控制策略。在大偏差时采用滑模变结构控制,在小偏差时采用模糊控制的运行方式。
二、自适应模糊滑模控制
普通的模糊滑模控制的设计仍然是基于经验的。由于模糊规则的选取有很大的任意性,在很多情况下有效经验的获取并不是容易的事。为了达到一定精度,选择的模糊规则可能非常复杂[2,3],且系统参数在控制过程中也没有自适应和自学习能力。为使系统在不确定性以及对象出现参数和结构变化的情况下保证不变性,自适应模糊滑模控制应运而生,并成为非线性系统自适应控制方法研究的主流[4]。
三、基于模糊神经网络的滑模控制
人工神经网络同样具有自学习和自适应的能力。它和模糊系统的结合有助于扩大二者在滑模控制领域内的应用。模糊神经网络(Fuzzy Neural Networks, FNN)结合了模糊控制与神经网络控制两者的优势,不仅具有神经网络自学习和快速处理的能力,而且具有模糊控制系统能够充分利用先验知识、以较少的规则数来表达知识的优势,避免了神经网络不能很好地利用已有经验知识,往往将初始权值取为零或随机数使网络训练时间变长或者陷入非要求的局部极值的缺点,也避免了模糊控制由于缺乏自学习和自适应能力,给控制器参数的学习和调整带来的困难。模糊神经网络与滑模控制的结合应用可以通过以下几种方式:一、用T-S模糊神经网络等价系统不确定的动态特性 和 ,再按一般滑模控制的方法形成控制律。控制过程中FNN 的参数根据实际系统的输入输出数据在线自学习。或者以 为输入的标准模糊神经网络实时估计系统动态不确定性的上界,以此与状态反馈相结合构造滑模控制。也可用结构自组织的广义参数学习的模糊径向基函数网络完成系统动态不确定性的等价,在此基础上构造系统的滑模控制律。这几种方式均是通过模糊神经网络来等效系统不确定项的,也可直接采用模糊神经网络构造滑模控制率,如:L in等[8]直接用以 为输入的标准模糊神经网络构造滑模控制律,基于 最小化用梯度下降方法完成FNN的参数自适应;为了保证滑模产生条件存在,还构造了带符号函数的监督控制律。当与系统状态相关的李亚普洛夫函数值进入零的一个邻域时,监督律作用撤消。于是从总体上保证了滑模产生条件的满足和稳态时的无抖振。
四、模糊滑模控制与其它策略的结合
除了以上所描述的问题之外,关于模糊滑模控制和其它策略相结合还有其他诸多方面的内容,它们体现了控制理论的交叉融合。遗传算法作为一种优化算法,在模糊滑模控制中亦得到较多应用。可以采用遗传算法对控制器增益参数、模糊规则、隶属函数进行优化,有效减小或消除抖振。当然还有其他算法与模糊滑模控制的结合应用,在此就不在累述。
参考文献:
[1] 王翠红 自适应模糊滑模控制的设计与分析[D] 西南交通大学 2002
[2] Yoo B, Ham W. Adaptive fuzzy sliding mode control of nonlinear system [J]. IEEE Trans. Fuzzy Syst., 1998, 6(2): 315-321
[3] Yu X, Man Z, Wu B. Design of fuzzy sliding-mode control systems [J], Fuzzy Sets and Systems, 1998, 95:295-306
[4] Kaynak O, Erbatur K, Ertugrul M. The fusion of computationally intelligent methodologies and sliding mode control-a survey [J]. IEEE Trans. Industrial Electronics, 2001, 48(1): 4-17
[5] Lu Y S, Chen J S. A self-organizing fuzzy sliding mode controller design for a class of nonlinear servo system [J]. IEEE Trans. on Industrial Electronic, 1994, 41(5): 492-502
[6] Lin S C, Chen Y Y. Design of adaptive fuzzy sliding mode for nonlinear system control[C]. Proc.of IEEE Int. Conf. on Fuzzy Systems, 1994, (1):35-39
篇7
【关键词】绿色施工地铁工程评价方法BP神经网络
1前言
地铁作为“城市的生命线”具有运能大、准点、速度快、舒适、安全等优点,是国际上公认的解决城市交通问题的首选。近年来,中国正通过大力兴建地铁,实现“绿色交通”。由于施工阶段对环境的影响最直接、最严重,地铁要成为可持续发展的环保交通,地铁工程的绿色建造则是“绿色地铁”的具体要求。
2绿色施工概念及地铁工程施工特点
2.1绿色施工的概念
依据《绿色施工导则》中给定的绿色施工的定义可以将其本质含义归结为:绿色施工是以绿色施工技术和绿色施工管理相结合为实践途径,以可持续发展理论为指导思想,以减量化、再利用、再循环为原则,最终实现最大限度的节约资源、保护环境并贯穿于从施工策划阶段开始直到竣工验收的施工全过程。
2.2地铁施工的特点
地铁工程施工内容繁多、工序复杂。由于建设规模、建设环境以及施工技术的不同,地铁工程的施工主要有以下几个特点:(1)线路长、工点多。一般地铁线路的长度都在数公里到几十公里,且地铁工程包括车站、出入口、车站风道、风井、区间隧道等工程,每一个车站或区间即一个施工工点。(2)工程施工工期紧。由于交通以及其他各种原因,导致地铁工程的施工工期相当紧张,甚至不能达到工期的合理要求,无论对施工组织,还是对施工技术均提出了严峻的挑战。(3)施工周边环境复杂。地铁工程多属于地下工程,且一般要穿越城区,使其往往面临着施工场地狭小、地下管线密集、道路交通繁忙、重点建筑保护等问题,地铁施工的环境保护要求高,施工技术难度大。
3地铁工程绿色评价指标体系的建立
评价指标体系的构建应遵循简明性、代表性、可量可比性、整体性、科学性的原则。基于英国BREEAM[1]、美国LEED[2]等绿色建筑评价理论,结合我国颁布的《绿色施工导则》以及《建筑工程绿色施工评价标准》,初步以某一地铁工程从管理与绿色施工实施中建立相对科学的绿色施工指标体系。管理属性即指管理的规范性,包括绿色施工的组织管理、环境投资建设、项目优化、员工培训、以及绿色施工科研开发和绿色建材的使用。操作属性即指实施的有效性则包括空气污染控制、噪声污染控制、水体污染控制、固体废弃物的处理、施工设备维护、能源消耗节约、以及施工对周围环境负荷值降低。
4地铁绿色施工评价方法的探究
由于地铁绿色施工评价是一个涉及多目标、多属性、多层次的复杂问题,因而简单的定性或定量方法并不能实现对绿色施工的有效评价。为了探索出一套合乎地铁工程特点的绿色施工评价模型,本文在对目前绿色施工综合评价方法研究的基础上找出如下几种进行比较分析。
(1)灰色关联度分析法作为一种多因素分析方法,是根据因素之间发展趋势的相似或相异程度,作为衡量因素间关联程度的一种方法[3]。此方法的优点在于利用“灰色系统理论”避免了以往回归分析的弊端,在很大程度上减少由于信息不对称带来的损失,适用于发展态势的量化比较分析;其主要缺点在于需要现行确定各项指标的最优值,然而在地铁工程绿色施工评价指标体系中大部分指标本身具有一定的模糊性,部分指标最优值难以确定。
(2)模糊物元评价法,其要点是将事物用“事物、特征、量值”这三要素组成有序三元组的物元来研究事物变化规律[4]。此方法用于绿色施工评价的优点在于能较好的解决模糊不相容的多因子综合评价问题,但其主要的缺点在于需要由“等级标准、评价指标、实测值”组成一个模糊物元,而目前关于地铁施工的绿色施工及其评价理论的研究尚少,不同专家的评价思想和标准往往存在一定的差异,所以此评价方法的结果可能有失客观。
(3)BP人工神经网络评价法作为一种聚类预测分析方法,是一种利用能学习和存贮大量的输入和输出模式的映射关系的特点,通过大量样本按误差逆传播算法训练的多层前馈网络。经过学习训练的网络能有效吸收专家的专业知识和经验,并进行模拟评价。然而其不足之处在于如果增加了学习样本,训练好的网络就需要从头开始训练,对于以前的权值和阈值往往没有记忆。但是可以将预测、分类或聚类做的比较好的权值保存。综上所述,在绿色施工评价中以上几种评价方法都有各自的优点、缺点,因此根据评价对象的特点选择恰当的评价方法对评价结果非常重要。本文结合地铁绿色施工的概念及特点,选择BP神经网络法主要原因如下:①绿色施工评价作为一个各种因素相互联系、相互影响、复杂多变的综合性问题,建立多个指标层的网络神经能够客观的得出指标间的非线性关系。由于地铁施工的特点,每一个车站作为一个施工工点,可将具有代表性的工点作为训练样本,足够数量的样本训练是BP神经网络的自我学习的关键环节。通过周而复始的信息正向传播和误差反向传播过程,全面反映出各个指标间隐含的关系。②由于绿色施工评价的理论研究还没有相对成熟,针对地铁工程而言,其评价的复杂性更高,不同的专家对各式各样的地铁车站,在不同角度上其评价思想和标准有所差异。如何对原始数据进行科学处理,从不同专家的思想中提取其精华部分,BP神经网络较强的容错能力使这一问题迎刃而解。
5结语
本文研究了在评价体系建立方面常用的几种评价方法,通过不同评价方法的研究,分析不同评价方法的优缺点,结合地铁工程特点,找出适合地铁工程绿色施工评价模型。利用BP神经网络的自学功能,借以辅助MATLAB软件工具箱中所具有的神经网络函数功能,选取足够数量具有代表性的工点作为地铁工程绿色施工评价样本,进行学习训练,建立模拟专家评价的BP神经网络,为解决此类综合评价问题提供了新途径。因此在绿色施工评价体系的研究中,结合评价对象的特点,利用共性与个性相结合的思想,并找出最佳的方案与思路,从而建立切实可行有效的评价体系。
参考文献:
[1]UKBREEAMBREEAM98foroffices-anervironmentalassessmentmethodforoffecebuilding,BuildingResearchEstab-lishment(BRE),Garston,Walford,2000.
[2]USGreenBuildingCouncilLeadershipinEnergyandEnvi-ronmentalDesignRatingSystemVersion2.0(LEED2.0)June2001.
[3]李惠玲,李军,钟欣.基于灰色聚类法的绿色施工评价[J].沈阳建筑大学工程管理学报,2012,26(02):19-22.
篇8
关键字:计算机视觉;作物病害诊断;进展;模式识别
中图分类号:TP311 文献标识号:A 文章编号:2095-2163(2015)02-
The Research Development of Computer Vision in the Plant Disease Diagnosis
PU Yongxian
(Computer Science Dept .Dehong Teachers'college, Dehong Yunnan 678400, China)
Abstract: according to the statistics, crop yield loss caused by disease in more than 12% on average, disease occurs not only affect the production, also decreased the quality of the product. Research by computer vision technology realizes fast and accurate diagnosis of crop disease, and provides scientific basis for disease prevention and control, which is the urgent demand of agricultural informatization development. Articles on computer vision technology is applied to the crop disease diagnosis has carried on the detailed analysis and research, in order to get these new technologies in the current situation of crop disease diagnosis each link, points out the shortages of computer vision in the diagnosis of crop diseases and research direction. The study on the development of crop disease intelligent detection technology will play an important role.
Key words:Computer Vision; Crop Disease Diagnosis; Progress; Pattern Recognition
0引言
在作物生产中,病害是制约作物质与量的重要因素。病害发生,往往致使作物的使用价值降低,甚至还会导致大面积减产,乃至绝收,造成巨大的经济损失。因此,在作物生长过程中,病害防治是个关键的问题之一。因各种原因植保人员匮乏,而种植户个体素质差异及受一些主观人为因素的影响,对作物病害诊断存在主观性、局限性、模糊性等,不能对作物病害的类型及受害程度做出客观、定量的分析与判断,结果要么是药量不对、要么是药不对症,严重影响了作物的质与量。
计算机视觉也称为机器视觉,是研究如何用计算机来模拟和再现人类视觉功能的科学,也被称为图像理解和图像分析,是人工智能领域的一个重要分支。随着计算机技术、图像处理和人工智能等学科的发展,以及数码相机、手机等摄像工具像素的提高,将机器视觉用于作物病害诊断,实现作物病害的无损检测、快速诊断提供了新的途径和方法[1]。报道最早的是在1989年穗波信雄等人[2]对采集的缺乏钙、铁、镁营养元素的茨菇叶片图像进行研究,在RGB模型中,利用直方图分析了正常和病态的颜色特征。为适应农业信息化的迫切需求,国内外学者对机器视觉用于作物病害诊断进行了研究和实践,而取得进展主要集中在近10年,涉及的作物有水稻、玉米、小麦、葡萄、黄瓜、甘蔗、蔬菜等病害[3-14],这些研究针对不同作物,从不同侧面为作物病害实现自动化诊断提供了理论和实践基础。因机器视觉比人眼能更早发现作物因病虫危害所表现的颜色、纹理、形状等细微变化,所以利用这种技术病害病害与人工方式相比,提高了诊断的效率和精准度,为作物保护智能化、变量喷药等提供了科学依据。
本文综述和归纳了机器视觉诊断作物病害的主要技术:病害图像采集、增强处理、病斑分割、特征提取、特征优化、病害识别等各环节的方法及现状,指出了机器视觉诊断作物病害存在的不足和研究方向。该研究对实现作物病害的机器视觉诊断技术的发展将起到重要的推动作用。
1机器视觉识别作物病害的技术路线与进展
作物病害因其病原物种类不同会产生形状、颜色、纹理等不同的病斑,通常专业植保技术人员就是根据这些特征判断病害的。机器视觉诊断作物病害是通过无损采集病害图像,利用图像处理技术对图像增强处理、分割病斑,提取病斑特征、优化特征,用模式识别技术诊断病害类别及危害程度,从而为病害的防治提供科学依据。图1为机器视觉诊断作物病害的技术路线图。
图1机器视觉识别作物病害技术路线图
Fig 1 Technology roadmap of machine vision recognition crop diseases
1.1病害图像采集与增强处理
(1)病害图像采集方法。图像采集是病害识别的第一步,采集的质量会直接影响识别结果。常用采集设备有数码摄像机、扫描仪、数码相机、手机等。其中,数码相机便于携带,能满足图像清晰度要求,符合野外作业等特点,因此病害图像采集中用得较多。依据采集环境氛围分为室内采集和室外(田间)采集两种。室内采集是将田间采摘到的病害标本经密封保湿后使用CCD摄像机或数码相机在室内摄取病害的标本图像。在田间采集图像中,有学者为了采集到高质量的图像,采取了一系列措施以减少外界因素的影响。如陈佳娟[5]采用便携式扫描仪采集图像,以减少自然光照对图像质量的影响。徐贵力等人[6]设计了活体采光箱,使照射光变成反射光,从而避免了阴影,以减少误差。这种规范图像采集方式虽简化了后期图像处理和识别的难度,但基层生产单位可能缺乏配套的技术设备,且会使病害识别过度依赖图像。为扩展应用范围和通用性,有学者对在田间自然光照射下直接获取的病害图像,用图像处理和模式识别技术诊断病害进行了研究,如李宗儒[7]用手机拍摄了苹果的圆斑病、花叶病等5种病害图像,对病害图像增强处理、分割病斑,提取病斑特征,用BP神经网络识别病害,获得了较好效果。姜武[8]用Canon EOS 50D相机在阳光充足的早晨拍摄山茶叶片图像,进行颜色分形和RGB强度值提取,用支持向量机对山茶分类识别,取得了较好效果。
(2)图像增强方法。在采集图像过程中,因受设备、环境等因素影响,往往使采集到的图像含有噪声,若不对其增强处理会影响到病害的正确识别率。病害图像增强是为病斑分割,特征提取做准备,所以应确保在去除噪声的同时,保证病斑边缘不模糊。图像增强处理根据其处理的空间不同,分为空域法和频域法。空域法是对图像本身直接进行滤波操作,而频域法是对图像进行转化,将其转化到频率域中去噪处理,之后再还原到图像的空间域。图像增强处理常用方法有:直方图均衡化、对比度增强、均值滤波、中值滤波、高斯滤波、锐化等。王静[9]利用数码相机采集了赤星病与野火病两种病害图像80幅,采用灰度图像直方图均衡化及中值滤波两种方法对图像增强处理,实验表明,中值滤波去噪效果最好,在保留图像病斑边缘信息的同时,使病斑轮廓与细节更加清晰,便于后期病斑分割及特征提取。刘芝京[10]采集黄瓜早、中、晚期的角斑病病害图像,分别用均值滤波、中值滤波、高斯滤波等对图像处理,实验表明这些去噪方法中,高斯滤波效果最好。
1.2病斑特征获取
(1)病斑分割
计算机视觉主要是依据病斑的特征信息诊断病害类别及危害程度的。因此,彩色病斑的准确分割,是后期提取病斑特征,病害类别的客观、准确诊断的关键环节之一。当前针对作物病害图像分割算法有阈值分割、空间聚类、区域分割、边缘检测分割、计算智能方法等。由于作物病害图像存在背景复杂、病斑区域排列无序、颜色、纹理分布不均、病斑边界模糊、叶片表面纹理噪声等干扰,因此尚无一种鲁棒性好,且简单适用的通用方法,也还没有一种判断分割是否成功的客观标准。近年来学者们对作物病害图像的分割进行了大量研究,试图寻找一种更具潜力的分割算法,以期获得更完美,通用的分割方法。赵进辉等人[11]分析了甘蔗病害图像的颜色与形状特征,采用面积阈值及链码分割赤腐病和环斑病病斑,收到了较好的效果。管泽鑫等人[12]提取水稻病斑与斑点外轮廓颜色,用最大类间方差法(Otsu[13])分割病斑,取得了较好的效果。邵庆等人[14]以小麦条锈病为例,对获取的小麦病害图像采用迭代阈值分割和微分边缘检测分割病斑。温长吉等人[15].用改进蜂群算法优化神经网络实现玉米病害图像分割。祁广云等[16]采用改进的遗传算法及BP神经网络对大豆叶片病斑分割,能有效提取病斑区域。毛罕平等人[17-18]利用模糊C均值聚类对棉花、玉米病害图像的病斑进行分割。张飞云[19]采用K-means硬聚类算法对玉米叶部病害图像分割,得到彩色病斑。张芳、仁玉刚[20-21]用采分水岭算法分割黄瓜病害图像,正确率均在90%以上。刘立波[22]对水稻叶部病害图像的分割进行研究,结果证明,模糊C均值聚类法的分割效果较好,但速度欠佳,Otsu法分割效果略差,但速度较快。濮永仙[23]利用支持向量机检测烟草病斑边缘,以分割彩色病斑。石凤梅等人[24]利用支持向量机分割水稻稻瘟病彩色图像病斑,其分割效果优于Otsu法。
(2)病斑特征提取
计算机视觉识别作物病害用到的特征主要有颜色、纹理、形状等特征。颜色是区分病害类别的重要特征,有RGB、HSI、Lab、YUV等7种颜色空间模型,可得到颜色特征值和颜色特征差异,而模型的选择会影响到病害识别效果。纹理是指图像中反复出现的局部模式及排列规则。作物病害图像正常与病变部分的纹理在粗细、走向上有较大差异。纹理特征有基于灰度直方图的统计测度,基于灰度共生矩阵的纹理特征和基于游程的纹理描述特征。提取纹理特征的方法有分形维数、小波变换、Gabor小波变换、局域二值模式,以及Gabor分块局域二值模式方法等。形状常与目标联系在一起,形状特征可以看作是比颜色和纹理更高层的特征,它能直观描述目标和背景之间的区别,不同病害的病斑在尺寸大小、似圆性、长短轴等方面有不同特性,对旋转、平移有很强的稳定性。提取病斑形状特征的方法有弗里曼链码法,傅里叶描述子,多尺度曲率空间方法等。王美丽等人[25] 在HSV颜色空间提取小麦白粉病和锈病病害图像的颜色和形状特征,对病害进行识别,识别率达96%以上。蔡清等人[26]对虫食菜叶图像处理后,提取其形状的圆形度、复杂度、球形度等7个特征,用BP神经网络识别病害。王克如[27]提取玉米病害图像中纹理特征的能量、熵及惯性矩作为识别病害的特征,实验得出,以单个特征识别正确识别率达90%,综合应用三个纹理特征,识别率达100%。田有文等人[28]提取葡萄叶部病斑的颜色、纹理、形状特征,用支持向量机识别,实验表明,综合应用三种特征的识别率比只用单一特征的识别高。李旺[29]以黄瓜叶部3种常见病害图像为研究对象,提取病斑颜色、纹理和形态特征总共14个特征,用支持向量机识别,实验表明,分别以颜色、纹理、形状特征识别,识别率分别为72.23%、90.70%、90.24%,综合3种特征识别率为96.00%。
(3)特征优化
特征优化是指在特征提取完成后,将特征因子中对识别病害贡献低的因子丢弃,以确保在降低特征维度的同时,能提高病害的识别率。常用的特征优化方法有:逐步判别法、主成分分析法、遗传算法等。实践证明,优化后的特征能更好的表征病害,能在特征减少的情况下提高诊断的正确率。管泽鑫等人[12]提取水稻3种常见病害图像的形态、颜色、纹理共63个特征,用逐步判别法对特征优化,用贝叶斯判别法识别病害,可使特征数减少到原来的35.2%,而病害准确识别率达97.2%。柴洋等人[30]提取了番茄早疫病、晚疫病等4种叶部病害图像的颜色、纹理和形状共18个特征,用逐步判别法优化,最终选取12个特征,用主成分优化后综合成2个新变量,分别用贝叶斯判别法和用费歇尔判别函数识别病害,均取得了较好的效果。陈丽等人[31]提取了玉米5种叶部病害图像病斑特征,用遗传算法优化特征,用概率神经网络识别病害,识别率为90.4%。彭占武[32]提取了黄瓜6种常见病害图像的颜色、纹理、形状特征14个,用遗传算法优化得到8个特征,用模糊识别模式识别病害,其识别率达93.3%。濮永仙[33]提取了烟草常见病害图像的颜色、纹理及形态共26个特征,用双编码遗传算法与支持向量机结合优化特征,最后得到16个特征,该方法与没有采用遗传算法的支持向量机识别相比,在同等条件下,特征向量减少了38%,正确率提高了6.29%。所谓双编码遗传算法,即二进制编码和实数编码结合,支持向量机作为底层分类器,分类精度作为遗传算法的适应度对个体进行评估,在去除冗余特征的同时为保留的特征赋予权重,如图2所示。韩瑞珍[34]提取了害虫的颜色、纹理特征共35个,用蚁群算法对特征优化,将35个特征降低到29个,识别准确率从87.4%提高到89.5%。
图2双编码遗传算法中的个体
Fig 2 Individual in the double coding genetic algorithm
1.3病害模式识别
模式识别也叫模式分类,指依据输入的原始数据,判断其类别并采取相应的行为[35]。病害模式识别的任务是依据特征数据由分类器完成分类的,分类器设计和特征描述共同决定了模式识别系统的性能。用于病害识别的模式可分为统计模式、句法结构模式、模糊模式和机器学习方法四类。其中,统计模式识别是用概率统计原理,获取满足某种已知分布的特征向量,然后通过决策函数来分类,不同的决策函数能够产生不同的分类方法。常见的统计模式识别方法有两种:一是由Neyman决策和贝叶斯决策等构成的基于似然函数的分类方法,另一种是基于距离函数的分类识别方法。模糊模式识别是基于模糊理论利用模糊信息进行模糊分类的,主要方法有最大隶属原则识别法、接近原则识别法和模糊聚类分析法三种。机器学习指计算机模拟或者实现人类的某些行为,它的应用已涉及很多领域。目前常用于作物病害识别的机器学习方法有人工神经网络、支持向量机(SVM)、移动中心超球分类器等。其中,支持向量机分类器是目前机器学习领域的研究热点之一,它能够较好地解决小样本、非线性、高维数的分类问题,且具有良好的推广和泛化能力。神经网络是基于经验风险最小化原则,以训练误差最小化为优化目标,而SVM以训练误差作为优化问题的约束条件,以置信范围最小化为优化目标,所以SVM的解具有唯一性,也是全局最优[36]。移动中心超球分类器是近年来新提出的一种分类器,它是一种对参考样本进行压缩的方法,可以节省空间,但其识别率不如人工神经网络高。以下是在作物病害诊断中较成功的几种识别模式及技术进展。
1.3.1 贝叶斯判断法
贝叶斯判别法是一种典型的基于统计方法的分类器。它的基本原理是将代表模式的特征向量X分到m个类别(C1,C2,…,Cm)中的某一类。操作步骤为:
(1)设样本有n个属性(W1,W2,…Wn),每个样本可看作是n维空间的一个点X=(x1,x2,…,xn);
(2)设有m个不同的类(C1,C2,…,Cm),X是一个未知类别的样本,预测X的类别为后验概率最大的那个类别;3)用贝叶斯后验概率公式计算,并进行比较,依据后验概率可将样本X归到Ci类中,当且仅当>,成立。贝叶斯分类器因其结构简单、易于扩展等特点,被广泛用于作物病害诊断。杨昕薇等人[37]对3种寒地水稻常见病害图像处理、提取特征,用贝叶斯判别法识别病害,其识别率达97.5%。赵玉霞等人[38]提取玉米锈病、灰斑病等5种病斑图像的特征,利用朴素贝叶斯分类器识别,其识别精度在83%以上。柴阿丽等人[39]提取了番茄早疫病、晚疫病等4种叶部病害图像病斑的颜色、纹理和形状特征,优化特征后,用贝叶斯判别法识别病害,其识别率达94.71%。
1.3.2 人工神经网络识别法
神经网络技术是目前广泛使用的一种机器学习方法,其研究工作始于19世纪末20世纪初[40],因具有并行处理、非线性映射、自适应学习、鲁棒容错性等优点,以及采用数据驱动模式,故在模式识别领域得到广泛应用。人工神经网络诊断作物病害的基本步骤是:构建神经网络识别模型,将已提取并优化好的病害图像特征数据作为分类器的输入特征矢量对模型训练,经过训练后的模型可实现作物病害的分类识别。目前应用于作物病害识别的人工神经网络主要有:BP神经网络、概率神经网络、自组织特征映射网络,并衍生出模糊神经网络、量子神经网络等。BP神经网络具有较好的自学习性、自适应性、鲁棒性和泛化性。概率神经网络是径向基网络的一个重要分支,其分类器是一种有监督的网络分类器,在识别过程中随着训练病害种类的增加[41],其运算速度会减慢。自组织特征映射网络分类器是于1981年提出的一种由全连接的神经元阵列组成的自组织自学习网络[42],可以直接或间接地完成数据压缩、概念表示和分类的任务,多项实验表明它的病害图像识别率都在90%以上。模糊神经网络是模糊理论同神经网络相结合的产物,它汇集了神经网络与模糊理论的优点,集学习、联想、识别、信息处理于一体。量子神经网络是量子计算理论和人工神经网络结合的产物,并集成了两者的优点。王军英[43]以葡萄发病部位、病斑形状、病斑颜色和主要症状为特征,用改进的BP神经网络识别病害,识别率达95.36%。谭克竹等人[44]用BP神经网络识别大豆的灰斑病、霜霉病和斑点病的特征与病害的关系,其轻度病害的识别精度为87.19%,中度病害的识别精度为90.31%,重度病害的识别精度为93.13%。魏清凤等人[45]利用模糊神经网络诊断模型以诊断蔬菜病害,其病害识别率达85.5%。张飞云[19]提取了玉米灰斑病、锈病和小斑病病害图像的颜色、纹理、形状特征,用量子神经网络进行病害识别,其平均识别率达94.5%。陈丽等人[31]对田间采集的玉米叶部病害图像,对图像分割、特征提取,利用概率神经网络识别病害,其识别率为90.4%,同样条件下高于BP神经网络。
1.3.3 支持向量机识别法
支持向量机[46](Support Vector Machine,简称SVM)是Vapnik等人提出的一款新型的机器学习方法。SVM有线性可分和线性不可分两种情况,采用不同的核函数会有不同的SVM 算法。常用的核函数有:线性核函数、多项式核函数、径向基核函数、Sigmoid核函数等。SVM在基于数据的机器学习领域,它兼顾训练误差和泛化能力,在解决小样本、非线性、高维数、局部极小值等模式识别问题中表现出许多特有的优势[47-48],在基于图像诊断作物病害领域应用越来越多。宋凯等人[49]提取了玉米叶部病害图像特征,选择基于SVM的不同的核函数识别病害,其中径向基核函数的正确识别率为89.6%,多项式核函数为79.2%,Sigmoid核函数的识别性能最差。刘鹏[50]提取甜柿病害图像的纹理特征和颜色特征采用SVM识别病害,结果表明,当SVM类型为nu-SVR,核函数为Sigmoid,参数C=26、ξ=24时识别效果最好。田有文等人[51]用支持向量机识别黄瓜病害,实验表明,SVM方法在处理小样本问题中具有良好的分类效果,线性核函数和径向基核函数的SVM分类方法在黄瓜病害的识别方面优于其他类型核函数的SVM。越鲜梅[52]提取了向日葵叶部的叶斑病、黑斑病、霜霉病3种病害图像的颜色矩、纹理特征共9个特征,采用一对一投票决策的SVM多分类模型识别病害,取得了较好的效果。刘立波[22]提取了水稻常见叶部病害图像的颜色、纹理、形状等特征,对特征优化后,分别用最近邻域、BP神经网络和SVM方法识别病害,其中识别率最高的是SVM,BP神经网络居中,最近邻域法最差,BP神经网络的训练速度最慢。
2机器视觉识别作物病害存在的问题与进一步研究重点
将计算机视觉用于作物病害诊断,以改变传统的诊断方式,为种植户准确诊断病害,以及变量施药提供了决策支持。目前,计算机视觉诊断作物病害虽然取得了一定的进展,但从研究的深度、应用的范围和实用化角度看,还存在许多不足,还需进一步深入研究。
2.1机器视觉诊断作物病害存在的问题
笔者查阅了大量文献,对目前常用的机器视觉识别作物病害的技术进行了研读,目前机器视觉识别作物病害的技术还不够成熟,存在以下问题:
(1)在实验室条件下计算机视觉诊断作物病害正确率高,但应用到田间,难度较大,主要原因是大多研究是在简单背景下、对少数几种病害图像诊断,而对大田复杂背景下诊断多种病害的研究还比较少。
(2)病害图像分割背景简单,对于自然状态和复杂背景下的病害图像分割有待进一步的研究。
(3)因作物病斑的大小、颜色等图像特征在不同时期有差异,对于某一发病时期建立的作物病害诊断系统,用于不同发病时期诊断识别率会有所不同。
(4)许多分类算法和分类器都存在各自的优缺点,不能适合所有作物病害识别,没有统一的评价标准,难以实现各诊断系统之间的客观比较。
(5)不同研究者使用的病害图像各不相同,难以比较不同。
(6)机器视觉诊断作物病还是少数专家对某类作物在局部范围内的研究,很难满足现实生产的多种作物、不同区域同时诊断的要求。
2.2进一步研究重点
根据以上存在的问题,今后的研究方向和重点为:
(1)机器视觉识别作物病害技术从实验室向大田扩展时,需综合考虑所提取的病害图像特征在复杂背景下的可获取性、稳定性、可操作性等。
(2)机器视觉诊断作物病害系统应充分考虑不同发病时期,识别特征的变化规律。
(3)研究适合多种作物在复杂背景下实现病斑分割、特征提取等高效的图像处理算法,在模式识别方面要侧重于模糊数学、支持向量机、神经网络、遗传算法、组合优化等理论与技术的研究。
(4)建立规范统一的作物病害图像数据库,图像可普遍获取,建立合理完善的病害分割、特征提取、病害种类识别等系统,以及病害评价标准。
(5)模式识别病害中的算法需进一步发展和优化,建立统一的评判标准,评价方法适合所有的识别算法和各应用领域,采用定量和客观评价准则,可精确描述算法性能,评判应摆脱人为因素。
参考文献:
[1]GEORGIEVA K, GEORGIEVA Y, DASKALOV D.Theoretical substantiation of model of system for evaluation a state of vine plants and taking a decision for plant protection activities[J]. Trakia Journal of Sciences (Series Social Sciences),2003,1:30-32.
[2]穗波信雄.图像处理在植物生长信息提取中的应用[R].日本:农业机械学会关西支部研究会资,1992:63-46.
[3]SASAKI Y , OKAMOTO T. Automatic diagnosis of plantdisease-recognition between healthy and diseased leaf[J]. Journal of the Japanese Society of Agricultural Machinery,1999,61(2):119-126.
[4]陈佳娟,纪寿文,李娟,等.采用计算机视觉进行棉花虫害程度的自动测定[J].农业工程学报,2001,17(2):157-160.
[5]贾浩.基于计算机视觉的玉米叶部病害识别技术研究[D]. 泰安:山东农业大学,2013.
[6]徐贵力,毛罕平,李萍萍,等.差分百分率直方图法提取缺素叶片纹理特征[J].农业机械学报,2003,34(2):76-79.
[7]李宗儒.基于图像分析的苹果病害识别技术研究[D].杨凌:西北农林科技大学,2010.
[8]姜武.模式识别技术在山茶属植物数值分类学和叶绿素含量预测中的应用研究[D]. 金华:浙江师范大学,2013.
[9]王静.基于图像处理技术的烟叶病害自动识别研究[D]. 昆明:昆明理工大学,2009.
[10]刘芝京.基于图像处理的黄瓜细菌性角斑病的识别研究[D]. 成都:西华大学.2012.
[11]赵进辉,罗锡文,周志艳.基于颜色与形状特征的甘蔗病害图像分割方法[J].农业机械学报,2008,39(9).
[12]管泽鑫,唐健,杨保军,等.基于图像的水稻病害识别方法研究[J].中国水稻科学,2010,24(5):497~502.
[13]OTSU N A. Threshold selection method from gray-level histo-gram[J]. IEEE Trans Syst Man Cybenet, 1979, 15: 652-655.
[14]邵庆,张楠,路阳.小麦病害图像识别处理及形状特征提取研究[J].农机化研究,2013,35(8):35-37.
[15]温长吉,王生生,于合龙,等.基于改进蜂群算法优化神经网络的玉米病害图像分割[J].农业工程学报,2013,29(13):142-147.
[16]祁广云,马晓丹,关海鸥.采用改进的遗传算法提取大豆叶片病斑图像[J].农业工程学报.2009,25(5).
[17]毛罕平,张艳诚,胡波.基于模糊C均值聚类的作物病害叶片图像分割方法研究[J].农业工程学报.2008,24.
[18]张柏毅,朱景福,刘勇.基于模糊C-均值聚类的作物叶部病斑图像分割[J].智能计算机与应用.2011,3(10).
[19]张云飞.基于量子神经网络和组合特征参数的玉米叶部病害识别[J].南方农业学报,2013,44(8):1286-1290.
[20]张芳.复杂背景下黄瓜叶部病害识别方法研究[D]. 沈阳:沈阳农业大学,2014.
[21]任玉刚,张建,李淼,等.基于分水岭算法的作物病害叶片图像分割方法[J].计算机应用,2012,32(3):752-755.
[22]刘立波.基于图像的水稻叶部病害诊断技术研究[D]. 北京:中国农业科学院,2010.
[23]濮永仙.基于支持向量机与多特征选择的作物彩色病斑边缘检测[J].计算机应用系统,2014,9(23):118-123.
[24]石凤梅,赵开才,孟庆林,等.基于支持向量机的水稻稻瘟病图像分割研究[J].东北农业大学学报,44(2):128-135.
[25]王美丽,牛晓静,张宏鸣,等.小麦叶部常见病害特征提取及识别技术研究[J].计算机工程与应用, 2014,50(7):154-157.
[26]蔡清,何东健.基于图像分析的蔬菜食叶害虫识别技术[J].计算机应用, 2010,7(30):1870-1872.
[27]王克如.基于图像识别的作物病虫草害诊断研究[D]. 北京:中国农业科学院,2005.
[28]田有文,李天来,李成华,等.基于支持向量机的葡萄病害图像识别方法[J].农业工程学报,2007,23(6):175-179.
[29]李旺.基于图像处理的黄瓜叶部病害识别研究[D]. 长沙:湖南农业大学,2013.
[30]柴洋,王向东.基于图像处理的温室大棚中番茄的病害识别[J].模式识别与仿真,2013,32(9):83-88.
[31]陈丽,王兰英.概率神经网络在玉米叶部病害识别中的应用[J].农机化研究,2011,(6):145-148.
[32]彭占武.基于图像处理和模式识别技术的黄瓜病害识别研究[D].长春:吉林农业大学,2007.
[33]濮永仙,余翠兰.基于双编码遗传算法的支持向量机作物病害图像识别方法[J].贵州农业科学,2013,7(41)187-191.
[34]韩瑞珍.基于机器视觉的农田害虫快速枪测与识别研究[D].杭州:浙江大学,2014.
[35]边肇祺,张学工.模式识别[M].北京:清华大学出版社,2002:284-304.
[36]奉国和.基于聚类的大样本支持向量研究[J].计算机科学,2006,33(4):145-147.
[37]杨昕薇,谭峰.基于贝叶斯分类器的水稻病害识别处理的研究[J].黑龙江八一农垦大学学报,2012,24(3):64-67.
[38]赵玉霞,王克如,白中英等.基于图像识别的玉米叶部病害诊断研究[J].中国农业科学 2007,40(4):698-703
[39]柴阿丽,李宝聚等.基于计算机视觉技术的番茄叶部病害识别[J].园艺学报,2010,37(9):1423-1430.
[40]Han Jiawei,Kamber M.数据挖掘概念与技术[M].第二版. 范明,孟小峰,译.北京:机械工业出社,2007:251-306.
[41]贺鹏,黄林.植物叶片特征提取及识别[J].农机化研究,2008(6):168-170.
[42]杨占华,杨燕.SOM神经网络算法的研究与进展[J].计算机工程,2006,32(16):201-228.
[43]王军英.基于BP神经网络的葡萄病害诊断系统研究[J].农业信息网,2013,8:30-33.
[44]谭克竹,沈维政.基于BP神经网络的大豆叶片病害诊断模型的研究[J].控制理论与应用,2013,32(12):5-7.
[45]魏清凤,罗长寿,曹承忠,等.基于模糊神经网络的蔬菜病害诊断模型研究[J].河南农业科学,2013,(9):4224-4227.
[46]BURGOS-ARTIST X P, RIBERA A, TELLAECHE A, et al. Improving weed pressure assessment using digital images from an experience-based reasoning approach [J]. Computers and Electronics in Agriculture, 2009, 65(2): 176-185.
[47] BURGES C J C. A tutorial on support vector machines for pattern recognition [J].Data Mining and Knowledge Discovery, 1998, 2(2):121-169.
[48]Steve R Gunn. Support vector machines for classification and regression [R].Southampton: University of Southampton, 1998:1-28.
[49]宋凯,孙晓艳,纪建伟.基于支持向量机的玉米叶部病害识别[J].农业工程学报,2007,23(1):155-157.
[50]刘鹏,屠康,徐洪蕊,等.基于支持向量机的甜柿表面病害识别[J].现代食品科技,2011,27(3):349-353.
[51]田有文,牛妍.支持向量机在黄瓜病害识别中的应用研究[J].农机化研究,2009,(3):36-38.
[52]越鲜梅.基于图像识别的向日葵叶部病害诊断技术研究[D].呼和浩特:内蒙古工业大学,2013.
1 项目基金:云南省科学研究基金子课题(2013Y571)。
作者简介:濮永仙( 1976-),女,云南腾冲人,硕士,副教授,主要研究方向:机器视觉诊断作物病害,智能农业方面的研究。
??
??
篇9
【关键词】故障定位;差异分析;算法选择
在日常生活中,电网的规模、容量及覆盖范围越大,由此导致的频繁的故障停电现象就会给社会生产及人类生活带来严重的经济损失。确保电力系统的安全、可靠、经济性, 避免事故的发生,是供电和用户共同的愿望 。然而,只有通过准确的定位故障, 才可阻隔并消除故障, 保证用户供电安全。算法决定了故障定位的速度,鉴于输电线路和配电网络的结构不一样,选用的定位算法也会有所不同,实际工作中,要细分网络自身的特点, 才能选择科学的具体定位方法。
1 比较输电线路和配电网路的特点
1.1 输电网的结构特点
输电系统包括电压等级为110kV 以上的高压和超高压输电线路两部分, 地充电电容对其影响明显, 在实际中也要考虑这一因素。输电线路中有导线换位,三相参数对应, 三相不平衡电流不会受影响。输电线路与配电网络相比, 它的拓扑结构更简单,易于分析。输电线路运用的是中性点直接接地方式, 发生单相接地故障时,可较快的测量出零序电流。
1.2 输电网络的故障特点
输电网络发生故障的概率不大。高压输电线路上以暂时性故障为主,巡线不容易找到故障位置。以前出现过暂时性故障的区域.复发故障的机会比较大, 可还可能发展为永久性故障。高压输电线路故障以杆塔处为频发地点, 所以定位精度可以两杆塔的间距为准。
1.3 配电网的结构特点
配电网电压等级在110kV 及以下,对于配网架空线路来说,对地充电电容较小, 通常情况下不予考虑地电容电流。不过对于地下配电电缆来说,电容电流却是重要因素。配电网络拓扑结构较为复杂,分支线、子分支线多,中间还存在负荷, 负荷性质也有所不同 ,这使得合理定位配网的故障的任务更加艰难。配电网电压等级不同,其中性点接地方式也会不一样, 改变接地方式会对定位的影响也会更明显。
1.4 配电网的故障特点
配电网发生故障的比输电网要大的多, 超过95%的用户出现停电现象的原因都是因为配网故障。配电网设备分布不够集中, 信号采集难度大,信号传输过程中,由于距离远而畸变的概率增大。配电网的故障及操作频率均比较高,其运行方式和网络拓扑始终处于变化状态; 此外, 配电网采用闭环设计开环运行方式, 一旦设备出现短暂的闭环运行,故障定位就会更加困难。
2 故障定位技术在输电网和配电网中的应用
科技水平不断提高的状态下,电网也趋向于智能化发展,其对电力系统故障定位也提出了更高的要求。如电力系统发生故障, 就必须故障区段进行迅速定位, 隔离并切除故障, 使供电恢复正常,同时降低了事故带来的影响。科研人员一直在研究电力系统故障定位方法,但输电网络和配电网两者间存在差异,定位算法也不同, 在实际工作中,网络的特点也是值得考虑的因素之一。
2.1 基于阻抗法的故障定位
阻抗法以基波电气量为基础,通过建立电压平衡方程, 利用数值分析的方法获得故障点到测量的阻抗, 再通过该阻抗找出故障点。阻抗法主要包括单端和双端两种, 单端法精度较低。配电网网络拓扑较乱,沿线还存在中间负荷, 因此用这种方法进行定位时,难度会比较大, 另外单端法通常以当个或多个假设为基础, 比较容易脱离实际,受过度电阻、负荷电流等影响程度也较大,误差也就在所难免;阻抗法主要用于定位输电网的故障,在综合分支线及负荷电流变化等因素对该定位算法加以修正, 其定位就会更加准确。
2.2 基于行波法的故障定位
行波法所采取的方式主要为:分析故障行波中包含的故障点的信息,来确定故障发生地。行波法可分为单端法和双端法两种,双端法定位精度更为准确,在测距时用的比较多。行波法排除了故障类型和过渡电阻的干扰,定位速度及精度都比较高。输电网线路的结构较为简单, 采集也更好采集, 这给行波定位带来了方便。阻抗法近端测距准确度较高, 所以在实际工作中,输电线路通常会将两者进行结合和互补来定位故障。
2.3 基于智能算法的故障定位法
智能理论一直都在发展和成熟中,这种算法在定位电力系统的故障时也有了一定的运用。
2.3.1 基于专家系统的故障定位
专家系统也是故障定位的重要方法。它主要包括知识库、用户界面、推理机等组成部分。其中推理机是专家系统模型的中心部分。这种方式是将获得的故障信息与知识库中的信息来做比较, 运用推理机进行推理, 最终确定发生故障的位置。尽管专家系统可以像故障诊断专家那样,实现故障定位目的, 但针对该系统中没有的故障类型就无法做出定位。
2.3.2 基于人工神经的故障定位
人工神经网络有个很明显的特点:利用人工神经元及其链接秘密性解决问题, 具备学习及容错能力,其执行效率较高。鉴于人工神经网络的优势所在,国内外不少学者用这种方法来深入研究和定位配电网故障。不过这种还是存在其不足, 针对不同的拓扑结构, 神经网络所要求的学习算法也是不同的, 这就需要对其加强训练。
2.3.3 基于其他智能算法的故障定位
以上两种智能算法是常见方法,除此以外,遗传算法和模糊算法也是电网故障定位中较为实用的方法。以遗传算法为基础的电网故障定位主要运用自动化系统来供应实时信息, 对电网发生故障的区域实行定位。该方法主要用到的是适应度函数, 通过计算适应度来获得答案。这种方法在电力系统中用的比较多, 发展前景也是可观的。模糊理论是以类乎推理的模糊逻辑为基础, 拥有一套完整的推理体系。通过建立设备隶属度函数, 找到适当的开断设备, 最终定位故障区域。
3 结语
总之,尽管定位方法较多,但各有其优缺点,在科技不断进步的同时, 定位算法中出现的问题也要适时解决, 才能为电力系统故障定位打下基础。在实际工作中,要根据输电网和配电网的网络结构和特点, 各自来选择适当的定位算法,使定位结果更为科学。
参考文献:
[1]徐青山.电力系统故障诊断及故障恢复[M].北京:中国电力出版社,2007.
[2]王东举,周浩.高压输电线路故障定位综述[J].电气应用,2007, 26(4) .
篇10
[关键词]搜索引擎 主题爬行 爬行策略 爬行算法
[分类号]TP391
搜索引擎技术自诞生之日起就成为互联网中最吸引人的技术之一,各种商业化的搜索引擎已经成了人们使用互联网时不可缺少的工具。传统搜索引擎的工作原理是服务提供商利用网络爬虫(Web crawler,也被称作网络蜘蛛(Web spider)或网络机器人(robot),通过一些种子站点按照深度优先或者广度优先的搜索策略对可以爬行到的资源进行扫描、下载,并将下载的信息以快照或全文方式存储在数据库中,建立相关索引,当用户在搜索引擎的用户界面中输入搜索关键字后,搜索引擎访问数据库,返回数据库中与搜索关键字匹配的纪录。随着互联网中网页资源的快速增长,传统的搜索引擎在某些方面的缺陷也越来越明显:①搜索结果不够全面。传统搜索引擎希望镜像整个Web世界,搜索引擎追求的是尽量多的处理及存储网络爬虫爬回的网页,但不同的搜索引擎由于受到服务器位置、网络带宽、爬行算法、服务器容量等因素的影响,服务器中存储的资源是有限的,任何一个搜索引擎不可能存储并索引网络上所有的网页信息。即使是全球最大的搜索引擎Google,其索引的页面数量也仅占Web总量的40%左右。②搜索周期增加,影响信息的实效性。随着Web资源的快速增长,传统搜索引擎网络爬虫的爬行周期不断增加,数据库更新时间越来越长。每一个网页都有自己的生命周期,网页的更新速度可能会快于搜索引擎数据库的更新速度,当搜索引擎把数据库中已经过期的信息反馈给用户时,用户可能根本无法打开相关链接或者打开的是过期的网页。③搜索结果的针对性不强。用户输入一个关键字后返回很多结果,但存在大量重复,很多结果并不是用户需要的。通过对欧洲和美国9个主要的搜索引擎日志的统计分析,认为用户对于搜索结果的查看呈减少趋势。普通用户仅仅会察看搜索引擎返回的前若干条数据,对于其他搜索结果,很多用户没有耐性全部看完。不同专业背景的人,对于同一个关键词的理解可能大相径庭,同样的“苹果”一词,有人可能理解成为食品,有人可能理解成为苹果公司或者其IT产品。
鉴于传统搜索引擎的这些缺陷,一些学者提出了垂直式搜索引擎的概念,即该搜索引擎不以爬行所有的Web页面为目标,仅仅在互联网中快速爬行某一部分Web页面并存储,这样的搜索引擎既可以节约网络带宽资源,又可以缩短搜索引擎数据库的更新周期,使搜索引擎得到实时性更好的网页。De Bra等最先提出的主题爬行(topic crawling)搜索引擎通过限定爬行主题,提高了搜索精度,成为垂直式搜索引擎的代表。主题爬行技术的核心是爬行策略与算法,本文从主题爬行技术的基本原理出发,对其策略进行分类,沿着爬行策略及算法的改进,分析了主题爬行策略与算法的研究热点,为主题爬行技术的进一步研究提供参考。
1 主题爬行原理
主题爬行是在传统网络爬行技术基础上,加入文本分类、聚类以及Web挖掘等相关技术用于捕获特定主题的Web信息。主题爬行技术的应用可以提高搜索精度,降低搜索引擎对网络资源的占用,缩短搜索引擎数据库的更新周期。基于主题爬行技术的搜索引擎与传统搜索引擎最大的区别在于:该搜索引擎的网络爬虫是面向主题的。传统搜索引擎的网络爬虫在爬行过程中采用的是“通吃”策略,不分类别、不分内容全部爬行并下载;基于主题的网络爬虫在爬行前或者爬行过程中根据已经爬行的结果有选择性的进行预测下一步爬行并下载。
主题爬行过程通常由三部分构成:①分类器(clas―sifter),主要对已抓取网页的元素进行计算,判断其主题相关度,确定是否对该网页中所包含的超级链接进一步抓取;②提取器(distilIer),该模块存储待下载队列,并确定待下载队列的优先级;③爬行器(crawler),该模块在分类器和提取器的指导下,执行网页抓取工作。主题爬虫的爬行过程为爬行器根据不同的爬行策略执行爬行操作,抓取网页送人分类器中,分类器对已经抓取的网页进行处理,根据设定主题及其域值判断该网页的主题相关性,结合其他参数,确定是否对该网页包含的超级链接进一步爬行。如果爬行,则送入提取器中的队列,由提取器根据队列规则确定其爬行优先极。Chakrabarti等人 1999年正式提出了个性化主题搜索引擎的概念,该搜索引擎不以传统的关键词作为搜索内容,而是在某一限定范围内,通过计算Web页面内容与主题的相关性,决定主题爬虫是否值得进一步搜索。其中,主题是由一些范例文档来确定的,该主题爬虫实时查找与文档词典有相关性的网页,保证了搜索页面的时效性与针对性。
2 主题爬行基本爬行策略与算法
主题爬行技术的核心是爬行的策略与算法,由于主题爬虫与传统网络爬虫在爬行目标上有很大差别,因此,除了采用传统网络爬虫的爬行策略之外,主题爬虫在爬行过程中还要采用有效爬行策略与算法尽快爬到并抓取与主题相关的网页。Sotiris Batsakis等人将主题爬行策略分成三类:经典主题爬行策略、改进的主题爬行策略、基于语义的主题爬行策略。经典爬行策略主要指主题爬行的“鱼群搜索策略”(fish search),改进的主题爬行策略主要指“鲨鱼搜索策略”(sharksearch)、“最优最先(best first)搜索策略”等。
鱼群搜索策略是以“鱼群搜索算法”(fish algo―rithm)为基础的主题爬行策略,鱼群搜索算法是一种基于群体动物行为的智能优化算法,该算法模仿鱼群在觅食和繁殖时的表现,动态调整种群的个数。在鱼群搜索策略中,每个网页相当于一条鱼,如果遇到满足给定条件的相关网页,则该鱼繁殖小鱼,并对该网页发出的链接进一步探索;否则食物减少,如果一条鱼的食物减为零,则该鱼将停止寻食并放弃对该链接的爬行。鱼群搜索策略中某一超级链接是否放人提取器中待下载,取决于该链接的父链接与主题的相关性。关于待下载链接与主题的相关性,De Bra L”提出了通过比较已下载网页内容与主题关键字是否匹配,引入二元分类方法(1代表相关,O代表不相关)来计量相关性。
改进的主题爬行策略是基于鱼群搜索策略基础的改进,Hersoviei M”。提出采用向量空间模型(vectorspace model)来计量相关性,向量空间模型不以整数0、1来计量相关性,而是通过多个参数比较,采用O一1之间的实数来计量。该方法除了用已下载网页内容和主题关键词是否简单匹配来判断相关性,还通过计算
锚文本(anchor)等其他参数与主题的相关性来计量。这种改进的搜索策略比鱼群搜索策略在爬行的准确率(precision rate)和召回率(recall rate)上有很大的进步,该搜索策略被称之为“鲨鱼搜索策略”(shark search)。在“鲨鱼搜索策略”中,已下载网页中页面内容、锚文本内容、链接内容(URL)及父页(指向包含链接页面的Web页)的相关性等都作为主要参数用来计量待下载网页与主题的相关性,通过计算确定待下载网页是否进人提取器队列中。关于参数向量的选择,Cho J等提出了重要度向量,该重要度向量由几个部分构成:①已下载页面逆文献频率法(inverse document frequency,IDF)的关键词相关度;②已下载Web页的重要链接指向个数(backlink count);③已下载页面指向链接的重要度值(pagerank);⑧URL位置矩阵(10cation metrics)等四个参数作为衡量相关性的向量。
随着研究的不断深入,“鲨鱼搜索策略”也不断完善,该方法中向量空间模型的参数越多,相关性计量越准确,但参数增加使计算量也随之增加,因此,过多的参数对爬行速度有一定影响。但Zhumin Chen等”。对各种主题爬虫的运行时间进行了实验分析比较,该学者认为,相对于网络中的下载等待时间来说,相关性计算的时间很少,有时甚至不到下载时间的十分之一,因此页面相关性的计算对爬行速度的影响是可以忽略的。在“鲨鱼搜索策略”的基础上,Menczer F等提出了“最优最先”(best first)搜索策略,这一策略通过计算向量空间的相关性,把相关性“最好”的页面放入最优先下载的队列,另外,“最优最先”搜索策略采用了术语频度(TF)值计算文本相似度,减少了部分计算量。根据文献,由于只选择与主题相关性很大的链接,而忽略某些当前相关性不高但下级链接中包含很高相关性链接的网页,最优最先算法具有很大的贪婪性,该算法只能找到局部范围内的最优解,难以得到全局范围内的最优解。因此,该搜索策略只适用于小范围内的主题爬行,对于大范围的主题爬行,容易过早地陷入Web空间中局部最优子空间的陷阱。
作为一种有效表现概念层次结构和语义的模型,本体论(ontology)被广泛地应用到计算机科学的众多领域。美国斯坦福大学的知识系统实验室学者TomGruber提出了本体是概念化的显式表示,Studer在Gruber的基础上扩展了本体的概念,提出本体是共享概念模型的明确形式化规范说明。本体具有良好的概念层次结构和对逻辑推理的支持,可以解决信息源之间结构和语义的异构,W3C在2004年提出了Web本体语言(Web ontology language,OWL)的标准。基于本体的网络爬虫认为概念上使用相似术语的页面应具有一定的相关性。M.Ehrig等学者将本体应用于主题爬虫的分离器中,首先通过定义术语的相关性,建立本体术语集合,通过对已下载网页处理并对本体库的比较分析,计算其相关性,确定是否将待下载链接放入分离器,提高了主题爬行的准确度与召回率。Jason J.Jung提出基于语义主题爬行的开放式决策支持系统,该开放系统主要包括基于上下文语义的主题爬虫通过域内链接进行区域内知识发现及知识的处理,为开放式决策支持系统迅速提供知识。基于语义的主题爬行技术中,本体库的构建及完善是一项复杂的工作,因此应用范围有限。
3 爬行策略与爬行算法的改进
虽然鱼群搜索策略、鲨鱼搜索策略、最优最先搜索策略是主题爬虫常用的搜索策略,但由于互联网中网站结构的多样性及复杂性,很多学者在主题爬行算法中尝试采用其他的搜索算法实现较高准确率与召回率。相继提出了采用模糊算法、人工神经网络、遗传算法、粗集理论等方法指导主题爬虫的爬行过程。
作为最优最先搜索策略的改进,李学勇等采用模拟退火算法作为爬行的启发式搜索算法,与爬行中的“隧道技术”结合改进主题爬虫。模拟退火算法从某一较高初温出发,伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解。该算法在选择优化解方面具有非贪婪性,在爬虫搜索过程中,每次除了选择评价值最优的链接,还以一定概率有限度地接收评价值次优的链接,确保有一定价值的链接有机会被选中。“隧道技术”使爬虫有机会穿过相关性低的区域进入相关性高的区域,当页面内容的相关度低于设定的阈值时,通过扩大主题范围,使更多的相关链接加入到链接优先级队列,提高相关网页的召回率。模拟退火算法是一种随机算法,虽然可以比较快地找到问题的近似最优解,但不一定能找到全局的最优解。因此,将模拟退火算法应用于最优最先搜索策略并不能完全保证主题爬行的鲁棒性。
遗传算法(genetic algorithm)是模拟生物进化论与遗传学结合的计算模型,在最优解搜索领域具有一定优势,自从密西根大学的Holland教授提出该算法后,由于其鲁棒性、自组织性强等优点,在很多方面有广泛的应用。Jialun Qin等学者采用遗传算法实现主题爬虫在特定域内的爬行,通过初始化、内容分析选择、链接分析杂交、变异等几个步骤实现主题爬虫在特定域内的爬行。根据文献,该算法的应用在某些Web页的主题爬行中具有较好的准确率与召回率。遗传算法应用于主题爬行技术中存在编码方式的确定、适应性函数的确定等问题,由于网站结构、网页类型的不同需要采取不同的标准。遗传算法也存在局部最优陷阱问题,单纯使用遗传算法进行主题爬行时也会存在无法穿越隧道的问题。
隐马尔柯夫模型(HMM)作为一种统计分析模型,在信号识别等领域有广泛的应用,隐马尔柯夫链在相关性评估应用中具有一定优势。Hongyu Liu等提出基于隐马尔柯夫模型的算法来评估待下载页面与主题之间的相关性。该系统包括三个步骤:①进行数据收集;②依据相关性模式建模;③根据模型对待下载页面评估并进行主题爬行。该算法的应用可以提高主题爬虫在分离器中的处理精度,但由于计算量的增加,会降低处理效率。
人工神经网络近来日益受到人们的关注,因为它特有的非线性、自适应性、自学习性为解决复杂问题提供了一种相对比较有效的简单方法。Hai-Tao Zhengr提出采用基于本体的人工神经网络(ANN)实现自学习爬行,系统框架分为三个步骤:①进行数据准备;②通过现有的数据集对人工神经网络进行训l练;③将训练过的主题爬虫应用于实际爬行,取得较高的准确率与召回率。人工神经网络存在训练时间长、学习算法的通用性低等缺点,所以,将人工神经网络应用于主题爬行中,也存在样本学习时间长,学习算法不具有通用性等缺点。因此,人工神经网络仅仅适用于小范围的主题爬行。
除以上算法的改进,很多学者还尝试采用其他计
算方法改善主题爬虫的搜索性能,Suman Saha等。应用粗集理论对未下载的Web页面进行预测,判断其与主题相关性,该方法提高了爬行页面的准确率,降低了噪声。Huaxiang Zhang等提出利用Q学习及在线半监督学习理论在待访问的URL列表中选择与主题最相关的URL,相关值的计算基于模糊理论及Q值理论。
虽然很多学者尝试通过不同的软计算方法改进主题爬虫,但由于互联网中网站结构与网站内容多样复杂,这些算法往往应用于某些网站时具有较高的准确率与召回率,但是应用于另一些网站时准确率与召回率会下降。主题爬虫的准确率与召回率除了受网站结构、主题爬虫的爬行策略与算法等因素的影响,还受爬行入口位置、Web服务器性能等其他相关因素影响。
4 主题爬行策略与算法的研究热点
鉴于主题爬行技术的不断发展,主题爬行策略及算法也在不断完善。目前关于主题爬行策略与算法的研究主要集中于以下几个方面:①爬行策略与爬行算法的通用性研究。互联网中不同类型网站的网页间组织形式相差很大,如何从已经下载的网页中高效、准确地判断待下载页面与主题的相关性,并根据相关性修改下载队列,是主题爬行技术能否成功的关键。目前主要通过修改爬行策略及利用各种软计算方法来实现,但很多时候对于某些网站具有很高的召回率和准确率的方法,对于另一些网站可能并不适用。主题爬行的准确率与召回率有时候与种子URL的起始位置等其他相关因素有很大关系。②“隧道技术”的研究。很多时候主题爬虫需要穿过若干个与爬行主题相关性很低的页面后才会发现一组与主题相关性很高的页面群,穿越中间相关性很低的页面需要隧道技术,如何实现隧道穿越、提高主题爬行准确度是目前很多学者研究的内容。③对于深度Web(deep Web)资源爬行策略的研究。许多深度Web资源存放在数据库中,这些数据库的访问需要用户名、密码等信息,目前常采用半人工辅助方法使主题爬虫访问数据库,如何快速、自动地发现这些数据库并访问这些深度Web资源,也是当前主题爬行技术的研究热点。
- 上一篇:文宣部新学期工作计划
- 下一篇:民族民间传统体育