人工神经网络的实际应用范文
时间:2024-04-01 11:31:14
导语:如何才能写好一篇人工神经网络的实际应用,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
关键词性能对比感知器BP网络霍普菲尔德网络字符识别
1引言
人工神经网络是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。 它是理论化的人脑神经网络的数学模型,是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。因其自组织、自学习能力以及具有信息的分布式存储和并行处理,信息存储与处理的合一等特点得到了广泛的关注,已经发展了上百种人工神经网络。
一般来说,人工神经网络从结构上可分为两种:前向网络和反馈网络。典型的前向网络有单层感知器、BP网络等,反馈网络有霍普菲尔德网络等[1]。
人工神经网络已经被广泛应用于模式识别、信号处理、专家系统、优化组合、智能控制等各个方面,其中采用人工神经网络进行模式识别具有一些传统技术所没有的优点:良好的容错能力[2j、分类能力、并行处理能力和自学习能力,并且其运行速度快,自适应性能好,具有较高的分辨率。单层感知器、BP网络和霍普菲尔德网络均可以用于字符识别。
本文通过具体采用感知器网络、BP网络和霍普菲尔德反馈网络对26个英文字母进行识别的应用,通过实验给出各自的识别出错率,通过比较,可以看出这3种神经网络的识别能力以及各自的优缺点。
2 字符识别问题描述与网络识别前的预处理
字符识别在现代日常生活的应用越来越广泛,比如车辆牌照自动识别系统[3,4],手写识别系统[5],办公自动化等等[6]。毕业论文 本文采用单层感知器、BP网络和霍普菲尔德网络对26个英文字母进行识别。首先将待识别的26个字母中的每一个字母都通过长和宽分别为7×5的方格进行数字化处理,并用一个向量表示。其相应有数据的位置置为1,其他位置置为O。图1给出了字母A、B和C的数字化过程,其中最左边的为字母A的数字化处理结果所得对应的向量为:IetterA~「00100010100101010001111111000110001〕’,由此可得每个字母由35个元素组成一个向量。由26个标准字母组成的输人向量被定义为一个输人向量矩阵alphabet,即神经网络的样本输人为一个35×26的矩阵。其中alphabet=[letterA,letterB,lettere,……letterZj。网络样本输出需要一个对26个输人字母进行区分输出向量,对于任意一个输人字母,网络输出在字母对应的顺序位置上的值为1,其余为O,即网络输出矩阵为对角线上为1的26×26的单位阵,定义target=eye(26)。
本文共有两类这样的数据作为输人:一类是理想的标准输人信号;另一类是在标准输人信号中加上用MATLAB工具箱里的噪声信号,即randn函数。
3 识别字符的网络设计及其实验分析
3.1单层感知器的设计及其识别效果
选取网络35个输人节点和26个输出节点,设置目标误差为0.0001,最大训练次数为40。设计出的网络使输出矢量在正确的位置上输出为1,在其他位置上输出为O。医学论文 首先用理想输人信号训练网络,得到无噪声训练结果,然后用两组标准输入矢量加上两组带有随机噪声的输人矢量训练网络,这样可以保证网络同时具有对理想输人和噪声输人分类的能力。网络训练完后,为保证网络能准确无误地识别出理想的字符,再用无噪声的标准输入训练网络,最终得到有能力识别带有噪声输人的网络。下一步是对所设计的网络进行性能测试:给网络输人任意字母,并在其上加人具有平均值从。~0.2的噪声,随机产生100个输人矢量,分别对上述两种网络的字母识别出错率进行实验,结果如图2所示。其中纵坐标所表示的识别出错率是将实际输出减去期望输出所得的输出矩阵中所有元素的绝对值和的一半再除以26得到的;虚线代表用无噪声的标准输人信号训练出网络的出错率,实线代表用有噪声训练出网络的出错率。从图中可以看出,无噪声训练网络对字符进行识别时,当字符一出现噪声时,该网络识别立刻出现错误;当噪声均值超过0.02时,识别出错率急剧上升,其最大出错率达到21.5%。由此可见,无噪声训练网络识别几乎没有抗干扰能力。而有噪声训练出的网络具有一定的抗干扰能力,它在均值为。~0.06之间的噪声环境下,能够准确无误地识别;其最大识别出错率约为6.6%,远远小于无噪声训练出的网络。
3.2BP网络的设计及其识别效果
该网络设计方法在文献[lj中有详细介绍。网络具有35个输人节点和26个输出节点。目标误差为0.0001,采用输人在(0,l)范围内对数S型激活函数两层109519/109519网络,隐含层根据经验选取10个神经元。和单层感知器一样,分别用理想输人信号和带有随机噪声的输人训练网络,得到有噪声训练网络和无噪声训练网络。由于噪声输人矢量可能会导致网络的1或o输出不正确,或出现其他值,所以为了使网络具有抗干扰能力,在网络训练后,再将其输出经过一层竞争网络的处理,使网络的输出只在本列中的最大值的位t为1,保证在其他位置输出为O,其中网络的训练采用自适应学习速率加附加动量法,在MATLAB工具箱中直接调用traingdx。在与单层感知器相同的测试条件下对网络进行性能测试,结果如图3所示。其中虚线代表用无噪声训练网络的出错率,实线代表用有噪声训练网络的出错率。从图中可以看出,在均值为o一0.12之间的噪声环境下,两个网络都能够准确地进行识别。在0.12~0.15之间的噪声环境下,由于噪声幅度相对较小,待识别字符接近于理想字符,故无噪声训练网络的出错率较有噪声训练网络略低。当所加的噪声均值超过。.15时,待识别字符在噪声作用下不再接近于理想字符,无噪声训练网络的出错率急剧上升,此时有噪声训练网络的性能较优.
转贴于 3.3离散型,霍普菲尔德网络的设计及其识别效果
此时网络输人节点数目与输出神经元的数目是相等的,有r=s=35,采用正交化的权值设计方法。在MATLAB工具箱中可直接调用函数newh叩.m。要注意的是,由于调用函数newhoP.m,需要将输人信号中所有的。英语论文 变换为一1。如letterA~[一1一11~1-1一11一11一l一11一11一11一1一1一11111111一l一l一111一1一1一11〕’。设计离散型霍普菲尔德网络进行字符识别,只需要让网络记忆所要求的稳定平衡点,即待识别的26个英文字母。故只需要用理想输人信号来训练网络。对于训练后的网络,我们进行性能测试。给网络输入任意字母,并在其上加人具有平均值从。~0.5的噪声,随机产生100个输人矢量,观察字母识别出错率,结果如图4所示。从图中可以看出,在均值为0~0.33之间的噪声环境下,网络能够准确地进行识别。在0.33~0.4之间的噪声环境下,识别出错率不到1%,在0.4以上的噪声环境下,网络识别出错率急剧上升,最高达到大约10%。可以看出,该网络稳定点的吸引域大约在0.3~。.4之间。当噪声均值在吸引域内时,网络进行字符识别时几乎不出错,而当噪声均值超过吸引域时,网络出错率急剧上升。
4结论
本文设计了3种人工神经网络对26个英文字母进行了识别。可以看出,这3种人工神经网络均能有效地进行字符识别,并且识别速度快,自适应性能好,分辨率较高。由图2和图3可以看出,单层感知器的有噪声训练网络在均值为O~0.06之间的噪声环境下可以准确无误的识别,而有噪声训练的BP网络可以在o~0.12之间的噪声环境下准确无误的识别,故BP络网络容错性比单层感知器的容错性好;此外,噪声达到0.2时,单层感知器的有噪声训练网络的识别出错率为6.6%,而有噪声训练的BP网络的识别出错率为2.1%,故BP网络比单层感知器识别能力强。另外,由图2、图3和图4可以看出,这3种网络中霍普菲尔德网络识别率最高,它在噪声为0.33以前几乎不会出错,BP网络次之,感知器最差。
通过设计、应用与性能对比,我们可得单层感知器网络结构和算法都很简单,训练时间短,但识别出错率较高,容错性也较差。BP网络结构和算法比单层感知器结构稍复杂,但其识别率和容错性都较好。霍普菲尔德网络具有设计简单且容错性最好的双重优点。因此,我们应根据网络的特点以及实际要求来选择人工神经网络对字符进行识别。 参考文献
[1]丛爽.面向MATLAB工具箱的神经网络理论与应用「M.合肥:中国科学技术大学出版社,2003.
[2]武强,童学锋,季隽.基于人工神经网络的数字字符识别[J].计算机工程,2003,29(14):112一113.
[3]廖翔云,许锦标,龚仕伟.车牌识别技术研究[J].徽机发展,2003,13:30一35.
[4]李中凯,王效岳,魏修亭.BP网络在汽车牌照字符识别中的应用[J].东理工大学学报,2004,18(4):69一72.
篇2
[关键词]BP神经网络农业工程农业管理农业决策
一、引言
采用神经网络算法的信息处理技术,以其较强的计算性和学习性,现如今已经在各工程领域内得到了广泛应用。随着科技不断的发展和研究的不断深入,农业系统中采用的传统分析和管理的方法已经不能满足农业工程领域快速发展的需要。在农业系统中采用神经网络技术可在一定程度上可弥补传统方法的不足,现已成为实现农业现代化的一个重要途径。神经网络现已在农业生产的各个环节得到广泛的应用,从作物营养控制、作物疾病诊断、产量预测到产品分级,显示了巨大的潜力,并正以很快的速度与生产实际相结合。目前应用比较多的BP神经网络,可通过学习以任意精度逼近任何连续映射,在农业生产与科研中展示出了广阔的应用前景。
BP人工神经网络方法。人工神经网络是对生物神经网络的简化和模拟的一种信息处理系统,具有很强的信息存贮能力和计算能力,属于一种非经典的数值算法。通常可分为前向神经网络、反馈神经网络和自组织映射神经网络。BP神经网络(Backpropugation Neura1 Network)是一种单向传播的多层前向神经网络,可通过连续不断的在相对于误差函数斜率下降的方向上计算网络权值以及偏差的变化而逐渐逼近目标值,每一次数字和偏差的变化都与网络误差的影响成正比,并以反向传播的方式传递到每一层,从而实现了神经网络的学习过程。BP人工神经网络的结构如图所示,BP神经网络可分为输入层、中间层(隐含层)和输出层,其中输入和输出都只有一层,中间层可有一层或多层。同层的网络结点之间没有连接。每个网络结点表示一个神经元,其传递函数通常采用Sigmoid型函数。BP神经网络相当于从输入到输出的高度非线性映射,对于样本输入和输出,可以认为存在某一映射函数g,使得y0=g(xi),i=1,2,3,…,m,其中m为样本数,xi为输入样本,yo为输出结果。
BP神经网络的一个显著优点就是其可进行自学习,能够通过训练得到预期的效果。其学习过程由正向传播和反向传播组成,神经网络的输入值经过非线性变换从输入层经隐含层神经元的逐层处理传向输出层,此为正向传播过程。每一层神经元的状态将影响到下一层神经元状态。如果输出层得到的数值与期望输出有一定的偏差,则转入反向传播过程。神经网络通过对输入值和希望的输出值(教师值)进行比较,根据两者之间的差的函数来调整神经网络的各层的连接权值和各个神经元的阈值,最终使误差函数达到最小。其调整的过程是由后向前进行的,称为误差反向传播BP算法。具体学习过程如下:
(1)随机给各个权值赋一个初始权值,要求各个权值互不相等,且均为较小的非零数。
(2)输入样本集中每一个样本值,确定相应的网络实际输出值。
(3)计算实际的输出值与相应的样本集中的相应输出值的差值。
(4)按极小误差方式调整权值矩阵。
(5)判断网络误差是否小于训练前人为设定的一个较小的值,若小于,则跳出运算,此时的结果为神经网络的最终训练结果;若大于,则继续计算。
(6)判断最大迭代次数是否大于预先设定的数,若小于,返回(2);若大于,则中止运算,其结果为神经网络的最终训练结果。
上述的计算过程循环进行,直到完成给定的训练次数或达到设定的误差终止值。
二、BP神经网络在农业工程领域中的应用
1.在农业生产管理与农业决策中的应用
农业生产管理受地域、环境、季节等影响较大,用产生式规则完整描述实际系统,可能会因组合规则过多而无法实现。神经网络的一个显著的优点就是其具有较强的自学习、自适应、自组织能力,通过对有代表性的样本的学习可以掌握学习对象的内在规律,从而可以在一定程度上克服上述信息量大的问题。神经网络在农业生产管理方面可用于农作物生长过程中对农作物生长需求进行预测,从而通过对养分、水分、温度、以及PH值的优化控制达到最优的生长状况。采用神经网络预测算法的主要思想可描述为:(1)收集一定规模的样本集,采用BP算法进行训练,使网络收敛到预定的精度;(2)将网络权值矩阵保存到一存储介质中,例如文本文件或数据库中;(3)对于待预测数据的输入部分,从存储介质中读出网络连接权值矩阵,然后通过BP神经网络的前向传播算法计算网络输出,输出结果既是预测出来的数值向量。如霍再林等针对油葵不同阶段的相对土壤含盐浓度对其产量的影响有一定的规律的现象,以油葵的6个成长阶段的土壤溶液含盐的相对浓度为输入样本,相对产量为输出样本,通过比较发现,训练后的神经网络能较好预测油葵产量,采用此方法可补充传统模型的不足,为今后进一步的研究开辟了新路。
在农业决策方面,主要将农业专家面对各种问题时所采取的方法的经验,作为神经网络的学习样本,从而采用神经网络建立的专家系统将从一定程度上弥补了传统方法的不足,将农业决策智能化。如何勇、宋海燕针对传统专家系统自学习能力差的缺点,利用神经网络可自我训练的优点,将神经网络引入专家系统中。将小麦缺素时的田间宏观表现,叶部、茎部、果实症状及引起缺素的原因这五个方面的可信度值作为神经网络的输入量,将农业专家诊断的结论作为输出量,将这些数据作为神经网络的训练数据。实际应用表明此系统自动诊断的结果与专家现场诊断的结果基本一致,从而采用该系统能够取代专家,实现作物的自我诊断,为农业管理方面提供了极大的帮助。如马成林等针对于传统施肥决策方法中非线性关系描述不足的问题,基于数据包分析和BP神经网络,建立了施肥决策模型,应用表明,在有限的范围内,模型预测结果较为合理,可以反映玉米的需肥特性。刘铖等人提出采用神经网络应用在农业生产决策中,以莜麦播种方式决策为例,通过对产生式规则的分析导出神经网络输入、输出单元数,并通过多次试验确定隐层单元数,用MATLAB方针结果表明,采用神经网络作为农业生产决策的方法,取得了较好的效果。谭宗琨提出将基于互联网环境下的神经网络应用在玉米智能农业专家系统中,根据农作物发育进程分成若干个发育期,分别对各个发育期建立管理模型,依照作物各发育期进程时间间隔,由计算机系统自动选取相应的模型进行决策。应用分析的结果表明采用神经网络的玉米智能专家系统已初步接近农业生产的实际。
2.在农产品外观分析和品质评判
农产品的外观,如形状、大小、色泽等在生产过程中是不断变化的,并且受人为和自然等复杂因素的影响较大。农产品的外观直接影响到农产品的销售,研究出农作物外观受人为和自然的影响因素,通过神经网络进行生产预测,可解决农产品由于不良外观而造成的损失。如Murase 等针对西红柿表皮破裂的现象,西红柿表皮应力的增长与西红柿果肉靠近表皮部分水分的增加有关,当表皮应力超过最大表皮强度时,将导致表皮破裂。用人工神经网络系统,预测在环境温度下的表皮应力,可通过控制环境变量来减少西红柿表皮破裂所造成的损失。
在农业科研和生产中,农产品的品质评判大多是依赖于对农产品外观的辨识。例如对果形尺寸和颜色等外观判别果实的成熟度,作物与杂草的辨别,种子的外观质量检测。由于农业环境的复杂性和生物的多样性,农产品的外观不具有较确定的规律性和可描述性,单一采用图像处理技术辨识农产品的外观时不宜过多采取失真处理和变换,否则则增加图像处理的复杂性,特征判别也相对困难。人工神经网络由于其具有自学习、自组织的能力,比较适宜解决农业领域中许多难以用常规数学方法表达的复杂问题,与图像处理技术相结合后,可根据图像特征进行选择性判别。采用此方法可以部分替代人工识别的工作,提高了生产效率,也有利于实现农业现代化。如Liao等将玉米籽粒图像用34个特征参数作为神经网络的输入变量,将输出的种粒形态分为5类,经过学习的神经网络对完整籽粒分类的准确率达到93%,破籽粒分类的准确率达91%。
3.蔬菜、果实、谷物等农产品的分级和鉴定
在农业生产中,蔬菜、果实、谷物等农产品的分级和鉴定是通过对农产品外观的辨识进行的。传统的农产品外观的辨识方法费时费力、预测可靠度很低,而且多采用人工操作,评价受到操作者主观因素的影响,评判的精度难以保证。利用人工神经网络技术结合图像处理技术可部分代替以往这些主要依靠人工识别的工作,从而大大提高生产效率,实现农业生产与管理的自动化和智能化。
利用BP神经网络技术对农产品果形尺寸和颜色等外观评判,目前国内外已有不少成果用于实际生产中。何东健等以计算机视觉技术进行果实颜色自动分级为目的,研究了用人工神经网络进行颜色分级的方法。分别用120个着色不同的红星和红富士苹果作为训练样本集对网络进行离线训练。两个品种的苹果先由人工依据标准按着色度分成4级,对每一个品种分别求出7个模式特征值作为BP网络的输入,用训练好的神经网络进行分级。结果表明红富士和红星果实的平均分级一致率分别为94.2%和94.4%。刘禾等用对称特征、长宽特征、宽度特征、比值特征等一系列特征值来描述果形。采用BP网络与人工智能相结合,建立果形判别人工神经网络专家系统。试验水果品种为富士和国光。试验表明系统对富士学习率为80%,对非学习样本的富士苹果的果形判别推确率为75%,系统对国光学习率为89%,对非学习样本的国光苹果果形判别系统的难确率为82%。
三、未来的发展方向
人工神经网络的信息处理技术现已在农业工程领域内得到了迅速的应用,采用人工神经网络算法的农业系统能够从一定程度上改善控制效果,但此技术在农业范围内还不够成熟,有待于进一步的研究。今后科研的方向大体上可以从以下几方面着手:
1.人工神经网络算法的改进
人工神经网络算法由于本身具有一定的缺点,从而采用人工神经网络的算法的信息处理技术在应用过程中具有一定的局限性。在今后的研究中,可以从人工神经网络方向着手,改进人工神经网络算法,从而实现其在农业领域内更好的应用。近年来随着模糊算法、蚁群算法等算法的相继出现,将神经网络与其他算法结合在一起已经成为了研究的热门话题,也是未来算法研究的主要方向之一。
2.应用领域的扩展
人工神经网络算法在农业工程方面现已得到了迅速的发展,扩展其在农业工程领域的应用范围是未来的一个主要研究方向。人工神经网络由于其具有自学习能力,可对农业系统的非线形特性进行较好的描述,采用人工神经网络可解决传统方法的不足,从而实现农业现代化。如何将神经网络较好地引入到农业系统,解决农业工程中的部分问题,已是今后农业科研中的一个方向。
四、结束语
神经网络作为一种人工智能范畴的计算方法,具有良好的自学习与数学计算的能力,可通过计算机程序进行模拟运算,现已广泛用于模式识别、管理决策等方面。随着计算机硬件和软件的不断发展与农业工程方面的研究的不断深入,神经网络将在农业管理、农业决策、农作物外观分类、品质评判等方面充分发挥其自学习能力强,计算能力强的优势,通过对样本数据的学习,神经网络可较好地解决农作物生长过程中的作物分类、预测等非线形的问题。在农业工程领域内,神经网络拥有广阔的科研前景。
参考文献:
[1]余英林李海洲:神经网络与信号分析[M]. 广州: 华南理工大学出版社,1996:45
[2]霍再林史海滨孔东等: 基于人工神经网络的作物水―盐响应初步研究[J].内蒙古农业大学学报,2003,24(3):66~70
[3]何勇宋海燕:基于神经网络的作物营养诊断专家系统[J]. 农业工程学报,2005,21(1):110~113
[4]马成林吴才聪张书慧等:基与数据包络分析和人工神经网络的变量施肥决策方法研究[J].农业工程学报,2006,20(2):152~155
[5]刘铖杨盘洪: 莜麦播种方式决策的BP神经网络模型[J]. 太原理工大学学报,2006,37(5):119~121
[6]谭宗琨: BP人工神经网络在玉米智能农业专家系统中的应用[J].农业网络信息,2004(10):9~1
[7]Liao K,Li Z,Reid J F,et al.Knoledge-based color discrimination of corn kernels[J].ASAE paper[C].92~3579
篇3
人工神经网络(AartificialNeuralNetwork,下简称ANN)是模拟生物神经元的结构而提出的一种信息处理方法。早在1943年,已由心理学家WarrenS.Mcculloch和数学家WalthH.Pitts提出神经元数学模型,后被冷落了一段时间,80年代又迅猛兴起[1]。ANN之所以受到人们的普遍关注,是由于它具有本质的非线形特征、并行处理能力、强鲁棒性以及自组织自学习的能力。其中研究得最为成熟的是误差的反传模型算法(BP算法,BackPropagation),它的网络结构及算法直观、简单,在工业领域中应用较多。
经训练的ANN适用于利用分析振动数据对机器进行监控和故障检测,预测某些部件的疲劳寿命[2]。非线形神经网络补偿和鲁棒控制综合方法的应用(其鲁棒控制利用了变结构控制或滑动模控制),在实时工业控制执行程序中较为有效[3]。人工神经网络(ANN)和模糊逻辑(FuzzyLogic)的综合,实现了电动机故障检测的启发式推理。对非线形问题,可通过ANN的BP算法学习正常运行例子调整内部权值来准确求解[4]。
因此,对于电力系统这个存在着大量非线性的复杂大系统来讲,ANN理论在电力系统中的应用具有很大的潜力,目前已涉及到如暂态,动稳分析,负荷预报,机组最优组合,警报处理与故障诊断,配电网线损计算,发电规划,经济运行及电力系统控制等方面[5]。
本文介绍了一种基于人工神经网络(ANN)理论的保护原理。
1、人工神经网络理论概述
BP算法是一种监控学习技巧,它通过比较输出单元的真实输出和希望值之间的差别,调整网络路径的权值,以使下一次在相同的输入下,网络的输出接近于希望值。
在神经网络投运前,就应用大量的数据,包括正常运行的、不正常运行的,作为其训练内容,以一定的输入和期望的输出通过BP算法去不断修改网络的权值。在投运后,还可根据现场的特定情况进行现场学习,以扩充ANN内存知识量。从算法原理看,并行处理能力和非线是BP算法的一大优点。
2、神经网络型继电保护
神经网络理论的保护装置,可判别更复杂的模式,其因果关系是更复杂的、非线性的、模糊的、动态的和非平稳随机的。它是神经网络(ANN)与专家系统(ES)融为一体的神经网络专家系统,其中,ANN是数值的、联想的、自组织的、仿生的方式,ES是认知的和启发式的。
文献[1]认为全波数据窗建立的神经网络在准确性方面优于利用半波数据窗建立的神经网络,因此保护应选用全波数据窗。
ANN保护装置出厂后,还可以在投运单位如网调、省调实验室内进行学习,学习内容针对该省的保护的特别要求进行(如反措)。到现场,还可根据该站的干扰情况进行反误动、反拒动学习,特别是一些常出现波形间断的变电站内的高频保护。
3、结论
本文基于现代控制技术提出了人工神经网络理论的保护构想。神经网络软件的反应速度比纯数字计算软件快几十倍以上,这样,在相同的动作时间下,可以大大提高保护运算次数,以实现在时间上即次数上提高冗余度。
一套完整的ANN保护是需要有很多输入量的,如果对某套保护来说,区内、区外故障时其输入信号几乎相同,则很难以此作为训练样本训练保护,而每套保护都增多输入量,必然会使保护、二次接线复杂化。变电站综合自动化也许是解决该问题的一个较好方法,各套保护通过总线联网,交换信息,充分利用ANN的并行处理功能,每套保护均对其它线路信息进行加工,以此综合得出动作判据。每套保护可把每次录得的数据文件,加上对其动作正确性与否的判断,作为本身的训练内容,因为即使有时人工分析也不能区分哪些数据特征能使保护不正确动作,特别是高频模拟量。
神经网络的硬件芯片现在仍很昂贵,但技术成熟时,应利用硬件实现现在的软件功能。另外,神经网络的并行处理和信息分布存储机制还不十分清楚,如何选择的网络结构还没有充分的理论依据。所有这些都有待于对神经网络基本理论进行深入的研究,以形成完善的理论体系,创造出更适合于实际应用的新型网络及学习算法[5]。
参考文献
1、陈炳华。采用模式识别(智能型)的保护装置的设想。中国电机工程学会第五届全国继电保护学术会议,[会址不详],1993
2、RobertE.Uhrig.ApplicationofArtificialNeuralNetworksinIndustrialTechnology.IEEETrans,1994,10(3)。(1):371~377
3、LeeTH,WangQC,TanWK.AFrameworkforRobustNeuralNetwork-BasedControlofNonlinearServomechannisms.IEEETrans,1993,3(2)。(3):190~197
篇4
Abstract: Financial management decision support system (hereinafter referred to as the DSS) is to assist decision-makers at various levels realize financial management. It achieves scientific management through mainly the man-machine interactive way and the use of a lot of financial data and numerous model. Neural network is a complicated nonlinear network system, and it mainly consists of many processing units which are similar to neuron. The combination of financial management and neural network and decision support system can realize the automation of adaptive, associating and reasoning, and data mining, and make the financial management, decision-making, and execution more scientific, standardized, and intelligent.
关键词: 财务管理;神经网络;决策支持系统;专家系统
Key words: financial management;nerve network;decision support system (DSS);expert system
中图分类号:F275 文献标识码:A 文章编号:1006-4311(2012)03-0126-02
0 引言
DSS是80年代迅速发展起来的新型计算机科学。它是一个有着广泛应用背景的十分热门的交叉科学。神经网络是一个具有高度非线性的超大规模连续时间的动力系统。结合神经网络的智能决策支持系统是目前研究的前沿之一,它极具理论和使用价值。
财务管理的信息化、数字化是财务规范和科学管理的趋势。与DSS的结合将更加有利于数据标准的统一,有利于数据采集的模块化,有利于决策支持的科学化,有利于财务公开的透明化。
1 财务管理决策支持系统的研究现状
决策支持系统经过二十多年的发展,形成了如图1所示公认的体系结构。它把模型并入信息系统软件中,依靠管理信息系统和运筹学这两个基础逐步发展起来。它为解决非结构化决策问题提供了相应的有用信息,给各级管理决策人员的工作带来了便利。
从图1可以看出决策支持系统体系结构可划分为三级,即语言系统(LS)级、问题处理系统(PPS)级和知识系统(KS)级。其中问题处理系统级包括推理机系统(RS)、模型库管理系统(MBMS)、知识库管理系统(KBMS)及数据库管理系统(DBMS)。知识系统级包括模型库(MB)、知识库(KB)及数据库(DB)。
九十年代中期,兴起了三个辅助决策技术:数据仓库(DW)、联机分析处理(OLAP)和数据挖掘(DM)。联机分析处理是以客户/服务器的方式完成多维数据分析。数据仓库是根据决策主题的需要汇集大量的数据库,通过综合和分析得到辅助决策的信息。数据挖掘顾名思义,是为了获得有用的数据,在大量的数据库中进行筛选。人工智能技术建立一个智能的DSS人机界面,可进行图、文、声、像、形等多模式交互,人机交互此时变得更为自然和谐,人们能沉浸其中,进行合作式、目标向导式的交互方法。
从目前情况来看,财务决策支持系统的研究还处于初级发展阶段,财务数据的保密性、特殊性决定了财务决策不能全部公开化、透明化,但随着中央及国务院相关部门财务预决算数据的公开,财务决策系统及其支持系统和过程也将随之公开,这就要求决策者充分利用财务知识和决策支持系统的知识“聪明”决策、合理决策、科学决策、规范决策。
2 财务管理神经网络智能决策支持系统总体研究框架
2.1 神经网络运行机制 神经网络的着眼点是采纳生物体中神经细胞网络中某些可利用的部分,来弥补计算机的不足之处,而不是单单用物理的器件去完整地复制。
第一,神经网络中的链接的结构和链接权都可以通过学习而得到,具有十分强大的学习功能;第二,神经网络所记忆的信息是一种分布式的储存方式,大多储存在神经元之间的权中;第三,神经网络部分的或局部的神经元被破坏后,仍可以继续进行其他活动,不影响全局的活动,因此说,神经网络的这种特性被称作容错性;第四,神经网络是由大量简单的神经元组成的,每个神经元虽然结构简单,但是它们组合到一起并行活动时,却能爆发出较快较强的速度来。
我们可以利用神经网络的上述特点,将之应用于模式识别、自动控制、优化计算和联想记忆、军事应用以及决策支持系统中。
2.2 财务管理神经网络集成智能财务DSS的必然性 在企业经营管理、政府机构财务活动中,人们时常面临着财务决策。人们往往需要根据有关的理论及经验制定出一系列的衡量标准。这种评价是一个非常复杂的非结构化决策过程,一般都是由内行专家根据一定的专业理论凭经验和直觉在收集大量不完全、不确定信息基础上建立起多级指标体系。但在这种指标体系中,各种指标之间的关系很难明确,而且还受评价者的效用标准和主观偏好所左右。因此,很难在指标体系和评价目标间建立起准确的定量或定性模型。因此,我们需要采用一种可处理不确定性、不完全性信息的评价方法以支持决策。自然,利用人工神经网络构造系统模式来支持这类评价决策问题是目前财务管理智能决策支持系统的一种发展趋势和必然趋势[4]。
2.3 财务管理神经网络集成智能DSS系统框架 神经网络智能决策支持系统主要以知识、数据和模型为主体,结合神经网络进行推理与数据开采。图2给出了神经网络智能决策支持系统研究框架[2]。研究中有两个重点,即神经网络推理系统和神经网络数据开采系统。
2.3.1 神经网络数据开采系统 神经网络数据开采时利用神经网络技术协助从数据中抽取模式。数据开采有五项基本任务:相关分析、聚类、概念描述、偏差监测、预测。
常用的前馈式神经网络,如BP网络,可用于进行概念描述及预测。对向传播(Counter Propagation,简称CP)神经网路可用来进行统计分析和聚类。
CP网络是美国神经计算专家Robert Hecht-Nielsen提出的一种新型特征映射网络,其网络结构分输入、竞争、输出三层。该网络吸取了无教师示教型网络分类录活、算法简练的优点,又采纳了有教师示教型网络分类精细、准确的好处,使两者有机地结合起来。由竞争层至输出层,网络按基本竞争型网络学习规则得到各输出神经元的实际输出值,并按有教师示教的误差校正方法调整由竞争层至输出层的链接权。经过这样反复地学习,可以将任意输入模式映射为输出模式。
2.3.2 财务管理神经网络推理系统 财务管理神经网络推理系统主要利用神经网络的并行处理机制来解决传统推理方法中存在的“组合爆炸”、“无穷递归”,等问题。在神经网络系统中,计算与存储时完全合二为一的,即信息的存储体现在神经元互连的分布上,并以大规模并行方式处理。流动的过程就是从部分信息找到全部信息的过程,这就是联想记忆的基本原理。若视动力系统的稳定吸引子为系统计算能量函数的极小点,系统最终会流向期望的最小点,计算也就在运动过程中悄悄地完成了。因而,可用双向联想记忆(BAM)网络或CP网络实现并行推理。CP网络具有特殊的联想推理映射功能。将输入学习模式和期望输出模式取为同一模式,且将之分为X和Y两部分。网络通过提供的样本对进行充分的学习后,就可用来进行模式间的联想推理。
3 财务管理神经网络智能DSS研究展望
当前世界上最热门的研究课题,是模仿人类的思维方式来解决实际问题。专家系统和人工神经网络是比较常用的技术,但由于自身的局限性,它们都侧重于人类思维方式的某一方面。平时解决简单的问题的时候还好,但真遇到解决复杂的问题的时候,它就显得力不从心了,所以,这个时候我们可以将两种技术结合起来解决,除了它们要自身不断发展和完善外,还要注重两者的协调配合,神经网络DSS未来的发展趋势就是依靠这两种技术不断结合,从而能帮助我们解决更多的实际问题。
3.1 财务管理神经网络支持专家系统 常见的财务管理神经网络支持专家系统主要包括几个方面:知识维护、知识表示、知识获取、推理等,我们针对各个步骤展开讨论。
3.1.1 知识维护。如果知识是通过人工神经网络来获取的,我们就可以同样利用人工神经网络,来让维护工作变得更加方便快捷,维护可以通过人工神经网络来自动完成,我们需要做的只是重新运行网络模块,或者重新训练网络模块,又或是增加新的网络模块。
3.1.2 推理。一般的专家系统只是求解专门性问题,应用的领域非常狭窄,同时由于控制策略不灵活,推理方法简单,容易出现一些这样或那样的问题,推理效率低、速度慢。人工神经网络可以解决这一问题,从根本上提升工作效率,提高工作速度,它可以拓展知识空间,不只局限在狭窄的领域。
3.1.3 知识表示。很多专家知识事实上很难用规则表示出来,但在现实工作中,我们大部分财务管理专家却都采取这种方式,无论是直接的还是间接的。其它的知识表示方法也存在着同样的问题。为了解决这一问题,我们可以采用人工神经网络系统来将知识提供给专家系统,这样做就可以避免这一问题,当专家系统需要相应知识时,就不需要用规则来表示知识,直接调用人工神经网络就可以了。
3.1.4 知识获取。人工神经网络可以帮专家系统来获取知识,知识获取是通过人机对话的形式进行的。首先,专家系统向专家提出问题,人工神经网路则负责对这些信息进行收集、处理,在人工神经网络的联结权值中已经具有通用的知识,所以这一步骤会很方便,之后再产生相应的数据结果。接着,专家系统在对这些数据进行进一步的分析。在这一过程中,专家系统只运用很少的规则就可以获得相关的知识,大大提高了工作效率。
3.2 财务管理专家系统支持神经网络 财务管理专家主要通过三种方式来对神经网络提供必要的支持:第一,提供相应的必要的解释;第二,进行预处理;第三,联合应用。
3.2.1 解释。作为专家系统的人工神经网络,它做不到同其他专家系统那样,具体详细地跟踪问题求解的过程,以获得答案的原因,它只能依靠增加一个小型的专家来解决这一问题,以获得答案的原因,这个专家系统可以反向推理,从结果到初始输入,系统提供具体的解决方法。
在这种模式中,经过训练的人工神经网络来解决问题。当用户要求解释的时候,就可以通过网络输入一个并行的专家系统。
3.2.2 预处理。对于人工神经网络来说,处理数据这项工作比较难。专家系统可以帮助人工神经做好这些工作:选择合适的收敛算法,确定训练神经网络的样本的数量,选择合适的神经网络。收集正确数据的工作,对于人工神经网络来说至关重要,事先对它们进行预处理,可以确保各项工作顺利的完成。
3.2.3 联合应用。将一个复问题分解为几个子问题,如下图3所示,再将各个子问题来逐个解决,这就是我们所常说说的联合应用方法。它可以直接采用人工神经网络、专家系统以及其种可能的方法来解决问题,指导实际应用。
我们当前计算机所要解决的主要问题,是如何解决半结构化和非结构化的决策等问题,它是人们在日常生活中所经常遇到的,在财务活动中会大量存在。如何更科学、更合理地处理这些问题是我们当前工作的主要方向。运用人工神经网络技术处理半结构化和非结构化的决策是一种智能化的求解方式。但是此种方式并不是完美无缺的,它还存在着一定程度上的缺点,我们只有改善这种技术上的不成熟,将智能化研究进行到底,才能让神经网络决策支持系统的研究出现新的进展。
参考文献:
[1]陈文伟.智能决策技术.电子工业出版社,1998年.
[2]钟义信.智能理论与技术——人工智能与神经网络.人民邮电出版社,1992年.
篇5
关键词:水动力模型,ANN神经网络系统,模型数据,缺失数据模拟
中图分类号:G250.72 文献标识码:A
我国大多数的城市管网建设滞后于水厂建设,给水管网的铺设会随城市的发展不断地铺设延长,与之相对应的是用水量的急剧增长,与老管线的协调规划问题等等,这一切的问题都使地下管线的管理成为一个极其复杂的问题。构建水动力模型,可以实时的看到管网的薄弱环节,并且通过分析得知造成管网问题的原因。水动力模型可以应用于并的给水系统的规划,设计及改扩建;管网改造优先性评估;管网改造并行方案的的成本分析,运行情况;指导和帮助安排管网检漏工作等。
建立水动力模型是一项复杂并且富有难度的工程,需要将给水管道的的信息,包括管道的管径、材质、管龄,粗糙系数等如实的反应到模型中,运行模型后要选择管网中具有典型代表性的节点,得到这些节点的节点流量与节点压力模拟值,将这些曲线与实际中该节点的流量与压力曲线进行对比。通过调整管网的粗糙系数,节点流量分配等核心数据使模拟曲线与实测曲线相吻合,这个过程称之为模型校核。校核后的模型才能应用于实际的工程工作中。
模型搭建和校核的过程中需要许多数据,而在现有国内的自来水公司,极少有完备的数据,而这些数据的检测和整理是一项复杂并且耗费财力的工程。当有所需的数据缺失时,根据现有的数据搭建ANN(人工神经网络)模型,模拟出缺失的数据曲线,从而用于水动力模型的校核工作中。譬如,节点流量曲线、节点压力曲线、节点的化学物质残留量曲线等等。
1 人工神经网络的概念
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,是一种运算模型,由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。人工神经网络是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,通过统计学的方法,人工神经网络能够类似人 一样具有简单的决定能力和简单的判断能力,这种方法比起正式的逻辑学推理演算更具有优势。因为它不需要全面的数据。实践证明只要中间的隐含层个数足够多,ANN神经网络无限逼近任何连续函数。
图1 3层ANN(BP)网络结构
Fig. 1 Three level ANN model’s structure
2基于ANN人工神经网络的节点压力模型的建立
人工神经网络是一个能够学习,能够总结归纳的系统,也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较,它能够推理产生一个可以自动识别的系统。人工网络系统之所以能够推理,基础是需要有一个推理算法则的集合。在本次的实例检验过程中使用相关系数和确定性系数来衡量模型的准确性,如果确定性系数越大,预测值和实测值的相关系数越大,误差就越小,模型的计算结果就越好。通过对模型精度的分析,判断节点压力曲线是否可以用于水动力模型的,模型校核工作中。
其实人工神经网络就是一个黑箱子,它所建立的模型不是基于实际的物理联系,而是基于我们所记录数据和所得值之间的函数关系(这种函数关系在运算的过程中不得而知),对于人工神经网络的计算过程我们不关心也不必去了解它计算过程的细节。人工神经网络在做出预测之前是使用记录数据的学习过程,之后的使用就是在上面的学习过程之后,人工神经网络会拟合出一个比较准确的函数关系从而会根据所给数据预测出我们所关心变量的结果。
本文以节点压力曲线的模拟为例子,阐述ANN模型的搭建,以及模拟结果的精确性。
已有的数据为给水管网中8个节点的压力曲线,靠近泵站的一个节点的压力缺失某几个小时的数据,现利用已知数据搭建ANN模型,模拟出此时,一个小时后,两个小时后,4个小时后的模拟压力曲线。通过对模型结果的分析,得出其结果是否能用于水动力模型校核工作。
2.1 训练模式对的准备工作
对于管网中的节点压力来讲,他们之间具有相关性,因为在预测未知点的压力曲线时,其他管网中的节点都是未知节点的重要影响因子。因此在搭建模型时要在输入层配置相应的单元用来模拟未知节点的压力曲线。
目标节点预见期压力=F{(某时间点NODE1水位),(某时间点NODE2水位),(某时间点NODE3水位)…(某时间点NODE8水位)}某时间点指的是预见期之前某个相应的时间点。
整个模型从数据输入到结果分析的过程可以用流程图表示出来。数据输入->数据编辑->模型参数确立->运行模型->模型结果分析。
2.2 目标函数(确定性系数)的确立
R= 式-1
式中 R为确定性系数
为该城市实测河流水位
为实测河流水位的平均值
为模型预测水
为模型预测水位的平均值
R越接近于1,说明模拟结果与实际测量结果越一致,也即模型越精确。
2.3 模型的结构参数的确立
人工神经网络模型中关键的参数有学习率,中间层的神经元数,动量因子,终止学习条件,本文利用设定最大平均误差来终止模型运行。其中的学习率和动量因子会影响到模型的收敛速度。学习率和动量因子的取值范围都在[0,1]之间。学习率越大运算速度越大但是如果取过大的值会导致模型不收敛,由于模型的运算速度比较快为了得到更加精确的结果取学习率为0.02.动量因子根据经验取0.1,中间层的神经元数取30。
3 实例分析
我们拥有管网中9个节点的压力曲线值,但是某个时间段节点9的压力曲线缺失,管网中9个节点的具置见图2.
图2 管网中的9个节点
Fig. 2 The 9 nodes in the network
示意图中观测站一为模型下游目标站的位置,本文所讨论的预测站也就是目标站。
建立模型之后对该城市城市管网中的节点9,此时以及未来1-4小时的节点压力进行预测。根据该中的8个节点和目标节点的的压力曲线数据为基础进行训练,并且对预测的结果进行分析。来判断时候可以将模拟的数据直接用于模型校核。
表1 预见期分别为0-4h的模型精确度参数
Table 1 Model’s forecast precision in 0-4hours
图3 同时刻节点压力的模拟值与实测值
Fig. 4 Forecast water level the same time with measured data
图4 预见期为1h时的节点压力曲线
Fig. 5 Forecast water level 1 hour later
图5 预见期为4h时的节点压力曲线
Fig. 5 Forecast water level 4 hour later
图6 预测同时刻的各个节点与目标节点的相关贡献系数
Fig. 6 Relative contribution coefficient between observation station and objective node on the same
time
图7 预测4h之后的各个观测节点与目标节点的相关贡献系数
Fig. 7 Relative contribution coefficient between and objective station when the forecast stage 4 hours
表2不同预见期的绝对误差
通过研究神经网络模型的结果可见:
(1)通过图6、图7可以得知使用人工神经网络模型,各个节点的实测数据对于最后的目标节点影响是不同的。节点3的对与目标站的相关系数性较小,在实际工作中可以舍弃此地数据的采集,从而减少人力物力的投入。随着预测时间的不同其相关系数亦会发生变化。
(2)预见期越长,其最后结果的可靠性越差。确定性系数,和绝对误差可以反映之,预见期为0h、1h时,其误差很小,当延长其预见期时,其误差会相应变大。当模拟结果用于水动力模型校核时,目标节点的模拟结果与输入节点为同时刻时,模拟数据与实测数据高度吻合,说明该结果可以输入水动力模型,进行校核。随着预见期变长,其模拟结果也越来越不准确。预见期为4小时时,其结果不能作为水动力模型的输入数据进行模型校核。
(3)在水动力模型校核过程中,可以将ANN的预测结果也就是预见期的目标节点压力曲线用于在水动力模型中。从而解决了原始数据缺失的问题。
4 结论
本文采用ANN(人工神经网络)建立了节点压力的预测模型,其预测结果可以应用于水动力模型中,用模型校核的原始输入值。从而为搭建城市的给水管网水动力模型提供科学的依据。也节约了大量人力,物力和财力的消耗。
参考文献
严熙世, 赵洪宾. 给水管网系统理论与分析. 中国建筑工业出版社, 2003.9
陶建科, 刘遂庆, 建立微观动态水力模型标准方法研究.给水排水, 2000, 26(5):4~8
Maier H R, Dandy G C. The use of artificial neural networks for the prediction of water quality parameters. Water Resources, 1996 ,32 (4) :1013 - 1022.
篇6
【关键词】神经网络 手写 识别系统 应用
随着计算机技术的快速发展,其在人们的办公学习和日常生活成了不可替代的工具。键盘已经几乎完全替代了笔在人们生活中的地位,随之而来的后果就是人们越来越少的区书写汉字,导致越来越多的中国人甚至都忘记了汉字该如何书写,这种现象在很多研究和报道中都有体现。计算机和键盘是由西方国家发明的,其符合西方国家的语言习惯,对于中国人来说,用字母、符号去完成方块汉字的输入就需要使用者非常熟悉汉语拼音或者五笔编码,对于文化程度较低的使用者来说,这些都限制着他们使用计算机。鉴于计算机键盘的这些缺陷,联机手写输入法应运而生,这为计算机的输入带来了新的发展机遇和挑战。
1 联机汉字手写识别的意义及难点
联机汉字识别是用书写板代替传统纸张,笔尖通过数字化书写板的轨迹通过采样系统按时间先后发送到计算机中,计算机则自动的完成汉字的识别和显示。
1.1 联机汉字手写识别的意义
联机手写汉字识别的诞生具有非常重要的意义。首先这种输入方法延续了几千年中华文明的写字习惯,实现用户的手写输入,对于长时间不提笔写字的用户来说能够加强其对汉字书写方面的认识,防止“提笔忘字”现象的继续恶化。其次,手写汉字输入不需要学习和记忆计算机的汉字编码规则,其完全符合中国人的写字习惯,使人机之间的交流更人性化,更方便快捷。另外,随着移动智能终端的不断普及,联机汉字手写识别的应用范围将进一步扩大,以适用于不同层次人群对信息输入的需要,具有较大的市场发展前景。
1.2 联机手写汉字识别问题的难点
手写汉字识别是光学字符读出器中最难的部分,也是其最终的目标,手写汉字识别的应用主要依赖于其正确识别率和识别速度[1]。手写汉字识别系统的问题具有其特殊性:
(1)中国汉字量大。我国目前的常用汉字大概在4000个左右,在实际应用中的汉字识别系统应该能够完全识别这些常用的字才能够满足需要,由于超大的汉字量,使得手写识别的正确率和识别速度一直不高。
(2)字体多,结构复杂。汉字的手写字体丰富多彩,且汉字的笔画繁多,以及复杂的结构,再加上汉字中的形近字颇多,这些都为汉字识别系统的发展造成了很大的困难。
(3)书写变化大。不同用户在进行手写输入时其字体的变化是很大的,这种变化因人而异,对汉字识别造成了很大的干扰,增加了汉字匹配的难度。
2 人工神经网络概述
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,通常简称为神经网络,是一种仿生物神经的信号处理模型。在二十世纪四十年代初人们开始进行神经网络的研究,经过几十年的发展,神经网络也产生了一系列的突破,目前应用最多的是Hopfield模型和BP算法。
神经网络的一般模型一般包括十个方面:环境、处理单元、传播规则、神经网络的状态、互联模式、稳定状态、操作模式、活跃规则、活化函数和学习算法。其中,神经元、互联模式、学习算法是神经网络模型中的三个关键因素。神经网络的一个重要内容就是学习,其学习方式可以分为监督学习和无监督学习,其学习过程一般遵循Hebb规则,误差修正学习算法以及胜者为王的学习规则,其中Hebb规则是神经网络学习中最基本的规则。
人工神经网络具有独特的优越性。首先其具有主动学习的功能,在汉字识别过程中,先将汉字模板及可能的识别结果输入到神经网络中,神经网络能够通过其自身的学习过程来实现对汉字的识别,自学功能对于神经网络的预测功能具有非常重要的意义。其次,神经网络系统具有联想存储功能,其反馈功能能够实现这种联想。另外,通过计算机的高速运算能力,神经网络具有高速寻找优化解的能力。
3 人工神经网络在联机手写识别系统中的应用
汉字识别属于大类别模式识别,人工神经网络可以通过函数逼近、数据分类、数据聚类三种作用方式以及“联想”的特殊模式对汉字进行识别。Hopfield神经网络作为反馈网络的一种,其自联想记忆网络可以使系统不需要通过大量的训练即可对汉字进行识别,因此Hopfield神经网络对于汉字识别来说具有独特的优势。其中的离散型Hopfield神经网络能够通过串行异步和并行同步的工作方式,使其反馈过程具有非常好的稳定性,而网络只有通过不断的演变稳定在某一吸引子状态时,才能够实现正确的联想。
联机手写识别可以分为训练阶段和识别阶段。训练阶段流程依次为:标准书写字符图像预处理,提取特征并建立特征库,建立Hopfield网络模型,训练网络,保存权值。识别阶段的流程为:坐标序列转化为bmp图像,预处理测试样本,提取特征,送入网络运行,运行网络到平衡状态,分析结果值。根据联机手写识别的工作流程以及Hopfield网络模型的理论,基于Hopfield神经网络的联机手写识别系统在Matlab环境下得到了仿真模拟,效果非常理想。
4 总结
手写识别系统能够弥补普通键盘的不足,在提高汉字书写频率的同时,能够满足不同层次人群对计算机应用的技术需要。基于Hopfield神经网络的联机手写识别系统一起自身独特的性能,不仅能够满足手写汉字识别的正确率,而且其识别过程速度非常快。因此它对于实现联机手写识别以及图像识别具有非常重要的意义。
参考文献
[1]俞庆英.联机手写汉字识别系统的研究与实现[D].安徽大学,2005(5).
[2]郭力宾.交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D].大连理工大学,2003(03).
[3]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学,2011(01).
作者简介
周珍娟(1979-), 女,江西抚州人。计算机专业硕士。现为江苏城市职业学院讲师。主要研究方向为网络安全,模式识别。
篇7
[关键词]人工神经网络;旅游物流;需求预测
[DOI]1013939/jcnkizgsc201538051
1引言
旅游物流对广西地区经济的发展至关重要,准确把握、预测旅游物流需求有助于有关部门制定合理的旅游物流规划、促进国民经济可持续发展、提高居民生活水平。国内学者通过一定的方法和模型确定了影响旅游物流能力的关键要素,为旅游物流需求的预测提供了一定的理论基础,而在物流需求预测方面也提出了很多如时间序列模型、灰色预测、回归分析等具有创新性和实践意义的方法。由于旅游物流具有的独特性和负责性使得这些模型及分析方法在前提条件、适用范围和侧重点的选取方面具有一定的困难,因此在实际应用中各有利弊。人工神经网络可以将定量或定性的信息等势的分布贮存于网络内的各神经元,有很强的鲁棒性和容错性,通过建立基于人工神经网络的预测模型,利用Braincell软件进行计算以期达到精确预测旅游物流需求的目的。
2旅游物流的需求界定
经过多年的发展,关于旅游物流需求的定义至今仍没有一个令各方满意的结论。物流服务贯穿了整个旅游活动过程中,旅游物流可以看作为了使旅游消费者获得更好地满足感和旅游体验,与旅游相关的主体提供让旅游消费者更为畅通流动的旅游服务,与此相应的旅游物流的能力指提供的旅游服务内容以及相关主体使用物流设施对旅游物流活动进行计划、组织、协调和控制的能力,到旅游物流的具体环节,可以从涉及旅游者的吃、住、行、购、游、娱等方面界定旅游相关主体运用物流设施为游客提供旅游服务的能力。文中对旅游物流需求的预测可以从往年的旅游物流能力方面进行预测,通过准确的预测旅游物流需求可以较好地规划未来年份旅游业发展方向,对物流设施和设备进行准确的投入,减少资源的浪费及设施投入不足的状况。
旅游物流能力是指旅游服务主体向旅游消费者从“吃、住、行、购、游、娱”6个方面提供服务的能力,旅游物流需求可根据这6方面来选取指标,但是旅游物流需求预测的准确性不仅受到旅游物流的独特性的制约,还受到一些客观性条件的影响。如物流统计制度不健全,目前,我国仍没有建立系统全面的物流统计制度,更没有涉及旅游物流领域;物流统计没有涉及物流活动的全过程;物流统计指标过于单一。此外,国内只有基本的货物运输量和货物周转量统计,其他与物流相关的指标没有公开的统计资料,也没有权威的统计方法和基础数据,致使物流需求预测不能通过直接指标来衡量需求规模的大小。
3基于神经网络的旅游物流需求预测模型的建立
神经网络具有非线性、曲线拟合能力、学习能力和抗干扰能力,是一种通用的非线性函数逼近工具。通过对BP神经网络的训练,特别适用于构造非线性预测函数,而且精度可达到预定的要求。
31预测领域中的BP神经网络模型简介
BP神经网络通过正向输入,反向传播误差不断迭代的学习过程,直到误差减到可以接受的程度。一般包括输入层、隐含层和输出层的单隐含层网络就能以任意精度表示并揭示任何连续函数所蕴含的非线性关系。其中:
(1)工作信号正向传播。输入信号从输入层经过隐含层,传向输出层,在输出端产生输出信号,这是工作信号的正向传播。在信号的正向传播过程中网络的权值是固定不变的,上一层神经元的只影响下一层神经元的状态,即正向影响。如果在输出层不能得到期望的输出,则转入误差信号反向传播。
(2)误差信号反向传播。网络的实际的输出与所期望的输出之间差值即为误差信号,误差信号由输出端开始逐层向前传播,即误差信号的反向传播。在误差信号反向传播中,神经网络的权值根据误差的反馈进行调节。通过不断地对权值的修正,使实际输出更加接近期望输出。
(3)预测神经网络流程。通过了解工作信号与误差信号的传播方向,可以清楚地了解预测神经网络的工作流程。预测开始时神经网络读入样本、权值,通过计算输入层的输入得出结果传递到输出层,在输出层进行计算,最后在计算输出值与期望值的误差。若误差小于确定值则计算结束,若误差大于确定值则继续回到前两层进行权值调整,把调整后的权值重新输入到模型中,直到误差小于设定的确定值。
本文应用Braincell神经网络软件来实现神经网络的计算与分析。
32BrainCell软件及实现
321BrainCell 神经网络基本原理
BrainCell 神经网络采用误差反向传播学习算法,算法从两个方面(信号的前向传播和误差的反向传播)反复进行迭代学习,与神经网络预测模式基本原理相同。
322BrainCell 神经网络实现步骤
(1)数据的预处理和后处理。为方便的计算减少误差,保证数据同一量纲,需要将数据归一化为区域[0,1]之间数据。在实际的预测模型中当数据接近0或1的时候训练效果会明显下降。因此,为了避免数据落入最大饱和区,保持数据的原有特征,根据经验将数据规范到[015,085]来进行修正。模型中采用反归一化处理输出数据。
(2)网络层数目的确定。由Kolmogorov定理可知,含有一个神经元隐含层的三层神经网络可以从任意精度逼近一个从输入到输出的映射关系,因此在Braincell神经网络中采用含有单隐层的三层神经网络[2]。
(3)网络节点的确定。输入层节点的多少与评价指标个数是相对应的。
(4)网络训练。假设训练样例是形式(x,y),其中x为输入向量,y为输出值。N为输入节点数,M为输出层节点数。从单位i到单位j的输入表示xij,单位i 到单位j的权值表示Wij。一是创建具有N 个输入单位,M 个输出单位的BrainCell 神经网络;二是用随机数(0 或1)初始化某些数字变量网络权值Wij;三是对于第k个训练样例(a,b),把入跟着网络前向传播,并计算网络中每个单元x的输出Qx,使误差沿着反向传播;四是对于每个输出单元u,计算它的误差项;五是对于每个隐含单元h,计算它的误差项;六是利用误差项更新调整每个网络权值;七是重复三到六点,直到完成指定的迭代次数或者是其误差值达到可接受的范围。
33神经网络的旅游物流需求预测模型的建立
331模型中数据指标确定
目前我国仍没有健全的物流统计制度,因此实际工作中收集旅游物流需求数据十分困难。这里采用间接指标法――利用与旅游物流需求相关的经济指标来建立旅游物流需求的经济指标体系,通过数学的方法进行总结与推导,确定旅游物流需求模型。
旅游物流需求是一种派生需求,这种需求的大小与其本身发展有着密切的关系。从宏观层面上考虑主要有内外两部分因素:旅游业自身发展的状况及外部环境的影响。从微观层面来说,旅游业自身发展的状况是旅游物流需求的关键因素。旅游业产值越高,旅游物流需求增长随之增加,反之亦然。由此,本文选取旅游总收入和接待人数作为预测旅游物流需求的指标。其次,影响旅游物流的其他关键因素就是旅游行业本身所投入的设施、人员、公路铁路旅客周转量等因素。根据旅游物流能力的理解从“吃、住、行、购、游、娱”等方面进行指标的选取,如“吃、住”方面使用餐饮住宿从业人数、星级饭店数目衡量;“行”使用公路、铁路旅客的周转量来衡量等;“游”则使用旅行社从业人数等方面来衡量。这些因素都对行业的产值有较大的影响。因此,在模型中可将这些相关经济指标作为旅游物流需求规模的影响因素。由此可选择如下输入层指标:星级饭店数X1、接待入境旅游者平均每人消费额X2、餐饮住宿业从业人数X3、旅行社从业人数X4、铁路旅客周转量X5、公路旅客周转量X6、旅游部门游船年末实有船数X7,旅游部门旅游客车年末实有数X8,共有8个。而把旅游业的年收入Y1与年接待入境旅游者人数Y2作为物流需求预测的目标。
332数据来源
本文选取的数据资料来源于广西壮族自治区历年统计年鉴、中国统计年鉴、中国旅游年鉴,如表1所示。根据样本数据选取原则,将2005年和2012年的数据作为网络测试样本,最后用训练好的神经网络预测2014―2016年的物流需求规模。
333广西旅游物流需求的BP人工神经网络模型
(1)样本数据的归一化处理。选取X1,X2,X3,X4,X5,X6,X7,X8作为广西旅游物流需求预测BP人工神经网络模型的输入,Y1,Y2为BP网络的输出。根据BP 的本身特点,对输入层数据进行归一化时,采用如下公式:y=log[JB((]x[JB))]/10。对输出层数据则使用归反一化处理,公式如下:P=log[JB((]tT[JB))]/10。
(2)网络节点的确定。根据构建好的评价指标体系,可以确定输入层的节点数为8,输出层的指标数为2。
(3)网络训练。以traindx作为训练函数,利用matlab计算。可知在最大训练次数为200次,目标误差为001,学习率设置为003,误差曲线收敛于目标001,进过45次迭代后,网络达到目标要求,训练误差图见下图。
训练误差图
通过设置的数据,使用Braincell软件对数据进行训练,选取全部数据作为样本数据组,2010―2013年的样本作为将预测样本,输入模型可得2010―2013年的预测值见表2。
据表3可以看出,预测效果较好,一般来说,对于经济指标的预测,误差能够控制在3%以内就算比较准确。因此,基于与旅游物流相关的其他经济数据来建立BP神经网络模型预测旅游物流需求有一定的实用价值。
4结论
根据人工神经网络理论建立的旅游物流需求预测模型,通过Braincell神经网络的自学习特征,运用traindx函数进行训练,在训练过程中对权值进行不断修正,误差比率控制合适的在范围内,使网络的实际输出向量逐渐地接近期望的输出值。最后把仿真的预测结果与真实量进行初步比较分析,得出的结果能够证明使用神经网络模型对旅游物流的预测精度较高。因此可以得出以下的结论:用BP神经网络建立模型,可以准确地把与旅游物流相关的经济数据与目标本身的需求量进行结合,可得到较为精准的旅游物流需求预测值。由此可以推断,人工神经网络作为高度的非线性体系,能够对经济系统中个变量之间的非线性关系进行高精度的预测,将其运用在物流领域中的应用具有更加广阔的发展潜力。
参考文献:
[1]王新利,赵琨基于神经网络的农产品物流需求预测研究[J].农业技术经济,2010(2):64-66
[2]秦立公,韦金荣等基于BrainCell 的B2B 电子商务供应链协同绩效评价体系[J].中国集体经济,2014(15):112-113
[3]张圣楠,郭文义,等基于MATLAB的BP神经网络的设计与训练[J].内蒙古科技与经济,2005(17):96-98
[4]熊勋人工神经网络在环境质量评价和预测中的应用研究[D].武汉:华中科技大学,2009
[5]白平,陈菊红基于旅游物流能力的西部旅游发展研究[J].新疆大学学报,2013(41):16-17
[6]秦立公,王东,等旅游景区物流能力优化研究[J].现代商业,2010(24):47
篇8
关键词:移动机器人;BP神经网络;轨迹跟踪控制
引言
人工神经网络使非线性系统的描述成为可能,并且在学习、记忆、计算和智能处理方面表现出了很强的优越性。人工神经网络具有如下特点:(1)可以按照指定的精度无限逼近几乎各种复杂的非线性系统,解决了非线性系统的建模问题;(2)信息采用分布式存储和处理方式,使得神经网络具有很高的运算效率和很强的容错性和鲁棒性; (3)可以自行调节参数和结构实现自学习的目的以完成某项任务。(4)人工神经网络具有强鲁棒性和适应性,高可靠性以及智能性,为解决高维数、非线性、强干扰、时滞和不确定系统问题开辟了新思路并提供了方法,它在控制领域将具有举足轻重的地位。
1 BP神经网络
BP网络的学习过程分为两个阶段:第一个阶段是输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第一层向后计算各神经元的输出。第二阶段是对权值和阈值进行修改,从最后一层向前计算各权值和阈值对总误差的影响(梯度),据此对权值和阈值进行修改。以上两个过程反复交替,直到达到收敛为止。由于误差逐层往回传递,以修正曾与层间的权值和阈值,所以称该算法为误差反向传播算法。这种误差反传学习算法可以推广到若干个中间层的多层网络,因此该多层网络常称之为BP网络。
BP神经网络根据每次的训练样本对权值进行修正,即使是在训练样本差别不大的情况下,各个神经元之间的连接权值也要重新经过计算进行修正。这在训练样本维数不大的情况下计算时间不会有很大差别,但是在实际应用中,往往所要训练的数据都是极为复杂和庞大的,神经元个数也许是几十个或几百个,如果每个新的样本数据都要重新经过计算进行权值修正,尤其在两个样本数据整体均方误差和很小或绝大部分数据完全一样个别数据差别较大的情况下,这样就会增加重复的不必要的计算量,大大浪费计算时间,降低权值调整效率,难以满足实时性要求。针对以上问题,提出了一种改进的BP神经网络。它通过把传统BP神经网络根据其规模分割成若干更小的子网分别进行训练来达到提高计算效率的目的
2 基于改进的BP神经网络的轨迹跟踪
移动机器人的控制器设计问题可以描述为:给定参考位置和参考速度,为执行力矩设计一个控制法则,控制机器人移动,使其平稳地跟踪速度输入和参考位置。
2.1基于后退算法的运动学控制器设计
根据移动机器人的运动学方程来选择用于实现跟踪的速度控制输入,表示如下:
(1)
其中, ,均为设计参数。
速度控制信号的导数为:
(2)
控制信号误差为:
(3)
由李雅普诺夫理论可以得知,所设计的运动学控制器能使系统的跟踪误差收敛。
2.2 基于改进BP神经网络的动力学控制器设计
如果一个向量仅是一个变量的函数,那么就可以用静态神经网络来建模。即:
(4)
式中,和是GL向量,它们各自元素分别为和。是模型误差向量,其元素是。其中,来表示一般向量或矩阵, 和“”分别表示GL 矩阵及其乘积算子。
由移动机器人动力学方程式知,仅是的函数,是和的函数,所以,可得:
(5)
(6)
式中,,和是GL矩阵,其各自元素分别为: ,,和。其中,和 是矩阵,其模型误差元素为:和。
3 结论
改进的BP神经网络应用于移动机器人轨迹跟踪控制具有正确性、高效性、实用性和智能性等优势,把神经网络分割成若干子网分别进行训练获取了更高计算效率的方法,使BP神经网络避免了不必要的权值调整,提高了网络的训练效率。
参考文献:
[1]韩光信,陈虹. 约束非完整移动机器人轨迹跟踪的非线性预测控制. 吉林大学学报(工学版),2009,39(01):177-18
篇9
[关键词] 机器学习 遗传算法 人工神经网络 支持向量机
当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。机器学习与计算机科学、心理学、认知科学等都有着密切的联系,涉猎的面比较广,有许多理论及技术上的问题尚处于研究之中。
一、什么是机器学习
机器学习就是要使计算机能模拟人的学习行为,自动地通过学习获取知识和技能,重新组织已有的知识结构,不断改善自身的性能,实现自我完善。即机器学习研究的就是如何使机器通过识别和利用现有知识来获取新知识和新技能。它是人工智能的核心,是使计算机具有智能的根本途径。该门科学起源于心理学、生理学、生物学、医学等科学,研究发展过程中涉及到数学、物理学、计算机科学等领域。机器学习主要围绕学习机理、学习方法、面向任务这三个方面进行研究,其应用几乎遍及自然科学的各个领域。其中最多的是模式识别、通讯、控制、信号处理等方面。
二、机器学习系统
学习是建立理论、形成假设和进行归纳推理的过程。为使计算机系统具有某种程度的学习能力,使它能够通过学习获取新知识,以改善性能,提高智能水平,需要建立相应的学习系统。学习系统一般由环境、学习环节、知识库、执行与评价组成,整个过程包括信息的存储、知识的处理两大部分。机器学习系统模型如图1所示。
图1 机器学习模型
框架图中的箭头表示知识的流向;环境是指外部信息源;学习环节是指系统通过对环境的搜索获取外部信息,然后经过分析、综合、类比、归纳等思维过程获得知识并将获得知识存入知识库;知识库用于存储由学习得到的知识,在存储时要进行适当的组织,使它既便于应用又便于维护;执行部分用于处理系统面临的现实问题,即应用学习到的知识求解问题。另外从执行到学习必须有反馈信息,学习将根据反馈信息决定是否要进一步从环境中搜索信息进行学习,以修改、完善知识库中的知识。这是机器学习系统的一个重要特征。机器学习系统是对现有知识的扩展和改进。
三、机器学习的主要策略
学习是一项复杂的智能活动,学习过程与推理过程紧密相连。按照学习中使用的推理的多少,机器学习所采用的策略主要可分为机械学习、通过传授学习、类比学习和通过实例学习等。学习中所用的推理越多,系统的能力越强。本文主要介绍以下三种机器学习方法,即遗传算法、人工神经网络模型及支持向量机。
1、遗传算法
遗传算法是一类借鉴生物界的进化规律(适者生存,优胜劣汰遗传机制)演化而来的随机化搜索方法。其主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定;具有隐并行性和更好的全局寻优能力;采用概率化的寻优方法,能自动获取和指导优化的搜索空间,自适应的调整搜索方向,不需要确定的规则。
由于遗传算法的整体搜索策略和优化搜索方法,在计算时是不依赖于梯度信息和其他辅助信息,而只需要影响搜索方向的目标函数和相应的适应度函数,所以遗传算法提供了一种求解复杂问题的通用框架,它不依赖于问题的具体领域,对问题的种类有很强的鲁棒性,所以广泛应用于自动控制、计算科学、工程设计、智能故障诊断、管理科学和社会科学等领域,适用于解决复杂的非线性和多维空间寻优问题。
2、人工神经网络模型
神经网络基本模型是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及功能的一种抽象数学模型(见图3)。
图3 神经网络基本模型
一个人工神经网络是由大量神经元节点经广泛互连而组成的复杂网络拓扑,用于人类进行知识和信息表示、存储和计算行为。神经元模型如图4所示。
每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号,信号的强弱与脉冲频率成正比。
在神经网络中,大量神经元的互连结构及各连接权值的分布就表示了学习所得到的特定要领和知识。在网络的使用过程中,对于特定的输入模式,神经网络通过向前计算,产生一个输出模式,并得到节点代表的逻辑概念, 通过对输出信号的比较与分析可以得到特定解。神经元之间具有一定的冗余性,并且允许输入模式偏离学习样本,因此神经网络的计算行为具有良好的并行分布、容错和抗噪能力。
神经网络模型包括前馈型网络、反馈型网络、自组织竞争人工神经网络等。
图4神经元模型
(1)前馈型网络(BP)
前馈型网络,最初称之为感知器(包括单层感知器和多层感知器),是应用最广泛的一种人工神经网络模型。前馈网络结构是分层的,信息只能从下一层单元传递到相应的上一层单元,上层单元与下层所有单元相联接。转移函数可以是线性阈值的。多层感知器也被称为BP网络。多层感知器的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。
(2)反馈型网络(Hopfield)
反馈型网络,它是一种动态反馈系统,所有计算单元之间都有联接。比前馈网络具有更强的计算能力。
(3)自组织竞争人工神经网络
在实际的神经网络中,存在一种侧抑制的现象。即一个细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在,在人眼的视网膜中也存在。
自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感,可以代表各种输入,反映各种输入样本的特征。如果在二维空间上描述这些细胞,则,功能相近的细胞聚在一起,靠得比较近。功能不同的离得比较远。开始是无序的,当输入样本出现后各个细胞反映不同,强者依照“胜者为王”的原则,加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感,也同时对其他种类的样本更加不敏感。此过程的反复过程中,各种不同输入样本将会分别映射到不同的细胞上。
人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力,受到众多领域学者的关注。在实际应用中,80%~90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型(简称BP网络),目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 但不适合高精度计算;学习问题没有根本解决,慢;目前没有完整的设计方法,经验参数太多。
3、支持向量机(SVM)
支持向量机是一种基于统计的学习方法,它是对结构风险最小化归纳原则的近似。它的理论基础是Vapnik创建的统计学习理论。
SVM就是首先通过用内积函数K(xi,xj)定义的非线性变换将输入空间变换到一个高维空间,在这个空间中求(广义)最优分类面。SVM分类函数形式上类似于一个神经网络,输出是中间节点的线性组合,每个中间节点对应一个支持向量。
由于统计学习理论和支持向量建立了一套较好的有限样本下机器学习的理论框架和通用方法,既有严格的理论基础,又能较好地解决小样本、非线性、高维数和局部极小点等实际问题,因此成为20世纪90年代末发展最快的研究方向之一,其核心思想就是学习机器要与有限的训练本相适应。
学习是人类智能的主要标志和获得智慧的基本手段,机器学习的研究就是希望计算机能像人类那样具有从现实世界获取知识的能力,同时进一步发现人类学习的机理和揭示人脑的奥秘。机器学习涉及到连接理论、认知理论、行为科学、神经科学等多门科学。因此,对于机器学习的研究,只有采用计算机科学、控制论、人工智能、认知科学、神经科学、心理学等多学科交叉的方法,才可望取得机器学习研究的更大进展。
机器学习是一个十分活跃、充满生命力的研究领域,同时也是一个比较困难、争议颇多的研究领域,虽然取得了一些令人瞩目的成就,但还存在许多尚未解决的问题。目前人工智能研究的主要障碍和发展方向之一就是机器学习,因此,机器学习有着广阔的研究前景。
参考文献:
[1] 张景绘,动力学系统建模[M].北京:国防工业出版社,2000.
[2] 杨义勇等,机械系统动力学[M].北京:清华大学出版社,2009.
篇10
关键词:智能控制;感知器;教案设计;教学实践
作者简介:黄从智(1982-),男,湖北浠水人,华北电力大学控制与计算机工程学院,副教授;白焰(1954-),男,辽宁沈阳人,华北电力大学控制与计算机工程学院,教授。(北京 102206)
基金项目:本文系北京高等学校青年英才计划项目(项目编号:YETP0703)、北京市共建项目专项资助的研究成果。
中图分类号:G642.0 文献标识码:A 文章编号:1007-0079(2014)14-0095-02
智能控制是自动化专业本科高年级必修课程,智能控制课程涵盖专家系统、模糊控制、神经网络、进化计算等四大主要模块,是一门跨学科课程,基本概念和教学内容极其丰富,应用范围十分广泛。[1]该课程一般以“自动控制理论”、“现代控制理论”、“线性代数”为先修课程,作为研究生课程的学科前沿类概论课程,其主要目的是引导学生掌握智能控制理论的基本概念、思想方法,了解其能解决的实际问题,培养学生实际动手能力,提高分析、解决实际问题的能力。[2-5]为使学生在有限课堂时间内在理论学习和仿真实现两个方面都有所收获,笔者结合近几年的教学实际,从学生实际出发,贴近工业过程控制实际,不断优化课堂教学内容和教学方式,在理论教学内容和教学方式等方面进行了一系列持续的探索和研究,在教学实践中不断反复总结教学经验优化教案,根据学生实际情况不断改进教学方式,取得了较好的教学效果。
感知器是最简单也最基本的人工网络模型,掌握好感知器的基本数学模型对于学习掌握人工神经网络具有非常重要的意义。[6]本文以“感知器”这堂课的教案设计优化与教学实践为例,力图在智能控制教学方面做出一些有益的探索,为培养工程化创新实践型人才做出应有贡献。
一、感知器的模型
首先通过人工神经网络早期的发展历史引入感知器的模型。早在1943年,美国神经生理学家麦卡洛克(McCulloch)和皮兹(Pitts)就提出了第一个人工神经元模型――MP模型。MP模型的提出,标志着人工神经网络研究的开始。但是,在MP模型里,它的模型参数必须事先人为设定不能调整,因而缺乏与生物神经元类似的学习能力。
在MP模型的基础上,引入了学习能力就是本节课要学习的感知器,这是美国学者罗森布拉特在1958年提出的第一个人工神经网络模型。感知器的提出是人工神经网络发展史上的重要转折点,它标志着人工神经网络从此有了智能的特性,此后进入了第一个发展。基于这段发展历史,开始介绍感知器的数学模型。
单层单神经元感知器的基本模型如图1所示。
由图1可知,单层单神经元感知器是一个阈值加权和模型,有n个输入变量x1,x2,…,xn,它们对应的权值分别是w1,w2,…,wn,加权求和后与阈值θ相比较,得到u,即。
如果把阈值并入权值的话,那么把它看作是第0个输入,x0=1,权值为w0=-θ。这样就可以把它改写为加权求和的形式,。输入特征向量就是[x0,x1,x2,…,xn],对应的权值为[w0,w1,w2,…,wn],然后u经过激励函数f变换为输出y。一句话,感知器的运算法则就是:加权、求和、取函数。这个函数称为激励函数(Activation Function)。早期的激励函数采用硬限幅函数Hard-limiting,当输入u大于或等于0时,输出y为1;否则y为0。由于其输出只能是0或1,它主要用于两个模式的分类问题。有时可能要求输出能在0到1之间连续取值,比如模糊控制中模糊隶属度的输出是个概率估计值,这时可采用Sigmoid函数,当输入u在(-∞,+∞)之间变化时,输出y在[0,1]之间连续取值。
单层单个神经元的感知器主要用于两类模式的分类问题,比如说要区分一个水果到底是苹果还是桔子?可根据水果的一些特征来进行判断,一看外形,圆形的定义输入为0,椭圆形的就为1;二看颜色,黄色为0,红色为1;三看质地,光滑为0,粗糙为1。这样就得到三个不同的输入,其值可能为0或1。苹果一般认为是圆形、红色、光滑的,就定义其输入为[0,1,0],而桔子一般认为是椭圆形、黄色、粗糙的,就定义其输入为[1,0,1]。按照这三个不同的特征将水果分为苹果和桔子两种不同的类别,可定义输出0为苹果,输出1为桔子。因此可采用一个三输入一输出的单层单个感知器网络,只要选择合适的权值和阈值,就能实现从[0,1,0]到0、从[1,0,1]到1的一一映射,解决这样最简单的两个模式分类问题。实际生活中常见的人脸识别、虹膜识别都是模式识别的范畴,都可采用类似方法解决,有兴趣的同学将来可在模式识别与智能系统硕士专业继续深造。
进一步地,如还要区分桃子、梨子、西瓜、葡萄等多种水果,则需用感知器分类多个模式,要求感知器有多个输出,就需要用到更复杂的多层多神经元感知器。
二、感知器的应用――逻辑函数实现
除模式分类外,感知器还可用于逻辑函数实现,以下结合两个实例说明。
1.实例分析1:如何用感知器实现逻辑运算“与”、“或”、“非”
从逻辑“与”真值表可知,只有当两个输入同为1时,输出才为1,否则输出为0。可以用2输入1输出的单层单神经元感知器,激励函数采用硬限幅函数。以两个输入x1和x2为坐标轴画出分类示意图,(0,0)、(0,1)、(1,0)、(1,1)分别表示四种可能的输入模式,那怎么将它们区分开呢?如采用直线x1+x2-1.5=0就容易将其输出分为两类即0和1。直线上方对应的u大于0,输出y为1;直线下方对应的u小于0,输出y为0。对比下,就能确定感知器的权值均为1,阈值为1.5,这样就实现了逻辑“与”功能。
类似地,也可用一个这样的感知器来实现逻辑“或”,这很容易通过类比方法解决,留给学生课后思考。而逻辑“非”呢,更简单了,它只有一个输入一个输出,采用单输入单神经元感知器就可实现了。它的分界线就是直线-x1+0.5=0,正好把0和1这两类区分开来。
既然感知器能实现逻辑“与”、“或”、“非”功能,那它能不能实现逻辑“异或”呢?这也是本节课要介绍的第二个实例。
2.实例分析2:如何用感知器实现逻辑运算“异或”
由真值表可知,逻辑运算“异或”定义为:两个输入x1和x2同为0或1时,输出y为0,否则y为1。根据逻辑运算“与”的实现经验知,要实现逻辑运算“异或”,只需一个2输入1输出的感知器。在二维平面上对应的四个点(0,0)、(0,1)、(1,0)和(1,1),其中(0,0)、(1,1)这两个点对应的输出为0,(0,1)、(1,0)这两个点对应的输出为1。关键问题在于:这个平面上能否找到一条分界线将(0,0)、(1,1)这两个点和(0,1)、(1,0)这两个点区分开来?无论怎么找都找不到,实际上这样的直线是不存在的。
美国麻省理工大学(MIT)的Minsky教授在1969年出版的《感知器》一书中发出感慨:感知器连最简单的异或都实现不了,研究人工神经网络还有什么前途?Minsky是1969年图灵奖获得者,而图灵奖是计算机领域的诺贝尔奖,由于他在人工智能领域当时是绝对的学术权威,这个悲观的论调无疑给当时的神经网络研究泼了一盆冷水,直接导致美国和前苏联几乎中止了这方面的研究。那么,感知器到底能不能实现“异或”呢?它有四个可能的输入,两类可能的输出,采用什么分界线可以区分这两类不同模式的输出呢?用直线不能区分,那么用其他图形呢?此时启发学生积极思考,主动采用发散性思维方式创造性解决问题。以(0,0)和(1,1)为焦点画个椭圆,就可以区分它们了,如图2所示。
如图2(a)所示,椭圆方程为:,对应的单层非线性感知器如图2(b)所示,其输入是x1和x2,经过非线性处理再加权求和后得到u,再经过硬限幅激励函数f运算得到输出y。显然,当x1和x2同为0或为1时,u为-1,再经f运算得y为0;当x1和x2不同时,u为15,再经f运算得输出y为1,正好实现了逻辑运算“异或”功能。
如图2所示的椭圆可将这四个点对应的两类输出区分出来,那么是不是还有其他方法呢?此时启发学生再提出其他所有可能的解决方案。其中一种可行的解决思路如下:考虑用两条直线围成的带状区域作为分界线,如图3所示。
如图3(a)所示,如分界线采用这个带状区域,也可以将它们对应的输出划分为两类。其对应的是如图3(b)所示的多层线性感知器,这里采用了两层:1个隐含层有2个神经元,1个输出层有1个神经元。具体论证过程让学生课后自己验证。
通过以上分析,让学生独立自主发现问题、分析问题、解决问题,得出结论:单层线性感知器的确无法实现逻辑运算“异或”功能,但是换个角度,采用一个单层非线性感知器或多层线性感知器就能实现逻辑运算“异或”功能。通过介绍这段历史,启迪学生一个道理:同学们在学习的时候,不要盲目地迷信一些学术权威或书本,要学会独立思考、大胆怀疑,要有发散思维,要用发展变化的观点去分析问题和解决问题,换个角度思考很可能就会柳暗花明又一村。
三、课堂内容总结及第二课堂设计
总结一下本堂课的讲课内容,主要介绍了感知器的数学模型,并结合实例分析了它在模式识别和逻辑函数功能实现中的实际应用。作为下次课程的引子,可以将“关于感知器如何学习,它的权值和阈值如何调整”这一问题抛给学生在后续课程中继续学习。
课程虽然结束了,但有很多后续问题可留给学生课后思考,所以在第二课堂设计中增加了如下问题让学生积极思考,主动去寻找这些问题的答案:
问题一:除课堂中介绍的两种方法之外,还有没有其他方法也可以设计一个感知器实现逻辑运算“异或”功能呢?
问题二:既然感知器可以解决逻辑运算“异或”功能,那么如何用感知器实现逻辑运算“同或”功能呢?
问题三:根据课程内容,如何利用MATLAB或C语言编写程序设计感知器,研究分别实现逻辑运算“与”、“或”、“非”、“异或”、“同或”功能?[7]
问题四:进一步地,如何利用MATLAB或C语言编写程序设计BP神经网络,研究分别实现逻辑运算“与”、“或”、“非”、“异或”、“同或”功能?
四、教学效果
通过在本科智能控制课程四大模块之一的人工神经网络“感知器”部分课堂教学实践中实际应用上述优化后的教案,极大地激发了学生浓厚的学习兴趣。教学实践表明,学生普遍由此对人工神经网络的课程内容产生了较大的学习兴趣,部分同学针对所学内容提出了一些很有新意的解决思路,并通过自行编程实现了所提出的解决方案。学生在学习过程中充分发挥了主体作用,充分利用发散性思维能力,提高了综合分析问题、解决问题的能力和创新能力。
参考文献:
[1]刘金锟.智能控制[M].第2版.北京:电子工业出版社,2009.
[2]蔡自兴.智能控制导论[M].北京:中国水利水电出版社,2007.
[3]蔡自兴.智能控制原理与应用[M].北京:清华大学出版社,2007.
[4]韦巍,何衍.智能控制基础[M].北京:清华大学出版社,2008.
[5]李少远,王景成.智能控制[M].北京:机械工业出版社,2009.