神经网络常用算法范文

导语：如何才能写好一篇神经网络常用算法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

摘要目前，神经计算及其应用已经渗透到多个学科，并在信号处理、智能控制、模式识别、机器视觉、非线性优化、自动目标识别、知识处理、遥感技术等领域取得了丰硕的成果。神经计算不仅是科学家的兴趣所在，还受到了各国政府和军队等权力部门的密切关注，世界上许多国家和地区的政府及工业界都十分关注并积极投资神经计算技术的研究，其进展不仅将促进科学和技术的进步，还会对各国的国力产生一定的影响。

本文针对神经计算中亟需解决的5个问题进行了研究，包括加快神经网络的学习速度、增强神经网络的可理解性、设计出易于使用的工程化神经计算方法、更好地模拟生物神经系统以及将神经计算与传统人工智能技术相结合。本文的创造性研究成果主要有：

(1)提出了一个快速神经分类器FAC和一个快速神经回归估计器FANRE，实验结果表明，这两个算法学习速度快、归纳能力强，在性能上明显优于目前常用的一些神经网络分类学习算法和回归估计算法。在此基础上，成功地将FAC应用于石油勘探岩性识别领域。

(2)提出了一个神经网络规则抽取算法STARE，实验结果表明，STARE可以从训练好的神经网络中抽取出保真度高、精确、简洁的符号规则，从而较好地增强神经网络的可理解性。在此基础上，提出了一个基于神经计算的分类规则挖掘框架NEUCRUM，并成功地将其应用于台风预报领域。

(3)提出了一种基于遗传算法的选择性神经网络集成方法GASEN，实验结果表明，GASEN的性能优于目前常用的一些方法。设计了一种多视角神经网络集成方法VS，将神经网络集成应用于多视角人脸识别，不需进行偏转角度预估计就能取得很高的识别精度。设计了一种新型结论组合方法和一种二级集成结构，将神经网络集成应用于肺癌细胞识别，并嵌入到肺癌早期诊断系统LCDS中，大大降低了肺癌细胞的漏识率。

(4)针对前馈网络的单点断路故障，提出了一种基于遗传算法的进化容错神经网络方法EFANET，实验结果表明，该方法不仅可以进化出容错性好、泛化能力强的网络，还较好地保持了网络结构、训练算法与容错处理的独立性。针对前馈网络的多点断路故障，提出了一种三阶段方法T3，并将其应用于FAC网络，实验结果表明，T3方法可以较好地在网络容错能力与结构复杂度之间达成折衷。

(5)提出了一种结合决策树与前馈神经网络的混合决策树方法HDT，描述了树的生长算法和神经处理机制。对增量学习和构造性归纳进行了研究，界定了三种不同的增量学习问题的概念，并给出了HDT的增量学习和构造性归纳算法。实验结果表明，HDT及其增量学习、构造性归纳算法都具有很好的性能。此外，还成功地将HDT应用于情报软件故障诊断。

关键词：神经计算，神经网络，机器学习，快速学习，规则抽取，集成，容错神经网络，混合学习，增量学习，构造性归纳，决策树，知识获取，数据挖掘，遗传算法，进化计算，断路故障，人脸识别，计算机辅助医疗诊断，岩性识别，故障诊断

ContributiotoSeveralIuesofNeuralComputing

Neuralcomputinganditsalicatiohavealreadycomeintomanydisciplinesandachievedplentifulfruitsindiversifiedfields,includingsignalproceing,intelligentcontrolling,patternrecognition,machinevision,nonlinearoptimization,automatictargetidentification,knowledgeproceing,remoteseing,etc.Ithasbecomenotonlythetastesofscientistsbutalsotheinterestsofgovernmentsandforces.Thegovernmentsandindustrialcommunitiesofmanycountries/regioaresokeenonneuralcomputingtechniquesthattheyhaveinvestedalargeamountofmoneyoncorreondingresearch.Thereforetheprogreofneuralcomputingwillnotonlypromotethedevelopmentofscienceandtechnologybutalsoinfluencethenationalpowers.

Inthisdiertation,5problemsstandinginneedofsolutioareinvestigated,whichincludesexpeditingthelearningeedofneuralnetworks,improvingthecompreheibilityofneuralnetworks,designingengineeringneuralcomputingmethodsthatareeasytouse,simulatingbiologicalneuralsystemsmorebetterthanever,andcombiningneuralcomputingwithtraditionalartificialintelligencetechniques.Themaincontributioofthisdiertationaresummarizedasfollows:

Firstly,afastneuralclaifiernamedFACandafastneuralregreionestimatornamedFANREareproposed.Experimentalresultsshowthatthosetwoalgorithmsthathavefastlearningabilityandstronggeneralizationabilityreectivelyoutperformsomeprevailingneuralclaificationalgorithmsandneuralregreionestimationalgorithmsatpresent.Besides,FACissuccefullyaliedinlithologyidentificationofoilexploration.

Secondly,aneuralnetworkruleextractionalgorithmnamedSTAREisproposed.ExperimentalresultsshowthatSTAREcanextractaccurateandcompactsymbolicrulesthathavehighfidelity,sothatthecompreheibilityoftrainedneuralnetworksareimproved.Additionally,aneuralcomputingbasedclaificationrulemi ningframeworknamedNEUCRUMisproposedandsuccefullyaliedtotyphoonforecastingdomain.

Thirdly,ageneticalgorithmbasedselectiveneuralnetworkeemblearoachnamedGASENisproposed.ExperimentalresultsshowthatGASENoutperformspopulareemblearoachesatpresent.Then,aviewecificeemblearoachnamedVSisdevelopedtoalyneuralnetworkeembletoviewinvariantfacerecognition,whichhastheabilityofperforminghighqualityrecognitionwithoutviewpre-estimation.Moreover,bothanoveloutput-combiningmethodandauniquetwo-layer-eemblearchitecturearedesigned,sothatneuralnetworkeembleisembeddedinthelungcancerearlystagediagnosissystemLCDStoperformlungcancercellidentification,whichgreatlylowerstherateofmiedidentificationoflungcancercells.

Fourthly,ageneticalgorithmbasedaroachnamedEFANETthatevolvesfault-tolerantneuralnetworksforsingle-nodeopenfaultisproposed.ExperimentalresultsshowthatEFANETcanevolveneuralnetworkswithbothrobustfault-tolerantabilityandstronggeneralizationabilitywhilekeepingtheindependenceamongnetworktopology,trainingalgorithm,andfault-tolerantproceing.Besides,athree-phrasearoachnamedT3isproposedformulti-nodeopenfault,whichhasbeenaliedtoFAC.ExperimentalresultsshowthatT3cantradeoffthefault-tolerantabilityandstructuralcomplexityoftheneuralnetwork.

篇2

关键词 神经网络；BP；优化算法

中图分类号：TP183 文献标识码：A 文章编号：1671-7597（2014）13-0066-01

1 人工神经网络模型

人工神经网络简称ANN，它是一种将人类大脑的组织结构和运行机制作为其研究基础来模拟人类大脑内部结构和其智能行为的处理系统。人工神经网络中的神经元细胞将其接收到的所有信号进行处理，如加权求和等操作，进行操作后经轴突输出。

2 人工神经网络的分类

2.1 前馈型神经网络

前馈型神经网络通过对其网络中的神经元之间的连接关系进行复合映射，因此这种网络模型具有非常强的非线性处理的能力。如图1所示，在这里前馈型神经网络模型被分为三层，分别为输入层、输出层和隐含层，一般常用的前馈型神经网络有BP神经网络、RBF神经网络、自组织神经网络等。

图1 前向神经网络模型

2.2 反馈型神经网络

反馈型神经网络其结构，在这个模型中我们假设网络总的神经元个数为N，则每个神经元节点都有N个输入值及一个输出值，每个神经元节点都如此，节点之间相互联系。现在被大量使用的反馈型神经网络一般有离散Hopfield神经网络模型、Elman神经网络模型等等。

3 BP神经网络

3.1 BP神经网络简介

1986年，Rumelhant和McCelland提出了BP神经网络的一般模型，BP神经网络是一种具有多层网络的反向传播学习算法。BP神经网络模型的基本思想是：整个过程主要由信号的正向传播和误差的反向传播两个过程组成。目前，BP神经网络的应用范围为数据压缩、数据分类、预测分析和模式识别等领域。

3.2 BP神经网络的结构

如图2所示，这里是BP神经网络的一种模型结构，在这种模型结构中输入信号量为m，具有隐含层的数量为j，输出信号量为q的模型结构。

BP神经网络一般具有一个或多个隐含层单元，其差别主要体现在激活函数的不同。针对BP神经网络所使用的激活函数一

图2 BP神经网络模型结构

般采用S型对数函数或者采用正切激活函数，而输出层则一般采用线性函数作为激活函数。

3.3 BP神经网络的改进方法

BP神经网络作为当今对研究电力负荷预测应用最多的一种神经网络，但标准的BP神经网络算法存在的一些缺陷，这里就对一些经常使用的典型改进方法进行描述。

1）增加动量项。在一般的BP神经网络算法中，其模型中的各层权值在进行更新的过程中，是按照t时刻误差曲线进行梯度下降方式进行调整的，在这里并没有考虑其之间的梯度下降的方向，如果使用这种方式进行调整则会造成训练的过程不稳定，容易发生振荡，导致收敛过程缓慢的结果。因此有些学者就为了使网络训练的速度提高，收敛过程加快，就在一般网络模型的权值更新环节添加了一个动量项因子即：

（1）

在这个式子中，W表示BP神经网络中每一层的权值矩阵，O则表示神经网络中每一层的输出向量矩阵，α则被称为该神经网络的动量系数因子，其取值范围在0到1之间，在该网络在进行训练的过程中，如果其误差梯度网线出现了局部极小值现象，虽然在这里的第一项会趋搂于零，但是这一项，

这样就会使该训练过程避免了限入局部极小值区域的形势，从而加快了其训练速度，使该神经网络收敛速度加快，因此这种带有动量项因子的BP神经网络算法应用到了很多的BP网络中。

2）学习速度的自适应调节方法。学习速度η在一个标准的BP神经网络中是以一个常数出现的我们也称为之步长，而在实际的运算过程中，很难找到一个数值作为最优学习速度。我们从误差曲面图形中可以看出，当曲面中区域处于一个平坦区域时，我们需要设置一个比较大的η值，使它能够跳出这个平坦的区域；而当曲面中的区域处于变化比较很大的区域时，这时的η的数值我们又需要将其进行减小或者增大操作。自适应调整学习速度η则可以根据网络的总误差来进行自我调整，在网络经过多次调整后，如果E总继续上升，则表明这里的调整是无效的，且η=βη， ；而经常调整这里的E总下降了，则表明这里的调整是有效果的，且η=αη，。

3）引入陡度因子（防止饱和）。在网络训练的过程中，由于其误差曲面具有平坦区，当处于这个区域时，由于S型激活函数有饱和特性，促使权值的调整速度放慢，从而影响了调整的速度。在训练的过程中，如果算法调整进入了这个区域，我们可以减小神经元的输入量，使其输出值迅速脱离激活函数的饱和区域，这里误差函数的数值则会随之发生改变，其权值的调整也就脱离了该平坦区。想要实现以上思路则需要在激活函数中引入一个陡度因子λ。

（2）

当趋近于0时，而数值较大时，调整其进入误差曲面中的平坦区，此时λ的值应选择大于1的数值；而当调整脱离平坦区域后，再设置λ大于1，使激活函数能够恢复到原始数值。

4 总结

综上所述，设计一个人工神经网络应用到实际问题中，可以归结为网络自身权值参数的学习与合理的设计网络拓扑结构这两大类优化问题。由于人工神经网络的训练是一个非常复杂的问题，使用传统的学习算法进行训练则要花费很长的时间，BP算法用到了梯度下降法，才只能在一定范围内找到合适的参数值及其模型结构。因此，为了更好的提高神经网络的泛化能力，及将网络拓扑结构设计的更加合理，大量关于神经网络的优化算法相继产生。

参考文献

篇3

但当BP神经网络应用于预测模型尤其对于未来增长趋势比较明显的预测模型时，虽然其收敛精度较高，但其值域范围受限导致训练样本拟合函数与预测数据有较大差异，导致其局部搜索能力较强但全局搜索能力较差，易陷入局部最优值。本文通过引入遗传算法，发挥该算法全局搜索能力较强的特点，对BP神经网络权值和阈值进行预优化，赋予各层较佳输出解空间，发挥BP神经网络局部搜索能力强的特点，实现强强联合，提高时间序列预测的精准度。

1．1BP神经网络

BP(BackPropagationnetwork)神经网络是当今预测领域应用最广泛的一种神经网络算法。BP神经网络由3层组成:输入层、隐含层和输出层。每一层中都包含若干节点(神经元)，不同层之间节点通过权值进行全连接，同层节点之间无连接。其中，隐含层可为多层，实际应用过程中有一个隐含层的三层神经网络结构即可实现非线性函数拟合。

1．2遗传算法

本文中的优化对象为BP神经网络各层间权值和阈值。因此，在种群初始化时，遗传算法采用常用的二进制编码，并由农业机械数量的历史样本数目确定遗传算法将优化的参数(权值和阈值)个数，从而确定种群的编码长度。因BP神经网络隐含层神经元采用S型传递函数，为减小计算误差，减少或避免计算结果落入局部最小值，权值和阈值应避免选择区间内较小和较大数值，选择在［－0．5，0．5］区间内的随机数。遗传算法计算流程。

2预测结果与分析

本文采用基于遗传算法的BP神经网络，以我国从1997－2013年的农业机械数量为基础数据进行训练和测试和预测。其中，遗传算法群体规模M=50，交叉概率pc=0．6，变异概率pm=0．01，BP神经网络权值阈值取值空间为［－0．5，0．5］，训练次数为1000，训练目标为0．01，学习速率为0．1。我国在1997－2013年期间的农机总动力、农用大中型拖拉机数量和小型拖拉机数量的预测值与历史样本数据之间的绝对值平绝误差分别为1．080%、1．352%和1．765%。由此看出，使用基于遗传算法的BP神经网络对于以农业机械数量为预测对象的时间序列预测模型的预测精度较好，预测精度稳定性较佳。从预测误差可以看出，本文所使用的BP神经网络在预测本时间序列模型时，基本避免运算结果落入局部最小值，收敛性能较好，与前文中遗传算法和BP神经网络优势互补、强强联合的理论设想较为一致。2014年我国农机总动力、农用大中型拖拉机数量和小型拖拉机数量的预测结果来看，该预测结果与2013年度数值比较有较大增长，但增长幅度有所下降。预计到2014年，我国农机总动力、大中型拖拉机数量和小型拖拉机数量分别为11．251×108kW、587．012万台和2043．201万台，与1997年相比分别增加了167．86%、751．96%和94．87%，与2013年相比分别增加了4．17%、10．75%和2．16%。其中，2014年农机总动力和小型拖拉机数量增长率分别小于2013年的增长率5．88%和3．3%，农用大中型拖拉机数量增长率大于2013年的增长率9．19%。由于我国在2004年出台了一系列鼓励提高农业机械化的法律、政策、法规，中央财政农机购置补贴资金投入连年大幅增加，极大地调动了农民购机的积极性和企业生产的积极性，促进我国农机装备总量持续增长和农机结构优化。随着跨区作业和农业生产合作社的逐步发展，有效提高了农用大中型拖拉机在农业生产中的的利用率，降低了农民劳动强度，提高生产效率，因而其近几年的保有量有较大增幅。小型拖拉机受农业产业结构调整和农业机械大型化的影响，其近几年的保有量增幅逐年降低。

3结论

篇4

【摘要】 人工神经网络由于其具有高度的自适应性、非线性、善于处理复杂关系的特点，在许多研究领域得到了广泛应用，并取得了令人瞩目的成就。对其目前在医学研究领域中的应用做一简单综述。

【关键词】 人工神经网络； 应用

人工神经网络(Artificial Neural Network，ANN)方法自从本世纪40年代被提出以来，许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究，已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络，例如，Grossberg提出的自适应共振理论（Adaptive Resonance Theory，ART），T-Kohenen的自组织特征映射网络(Self-Organizing feature Map，SOM)，径向基函数网络（Radial Basis Function，RBF），Hopfield网等。进入90年代以后，由于计算机技术和信息技术的发展，以及各种算法的不断提出，神经网络的研究逐渐深化，应用面也逐步扩大，本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。

1 自组织特征映射网络（self-organizing feature map，SOM）在基因表达数据分析中的应用

1.1 方法介绍

脑神经学的研究表明，人脑中大量的神经元处于空间的不同区域，有着不同的功能，各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性，于1981年提出了自组织特征映射网络，它模拟人的大脑，利用竞争学习的方式进行网络学习，具有很强的自组织、自适应学习能力，鲁棒性和容错能力，其理论及应用发展很快，目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。

Kohonen网络由输入层和竞争层组成，网络结构见图1。输入层由N个神经元组成，竞争层由M个输出神经元组成，输入层与竞争层各神经元之间实现全互连接，竞争层之间实行侧向连接。设输入向量为x=(x1，…，xd)T ，输出神经元j对应的权重向量为wj=(wj1，…，wjd)T ，对每一输出神经元计算输入向量x 和权重向量wj 间的距离，据此利用竞争学习规则对权向量进行调节。在网络的竞争层，各神经元竞争对输入模式的响应机会，最后仅一个神经元成为胜利者，并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整，这样在每个获胜神经元附近形成一个“聚类区”，学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势，从而使具有相近特性的输入向量聚集在一起，这种自组织聚类过程是系统自主、无教师示教的聚类方法，能将任意维输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。网络通过对输入模式的学习，网络竞争层神经元相互竞争，自适应地形成对输入模式的不同响应，模拟大脑信息处理的聚类功能、自组织、自学习功能，实现用低维目标空间的点去表示高维原始空间的点，其工作原理和聚类算法及改进方法参见相关文献［1］。

1.2 应用

基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后，而基因芯片产生的数据具有高维度（变量多）、样本量小、高噪声的特点，样本量远小于变量数，如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术，传统方法主要有系统聚类、k-means聚类等，但在处理复杂非线性关系及变量间的交互作用时效果较差，受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点，其中自组织特征映射网络由于其良好的自适应性，其算法对基因表达数据的聚类有较高的稳定性和智能性，尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现，适用于复杂的多维数据的模式识别和特征分类等探索性分析，同时可实现聚类过程和结果的可视化［2］。目前Kohonen网络已被成功用到许多基因表达数据的分析中，Jihua Huang等［3］设计6×6的网络对酵母细胞周期数据进行分析，总正确率为67.7%；曹晖等［4］将其算法改进后用在酵母菌基因表达数据中，总正确率高达84.73%，有较高的聚类效能；邓庆山［5］将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集，聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有：① 发现与疾病相关的新的未知基因，对目标基因进一步研究，提高诊断的正确率，并对药物的开发研究提供重要的线索；② 对肿瘤组织的基因表达谱数据聚类，以期发现新的、未知的疾病亚型（肿瘤亚型），以便提出更加有针对性的治疗方案，为从分子水平对疾病分型、诊断、预后等提供依据；③ 发现与已知基因有相似功能的基因，为推断未知基因的可能功能提供线索。

2 BP神经网络在医学研究中的应用

2.1 BP神经网络在疾病辅助诊断中的应用

2.1.1 方法介绍

BP神经网络是目前应用最多的神经网络，一般由一个输入层（input layer）、一个输出层（output layer）、一个或几个中间层（隐层）组成。每一层可包含一个或多个神经元，其中每一层的每个神经元和前一层相连接，同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层，隐层的神经元对输入层的信息加权求和，加一个常数后，经传递函数运算后传到下一个隐层（或输出层），常用的传递函数是logistic函数，即Φh=1/(1+exp(-z)) ，输出层神经元对前一层的输入信息加权求和经传递函数Φ0 （线性或logistic函数或门限函数）运算后输出，BP神经网络一般采用BP算法训练网络，关于BP算法及改进可参考相关文献［1］。

人工神经网络具有强大的非线性映射能力，含一个隐层的网络可以实现从输入到输出间的任意非线性映射，是典型的非线性数学模型，建立BP神经网络模型的一般步骤为：① BP网训练集、校验集、测试集的确定；② 输入数据的预处理：使输入变量的取值落在0到1的范围内，如果是无序分类变量，以哑变量的形式赋值；③ 神经网络模型的建立及训练：学习率、传递函数、隐层数、隐单元数的选择，注意防止过度拟合。一般使用灵敏度、特异度、阳性预测值、阴性预测值、ROC曲线对模型的预测性能进行评价。

2.1.2 应用

BP神经网络已广泛用于临床辅助诊断中，白云静等［6］用于中医证候的非线性建模，建立了RA证侯BP网络模型和DN证侯BP网络模型，结果显示平均诊断准确率分别为90.72%、92.21%，具有较高的诊断、预测能力。曹志峰［7］采用PROBEN1中的甲状腺疾病数据库用于甲状腺疾病（甲亢、甲减、正常）的诊断，结果显示训练样本的正确识别率为99.3% ，测试样本的正确识别率为98.2%，提示对临床诊断甲状腺疾病提供有益的帮助；还有学者用于急性心肌梗塞、甲状腺功能紊乱、乳腺癌、前列腺癌、宫颈癌、肺癌、卵巢癌、急性肺梗塞等的辅助诊断等［8］。

2.2 BP神经网络在生存分析中的应用

2.2.1 方法介绍

传统的生存分析方法有非参数、半参数、参数模型，参数模型主要有指数回归模型、Weibull回归模型，都要求对基线风险做一定的假设，但实际资料常常不符合条件，生存分析中应用最为广泛的半参数模型:Cox比例风险模型，但它要求满足比例风险的假定，在很多情况下也难以满足。基于神经网络的生存分析模型可以克服这些困难，可以探测复杂的非线性效应，复杂的交互效应，模型中协变量的效应可以随时间变化，对数据的分布不做要求。目前一些策略被用到神经网络预测方法中分析含有删失的生存数据，主要有Faraggi-Simon(1995)法、Liestol-Andersen-Andersen(1994) 法、改良uckley-James(1979)法等。

BP神经网络建立生存分析模型常用的方法有［9］：连续时间模型（continuous time models）与离散时间模型（discrete time models）。常用的Faraggi和Simon［10］提出的连续时间模型扩展了Cox回归模型，允许非线性函数代替通常的协变量的线性组合，这种方法既保持了Cox回归模型的比例风险的特点，又提供了处理复杂非线性关系、交互作用能力的好方法。

离散时间模型常用的模型有：① 输出层为单个结点：模型的输出层只有一个神经元结点，是最简单的神经网络模型，生存时间被分成两个区间，当研究者仅仅对某一时间点的预后感兴趣时，例如预测癌症患者的5年生存情况，如欲预测多个时间点，则需建立多个神经网络模型（每个模型对应一个时间区间）；② 输出层为多个结点：生存时间被分成几个离散的区间，估计某个时间区间事件发生的概率，Liestol法是常用的离散时间模型。还有研究者在建立多个时间区间模型时将时间也做为一个输入变量，也有学者将神经网络纳入Bayes方法的研究框架。

一般采用灵敏度、特异度、一致性指数C(Concordance index)作为预测准确性的评价指标，神经网络在生存分析中的应用主要在于［11］：个体患者预后的预测，研究预后因子的重要性，研究预后因子的相互作用，对于预测变量的影响力强弱及解释性，还有待进一步探讨。

2.2.2 应用

国外Ruth M.Ripley等［9］将7种不同的神经网络生存分析模型（3种离散时间模型，4种连续时间模型）用于1335例乳腺癌患者复发概率的预测，并对其精确性、灵敏度、特异度等预测性能指标进行比较，结果证明神经网络方法能成功用于生存分析问题，可以提取预后因子所蕴涵的最大可能的信息。Anny Xiang等［12］采用Monte Carlo模拟研究方法，在9种实验条件下（不同的输入结点、删失比例、样本含量等）对Faraggi-Simon法、Liestol-Andersen-Andersen法、改良Buckley-James法处理右删失生存数据的性能与Cox回归作比较，研究结果提示神经网络方法可以作为分析右删失数据的一个有效的方法。D.J.Groves［13］等将Cox回归与神经网络方法对儿童急性淋巴母细胞白血病的预后进行了比较，Lucila Ohno-Machado等［14］建立输出层为4个结点的离散时间神经网络模型做为AIDS预后研究的工具，并使用ROC曲线下面积、灵敏度、特异度、阳性预测值、阴性预测值对不同时间区间的预测性能做了评价。国内用于生存分析方面的研究还较少，黄德生［15］等利用BP神经网络建立time-coded model和single-time point model用于肺鳞癌预后预测，贺佳［16］等把BP网络用于预测肝癌患者术后无瘤生存期，也有学者对AIDS、恶性肿瘤的预后做了相关的研究。

2.3 BP神经网络在其它方面的应用

近年来BP神经网络在疾病筛查中的的应用引起学者的关注，例如在乳腺癌、宫颈癌、糖尿病的筛查都有成功的应用［17］。神经网络在法医学研究领域具有实用性和广泛的应用前景，法医学家将其用在死亡时间推断、死因分析、个体识别和毒物分析等研究中［18］。在药学研究中也有一定的应用，例如在定量药物设计、药物分析、药动/药效学研究中，都有成功的应用案例，相秉仁等［19］对其做了详细的综述。曹显庆［20］等还将神经网络用于ECG、EEG等信号的识别和处理、医学图像分析中，取得了较好的结果。

人工神经网络是在研究生物神经网络的基础上建立的模型，迄今为止有代表性的网络模型已达数10种，人工神经网络不需要精确的数学模型，没有任何对变量的假设要求，能通过模拟人的智能行为处理复杂的、不确定的、非线性问题。在医学研究领域，变量间关系往往非常复杂，为了探测变量间的复杂模式，神经网络正逐渐变成分析数据的流行工具。目前国际上已出现许多著名的神经网络专业杂志：Neural Network，Neural Computation，IEEE Transaction on Neural Networks等，同时已有许多商业化的神经网络开发软件，如Matlab软件， S-plus软件，SNNS(Stuttgart Neural Network Simulator)等，高版本SAS系统中的Enterprise Miner应用模块中也可以建立神经网络模型，随着计算机技术的进一步发展，人工神经网络在医学领域的应用前景也会更加广阔。

【参考文献】

1 余雪丽，主编.神经网络与实例学习.中国铁道出版社，1996.

2 白耀辉，陈明.利用自组织特征映射神经网络进行可视化聚类.计算机仿真，2006，23(1):180~183.

3 Jinua Huang，Hiroshi Shimizu，Suteaki Shioya.Clustering gene expression pattern and extracting relationship in gene network based on artificial neural networks.Journal of bioscience and bioengineering，2003，96(5):421~428.

4 曹晖，席斌，米红.一种新聚类算法在基因表达数据分析中的应用.计算机工程与应用，2007，43(18)：234~238.

5 邓庆山.聚类分析在基因表达数据上的应用研究.计算机工程与应用，2005，41(35):210~212.

6 白云静，申洪波，孟庆刚，等.基于人工神经网络的中医证侯非线性建模研究.中国中医药信息杂志，2007，14（7）:3~4.

7 曹志峰. BP 神经网络在临床诊断中的应用与探讨.实用医技杂志，2005，12(9):2656~2657.

8 William G Baxt. Application of artificial neural networks to clinical medicine. The Lancet，1995，346(8983):1135~1138.

9 Ruth M.Ripley，Adrian L.Harris，Lionel Tarassenko.Non-linear survival analysis using neural networks. Statistics in medicine，2004，23(5):825~842.

10 David Faraggi，Richard Simon.A neural network model for survival data. Statistics in medicine，1995，14(1):73~82.

11 高蔚，聂绍发，施侣元，等.神经网络在生存分析中的应用进展.中国卫生统计，2006，23（4）：358~360.

12 Anny Xiang，Pablo Lapuerta， Alex Ryutov.Comparison of the performance of neural network methods and Cox regression for censored survival data.Computational statistics ＆ data analysis，2000，34(2):243~257.

13 D.J.Groves，S.W.Smye，S.E.Kinsey.A comparison of Cox regression and neural networks for risk stratification in case of acute lymphoblastic leukaemia in children.Neural computing ＆ applications，1999，8(3):257~264.

14 Lucila Ohno-Machado.A comparison of cox proportional hazards and artificial neural network models for medicial prognosis.Comput Biol Med，1997，27(1):55~65.

15 黄德生，周宝森，刘延龄，等.BP人工神经网络用于肺鳞癌预后预测.中国卫生统计，2000，17(6):337~340.

16 贺佳，张智坚，贺宪民.肝癌术后无瘤生存期的人工神经网络预测.数理统计与管理，2002，21（4）：14~16.

17 黎衍云，李锐，张胜年.人工神经网络及其在疾病筛查中的应用前景.环境与职业医学，2006，23(1):71~73.

18 汪岚，刘良.人工神经网络的法医学应用.中国法医学杂志，2005，20(3)：161~163.

篇5

关键词：人工神经网络 反向传播算法 故障诊断

1 引言

随着经济的发展，空调系统得到了越来越广泛的应用，空调设备已成为重要的生活必备品之一。这就要求空调系统可靠性高且功能齐全，而且在故障诊断维修服务方面达到一定的水平。国内目前的大部分空调系统中无故障诊断系统，当空调系统出现故障后，维保人员往往不能及时、准确地了解系统出现故障的原因及相关信息，空调系统无法得到及时修复，这种情况急需得到改善。

2 关于故障诊断技术

故障诊断FD(fault diagnosis)是一种了解和掌握设备在使用过程中的技术，确定其整体或局部是否正常，早期发现故障及其原因并能预报故障发展趋势的技术。在诊断过程中，必须利用被诊断对象表现出来的各种有用信息，经过适当地处理和分析，做出正确的诊断结论。在制冷暖通空调领域，1987年在彦启森教授的建议下，才开始了故障诊断专家系统在制冷暖通空调领域的研究应用[1]。

3 人工神经网络用于空调系统故障诊断的基本原理

人工神经网络(Artificial Neural Network．简称ANN)正是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

典型的神经网络结构如图1所示。

在众多的人工神经网络模型中，最常用的是BP(Back Propagation)模型，即利用误差反向传播算法求解的多层前向神经网络模型[2]。BP网络在故障诊断、模式识别、图像识别、管理系统等方面都得到了广泛的应用。本文讨论利用神经网络中的BP模型进行空调系统的故障诊断。

首先需要进行知识的获取。由专家提供关于各种空调系统故障现象(征兆集)及相应的故障原因(故障集)实例作为学习样本。将数据分为两部分，一部分用于训练网络，另一部分用于测试。将训练网络的数据按一定顺序编码，分别赋给网络输入、输出节点，通过神经网络学习算法对样本进行学习，经过网络内部自适应算法不断修正权值，直到达到所要求的学习精度为止。此时在大量神经元之间联结权值上就分布着专家知识和经验。训练完毕后，再将测试网络的数据从初始状态出发，向前推理，将显示出的故障结果与实际的测试数据结果相比较，如果误差很小，说明网络的权值建立正确；如果误差较大，说明网络的权值建立有误，需要重新进行网络的训练。

将训练样本训练完毕后，即可进行空调系统的故障诊断。只要实际输入模式接近于某一个训练时的学习样本的输入模式，则可产生出接近学习样本的输出结果，也就是所谓的自联想功能。同时，由于网络计算上的大量并行性，当机器运行状况改变，出现网络学习未考虑的情况时，系统亦能给出正确分类结果。同时将新数据并入网络，实现系统的自适应。一般来说，学习的故障实例样本越多，诊断结果的准确率越高。

4 BP学习算法

BP算法因其简单、易行、计算量小、并行性强等优点，是目前神经网络训练采用最多也是最成熟的训练算法之一。BP算法的实质是求解误差函数的最小值问题，由于它采用非线性规划中的梯度下降法（Gradient Descent），按误差函数的负梯度方向修正权值 [3]。其主要思路是如果求出训练网络的指标函数误差：

一般的BP算法称为标准误差逆传播算法，也就是对应每一次输入都校正一次权值。这种算法不是全局误差意义上的梯度下降计算。对各个神经元的输出求偏导数，那么就可以算出误差对所有连接权值的偏导数，从而可以利用梯度下降法来修改各个连接权值。真正的全局误差意义上的梯度下降算法是在全部训练模式都学习完后才校正连接权和阈值。其计算流程如图2所示：

5 故障诊断实例 5.1 空调系统故障诊断的BP网络建立

空调系统故障模式及故障机制分析[4]如表1所示

表1 空调系统故障模式及故障机制分析 表示

符号

表示

符号

房间温度均偏高

1.冷冻机产冷量不足

2.喷水堵塞

3.通过空气处理设备的风量过大，热交换不良

4.回风量大于送风量

5.送风量不足（可能空气过滤气堵塞）

6.表冷器结霜，造成堵塞

相对湿度均偏低

7.室外空气未经加湿处理

系统实测风量大于设计风量

8.系统的实际阻力小于设计阻力

9.设计时选用风机容量偏大

房间气流速度超过允许流速

10.送风口速度过大

篇6

关键词：神经网络 入侵检测；自动变速率；随机优化算子

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）03-0614-03

随着互联网应用的发展，更现显了网络安全的重要性。入侵检测技术在安全防护中是一种主动防护技术，能及时地检测各种恶意入侵，并在网络系统受到危害时进行响应，因此在为安全防御体系中入侵检测系统占有重要的地位。但是在现实的应用中，入侵检测系统没有充分发挥其作用。这是因为，不断变化的入侵方式要求入侵检测模型必须具有分析大量数据的能力。无论这些数据是不完全的，是非结构化的，或者是含有噪音的。而且，有些攻击是由处于不同网络位置上的多个攻击者协作进行的，这就要求入侵检测模型又必须具备处理来自非线性数据源的大量数据的能力。神经网络具有联想记忆能力、自学习能力和模糊运算的能力。因此将神经网络应用入侵检测中，它不仅可以识别出曾见过的入侵，还可以识别出未曾见过的入侵。该文首先介绍了一种改进的神经网络算法，然后分析了该算法在入侵检测中的应用，并给出试验仿真结果。

1 BP神经网络与入侵检测

1.1 BP神经网络的特点与不足

BP神经网络是神经网络模型中应用最广泛一种。它基于成熟的BP算法，主要有以下几个特点：1）它能够实现自组织、自学习，根据给定的输入输出样本自动调整它的网络参数来模拟输入输出之间的非线性关系。2）在存储上采用分布式存储，所有的信息分布存储在每一个神经元中。3）它还可以实现并行处理，下一层的每个神经元可以根据接收到的上一层信息同时独立地计算。这些特点使其很适合应用于入侵检测技术，满足入侵检测的适应性、可靠性、安全性和高效性的要求。

但是传统的BP算法也存在着以下几个方面的不足：1）局部极小；2）学习算法收敛速度慢；3）隐含层节点选取缺乏理论；4）加入新的样本会影响已经学完的样本；5）每次输入样本特征的数目必须确定且相同。

1.2 入侵检测技术

通过对系统数据的分析，当发现有非授权的网络访问和攻击行为时，采取报警、切断入侵线路等措施来维护网络安全，这被就是入侵检测技术。采用此技术设计的系统称为入侵检测系统。根据采用的技术来说入侵检测系统应具有以下几个特性：1）监视用户及系统活动；2） 分析用户及系统活动；3） 异常行为模式分析；4） 识别已知的进攻活动模式并反映报警；5） 系统构造和弱点的审计，操作系统的审计跟踪管理；6） 评估重要的系统和数据文件的完整性，并识别用户违反安全策略的行为。

目前最常用的攻击手段有：拒绝服务、探测、非授权访问和非授权获得超级用户权限攻击。而且这些攻击手段在实际中还有很大的变异，因此给入侵检测带来了一定的难度。BP神经网络的自组织自学习能力，使得经过训练后的BP神经网络对以前观察到的入侵检测行为模式进行归纳总结，除了可以识别出已经观察到的攻击，还可以识别出由已知攻击变异出的新的攻击，甚至是全新的攻击。

2.3 改进的神经网络算法

人工神经网络在模式识别、非线性处理、信号检测等领域应用非常多，这是由于人工神经网络具有的良好的自适应和自组织性，高度的非线性特性以及大规模并行处理和分布式信息存储能力的特性。BP神经网络算法实质上是非线性优化问题的梯度算法，该算法在收敛性问题上存在限制与不足。即该算法学习的结果不能保证一定收敛到均方误差的全局最小点，也有可能落入局部极小点，使算法不收敛，导致陷入错误的工作模式。因此本文选择了改进的神经网络，改进主要有以下几点：

2）自动变速率学习法

传统的BP算法是以梯度为基础，采用LMS学习问题的最陡下降法，学习步长是一个固定不变的较小值，不利于网络的收敛。因此，选择了基于梯度方向来自动调节学习速率的方法。利用梯度确定学习的方向，由速率决定在梯度方向上学习的步长。因此，如果相邻两次的梯度方向相同则说明在该方向是有利收敛的方向，如果相邻两次的梯度方向相反则说明此处存在不稳定。因此，可以利用两次相对梯度变化来确定学习步长，当两次梯度方向相同时则增大学习步长，加快在该方向上的学习速度；而如果两次梯度方向相反那么减小学习步长，加快整个网络的收敛速度。这种方法的自适应速率调节公式如下：

2）引入遗忘因子

本文所采用的自适应变速率学习法是依据相邻两次梯度变化来确定学习步长的算法，但单纯的学习速率的变化还不能即完全地既保证收敛速度，又不至于引起振荡。因此考虑变相的学习速率的学习。即在权值的调节量上再加一项正比于前几次加权的量。权值调节量为：

我们将[τ]称为遗忘因子。遗忘因子项的引入就是对学习过程中等效的对学习速率进行微调的效果。遗忘因子起到了缓冲平滑的作用，使得调节向着底部的平均方向变化。

3）随机优化算子

虽然采用自动变速率学习法，并引入遗忘因子的神经网络算法可以对学习速率进行微调，但是仍存在着BP神经网络的限制与不足因此引入随机优化算子。也就是当网络的权值误差迭代一定的次数后，仍没有明显的收敛，或者系统误差函数的梯度连续几次发生改变，这说明网络进入了一个比较疲乏的状态，需要借助外界的推动力来激活网络。当发现上述的两种情况时，就产生与权值维数相同的随机数，并将随机数与权值直接相加，然后判断系统误差的变化。如果误差没有降低，那么就再继续产生随机数来修改权值，直到误差减少，再从新的权值开始继续BP算法。随机优化算子可以令搜索方向随机变化，从而摆脱局部极小点。

4）改进算法与传统算法比较

以200个训练样本为例，分别采用改进的BP神经网络和经典BP神经网络的方法进行学习、训练。两种算法的误差收敛对比曲线如图1所示。

3 采用改进算法的入侵检测仿真实验

入侵检测系统进行测试和评估需要标准的、可重现的并包含入侵的大量数据。本仿真实验选取DARPA数据集网络连接数据集作为实验数据。然后，对这些数据选三组特征值进行实验，并给出实验结果。

3.1 数据源的选取

该实验的数据采用DARPA 1988入侵检测评估数据库的数据。该数据有大量的连接数据记录。每个一记录代表一次网络连接，且每个记录均有41个特征值，其中各个特征的含义不同，大致可分为三类：1）表示网络连接内容特征；2）表示网络连接基本特征；3）表示网络连接流量特征。

模拟的入侵主要有以下四种类型：DOS 、 R2L、U2R、Probing，考虑到设计的实用性分别对三类特征值用神经网络分别进行训练和识别。实验选取了13000组数据进行仿真实验，其中3000组用于训练神经网络，10000组用于系统测试。

3.2 仿真实验结果

对三类特征组的训练集数据应用改进神经网络分别训练出三个神经网络，表示网络连接内容特征的神经网络，表示网络连接基本特征的神经网络以及表示网络连接流量的特征的神经网络在训练成功时的迭代步数分别为7056，386，3030。然后再对测试集数据进行测试，结果如下：

1）表示网络连接内容特征组，利用改进神经网络进行检测识别，结果如表1所示。

2）表示网络连接基本特征组，利用改进神经网络进行检测识别，结果如表2所示。

3）网络连接流量特征组，利用改进神经网络进行检测识别，结果如表3所示：

从表中数据可以看出对常见的四种攻击，不同的特征分组在改进神经网络的作用下检测各有优势。

4 结论

论文采用自动变速率学习法，利用遗忘因子进行微调，同时引入随机优化算子对BP神经网络进行了改进。改进神经网络的收敛速度比经典BP神经网络更快，同时稳定性也较好。并将该算法应用于入侵检测实验，实验结果显示改进后的算法具有较好的识别攻击的能力。

参考文献：

[1] 肖道举，毛辉.BP神经网络在入侵检测中的应用[J].华中科技大学学报，2003（5）.

[2] 汪洁.基于神经网路的入侵检测系统的设计与实现[J].计算机应用与软件，2013（5）.

篇7

关键词：风电机组；matlab；人工神经网络；风功率预测

1 风电功率预测模型

1.1 径向基神经网络

神经网络算法是近年来发展起来的一种新型人工智能算法。不同于以往的数学算法，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，具有自学习、自适应和自组织能力的特点。

径向基神经网络（即RBF神经网络）是一种三层前向网络，由输入层、隐含层和输出层组成，网络结构如图1所示。由输入到输出的映射是非线性的，而隐含层到输出层是线性的，从而大大加快了学习速度并避免局部极小问题。

根据径向基函数中心选取方法的不同，RBF神经网络有很多学习方法，如随机选取中心法、梯度训练法、有监督选取中心法和正交最小二乘法等。这里，选用梯度训练法作为RBF神经网络的学习方法。

1.2 梯度训练方法

RBF网的梯度训练方法是通过最小化目标函数实现对各隐节点数据中心、扩展常数和输出权值的调节。使用一种带遗忘因子的单输出RBF网学习方法，此时神经网络学习的目标函数为：

（1）

其中，？茁j为遗忘因子，误差信号ej的定义为：

（2）

由于神经网络函数F（X）对数据中心ci、扩展常数ri和输出权值wi的梯度分别为：

（3）

（4）

（5）

考虑所有训练样本和遗忘因子的影响，ci、ri和wi的调节量为

（6）

（7）

（8）

其中，？椎i（Xj）为第i个隐节点对Xj的输出，？浊为学习速率。

1.3 数据归一化

数据归一化是神经网络预测前对数据常用的一种处理方法。数据归一化处理将所有数据都转化为[0，1]之间的数，其目的是取消各维数据间数量级别差，避免因为输入输出数据数量级差别较大而造成神经网络预测误差较大。

风速归一化：应用多年统计的极限风速对风速数据进行归一化处理

（9）

其中，Vg为归一化处理后的风速标量值；vt为应用于预测的历史风速值；vmax为风场气象观测到的历史最大风速，如不超过风场风机最大切除风速，则取为风机的切除风度。

风功率归一化：根据风电机组额定功率，采用与风速归一化相同的方式，对风电机组历史出力情况进行归一化，并对网络预测的输出功率进行反归一化，得到预测结果。

1.4 神经网络的构建

首先挑选几组数据风功率作为样本，将每个样本的前n个风速和风功率值进行归一化处理，将处理后的数值作为RBF神经网络的输入；可将每个样本的后n个风速和风功率值进行归一化处理，将处理后的数值作为RBF神经网络的目标输出，通过对RBF神经网络的训练学习，实现从输入空间到输出空间的映射。

2 短期风功率预测结果

将前10天的风功率数据作为训练样本，对风机功率提前1小时进行预测。图2预测风功率与实测风功率比较可知，可以看到神经网络预测风功率变化趋势与实际风功率变化基本趋势一致，并且预测功率比实际功率变化平缓。

神经网络在风功率预测时，每点的预报误差不尽相同，这主要与早晚温差造成的风速突然变化以及当天天气变化情况等有关，从预测曲线的总体趋势以及与实际曲线误差值大小来看，该神经网络模型预测结果基本令人满意。

3 结束语

采用人工神经网络进行预测精度较高、训练速度快，适用于在线预测的场合。但是由于所用训练数据为风速相对平稳时期的数据，所以该模型对于突变风速的处理能力仍然有限，为提高预测结果的精度，还需对模型进行进一步改进。总体而言，通过建立神经网络模型，对短期风功率进行预测，虽有一定局限性，但其预测精度满足工程要求。

参考文献

[1]Tony Burton，等.风能技术[M].北京：科学出版社，2007.

篇8

【关键词】神经网络 手写 识别系统 应用

随着计算机技术的快速发展，其在人们的办公学习和日常生活成了不可替代的工具。键盘已经几乎完全替代了笔在人们生活中的地位，随之而来的后果就是人们越来越少的区书写汉字，导致越来越多的中国人甚至都忘记了汉字该如何书写，这种现象在很多研究和报道中都有体现。计算机和键盘是由西方国家发明的，其符合西方国家的语言习惯，对于中国人来说，用字母、符号去完成方块汉字的输入就需要使用者非常熟悉汉语拼音或者五笔编码，对于文化程度较低的使用者来说，这些都限制着他们使用计算机。鉴于计算机键盘的这些缺陷，联机手写输入法应运而生，这为计算机的输入带来了新的发展机遇和挑战。

1 联机汉字手写识别的意义及难点

联机汉字识别是用书写板代替传统纸张，笔尖通过数字化书写板的轨迹通过采样系统按时间先后发送到计算机中，计算机则自动的完成汉字的识别和显示。

1.1 联机汉字手写识别的意义

联机手写汉字识别的诞生具有非常重要的意义。首先这种输入方法延续了几千年中华文明的写字习惯，实现用户的手写输入，对于长时间不提笔写字的用户来说能够加强其对汉字书写方面的认识，防止“提笔忘字”现象的继续恶化。其次，手写汉字输入不需要学习和记忆计算机的汉字编码规则，其完全符合中国人的写字习惯，使人机之间的交流更人性化，更方便快捷。另外，随着移动智能终端的不断普及，联机汉字手写识别的应用范围将进一步扩大，以适用于不同层次人群对信息输入的需要，具有较大的市场发展前景。

1.2 联机手写汉字识别问题的难点

手写汉字识别是光学字符读出器中最难的部分，也是其最终的目标，手写汉字识别的应用主要依赖于其正确识别率和识别速度[1]。手写汉字识别系统的问题具有其特殊性：

（1）中国汉字量大。我国目前的常用汉字大概在4000个左右，在实际应用中的汉字识别系统应该能够完全识别这些常用的字才能够满足需要，由于超大的汉字量，使得手写识别的正确率和识别速度一直不高。

（2）字体多，结构复杂。汉字的手写字体丰富多彩，且汉字的笔画繁多，以及复杂的结构，再加上汉字中的形近字颇多，这些都为汉字识别系统的发展造成了很大的困难。

（3）书写变化大。不同用户在进行手写输入时其字体的变化是很大的，这种变化因人而异，对汉字识别造成了很大的干扰，增加了汉字匹配的难度。

2 人工神经网络概述

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，通常简称为神经网络，是一种仿生物神经的信号处理模型。在二十世纪四十年代初人们开始进行神经网络的研究，经过几十年的发展，神经网络也产生了一系列的突破，目前应用最多的是Hopfield模型和BP算法。

神经网络的一般模型一般包括十个方面：环境、处理单元、传播规则、神经网络的状态、互联模式、稳定状态、操作模式、活跃规则、活化函数和学习算法。其中，神经元、互联模式、学习算法是神经网络模型中的三个关键因素。神经网络的一个重要内容就是学习，其学习方式可以分为监督学习和无监督学习，其学习过程一般遵循Hebb规则，误差修正学习算法以及胜者为王的学习规则，其中Hebb规则是神经网络学习中最基本的规则。

人工神经网络具有独特的优越性。首先其具有主动学习的功能，在汉字识别过程中，先将汉字模板及可能的识别结果输入到神经网络中，神经网络能够通过其自身的学习过程来实现对汉字的识别，自学功能对于神经网络的预测功能具有非常重要的意义。其次，神经网络系统具有联想存储功能，其反馈功能能够实现这种联想。另外，通过计算机的高速运算能力，神经网络具有高速寻找优化解的能力。

3 人工神经网络在联机手写识别系统中的应用

汉字识别属于大类别模式识别，人工神经网络可以通过函数逼近、数据分类、数据聚类三种作用方式以及“联想”的特殊模式对汉字进行识别。Hopfield神经网络作为反馈网络的一种，其自联想记忆网络可以使系统不需要通过大量的训练即可对汉字进行识别，因此Hopfield神经网络对于汉字识别来说具有独特的优势。其中的离散型Hopfield神经网络能够通过串行异步和并行同步的工作方式，使其反馈过程具有非常好的稳定性，而网络只有通过不断的演变稳定在某一吸引子状态时，才能够实现正确的联想。

联机手写识别可以分为训练阶段和识别阶段。训练阶段流程依次为：标准书写字符图像预处理，提取特征并建立特征库，建立Hopfield网络模型，训练网络，保存权值。识别阶段的流程为：坐标序列转化为bmp图像，预处理测试样本，提取特征，送入网络运行，运行网络到平衡状态，分析结果值。根据联机手写识别的工作流程以及Hopfield网络模型的理论，基于Hopfield神经网络的联机手写识别系统在Matlab环境下得到了仿真模拟，效果非常理想。

4 总结

手写识别系统能够弥补普通键盘的不足，在提高汉字书写频率的同时，能够满足不同层次人群对计算机应用的技术需要。基于Hopfield神经网络的联机手写识别系统一起自身独特的性能，不仅能够满足手写汉字识别的正确率，而且其识别过程速度非常快。因此它对于实现联机手写识别以及图像识别具有非常重要的意义。

参考文献

[1]俞庆英.联机手写汉字识别系统的研究与实现[D].安徽大学，2005（5）.

[2]郭力宾.交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D].大连理工大学，2003（03）.

[3]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学，2011（01）.

篇9

关键词：  人工神经网络； 应用

人工神经网络(Artificial Neural Network，ANN)方法自从本世纪40年代被提出以来，许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究，已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络，例如，Grossberg提出的自适应共振理论（Adaptive Resonance Theory，ART），T-Kohenen的自组织特征映射网络(Self-Organizing feature Map，SOM)，径向基函数网络（Radial Basis Function，RBF），Hopfield网等。进入90年代以后，由于计算机技术和信息技术的发展，以及各种算法的不断提出，神经网络的研究逐渐深化，应用面也逐步扩大，本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。

    1  自组织特征映射网络（self-organizing feature map，SOM）在基因表达数据分析中的应用

   1.1   方法介绍

    脑神经学的研究表明，人脑中大量的神经元处于空间的不同区域，有着不同的功能，各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性，于1981年提出了自组织特征映射网络，它模拟人的大脑，利用竞争学习的方式进行网络学习，具有很强的自组织、自适应学习能力，鲁棒性和容错能力，其理论及应用发展很快，目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。

    Kohonen网络由输入层和竞争层组成，网络结构见图1。输入层由N个神经元组成，竞争层由M个输出神经元组成，输入层与竞争层各神经元之间实现全互连接，竞争层之间实行侧向连接。设输入向量为x=(x1,…,xd)T ，输出神经元j对应的权重向量为wj=(wj1,…,wjd)T ，对每一输出神经元计算输入向量x 和权重向量wj 间的距离，据此利用竞争学习规则对权向量进行调节。在网络的竞争层，各神经元竞争对输入模式的响应机会，最后仅一个神经元成为胜利者，并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整，这样在每个获胜神经元附近形成一个“聚类区”，学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势，从而使具有相近特性的输入向量聚集在一起，这种自组织聚类过程是系统自主、无教师示教的聚类方法，能将任意维输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。网络通过对输入模式的学习，网络竞争层神经元相互竞争，自适应地形成对输入模式的不同响应，模拟大脑信息处理的聚类功能、自组织、自学习功能，实现用低维目标空间的点去表示高维原始空间的点，其工作原理和聚类算法及改进方法参见相关文献［1］。

    1.2  应用

    基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后，而基因芯片产生的数据具有高维度（变量多）、样本量小、高噪声的特点，样本量远小于变量数，如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术，传统方法主要有系统聚类、k-means聚类等，但在处理复杂非线性关系及变量间的交互作用时效果较差，受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点，其中自组织特征映射网络由于其良好的自适应性，其算法对基因表达数据的聚类有较高的稳定性和智能性，尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现，适用于复杂的多维数据的模式识别和特征分类等探索性分析，同时可实现聚类过程和结果的可视化［2］。目前Kohonen网络已被成功用到许多基因表达数据的分析中，Jihua Huang等［3］设计6×6的网络对酵母细胞周期数据进行分析，总正确率为67.7%；曹晖等［4］将其算法改进后用在酵母菌基因表达数据中，总正确率高达84.73%，有较高的聚类效能；邓庆山［5］将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集，聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有：① 发现与疾病相关的新的未知基因，对目标基因进一步研究，提高诊断的正确率，并对药物的开发研究提供重要的线索；② 对肿瘤组织的基因表达谱数据聚类，以期发现新的、未知的疾病亚型（肿瘤亚型），以便提出更加有针对性的治疗方案，为从分子水平对疾病分型、诊断、预后等提供依据；③ 发现与已知基因有相似功能的基因，为推断未知基因的可能功能提供线索。

    2  BP神经网络在医学研究中的应用

    2.1  BP神经网络在疾病辅助诊断中的应用

    2.1.1  方法介绍

    BP神经网络是目前应用最多的神经网络，一般由一个输入层（input layer）、一个输出层（output layer）、一个或几个中间层（隐层）组成。每一层可包含一个或多个神经元，其中每一层的每个神经元和前一层相连接，同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层，隐层的神经元对输入层的信息加权求和，加一个常数后，经传递函数运算后传到下一个隐层（或输出层），常用的传递函数是logistic函数，即Φh=1/(1+exp(-z)) ，输出层神经元对前一层的输入信息加权求和经传递函数Φ0 （线性或logistic函数或门限函数）运算后输出，BP神经网络一般采用BP算法训练网络，关于BP算法及改进可参考相关文献［1］。

篇10

本文调查了国内外电动机各种保护方法和各类保护装置的研究发展状况，结合实际情况，提出了一种通过人工神经网络预测电机绕组温升的方案，由PC机通过RS485总线实时读取下位机采集的电机运行参数，进行温升预测，并将预测结果传输回下位机，从而实现了对电动机长期稳定负载运行的过载保护。

关键词

电机保护；温升预测

电动机是一种电能到机械能的能量转换设备，是现代社会生产中的主要动力形式。在产业部门中，以电动机作动力的比例已占全部动力的90%。在电动机实际使用过程当中，恶劣的运行环境和超负荷的运行时间是导致电动机故障频繁的主要原因。因此电动机的保护尤其是对大型电动机保护的开发研究对国民经济有着重要的意义。

1电动机保护的发展趋势

可以预测,应用电动机内部故障分析和利用先进信号处理方法进行精确的故障特征量追踪捕捉这两者的有效结合，再加上业内已成熟的微机保护技术，可以将大型电动机的故障诊断、故障保护等功能综合于一体，实现电动机运行全过程的在线监测、故障诊断与保护。

2神经网络温升预测设计

2.1神经网络算法

2.1.1BP算法设含有共L层和n个节点的一个任意网络，每层单元只接受前一层的输出信息并输给下一层各单元，各节点的特性为Sigmoid型。

2.1.2改进的BP算法

鉴于改进的算法利用目标函数的二阶导数信息。常用改进BP算法和标准BP算法进行比较，各改进BP算法比标准BP算法有不同程度的改善。LM(Levenberg-Marquardt)算法是为了训练中等规模的前馈神经网络（多达算百个连接权）而提出的最快速算法。目前LM算法在训练速度上是最快的，并且它所达到的训练平均误差和收敛精度较其他算法具有明显的优势。

2.2神经网络在电机绕组温升预测中的应用

2.2.1电机热过载保护的现状热过载保护是电机保护研究中的热点和难点。国内外不少的研究工作者一直在从事电动机过载保护的研究，提出不少的保护方案，概括起来分为两大类：直接测温法和间接测温法。直接测温法就是把温感装置（如热电阻、热电偶和温度继电器等）直接埋入电动机绕组的热点进行检测，当温度达到长期使用允许温度时，就令继电器动作断开电动机的控制回路，从而达到保护电动机的目的。间接测温法是在电动机外部通过检测一些相关参数来计算电动机的温度。

2.2.2神经网络预测绕组温升方法鉴于直接测温法和间接测温法各自存在不足，本文探索了一种通过采用神经网络预测绕组温升来完成对电动机长期稳定负载运行进行过载保护的方法。

（1）训练样本的数据处理实现神经网络对电机进行温升预测关键的一步是采集训练样本并且进行必要的数据处理。以电动机为例进行分析。电机的具体参数如下：Pe=220kW，Ue=6kV，Ie=26.7A，n=2976rpm，f=50Hz，绝缘等级F级。通过对电动机进行温升试验，采集了从额定电流(26.7A)到堵转电流(150A)共20组不同的数据。表1给出了训练网络和测试网络的数据分配情况。其中15组用于训练网络，其余几组用于测试训练后的网络的正确性与适用性，将采集到的15组训练数据，绘制成曲线，如图1。

（2）电机长期稳定负载运行绕组温升预测的网络结构由于本系统研究的长期稳定负载运行情况下，电动机的过载温升，所以电源电压、电源频率、功率因数都可认为保持不变，而仅将电流、环境温度和转速作为变量。同时考虑到影响转速的三个要素电流、频率和电压，有两个因素近似认为不变，因此转速和电流存在着很强的相关性，两者不必都作为输入变量，只选择电流作为输入变量即可。通过以上分析可以将温升预测系统简化成输入为电流和当前温度的双输入单输出的三层BP网络。这样，就可以使基于神经网络的电动机长期稳定负载运行绕组温升预测的设计在对电机进行过载保护方面充分发挥作用。

3总结