神经网络的算法范文

导语：如何才能写好一篇神经网络的算法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

【关键词】深度学习 卷积神经网络 权值共享 下采样 R-CNN Fast-R-CNN

1 绪论

随着电子信息技术的快速发展，芯片的设计与生产进入了纳米时代，计算机的计算能力与计算速度得到了空前的提高，但是人们的需求是无限的，要求计算机能更加任性化的服务于我们的生活，这也就要求计算机本身能像人一样识别与感知周围的环境，并对复杂的环境做出正确的判断。而图片信息是我们周围环境最直观的，最容易获取的信息，要求计算机能对为的环境做出识别与判断也就要求计算机能够智能的识别图像信息。深度学习是机器学习中的一个新的研究领域。通过深度学习的方法构建深度网络来抽取目标特征进而识别周围的环境。卷积神经网络对图像的处理具有平移，旋转，扭曲不变的优良特性。在处理图像是更加快捷和便利。卷积神经网络使得计算机在感知识别周围环境的能力有了巨大的提升，使得计算机更加智能。卷积神经网络拥有强大的特征提取能力，使得其在图像分类识别，目标跟踪等领域有着强大的运用。

1.1 国内外研究现状

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向传导神经网络输出误差进行训练神经网络。通过BP算法，神经网络能够从大量训练数据中的学习到相关统计信息，学习到的数据统计信息能够反映关于输入-输出数据模型的函数映射关系。

自2006年以来，Geoffery Hinton教授提出深度信念网络。从此深度学习在学术界持续升温。深度学习不仅改变着传统的机器学习方法，也影响着我们对人类感知的理解，迄今已在语音识别和图像理解等应用领域引起了突破性的变革。各种相关的算法和模型都取得了重要的突破，使得深度学习在图像分类，语音识别，自然语言处理等领域有广泛的运用。

2013年百度成立百度深度学习研究院以来我国的人工智能领域取得了长足的进步。在人工智能专家吴恩达的带领下，百度陆续推出一系列人工智能产品，无人驾驶技术，DuerOS语音交互计算平台，人脸识别技术，美乐医等优秀产品。此外Imagenet图像识别大赛中也诞生了一系列经典的神经网络结构，VGG，Fast-R-CNN，SPP-net等等，可以说人工智能技术在近几年得到了空前的发展。

2 深度学习概述

深度学习是机器学习的一个新方向，通过学习样本数据内在规律和深层特征深度，深度学习神经网络能够像人一样有分析和学的能力，尤其在文字处理，图像识别，语音等领域更加突出。能够自主学习一些新的东西。目前深度学习使用的典型技术是通过特征表达和分类器来进行目标识别等任务的。并在语音识别、图像处理、机器翻译等领域取得很多成果。

深度学习不同于以往的浅层学习，浅层学习模型值包含一个隐藏层，或者不存在隐藏层，深度学习则是由很多隐藏层组成的，上一层的输出作为下一层的输入，实验对输入信息进行分级表达。目前深度学习框架主要包含三种深度学习框架，如图1、2、3所示。

3 卷积神经网络

卷积神经网络的结构层次比传统的神经网络复杂，卷积神经网络包含大量的隐藏层，相邻的卷积核或者下采样核采用局部感受野全链接，神经元权值共享的规则，因此卷积神经网络训练参数的数量远比传统神经网络少，卷积神经网络在训练和前向测试的复杂度大幅度降低，同时也减少了神经网络训练参数过拟合的几率。卷积神经网络主要有两部分，分别是卷积核和下采样核。卷积核主要对上一层的图像进行卷积运算，提取图像特征，下采样核则是对上层的数据进行将为处理，减少神经网络的复杂度。

卷积神经网络中每一个神经元的输入与前一层的局部感受野相连，提取局部感受野的特征，比如图像的轮廓，颜色等特征，而这些特征不仅包括传统人类能理解的特征，也包括神经网络自身能够识别的特征，卷积核全职共享，因此这些特征提取与图像的位置无关。

图4是经典的LeNet5卷积神经网络架构，LeNet5架构中卷积核和下采样核交替出现，下采样核及时的将卷积核生成的特征向量进行降维，减少神经网络的运算量。LeNet5算法在1962年幼Hubel等人提出，在识别手写数字mnist中有极高的准确率。

4 R-CNN、Fast-R-CNN对比分析

卷积神经网络在对图像进行识别具有平移，旋转，扭曲不变的优良特性，并且能够实现高准确率识别图像，但是在现实生活运用中往往需要神经网络标记出目标的相对位置，这是传统卷积神经网络不具备的功能。因此在前人传统卷积神经网路基础上对卷积神经网络进行改进，产生了具有对图像中目标进行识别和定位的卷积神经网络R-CNN，Fast-R-CNN等改良算法。

4.1 R-CNN

R-CNN为Region Convoluntional Neural Network的缩写即对图像进行局部区域的卷积处理，其核心思想主要是利用候选区图像对物体探测中位置信息进行精确处理和利用监督式预训练和区域特殊化的微调方法，代替了传统的非监督式预训练和监督式微调。

在CNN中，全连接层输入是固定大小的，因此R-CNN用计算机视觉算法将每一张图片分割成1000-2000张的候选区图片后，要将这些候选区图片进行变换，生成固定大小的候选图片，在训练提取特征时一般采用经过预训练的模型参数进行finetuning，榱嗽黾友盗费本，模型在也将生成的候选框以及标定的标签作为训练样本进行训练。R-CNN采用SVMs分类器对特征向量进行分类，在训练SVMs时将候选框经过卷积神经网络提取的特征和SVM标定结果输入到SVMs分类器训练分类器模型。而在测试时将图像全部候选框经过卷积神经网络提取的特征输入到SVMs分类器中，得到每一类的评分结果。但是R-CNN在处理一张图片是要处理需要对一张图片1000-2000个候选区图像进行前向运算，保存所有后选取图片的特征值，要求计算硬件有大量的存储空间，同时处理每一张图片的时间也会增加。由于训练集庞大，本文采用hard negative mining method方法提高存储的利用率。

R-CNN的体现出了极大的优势，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN计算的时间成本很大，达不到实时的计算效果，R-CNN在对候选区进行处理时会使得图像失真，部分信息丢失。

4.2 Fast-R-CNN

Fast-R-CNN则是再次改进的一种基于卷积神经网络目标跟踪定位算法。相比于R-CNN，Fast-R-CNN从单输入变为双输入，在全连接层后有了两个输出，引入了Rol层。

Fast-R-CNN在运行的时候同样会生成大量的候选区，同时将原始的图片用卷积神经网络进行特征提取，将原始图片提取的特征与生成的候选区坐标送入Rol层为每一个候选区生成一个固定大小的特征向量。最后将Rol生成的特征向量全连接层产生最终的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于计算K+1分类的损失，K为第K个目标，1为背景；Regression LOSS计算候选区的四个角的坐标。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在计算候选区是仍存在瓶颈，这也是限制Fast-R-CNN速度的因素。

5 实验测试

对于本文提出的卷积神经网络识别图像定位图像目标算法R-CNN，Fast-R-CNN，在本章给出实验结果。实验平台为基于Linux系统的debian8下运行caffe进行训练，采用显卡K620进行实验。

训练模型初始化参数在是服从高斯随机分布，R-CNN采用的网络结构如图7所示，Fast-R-CNN的网络结构如图8所示。

本次实现的训练样本为录制实验室视频数据，将视频数据转换成帧图片，对每张图片数据进行裁剪，裁剪后图像大小在256*256，共有500张，再将裁剪后的图片进行旋转，平移，扭曲，镜像，加噪声等处理，最后生成144万张样本图片，其中136.8万张图片作为训练样本，7.2万张作为测试样本。

6 总结

在目标识别定位领域，卷积神经网络具有强大的图像处理能力，对图像的识别定位具有很高度平移，旋转，扭曲不变形的优良性能。卷积神经网络架构R-CNN和Fast-R-CNN都有强大的图像处理能力。Fast-R-CNN在识别准确率上比R-CNN高。R-CNN算法复杂，对一张图片需要进行1000-2000次的卷积运算，特征重复提取。因此在训练和前向测试时，R-CNN用的时间长，不能很好的适用于处理实时图片数据，尤其视频数据。R-CNN在对每个候选区进行特征提取之后需要将提取的特征向量存入内存，降低训练测试时间的同时也需要耗费大量内存。因此从各方面分析可知，Fast-R-CNN性能优于R-CNN。

参考文献

[1]谢宝剑.基于卷积神经网络图像分类方法研究[D].合肥工业大学，2015.

[2]郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014（02）：175-184.

[3]陈先昌.基于卷积神经网络的深度学习算法与运用研究[D].杭州：浙江工商大学，2006（04）：603-617.

[4]李彦冬，郝宗波，雷航等.卷积神经网络研究综述[J].计算机应用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

篇2

人工神经网络（Artificial Neural Networks，ANN），是基于人类大脑的生物活动所提出的，是一个数学模型。它由众多节点通过一定的方式互联组成，是一个规模巨大、自适应的系统。其中有一种学习算法是误差传递学习算法即BP算法。BP算法是人工智能最常用到的学习方法，从一定意义上来讲，BP算法的提出，终结了多层网络在学习训练算法上的空白史，是在实际应用中最有效的网络训练方法，对ANN的应用和发展起到了决定性的作用。

BP算法是使用从输出层得到的误差来估算前一层的误差，再利用该误差估算更前一层的误差。依次进行，就会获得其他所有各层的估算误差。这样就实现了将从输出层的得到误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程[1]。但是，BP算法也存在着不可忽视的缺陷。基于此，该文总结介绍了BP的改进方法。

2 BP算法的基本思想

2.1 BP算法的基本原理

BP算法是有监督指导的算法，它的学习训练过程一般分为两步：首先是输入样本的正向传递；第二步误差的反向传递；其中信号正向传递，基本思想是样本值从输入层输入，经输入层传入隐藏层，最后通过输出层输出，中间层对样本数据进行处理操作，利用各层的权值和激活函数对数据进行操作然后在输出层获得输出[2]；接下来就是反向传递，算法得到的实际输出值与期望目标输出之间必然会有误差，根据误差的大小来决定下一步的工作。如果误差值较小满足训练的精度要求，则认为在输出层得到的值满足要求，停止训练；反之，则将该误差传递给隐藏层进行训练，按照梯度下降的方式，对权值和阈值进行调整，接着进行循环，直到误差值满足精度要求停止训练[3]。

3 BP算法的缺陷

尽管BP算法有着显著的优点，但是在实际应用过程中，BP算法会出现很多问题。尤其是下面的问题，对BP神经网络更好的发展有很大影响。有的甚至会导致算法崩溃。

3.1 收敛速度的问题

BP算法在进行训练学习时，收敛速度慢，特别是在网络训练达到一定的精度时，BP算法就会出现一个长时间的误差“平原”，算法的收敛速度会下降到极慢[4]。如果盲目的加快收敛速度，则会使算法产生震荡现象。

3.2 局部极小点问题

在一些初始权值的条件下，BP算法在训练过程中会陷入局部极值。这是由于BP网络采用最速下降法，误差曲面非常复杂且分布着许多局部极值点，一旦陷入，BP算法就很难逃脱，进而会使BP网络的训练停止。算法可以在某处得到一个收敛值，但是并不能确定取到了误差曲面的最小值。这样就会使网络难以达到事先规定的误差精度[5]。

3.3 网络瘫痪问题

在算法的学习训练过程中，网络的权值会变得很大，从而使得节点的输入变大，这就会导致其激活函数的导函数在改点取得的值很小，接着会导致算法的训练速度变得极低，最终会导致BP网络停止收敛，网络瘫痪。

3.4 步长问题

BP的收敛是建立在无穷小权修改量的基础上，而这就意味着网络所需要的训练时间是无穷的，这显然是不可取的。因此，要限定权值修改量的值。这主要是因为，如果步长太小，那么网络的收敛速度就会下降，如果步长太大，就会使BP神经网络产生瘫痪和振荡。学者们经过研究提出一个较好的方法，就是用自适应的步长代替原来的定值步长，以使权值修改量随着BP网络的训练而不断变化[6]。

4 改进BP算法的方法

BP算法应用广泛，但它又存在很多缺陷，针对BP算法的问题，国内外许多学者提出各种改进方法，主要的改进方法分为两类：一是启发式改进，如附加动量法和自适应学习率等；二是结合新理论的改进。这些方法在不同程度上提高了网络的收敛速度，避免了局部最小问题。

4.1 启发式改进方法

启发式改进方法是建立在BP网络梯度下降规则的基础上，通过对BP神经网络的权值和学习率的改进，从而解决BP网络在学习训练过程中遇到的问题。它的核心思想是：使权重的调整量最大限度的适应误差下降的要求。该文主要介绍了附加动量法。

传统的BP算法实际上是运用最速下降规则来搜索最优点的算法，该规则是顺着梯度的反方向进行权值的修正，并不将前一阶段积累的经验考虑进来。因此会在训练过程中发生震荡，导致收敛速度缓慢。但是将动量项引入到BP网络中后，当输入样本依照顺序输入时，则可以将权值的修正公式看作为以t为变量的时间序列，那么权值的修改公式就改变为如下所示：

加入动量项以后若本次。

4.2 BP网络结构的优化

在BP算法中，输入和输出节点的个数由实际问题确定，网络结构的优化主要是针对隐藏层的节点数和层数。许多研究表明，一个隐藏层就可以解决各种分类问题。那么对于隐藏层节点的个数的确定，有的学者给出了公式[NH=NI+NO+L]（其中[NH]表示隐藏层节点数，[NI]表示输入层节点数，[NO]表示输出层节点数），但是公式缺乏一定的理论支持，所以目前最好的方法是通过经验和在学习训练过程中不断的调整隐藏层节点数，最后得到一个合适的网络结构。

4.3 基于新理论的算法改进

随着对BP网络结构知识的研究，能够更加深刻的理解BP算法误差传递的本质。出现了许多基于新兴理论的BP算法的改进，这种改进方式是结合了其它领域比较成功的优化算法和理论，比如将遗传算法与BP算法相结合，将遗传算法高效的全局寻优能力引入进来，利用GA算法来优化BP算法的权值和阈值，解决BP神经网络存在容易陷入局部极值和收敛速度慢的问题，两种算法的结合实现了各自优势的互补，取得了良好的效果[8]；将粒子群优化算法用于BP神经网络的学习训练，使算法更容易找到全局最优解，具有更好的收敛性[9]。很多研究者还将BP算法与模糊数学理论、小波理论、混沌算法等相结合。这些改进使得BP神经网络得到更进一步的应用。

5 小结

BP算法是目前在神经网络学习算法中得到最广泛应用的。该文总结了BP算法的原理，针对BP算法中出现的问题，虽然给出了BP算法的改进方法，但还是有很多不足之处。随着科学日新月异的发展，各种新的优化算法 不断的提出，BP算法也会得到更广泛的发展。

参考文献：

[1] 胡彩萍.基于BP神经网络的排序评价算法研究及应用[D].南昌：江西师范大学硕士学位论文，2009.

[2] 刘翔.BP算法的改进及其应用[D].太原：太原理工大学硕士学位论文，2012.

[3] 张璐璐.基于遗传神经网络的人民币识别方法研究[D].长春：吉林大学硕士学位论文，2009.

[4] 张波.DRP决策支持系统及小波网络在其中的应用[D].成都：四川大学硕士学位论文，2006.

[5]付海兵，曾黄麟.BP神经网络的算法及改进[J].中国西部科技，2012，11（8）：1671-6396.

[6] 周羽.红外图像人脸识别研究[D].大连：大连理工大学硕士学位论文，2007.

篇3

关键词： BP算法； 入侵检测； 神经网络； 随机优化算子

中图分类号： TN915.08?34； TP393.08 文献标识码： A 文章编号： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

随着通信技术和计算机技术的快速发展，计算机的网络规模越来越大，通信系统也越来越复杂，由于计算机网络本身具有漏洞，同时还有黑客对网络进行攻击，因此计算机网络受到的威胁和攻击日益增加[1?3]。网络安全形势越来越严峻。通过入侵检测技术可收集计算机网络中的若干关键点信息，同时对这些信息进行分析，并对网络是否遭到袭击、是否存在违反安全策略行为进行检查，并做出及时响应，对网络连接进行切断并报警等[4?6]。目前倾向于通过入侵检测技术结合人工智能算法进行相关研究，对于各种入侵行为，采用人工智能算法通过自学习、自适应能力进行识别、检测[7]。

作为一种重要的模式识别方法，人工神经网络具有自学习、自组织、推广能力强等特点[8]。在入侵检测系统中，应用人工神经网络方法可使系统能较好地识别已知攻击，同时还具有对未知攻击进行检测的能力[9]。但是在异常入侵检测系统中，应用标准BP算法存在收敛局部极小值、学习速度慢等缺点，这在很大程度上影响了入侵检测系统的性能[10]。本文在对原有BP神经网络算法进行改进的基础上，研究了优化的神经网络BP算法及其在网络入侵检测中的应用。

1 BP神经网络

BP神经网络是一种多层前馈神经网络，包括输入信号前向传递和误差反向传播两个过程，在结构上一般由输入层、隐含层、输出层三层构成，每一层的神经元状态只影响下一层神经元状态。它被广泛应用在BP神经网络预测模型中。网络结构一般只需单个隐含层就能以任意精度逼近任意有理函数。训练样本的输入、输出向量的维数分别决定了网络的输入、输出层神经节点个数，典型的只有单个隐含层、单个输出的BP神经网络结构如图1所示。

图1 BP神经网络拓扑结构

图1中，为BP神经网络的一组输入向量；为网络的目标输出值；为输入层与隐含层之间的连接权值；为隐含层c输出层之间的连接权值；分别为隐含层和输出层的节点阈值。若设隐含层节点个数为则在前向传递中，输入信号向量从输入层经隐含层逐层传输，最后到输出层，通过各层连接权值矢量、阈值矢量和每一层相应的激励函数进行计算。得到输出层的预测输出值若预测值与目标值之间有误差，则误差部分转入反向逐层传递，沿误差减小方向调整网络各层连接的权值、阈值。反复执行以上过程，使得BP神经网络的预测值不断逼近实际输出值。

2 入侵检测算法

网络入侵检测通过分析系统数据，一旦有网络攻击行为、非授权网络访问时，入侵检测系统就会报警，同时对入侵线路进行切断。入侵检测系统应具有监视系统、用户的活动，对系统、用户活动进行分析，对异常行为模式进行分析，对已知进攻模式进行识别，审计系统弱点、构造，跟踪管理系统审计，对系统、数据文件完整性进行评估，对用户违反安全策略行为进行识别。常见的攻击手段目前包括非授权获得权限、非授权访问、探测、拒绝服务等。在实际中，这些攻击手段变异很大，入侵检测难度较大。BP神经网络具有较强的自学习和自组织能力，经过训练后，对以前观察到的入侵检测行为模式，BP神经网络会进行归纳和总结，可识别出已观察到的攻击和已知攻击变异的新攻击，图2为网络的入侵检测过程。

3 改进的BP神经网络入侵检测

3.1 BP神经网络用于检测系统存在的问题

BP神经网络采用分布式存储，但传统的BP算法存在一些不足，包括极小的局部，较慢的学习收敛速度，缺乏理论隐含层节点的选取，已经学完样本会受到新加入样本的影响，每次样本的输入必须具有确定相同的特征数目。

在入侵检测中，BP神经网络的实现方式主要是与现有系统结合进行，BP神经网络与应用模式识别系统相结合使用，例如与专家系统结合。在这种方式中，BP神经网络可作为系统组成部分，通常是作为信息过滤模块或信息预处理模块，当信息输入系统后，神经网络会对信息做过滤处理。另外，神经网络可规则自动生成模块，进而更新入侵检测系统规则库、模式库。这种方式的优点是能将入侵检测系统的工作性能提高，缺点是这种方式神经网络的真正优势不能得到充分发挥。

3.2 改进的神经网络算法

在信号检测、非线性处理、模式识别等领域，人工神经网络应用较多，这是因为人工神经网络自组织性、自适应性非常好，同时其非线性特性明显，信息存储为分布式模式、可进行大规模的并行处理。实质上BP神经网络算法属于非线性优化的梯度算法，在收敛性上，该算法存在不足，也就是说该算法的学习结果有可能落入到均方误差全局最小点，也有可能落入到局部极小点，造成算法不收敛，使工作模式陷入错误。

入侵检测系统的主要功能是对入侵计算机网络的行为和计算机系统进行检测，包括数据聚类、数据采集、分析判断行为、对入侵行为进行响应、报警等。BP网络各层神经元仅连接相邻层神经元；在各层内部，神经元间无连接；同时各层神经元间也无反馈连接。在信号输入后，传播到隐节点经变换函数再将信息传播到输出节点，经过处理，输出结果。本文将改进的BP 神经网络用于入侵检测系统，其检测模型见图3。

3.2.1 采用自动变速率学习法

传统BP算法在梯度基础上，采用最陡下降法LMS学习问题，学习步长为一个较小值，并且这个值是固定不变的，对网络收敛无益处。因而选择基于梯度方向自动对学习速率进行调节。通过梯度对学习方向做最终确定，在梯度方向上，学习步长由速率决定。若相邻两次梯度方向是相同的，表明该方向的收敛有利；若相邻两次梯度方向是相反的，表明该方向的收敛不稳定。根据这个规律，通过两次相对梯度的变化确定学习步长。当两次梯度为相同方向时，学习步长增大，该方向上学习速度要加快；在两次梯度为相反方向时，学习步长减小，整个网络收敛速度要加快，自适应速率调节方法如下：

（1）

（2）

式中表示在时刻和时刻梯度的乘积。

3.2.2 引入遗忘因子

根据相邻两次梯度变化，通过自适应变速率学习法对学习步长算法进行确定。变化单纯学习速率，这时收敛速度不能完全保证，但不会有振荡产生，因此考虑变速率学习法，在权值调节量上，加一个量，这个量正比于前几次的加权，权值调节量采用式（3）计算：

（3）

式中：表示遗忘因子，引入遗忘因子项，在学习过程中可通过对学习速率进行等效微调的效果进行说明。遗忘因子的作用是缓冲平滑，并使调节的平均方向朝底部变化。

3.2.3 引入随机优化算子

BP神经网络算法在引入遗忘因子，采用自动变速率学习法后，虽然可微调学习速率，但BP神经网络的不足和限制仍存在，为了进一步对BP神经网络进行优化，本文引入随机优化算子，当网络权值误差迭代达到一定次数后，收敛不明显或连续几次发生系统误差函数梯度变化，这种情况表明网络进入疲乏状态，要借助外界推动力对网络进行激活。当出现这两种情况时，与权值维数相同的随机数就产生了，直接将权值和随机数相加，对系统误差变化进行判断，若误差未降低，继续产生随机数，进行权值修改，当误差出现减少时停止，然后再从新权值继续开始BP算法，随机优化算子可随机变化搜索方向，局部极小点就摆脱掉了，图4为改进的BP算法流程图。

4 仿真实验

本文的仿真实验在Matlab 7.0实验平台进行，以此来验证提出改进的BP神经网络算法是否能达到较好的效果，本文同时给出采用未改进的BP算法网络入侵检测和改进的BP神经网络算法网络入侵检测模型仿真实验结果。

图5为两种算法得到的训练精度。从两种算法的实验仿真结果可看出，将改进的BP神经网络算法用于入侵检测，速度快、易收敛，目标精度0.02很快达到。在规定周期内，未改进的BP算法不能达到规定的目标精度，易陷入局部极小，本文提出的改进的BP算法所用训练周期较短，学习时间缩短显著，效果良好。

评价检测模型的标准为漏报率、误报率、检测率，其定义分别如下：

表1为未改进的BP算法与改进的BP算法的比较结果，从表1中可看出，改进的BP神经网络算法的检测率、漏报率、误报率分别为96.17%，3.83%，4.15%，检测率比未改进的BP算法要高出11.65%，漏报率比未改进的BP算法要低10.66%，误报率比未改进的BP算法要低4.07%。

表1 两种算法的入侵检测结果

[算法 训练周期 /s 检测率 /% 漏报率 /% 误报率 /% 基本BP算法 480 84.52 14.49 8.22 改进的BP算法 480 96.17 3.83 4.15 ]

5 结 语

本文在对原有BP 神经网络算法进行改进的基础上，研究了改进优化的BP神经网络算法及其在网络入侵检测中的应用。通过分析BP神经网络用于检测系统存在的问题，在传统BP算法基础上，采用自动变速率学习法，引入遗忘因子、随机优化算子，并将其用于网络入侵检测系统。仿真实验表明，改进的BP神经网络算法用于入侵检测，速度快易收敛，目标精度0.02很快达到。本文算法具有明显的优越性，各种入侵行为检测率得到明显提高，系统误报率也降低了，入侵检测系统性能得到有效改进，本文算法优越性明显。

参考文献

[1] 宋玲，常磊.变异粒子群优化的BP神经网络在入侵检测中的应用[J].智能系统学报，2013，8（6）：558?563.

[2] 刘伉伉，谢福，郭雪雪.基于BP神经网络的云计算入侵检测技术研究[J].计算机与数字工程，2014（12）：2357?2361.

[3] 黄煜坤.基于BP神经网络算法的入侵检测技术[J].电子制作，2015（10）：60?62.

[4] 沈夏炯，王龙，韩道军.人工蜂群优化的BP 神经网络在入侵检测中的应用[J].计算机工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神经网络建模研究[J].装备制造技术，2014（1）：162?164.

[6] 王俊士，李江涛.一种改进的BP神经网络算法在入侵检测中的应用[J].电脑知识与技术，2014，10（3）：614?617.

[7] 颜谦和，颜珍.遗传算法优化的神经网络入侵检测系统[J].计算机仿真，2011，28（4）：141?144.

[8] 汪洁.基于神经网络的入侵z测系统的设计与实现[J].计算机应用与软件，2013（5）：320?322.

篇4

为降低神经网络的冗余连接及不必要的计算代价，将量子免疫克隆算法应用于神经网络的优化过程，通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点，并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验，算法提高了目标分类概率，降低了误报率。

关键词：神经网络；量子免疫克隆算法；目标分类；冗余连接；网络优化

中图分类号： TP273

文献标志码：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神经网络已经被广泛地应用于模式分类、函数逼近、信号预测等各种领域，是近年来的研究热点之一[1-2]。在应用过程中，研究人员发现，当神经网络的规模过大会产生连接数量冗余大、计算代价过高的问题，降低了大规模神经网络的实用性。针对此问题，研究人员提出了多种方法在保持神经网络的前提下优化神经网络的结构和参数权值。Leung等[3-4]改进了传统的遗传算法（Genetic Algorithm， GA）并将其应用于神经网络的结构和权值优化过程，利用遗传算法的快速收敛性来提高神经网络的学习速度，其缺点在于当目标函数维数过大时容易陷入局部最优。Xiao等[5]使用混合优点（Hybrid Good Point， HGP）优化前向神经网络的参数和结构，避免权值陷入局部最优，但其对网络结构的优化没有达到最优。Shu等[6]提出正交模拟褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的优点来同时优化神经网络结构和参数，其算法收敛速度快、鲁棒性好，缺点则在于计算代价较大。杜文莉等[7]提出了使用量子差分进化（Cooperative Quantum Differential Evolution， CQGADE）算法来优化神经网络权值，使用量子遗传算法优化网络结构和隐层节点数，算法综合了量子遗传算法和量子差分算法的优点，收敛速度快，但其缺点在于需要同时协同两种算法的优化结果，算法复杂度较高，且容易陷入局部最优。Tsai等[8]提出混合田口遗传算法（Hybrid Taguchi Genetic Algorithm， HTGA），将传统的GA与Taguchi方法结合起来，使得算法具有鲁棒性好、收敛性快等优点，但其缺点在于获得最优解的计算代价较大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也称为量子遗传算法（Quantum Genetic Algorithm， QGA），其将量子搜索机制和免疫算法克隆选择原理相结合，利用量子编码的叠加性和随机性构造抗体，利用遗传算法的克隆操作产生原始种群和克隆子群实现种群扩张，使搜索空间扩大，提高了局部搜索能力；同时借助全干扰交叉操作避免陷入局部最优。QICA采用了多状态量子比特编码方式和通用的量子旋转门操作， 引入动态调整旋转角机制和量子交叉[11]。QICA在组合优化问题中具有良好的表现。

针对上述问题，提出了使用量子克隆免疫算法对神经网络的结构和连接权值同时进行优化，通过产生具有一定稀疏度的连接权值对网络隐层数量和连接权值进行优化，提高了算法的效率和收敛速度，避免了算法陷入局部最优。

1 带开关权值的神经网络模型

在经典的神经网络理论中，网络结构在初始化后便不再变动，仅通过权值的变化来计算产生结果，这种算法增加了神经网络的结构复杂性，在实际应用中增加了计算结果的代价。Leung等[3-4]提出了带开关权值的神经网络，通过调整开关的通断就能调整神经网络的结构和连接数量，从而减少计算代价。带开关权值的神经网络模型如图1所示[7]。

2.2 权值计算及优化方法

根据量子克隆免疫理论，将神经网络权值计算及优化过程分为以下四个过程。

2.2.1 权值抗体初始化

量子克隆免疫算法是基于量子计算和遗传算法组成的，其抗体的编码方式采用量子比特编码。一个抗体中的量子位的状态是不确定的，可以为0或1，其状态表示为式（5）：

3.1 算法复杂度分析

量子克隆免疫算法的实质是通过量子理论的随机特性提供丰富的种群数量，并通过使用遗传算法对种群进行淘汰和进化，因此其算法的复杂度等于种群生成算法的复杂度：假设神经网络有x个输入，其隐层节点数量为N，输出为y，则网络中的输入与隐层节点间的连接权值ω的数量为：x*N，隐层节点与输出层的连接权值v的数量为：N*y。种群生成需要对所有节点进行权值初始化，并将随机位置的n（nN）个节点的权值设置为0， 其算法复杂度为O（n2）。而克隆免疫算法在种群克隆及抗体选择过程中使用遗传算法，因此其算法的复杂度与传统遗传算法相同，其算法复杂度也为O（n2）。因此，使用量子免疫克隆的神经网络优化算法的复杂度为O（n2）。

3.2 非线性函数逼近

选取复杂交互非线性函数（Complicated Interaction Function，CIF）：

其中0

选取样本700组，其中500组用于训练，其余200组用于检测性能。神经网络的初始隐层神经元设置为20个，初始网络结构为：2-20-1，初始连接权值为随机值。在此条件下验证不同稀疏度条件下对CIF的二维逼近效果如图3所示。

图3显示随着稀疏度的不断降低，神经网络的逼近能力有所减弱，逼近误差则逐渐增大。这主要是因为神经网络中的连接权值数量降低，造成神经网络的适应性差。具体逼近效果见表2。

从表2中可以看出，隐层节点数量直接影响着神经网络的性能。高稀疏度条件下的计算量大，但逼近精度高；低稀疏度条件下的计算量小，但逼近精度较差。实验表明当稀疏度大于0.6时，算法的逼近精度高于90%，优化后的网络具有较好的非线性逼近能力。当神经网络隐层节点数量低于12时逼近精度大幅下降，说明此时神经网络处理信息的能力也随之大幅减弱，隐层节点的最合适的数量为12～14个，这也符合文献[14]的实验结果。

图4为不同稀疏度下，算法适应度的收敛情况。可以看出量子克隆免疫算法具有很好的收敛特性，算法收敛速度很快，能够在很短的进化次数内收敛至极值，且稀疏度越低，神经网络的连接权值数量越少，算法收敛速度越低，最优适应度越差。

表3为相同条件下，不同算法的最优计算结果，包括目标分类的准确度、隐藏层节点数量等。可以看出，当稀疏度高于0.8时，本文算法收敛性和适应度均优于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群优化算法（Particle Swarm Optimization，PSO）[16]、混合田口遗传算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，说明算法具有很好的收敛速度、寻优精度和鲁棒性。

3.3 微地震信号目标分类

实验场地选择在秦始皇兵马俑博物馆内K9901号坑旁。所有传感器节点沿公路一侧直线部署，距离公路1m左右。可能产生地震波的活动物体包括人员行走、机动车和挖掘活动。将采集到的微地震信号进行滤波、分帧、特征提取等处理后输入至神经网络进行模式识别。

系统对传感器采集到的数据进行分帧，并使用功率谱二次分析[17]算法对其进行处理，最后将经过预处理的数据输入至神经网络对其进行分类。根据其活动特点，将输出目标分为三类：人员活动、挖掘活动以及机动车辆活动。传感器采集到的三类活动的经典波形如图5所示。

表6中给出了算法的最优计算结果，包括不同稀疏度条件下神经网络的隐藏层节点数量、最优适应度以及分类准确率等。可以看出，算法能够有效减少冗余的隐藏层节点数量，并降低节点连接数量。算法的稀疏度越高，其适应度越好，其分类的准确性越好，但稀疏度高带来的则是计算代价增大、计算复杂度增加。当稀疏度低于0.7时，算法的适应度变差，目标的识别率为90%，在实际应用过程中带来了误判率较高的问题，降低了实用性。因此在秦始皇帝陵博物院野外文物安防系统中使用了稀疏度为0.7的算法对模式识别的神经网络进行优化。

4 结语

本文提出了基于量子免疫克隆算法的神经网络优化算法，该算法在训练神经网络优化权值的同时删除了冗余连接和多余的隐层节点，实现了神经网络结构和网络权值的优化。通过经典非线性函数逼近和目标识别检验，算法能够有效地优化神经网络，提高神经网络的优化效率，减少计算复杂度。使用优化后的神经网络已经用于秦始皇帝陵博物院野外文物安防系统中。

参考文献：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（乔辉，周雁舟，邵楠，等.基于学习向量量化神经网络的软件可靠性预测[J].计算机应用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，邓永红，张全柱，等.小波神经网络模型的确定性预测及应用[J].计算机应用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，赵亮，等. 基于量子差分进化算法的神经网络优化方法[J].清华大学学报：自然科学版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周传华，钱峰.改进量子遗传算法及其应用[J].计算机应用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周绮，姜淑娟，赵雪峰，等.改进的量子遗传算法及其在测试数据生成中的应用[J].计算机应用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韩红桂，乔俊飞，薄迎春，等.基于信息强度的RBF神经网络结构设计研究[J].自动化学报， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（赵亮.基于协同PSO算法的模糊辨识与神经网络学习[D].上海：上海交通大学，2008.）

篇5

关键词： ATR2神经网络； 警戒值； 模式漂移； 模式识别

中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2014）18?0041?03

An improved algorithm based on ART2 neural network

HU Xin， YE Qing， GUO Geng?shan

（Changsha University of Science and Technology， Changsha 410114， China）

Abstract： Aiming at the problems of setting vigilance parameter and pattern drift produced in the process of classification identification of the traditional ART2 neural network， a new ART2 neural network model based on modified algorithm is presen?

ted in this article to solve problems concerning analysis of pattern identification. Reasonable vigilance parameter needed by clustering is deduced through the processing of self?organization， weighting and iteration. In order to conduct reasonable classification of clustering objects， the measures of slowing learning rate which can be realized by modifying the weight training of ART2 neural network to reduce the speed of pattern drifting should be taken. The experimental results have proved that the new model is of high validity and feasibility.

Keywords： ATR2 neural network； security value； pattern drift； pattern recognition

0 引 言

ART2神经网络的输入为任意模拟输入矢量，所以它有非常广泛的应用范围，通过对警戒值的调整，ART2神经网络可以对输入的模拟矢量进行不同精度的分类。ART2是基于自适应谐振理论的一种自组织神经网络，通过竞争学习和自稳机制原理实现分类，它主要是为了解决下列问题而提出的：设计一个学习系统，同时拥有稳定性和可塑性，即系统在不断学习新知识的时候能保持原有的知识[1?2]。

迄今为止，基于ART网络的模式分类方法有很大发展，其中具有代表性的就是S.Grossberg和A.carpenter提出的用于并行分类和自适应模式分类方法[3?4]。

传统的自适应谐振神经网络也存在着一些缺陷，主要体现在：传统的ART神经网络在网络训练前要给出警戒参数，该警戒参数对于网络聚类结果具有直接的影响。当警戒参数较高时，ART系统对模式的相似性要求就越高，类的划分就越细，形成的类别就越多；当警戒参数较低时，网络有较强的容错能力，因此就产生较少的分类数目[5?6]。

由于传统的ART2网络在对输入模式识别分类时，会产生模式漂移现象，从而无法实现更准确的分类。对部分权值的修正放慢学习速度，将改善模式漂移现象。

1 ART2神经网络的结构和原理

1.1 ART2神经网络结构

ART2系统由定向子系统OS和注意子系统AS构成，注意子系统AS由感受层SL和反应层RL和控制增益GC组成，既有短时记忆[OS（t）]和[OR（t）]，又有长时记忆，包括自低向上的长时记忆[Ω（SR）]和自顶向下的长时记忆[Ω（RS）]。作为神经计算的模型，ART2系统是由人工神经元形成的系统。感觉神经元构成了系统的感受层，而反应神经元构成了系统的反应层，ART2网络的结构如图1所示。

图1 ART2神经网络基本结构

在系统中，各感觉神经元之间的联结关系包括：[Dab：SLaSLb]，[Dbc：SLbSLc]，[Dcd：SLcSLd]，[Dde：SLdSLe]，[Def：SLeSLf]，[Dda：SLdSLa]，[Dfc：SLfSLc]。各子集[SLk（V（S）k）（k∈{a，b，c，d，e，f}）]之间的联结关系式对应元素之间的联结，因而，其联结关系矩阵[Dij（i，j∈{a，b，c，d，e，f}）]均为对角矩阵。

在感受层SL中，只有子集[SLa（V（s）a）]可以接受外部输入信号[x]，另外只有子集[SLe（V（S）e）]的状态向量[OSe]能作为系统感受层SL的输出，用于系统的反应层RL[3]。

1.2 ART2神经网络的工作原理

1.2.1 参数及联结权值初始化

所有神经元的输出置0向量，计数器初始值为[C=0]；SL层从下到上的长时记忆初始为：

[Ω（SR）=0.5（1-α3）・mnm]

RL层从上到下的长时记忆初始为：

[Ω（RS）=（0）mn]

各参数确定为：

[α1>0， α2>0，0

1.2.2 计算步骤

ART2网络的运行按照如下的步骤进行：

（1） [SLa]运算：

[O（S）a=x+α1O（S）d]

（2） [SLb]运算：

[O（S）b=O（S）aε+O（S）a]

（3） [SLc]运算：

[O（S）c=f（O（S）b）+α2f（O（S）f）]

式中：[x>α3]时[f（x）=x]，[x≤α3]时[f（x）=0]。

（4） [SLd]运算：

[O（S）d=O（S）cε+O（S）c]…

（5） [SLe]运算：

[O（S）e=O（S）d， C=0O（S）d+ω（RS）kα4， C>0]

（6） [SLf]运算：

[O（S）f=O（S）eε+O（S）e]

（7） SL测试：如果短时记忆[O（S）i（i∈a，b，c，d，e，f）]没有达到稳定状态，转到步骤（11）。

（8） 计数和转移：如果[C=0]，转到步骤（11）。

（9） OS运算：

[r=O（S）d+α4O（S）eε+O（S）d+α4O（S）e]

若[r

（10） 复位操作：如果复位信号[r=1]，则置[O（S）k=0]，抑制[v（R）k]到ART2系统达到“谐振”状态，重置短时记忆[OS=0]和[C=0]，转到步骤（1）；否则[r=0]，转向步骤（14）。

（11） RL运算：

[O（R）k=α4， ω（SR）TkO（S）e=maxω（SR）TiO（S）e0， 其他]

其中[O（R）k=α4] 的单元[v（R）k]记作竞争获胜单元。

（12） 引发期待：[Ω（RS）Tω（RS）k]。

（13） 计数和转移：[C=C+1]，转向步骤（5） 。

（14） 谐振：[r=1]说明[x]与[ω（RS）k]匹配，ART2系统达到谐振状态，ART2快速学习机制启动。

（15） 前馈学习：更新前馈联结关系[Ω（SR）]的第[k]个列向量[ω（SR）k]：

[ω（SR）k=O（S）d1-α4]

（16） 反馈学习：更新反馈联结关系[Ω（RS）]的第[k]个行向量[ω（RS）k]：

[ω（RS）k=O（S）d1-α4]

（17） 停机条件：若对于任意输入[x]，[Ω（RS）]和[Ω（SR）]都是稳定的，ART2系统停止运行；否则删除输入模式，RL中所有被抑制的反应神经元恢复起始，重置短时记忆[OR=0]和[OS=0]，重置计数器[C=0]。

2 改进的ART2神经网络

在上述传统的ART2神经网络算法中对于警戒值[ρ]的选择是根据经验所得，这里提出了一种在神经网络计算前对[ρ]的选取算法。同时为了解决模式漂移的问题，对ART2神经网络中F2至p层和p层至F2层的权值进行修改，减缓学习速率，从而可以有效地减少模式漂移带来的误差[7]。

2.1 具体算法描述

（1） 设置警戒参数初值ρ，开始设置接近l，在初始聚类时，对于接近的输人向量也会在这个过程进行融合，每个差异较大的输入向量就会产生一个类别。

（2） 由于ART2模型的输出端是一维阵列，可按神经元模值将神经元放置在x轴上，以模值大小顺序对输出层神经元的位置进行重新排列，以模值为判断依据，同时对自顶向下和自低向上权重矩阵进行调整。

（3） 在解决漂移模式问题中，模式漂移现象主要

原因是权值的修正方法不准确引起的，在传统的ART2算法中，权值修正公式在每次输入模式结束时，权值都近似等于[O（S）d1-α4]，在学习新的模式之后容易遗忘已经学过的输入模式，权值总是向当前的输入数据靠近。所以对ART2神经网络中F2至p层和p层至F2层的权值进行修改，减缓学习速率，修正后的权值为：

从F2层到p层的权值为：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]；

从p层到F2层的权值为：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]；

2.2 具体算法步骤

加入警戒值选择和权值修改后的改进ART2神经网络算法如下：

（1） ρ=ρ-del ；del为警戒参数递减值；

（2） 将第k次迭代神经网络输出层的每一个神经元代表的类别向量组成第k+1次迭代神经网络的输入向量样本集X（k+1）；

（3） 按序输入X（k）样本集中每个向量，训练的算法按照步骤（4）整个过程；

（4） 在传统ART2神经网络学习中的对步骤（15），步骤（16）进行修改如下：

步骤（15） 前馈学习：更新前馈自适应联结关系[Ω（SR）]的权值：

[Ωnewji=Ωoldji+α（Οd-Ωoldji）]

步骤（16） 反馈学习：更新反馈自适应联结关系[Ω（RS）]的权值：

[Ωnewij=Ωoldij+α（Οd-Ωoldij）]停机条件不变。

3 实验及其结果分析

为了验证算法改进后的分类效果，对传统ART?2神经网络算法和改进后的算法进行了实验比较[8?10]。本文采用实际数据做为测试数据。实际数据采用来自美国加州Irvine大学信息与计算机科学系中所提供的Glass数据。Glass数据是在记录玻璃所包含的化学元素情况，记录中包含了处理过与非处理过的建筑用窗户、处理过与非处理过的货车窗户、容器、餐具以及车灯共7种类别，而在G1ass数据中则有9种不同的化学元素，分别是锆、钠、镁、铝、硅、钾、钙、钡、铁九种属性，Glass数据集一共是214组。在不同用途的玻璃中化学元素的含量不同，如表1所示。

表1 不同用途的玻璃中化学元素的含量

在进行ART2神经网络的训练时候，对于参数设为ρ=0.95，a=10，b=10，c=0.1，d=0.9，del=0.01。将神经网络程序运行结果， 与数据集中正确分类进行对比之后，发现以前ART2网络由于模式漂移和警戒参数人工设置问题设置产生了10个分类，产生了较大分错率。由改进的ART2网络下运行结果显示降低了这些问题的影响，只产生了8个分类，而且在每一类的分类中，改进后的神经网络可以更好地对每一组数据进行正确的分类。如表2所示。

表2 传统神经网络和改进后神经网络的分类比较

4 结 语

针对本文中摘要提出的警戒值选取问题，在改进的ART2神经网络聚类算法中，利用以前警戒参数训练神经网络结果的基础上迭代，改变了神经网络主观设定警戒参数的问题。针对模式漂移的问题，通过改进联结权值，使改进后的ART2神经网络网络减慢了学习速率，近而降低了模式漂移的速度。实验证明，在改进选取警戒值和对联结权值修改后的ART2神经网络更好地实现了聚类分类，同时提高了模式识别的精度。

参考文献

[1] 陈国灿，高茂庭.ATR2神经网络的一种改进[J].计算机工程与应用，2013（4）：2?3.

[2] 沈艳超，叶青.车辆特征提取和分类方法的研究[D].长沙：长沙理工大学，2010.

[3] 阮晓刚.神经计算科学[M].北京：国防工业出版社，2006.

[4] CARPENTER G A， GROSSBERG S. ART2 self?organization of stable category recognition codes for analog input patterns [J]. Applied Optics， 1987， 26（l）： 4920?4927.

[5] 钱晓东，王正欧.基于算法改进的ART2数据聚类方法研究[J].哈尔滨工业大学学报，2006（9）：1549?1553.

[6] 钱晓东，王正欧.基于神经网络等技术的数据与文本聚分类研究[D].天津：天津大学，2005.

[7] 谭锦华，邝献涛.基于ART2神经网络与动态聚类的分类器[J].控制工程，2005（z1）：68?70.

[8] 姚光顺.ART?2神经网络的缺点及其改进[J].仪器仪表用户，2008（2）：117?118.

篇6

关键词：字符识别；BP神经网络；车牌识别

中图分类号：TP391.41 文献标识码：A

1 引言（Introduction）

汽车牌照的识别是计算机视觉与模式识别应用于的重要研究课题，车牌识别的准确率和高效性是识别的关键。由于车牌图像难免会受到光照、天气等因素影响，车牌图像质量会有所下降，为了对车牌字符的进行有效地识别，首先要对其进行去噪、增强等预处理，之后应用识别算法对其进行识别[1]。本文研究了用BP神经网络方法对汽车牌照字符的识别算法。首先对分割、归一化后的字符特征进行提取，所提取的特征向量记录的就是字符的特征。把这个特征向量送到BP网络中进行训练，就可以得到训练好的权值，用这个权值对车牌字符进行识别。对于车牌图像的识别率达90%以上，表明该方法是有效的。

2 字符识别的原理（The principle of character

recognition）

字符识别的基本原理即对字符进行匹配识别。提取代表未知字符基本特征、结构的样本库和提前在计算机中保存的标准字符的字典（字符基本特征和结构的集合），在一定的规则下逐个匹配比较。在计算机中保存的标准字符的字典中，寻找与输入字符样本最相似的表达项，然后找出对应的字符就是识别的结果[2]。字符识别的原理框图如图1所示。

3 BP神经网络字符识别算法（The BP neural network

character recognition algorithm）

BP算法基本原理是利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计[3]。对BP网络的设计要点是高效率的特征提取方法、具有代表性的大量训练样本和稳定高效的学习方法。

3.1 BP神经网络学习算法

算法的基本流程就是：

（1）设置变量和参量，包括输入向量（训练样本和样本个数）、每次迭代中输入层和隐含层之间、隐含层与隐含层之间、隐含层与输出层之间的权值向量矩阵、迭代次数、每次迭代的实际输出、期望输出和学习效率。

（2）随机初始化权值矩阵。给三类权值矩阵赋一个相对较小的随机非零值。

（3）进行样本输入。采用随机输入的方法。

（4）前向传播。按照公式一层一层的前向计算隐藏神经元和输出神经元的输入和输出。

（5）误差计算，判断。根据每次迭代的期望值和实际输出结果算出误差，判断误差值满足要求与否，如果满足进行第8步，否则进行下一步。

（6）迭代次数判断。如果已经达到最大的迭代次数，则进行第8步，否则进行反响传播，即反向按照公式一层层迭代计算每层神经元的局部梯度。

（7）权值更新。依据反向传播过程计算出的局部梯度值，计算出各矩阵的权值修正值，并进行修正。

（8）终止判断。终止条件为：所有的样本都学习完成。否则进行第3步。

3.2 实际使用BP神经网络过程中的一些问题

①样本的处理。可适当放宽输出条件，例如当输出大于0.9时就当作是1，输出小于0.1时当作0。对于输入样本，也应该进行归一化处理。

②初始化权值的选择。权值的不同对学习结果会产生影响，因此选择一个相对比较合理的权值是非常重要的。实际使用时，应该用较小的随机数来对权值进行初始化，随机数的大小的分布也应该是均匀的。

③学习率的选择。神经网络中有一个学习率的概念，为了保证系统的稳定性，通常应该取较小的学习率，一般选取范围在0.01―0.8。如果学习率过大，可能会导致系统不稳定。如果学习率过小，会使得学习时间变长，收敛也会变慢。

3.3 BP神经网络应用过程

BP神经网络应用过程如图2所示。

3.4 BP网络三个层的神经元数目的确定

目前还没有什么成熟的定理能确定各层神经元的神经元个数和含有几层网络，大量经验表明，三层的网络可以逼近任意一个非线性网络。

首先，使用已知的样本对BP网络进行训练。对于输入层的结点，其数目是之前车牌图像预处理后输出特征的维数。

对于隐含层的结点数目，一般情况下，隐含层神经元数目和BP网络精确度成正比，数目越多，神经网络的训练时间也会越长。但是，当隐含层神经元数目过大时，识别的准确率就会受到影响，同时也会使得网络的抗噪声能力下降[4]。综合考虑上述情况，根据以往经验，使用10个隐含层的神经元。

对于输出层结点数目，受输入层结点数的约束。本文中，我们采用8421码对数字0―9，字母A―Z，省名简称“京津沪冀鲁豫鄂苏皖晋湘桂闽川浙甘宁陕吉辽台”依次进行编码。例如，对于输出“1”，表示为（0，0，0，0，0，1），对于输出“A”，表示为（0，0，1，0，1，0），对于输出“京”，表示为（1，0，0，1，0，0）。因此，采用6个输出层神经元。

然而，实验中发现，当使用上述结构的标准输出向量时，会出现BP神经网络无法收敛的问题。原因在于BP网络学习中采用的激活函数的输出只可能无限接近1或0，但不会是1或0。针对这个问题，对标准输出向量的编码方式进行如下调整：用0.1代替0，用0.9代替1。即对于输出“0”，表示为（0.1，0.1，0.1，0.1，0.1，0.1），对于输出“1”，表示为（0.1，0.1，0.1，0.1，0.1，0.9），对于输出“A”，表示为（0.1，0.1，0.9，0.1，0.9，0.1），对于输出“京”，表示为（0.9，0.1，0.1，0.9，0.1，0.1），以此类推。

3.5 BP神经网络识别字符的流程

使用BP神经网络进行字符识别，实际上可看作是训练和识别两个过程。其中，训练就是提取训练样本的特征向量。第一步，将挑选好的图像形式的已知数据作为训练样本，这些已知数据能够很好的反应样本的可分性。第二步，在训练样本图像经过进行特征提取操作后送入BP网络中进行训练。训练之前，要提前输入一系列训练参数。

经过BP网络的训练后，就可以用其对待识别数据进行识别。待识别数据在经过灰度化、二值化、归一化、分割等预处理操作后，再经过特征向量提取，最后在BP网络中进行识别，得出识别结果。

3.6 实验结果

实验中采用了在不同环境下拍摄到的100张车牌图像，这些牌照的清晰程度、区域大小都不相同，按照前文所述BP神经网络算法进行模拟实验。根据表1所示识别结果，由于个别字母与数字之间有相似之处，导致其识别率相对较低，分别为95.9%、96.2%。而车牌中汉子字符数量很少，且特征相对比较明显，使得其识别率相对较高，实验结果为98.0%。

4 结论（Conclusion）

基于BP神经网络的车牌字符识别方法，对于比较清晰的车牌图像，本方法能有效识别其中的字符，但对于较低解析度和较为模糊的车牌还需要进行很多预处理的工作，因为必须将车牌中的字符独立地被分割后，才能用该方法进行识别。而事实上，在那些图像不够清晰的车牌上分割出独立的字符也是特别困难的。虽然，BP神经网络在识别效果上提高的余地较大，具有较强的容错能力，还可进一步训练学习，识别率较高，但其识别速度较慢，不能满足实时性的要求。

参考文献（References）

[1] 郭荣燕，胡雪惠.BP神经网络在车牌字符识别中的应用[J].计

算机仿真，2010（9）：299-301；350.

[2] 刘静.几种车牌字符识别算法的比较[J].电脑与电信，2008（8）：

72-73；78.

[3] 石云.BP神经网络的Matlab实现[J].湘南学院学报，2010（5）：86-

88；111.

[4] 尹念东.BP神经网络的应用设计[J].信息技术，2003（6）：18-20.

作者简介：

篇7

关键词：自主角色; 神经网络; 遗传算法

中图分类号： TP183

文献标识码：A

0引言

随着计算机图形学和硬件技术的高速发展，计算机游戏近十几年也取得了很大的发展，游戏软件已成为软件产业中非常重要的内容。游戏的类型主要包括FPS（第一人称射击）、RPG（角色扮演类型）和RTS（即时战略游戏）等几种类型，这些不同类型的游戏都要求游戏控制的角色（NPC）与玩家控制的角色（PLAYER）要有行为的交互，交互的方式直接影响玩家对游戏的兴趣度。因此，对NPC与PLAYER之间的角色交互行为方式的研究已经成为游戏软件中的一个非常重要的研究课题。

目前大多数游戏中的角色行为的交互方式采用的是确定型的交互行为，其特征主要表现在角色的行为都是预先确定的，这种类型的行为实现起来较为简单，也是目前大多数游戏所采用的交互方式。像这种确定性的行为往往体现不出角色的自主性，而且还会导致角色行动单调乏味，其行动很容易被玩家所预测,降低游戏的可玩性。为此,我们需要在游戏软件中设计和实现这样的NPC角色，它能够根据当前环境的变化以及以往的经验知识来动态地改变对PLAYER的行为。具有这种能力的角色，我们称之为自主角色,也称为自适应角色。具有自主和自适应特点的角色可具有推理能力和自适应能力,在游戏环境下可更受玩家的欢迎。

一款拥有自主角色的游戏能够牢牢地吸引玩家的注意力，从而延长这款游戏的生命周期，因此促使游戏开发人员花更多的时间来研究自主角色的实现。一些公司已经开始尝试从人工智能领域发展出更加高级的技术，如采用决策树或者强化学习来实现角色的自主性，也有的像著名的游戏Colin McRae Rally2则采用了学习系统和神经网络来实现角色的自主性。

有关自主角色行为的论文已经有很多做出了卓有成效的成绩，如在Reynolds的文献［1］中，对自主角色的群体行为进行了描述。Blumberg和Galyean［2］中引入更多的行为控制机制，并考虑了行为学习这样一个令人感兴趣的问题。对于自主角色的更高层次的认知能力方面，John David Fungc［3］中指出，认知模型是用于创建虚拟世界的模型“金字塔”的顶层，底层的行为模型作为认知模型和物理学模型之间的缓冲区，并将情景演算(situation calculus)［4］用于高度动态的虚拟世界。

但是，上述各种方法因为侧重点不同，各有优缺点，且相互之间较为独立，因此本文结合上述一些方法的优点，在此基础上提出了基于认知角色建模，采用神经网络和遗传算法相结合的游戏自主角色的设计思路。基于此，各小节安排如下：

第一节确定了基于认知建模方法的游戏自主角色模型；第二节介绍了神经网络在实现自主角色中的应用；第三节说明了遗传算法对神经网络的优化；第四节对自主角色的实验进行了分析。

1基于认知建模的角色自主性模型

由于认知建模方法能够采用精确的数学方式来定义自主角色的行为和学习模式，因此本文采用认知建模方法来对游戏角色的自主性进行建模。这里将游戏中存在的非玩家控制的角色简称为NPC,通过认知建模方法研究NPC的高级行为规划，指导NPC,提高NPC的智能水平能力，使NPC能够对环境作出判断，并根据当前的状态进行推理，进而完成相应的行动序列,有利于创建聪明自主的智能体――具有认知能力的自主的角色。

在计算机游戏中，我们将游戏角色关于他所在世界的内部模型称“认知模型”(Cognitive Model)。认知模型可以用于游戏中，控制一类自主的角色。通过认知模型支配游戏角色对其所在环境的了解程度，如何获取知识，以及如何利用知识选择行动。

NPC的行为分为“预定义的”和“非确定性的”两种，建立的认知模型也各不相同。建立预定义行为的认知模型比较简单，只要将事先定义好的NPC所在环境的领域知识赋予NPC系统，NPC就可以根据人们的要求采取某种行动。而非确定性的行为不容易控制。为了实现人为的控制，我们采取一种折中的方法，即将领域知识和人的指导赋予NPC，使NPC主动地向人们希望它达到的目标发展。可由下面的公式表示:

知识+指导=行为

领域知识能够用来规划目标，而指导对如何达到目标提供一种框架计划。

当然NPC在决定采取什么样的行动时并不需要整个虚拟世界的知识。所以，我们认为NPC的认知模型是角色对其虚拟世界的一种内部简化模型〔simplified model〕。

为此我们在现有游戏系统之上营造一个通过认知模型定义的高级行为规划器来实现对NPC的行为指导。规划器模型设计如图1所示。

NPC的预定义行为和非确定行为都可以形式化为认知模型，通过认知模型来指导NPC高级行为规划器，由于神经网络在非确定中的强大的学习作用，因此本项目通过神经网络来实现NPC高级行为规划器的三个方面：目标引导、行为协调、约束满足。

2基于人工神经网络的角色自主系统

这里,我们采用的是神经网络中的BP网络作为NPC的感知系统。BP算法是一种用于多层前向网络的学习算法，它包括输入层、输出层和隐含层，隐含层可以是多层结构。BP网络的学习过程包括两个阶段:第一阶段计算前向输出;第二阶段从反向调整连接权矩阵。

在前向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的输出作为上层神经元的输入.如果在输出层，实际输出值与期望输出值有误差时，则以反向将误差信号逐层修改连接权系数并且反复迭代，最后使实际输出值与期望值的均方差为最小。在修正连接权系数时，通常采用梯度下降算法。

BP神经网络使用的是指导式的学习方法,即在学习过程中,向网络提供有明确输入和输出目标的样本对。BP学习算法是基于最小二乘法LMS 算法,运用梯度下降方法,使网络的实际输出与期望输出的均方差最小。网络的学习过程是一种误差边向后传播边修正连接权的过程。因为BP网络对以分类为主要目的的学习非常有效,所以,我们采用B P网络进行NPC分类的自学习。需要输入NPC自主系统中BP网络的特征参数主要是NPC的生命值,NPC的攻击力，NPC的防御力，NPC的情感值等，玩家虚拟角色的生命值,玩家虚拟角色的攻击力，玩家虚拟角色的防御力，玩家虚拟角色的情感值等。

NPC在虚拟游戏环境下，在与玩家的不断交互中刺激着感知系统，在外界环境发生变化时产生认知模型指导下的自主行为，通过神经网络最终演化成具有自主性的行为系统，同时，利用遗传算法使适应度有一定程度的增加，使NPC更适应外界环境的变化。关于NPC的感知系统的设置如下：

1） 输入参数的确定

NPC的感知系统由人工神经网络构成，虚拟游戏环境的特征参数作为输入送入神经网络进行学习。在我们的游戏项目中，输入主要包括三种类型：布尔类型、枚举类型和连续类型三种，但是这三种类型都需要转化成神经网络所认可的实数类型。

2） 权重的确定

权重有些类似于生物神经网络的树突联结，权重影响了输出变量的值，并且定义了神经网络的行为，实际上训练或者演化神经网络的主要目标就是确定NPC神经网络的权重。为了确定每个输入参数的权重，需要确定激活函数。

3） 激活函数的确定

激活函数确定了输入与输出参数之间的映射关系，针对NPC自主角色的神经网络，我们采用的是非线性激活函数，具体采用的是S型激活函数。

3基于遗传算法的神经网络优化

神经网络的基本特征是大规模并行处理、容错性、自适应性和自组织性，适合处理直觉和形象思维信息。神经网络与遗传算法的结合使神经网络的训练有了一个崭新的面貌，目标函数既不要求连续，也不要求可微，仅要求该问题可计算，而且它的搜索始终遍及整个解空间，因此容易得到全局最优解。用遗传算法优化神经网络，可以使得神经网络具有自进化、自适应能力，从而构造出进化的神经网络(ENN)［5］。

研究NPC的进化,要建立NPC在虚拟环境中进行的各种行为模型。另外,同虚拟环境本身也会发生竞争。由于适应度是NPC竞争力大小的直接反映,为了建立NPC的竞争机制,首先要建立NPC的适应度函数。

首先,NPC的适应度函数和NPC的种类相关。在同一环境下,不同NPC的适应度肯定是不相同的［6］。同时,为了表现NPC自学习对进化的影响,有了学习能力的同种NPC适应度的取值也有所不同。其次,NPC的适应度还与其所处的不同阶段有关。适应度取值在其不同阶段中不是一成不变的。

在环境不发生变化时,NPC的适应度函数F(t)可以用此函数表示:

其中,参数a表示NPC的生命力值;参数k表示NPC的类型,不同的NPC对同一游戏环境的适应性是不一样的,当k取不同的值时,会得到适应度不同的各种NPC。接着按照以下工作步骤操作：

1） 从NPC神经网络中提取权重向量；

2） 用遗传算法演化出一个新的网络权重群体；

3） 把新的权重插入到NPC神经网络；

4） 转到第一步进行重复，直至获得理想的性能。

4试验分析

我们的实验测试场景如下：

在一个仿真的三维游戏环境下,游弋着若干个NPC角色和一个玩家控制的虚拟角色,主角可以漫游整个游戏场景,这些NPC当遇到主角后,可能会对主角采取不同的行为,比如攻击行为,逃避行为,团队作战行为,对话行为等,所有这些行为的决策都取自于神经网络的训练。

在采用神经网络算法之前，所有的NPC无论强弱，都会主动向玩家角色发起攻击，而在采用神经网络算法之后，这些NPC都具有了一个人工大脑，每个NPC在与玩家角色的交互过程不断地学习，不断地演化，最终变成自主角色，具体表现在：NPC根据以往与玩家角色交互过程中的经验，从而产生较为理智的行为，比如当NPC感觉玩家的综合实力要高于自己时，它可能会采取逃避的行为，而当NPC感觉其综合实力要高于玩家时，它往往会主动攻击玩家。

表1和表2列举了应用神经网络算法前后的测试数据。

应用神经网络算法所采取的实验方案如下：

(1) 对于NPC感知系统的输入，包括与虚拟玩家角色的距离， 虚拟玩家的攻击力，防御力，生命力，魔法力，信誉度，NPC自身的攻击力，防御力，生命力，魔法力，信誉度。并将参数归一化，使最终的参数范围位于[-1, 1]之间；

(2) 对于NPC感知系统的输出，包括躲避，单独攻击，潜伏，召唤同伴，团队攻击等行为。即将神经元的输出元设计成五个，这些行为通过一些标志符来确定，例如， 如果代表攻击的输出位为1，则其他位为零。

通过对比两组测试试验,可以发现后一组试验中,NPC能够根据自己的实力和玩家的实力对比，理智的采取一些行为（比如退避，呼唤同伴协同作战）而不是一味盲目攻击， NPC的存活率显然就很高，因此也显得较为智能。

篇8

关键词：遗传算法 神经网络 瓦斯突出 预测

中图分类号：TD712 文献标识码：A 文章编号：1672-3791（2017）01（a）-0000-00

预测煤层中的瓦斯含量是进行煤与瓦斯突出风险研究的重要一环，由于影响瓦斯含量的地质因素复杂多样，以及各因素间存在着复杂的非线性关系，迄今为止，对瓦斯突出的预测主要使用回归分析方法，预测的结果往往跟实际的情况差别较大，因此需要使用新的方法建立预测模型来实现对瓦斯突出高精度的预测。

1 利用遗传算法改进的神经网络建立瓦斯突出预测模型

（1）网络输入参数的确定：经查阅相关文献和咨询得知瓦斯突出的主要影响因素有：煤层底板标高、煤层到断层距离、煤层到最近剥蚀面距离、顶板砂岩比、统计单元中有无断层、基岩厚度、煤厚。

（2）网络输出参数的确定：选择二进制数0和1分别表征瓦斯不突出和突出。

（3）网络的构造： 一般地可以用一个三层神经网络实现预测功能，此神经网络的输入层有n个神经元，根据经验公式选取隐含层有（2n+1）个神经元，输出层有m个神经元，因此本模型中的神经网络可以采用3层神经网络。

（4）网络的训练：训练样本取自唐山开滦多个矿井具有代表性的10个突出点，利用突出点的数据训练神经网络，得到预测模型。

（5）网络的精确度验证： 利用已完成的人工神经网络对实际问题进行试验研究。把在开滦矿井采取的11～20组数据的瓦斯突出指标输入已经训练的网络中，验证人工神经网络的预测结果与实际突出情况的吻合度，如果吻合度低，就需要对网络进行改动，直至达到满意的吻合度。

（6）利用遗传算法对神经网络的权值和阈值进行优化

个体的编码：将神经网络各层之间可能存在的连接权值和阈值编码成实数码串或者进行二进制码串，每条码串中包含着网络中的所有权值、阈值其排列顺序可以随意定义，不受限制，组成一个染色体。

产生初始种群：随机生成一定数量的码串个体作为一个初始种群。

计算适应度：设网络有K个训练样本，让所有的训练样本依次通过解码后生成的神经网络，计算所有训练样本一次通过的平均总误差作为每条染色体的适应度， 其中， 为瓦斯含量的实测值， 为网络的输出值。

④将网络的所有连接权值和阈值进行实数编码，构成一个染色体，每条染色体代表一个神经网络模型的权值和阈值。设定初始种群规模为20，进化代数为220，交叉概率0.2 ，变异概率为0.1，为了防止遗传算法的早熟现象，变异概率先定义为0.1，然后在逐渐递增。算法运行到158代时获得最佳的连接权值，网络平均总误差为0.001。

2 实例分析及算例求解

选取唐山开滦煤矿为例，对该地进行瓦斯含量预测研究。对影响瓦斯含量的主要因素进行分析，归纳确定了神经网络的输入层神经元个数为7，对应为7个输入变量即7个影响瓦斯含量的因素。其中对输入变量中的顶板砂岩比、统计单元中有无断层、顶板基岩厚度、煤层厚度四个影响因素采用二变量比值法将其定量化。处理方法的划分条件如表1所示，输出层神经元个数是1。在开滦集团获得的相关数据如表2所示，其中1～10作为网络训练样本，11～20作为网络检验样本，用来检验模型的预测精度。

利用前10组数分别训练自适应的BP神经网络和与遗传算法结合改进的网络得到瓦斯突出预测模型，如图1和2所示。然后利用11～20组的样本对网络性能进行检验，并将检验结果和实测值的数据进行对比，对比后的结果如表3所示。 由图1、2可知用遗传算法改进的神经网络收敛速度更快，由表3可知用遗传算法改进后的神经网络预测的值跟实际的值更加的逼近即预测精度高。

3 结论

本文采用遗传算法与神经网络相结合的方法，通过优化神经网络的权值和阈值，使得预测的绝对误差从-0.0119～0.2000缩小到-0.0013～0.0611，提高了预测的精度，加快了收敛速度。对煤矿安全发展具有一定的意义。

参考文献

[1]曾文飞，张英杰，颜玲.遗传算法的基本原理及其应用研究[J]，软件导刊，2009

[2]梁芳.遗传算法的改进及其应用[D].武汉理工大学，2008.

[3]彭海雁.影响煤与瓦斯突出的主控因素研究[D].东北大学，2013.

篇9

【关键词】人工神经网络 BP算法 故障诊断 发动机

近年来，汽车越来越多地出现在普通百姓家庭。发动机系统是汽车的心脏，大部分零件处于高温、高压的工作环境且处在高速运动当中，设备复杂、参数多，其故障的发生率高，诊断起来困难繁琐，本文针对这一问题，在掌握发动机运行流程后，引入了BP神经网络故障诊断方法，并适当改进，测试结果表明，该方法可靠有效实用。

3 自适应BP网络实例应用

3.1 网络输入输出向量及参数的选取

由汽车维修专家提供典型发动机系统故障现象及相应的故障原因实例作为训练样本。以故障类型X=（x1，x2，x3，x4）作为输入，故障原因R=（r1，r2，…，r12）作为输出，建立故障模式与故障原因之间的映射关系。如表1所示。

3.2 网络的创建、训练与检验

按照样本的模式对，确定输入层节点个数为4，输出层节点个数为12。输出节点值的大小反映了故障出现的可能程度。而隐含层节点的个数可参照经验公式选取：其中为输出节点数，n为输入节点数，为1至10的常数。

将故障类型及原因分析表中的文字描述进行转换并编码，就得到样本训练表，如表2所示。

选取网络的初始学习率=1，动量因子=0.01，初始学习率调整因子β=1，训练过程中根据误差变化实时调整学习率，取β=0.9（误差变大时），β=1.1（误差变小时）。

采用Matlab软件编写程序对样本进行训练。

3.3 误差分析与判定

利用同一组样本对改进的BP算法和传统BP算法分别进行测试，并对照研究，进行误差分析。表3为阶段性均方误差所需要的训练次数对比，图1为增加动量项的BP算法对网络训练误差的影响，图2为采用自适应学习率BP算法对网络训练误差的影响，可以直观地看出，两种方法都可以极大地加快网络的训练过程，将两种方法结合到一起，则效果更好，如图3所示。

需要注意的是，建议学习率调整率不能取值太大，使步长平稳，同时设定学习率的最大值，超过后就不再调整，防止出现过调。

4 结论

本文把基于BP神经网络的故障诊断技术引入汽车发动机故障诊断系统，通过增加动量项和自适应调节学习率两种方法来对基本的BP网络学习算法进行改进，可以极大地加快BP 神经网络收敛过程，提高学习速度。通过分析，人工神经网络能够在发动机系统的监测及诊断中发挥较大的作用，并且在设计诊断工具和改进诊断方式中有一定的借鉴功能。

参考文献

[1]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2002.

[2]黄勇，郭晓平.基于改进BP神经网络的柴油机故障诊断研究[J].汽车科技，2009（03）.

[3]张冉，赵成龙.改进BP网络在汽轮发电机组故障诊断中的应用[J].计算机仿真，2011（07）.

[4]张延林，佟德军.BP神经网络的汽车故障诊断研究[J].自动化仪表，2009（04）.

[5]禹建丽，卞帅.基于BP神经网络的变压器故障诊断模型[J].系统仿真学报，2014（06）.

[6]姜蕊.基于改进BP神经网络的速度预测模型[J].交通工程，2013（04）.

[7]陈怀琛，吴大正，高西全.MATLAB及在电子信息课程中的应用[M].北京：电子工业出版社，2006（03）.

篇10

关键词：矸石和粉煤灰配合比； BP神经网络；遗传算法；最优配比

河北金牛能源股份有限公司邢台矿综采面充填采煤技术，自应用以来取得了非常好的经济效益和社会效益，在7606工作面进行了系统的试验和研究，在试验过程中发现矸石与粉煤灰作为充填开采的骨料，其物理力学基本特性对充填开采运输系统及充填工艺的设计至关重要，因此合理的最优的矸石和粉煤灰的配比是控制开采岩层移动和地表沉降的关键所在，本文结合计算智能领域的遗传算法和神经网络方法，利用遗传算法的非线性寻优能力和神经网络的非线性拟合能力，来寻找最优方案。[1]，[2]

1 矸石与粉煤灰的物理化学特性

1.1 矸石的物理化学特性

1.1.1矿物成分测试

本测试采用的测试仪器为D/Max-3B型X射线衍射仪，由日本理学公（Rigaku）生产。测试条件为：Cu靶，Kα辐射，石墨弯晶单色器。狭缝系统为： DS（发散狭缝）：1°，RS（接收狭缝）：1°，SS（防散射狭缝）：0.15mm，RSM（单色器狭缝）： 0.6°。其中：X射线管电流为30mA，电压为35kV。在定量分析过程中采用的扫描方式为步进扫描，扫描速度0.25°/min，采样间隔0.01°。

定量分析所采用的分析标准为：按照中国标准（GB5225--86）的K值法进行定量分析，洗选矸石的组成成分分别见表1-1，X-射线衍射图谱分别如图1-1所示。

在定性分析过程中采用的扫描方式为连续扫描，采样间隔为0.02°，扫描速度为3°/min。定性分析所采用的分析标准为：利用粉末衍射联合会国际数据中心（JCPDS--ICDD）提供的各种物质标准粉末衍射资料（PDF），并按照标准分析方法进行对照分析。两种样品分析结果表明，洗选矸石主要成分是高岭石、石英，有部分伊蒙混层、伊利石、非晶物质和少量的其它矿物，其中的部分非晶物质，分析认为可能是煤或其它物质；粉煤灰主要成分是非晶物质，含有略多的石英，有部分莫来石、伊利石和少量的方解石、CaSO4、长石等矿物。样品中的非晶态物质无法确定，分析认为可能含有部分煤等非晶物质，也可能是粘土中温加热产生的非晶物质。

1.1.2化学成分测试

洗选矸石与粉煤灰的矿物组成直接影响煤矸石的工程性质。洗选矸石的化学成分与化学元素分别见表1-2、表1-3。

由表1-2、表1-3知，洗选矸石试样的物质组成中，SiO2的含量较高，是矸石充填开采时骨架的主要成分，可使充填后的矸石强度较高；此外，由于矸石中含有碳、铝和CaO等物质，易使矸石发生水解和风化等现象。

1.1.3 致密度电镜扫描分析

通过电镜扫描SEM（Scanning Electron Microscope）对矸石的致密度进行了分析，得到不同分辨率条件下洗选矸石的SEM图片，如图1-2所示，其SEM图片细观结构描述见表1-4。

1.1.4 含水量测试

a.试验设备

本试验采用JA2003电子精密天平（Electronic Precision Balance）、YZH1-30远红外自控焊条烘箱进行测试。

JA2003电子精密天平量程为200g，可读性为0.001g，重复性≤±0.001g，线性≤±0.002g，秤盘尺寸为Ф=110mm，如图1-3所示。YZH1-30烘箱能够自动测量、显示和控制温度，具有结构简单、性能稳定等优点。烘箱内胆及搁板采用耐腐蚀不锈钢材料和优质钢板二种，最高工作温度可达到500℃。

b.试验结果

从现场取洗选矸石测试试样，为防止水分的挥发，采用双层隔离层保存封装，保持了其自然状态下的含水量，并对试样进行了一系列含水量测试。洗选矸石测试6组，分别为x1、x2、x3、x4、x5、x6，其试验结果见表1-5。

由上述测试可知，自然状态下洗选矸石的含水量为2.28%。

1.2 粉煤灰的物理化学特性

1.2.1 化学成分测试

同样采用D/Max-3B型X射线衍射仪作为测试仪器，对粉煤灰试样进行定量分析。

1.2.2 化学成分测试

洗选矸石与粉煤灰的矿物组成直接影响充填材料的工程性质。粉煤灰化学成分与化学元素分别见表1-6、表1-7。

由表1-6、表1-7知，粉煤灰试样的物质组成中，SiO2的含量较高，是煤矸石充填开采时骨架的主要成分，使充填后的煤矸石强度较高。

1.2.3 致密度电镜扫描分析

通过电镜扫描SEM（Scanning Electron Microscope）对粉煤灰的致密度进行了分析，得到不同分辨率条件下粉煤灰的SEM图片，如图1-6所示。图示细观结构描述见表1-8。

选取与测试洗选矸石含水量的相同仪器，对六组粉煤灰试样的含水量进行测试，其试验结果见表1-9。

由上述测试可知，自然状态下粉煤灰的含水量为21.17%。

1.3 充填材料性能分析

分析充填材料的化学成分发现，洗选矸石和粉煤灰均以二氧化硅和氧化铝为主要成分，可以作为充填开采骨料的主要成分，但是粉煤灰的氧化钙含量相对降低，活性较差，可以相应增加洗选矸石的量来提高整体骨料中氧化钙的含量，提高骨料的活性性能。通过致密度电镜扫描分析发现，洗选矸石的结构较致密，粗大孔洞及裂隙基本未见；粉煤灰以多孔玻璃体为主，孔洞连通情况较好，中量碎屑颗粒，可以看出粉煤灰的压实变形量将会较大，碎屑颗粒会对充填产生一定的影响。在自然状态下，粉煤灰的含水量较大，这对于充填开采将会产生不利影响，在实际的操作中，可以根据粉煤灰这一物理特性，控制充填膏体制备中水的加入量，改善充填体的性能。

2 矸石与粉煤灰的力学特性试验

2.1 试验目的及试验内容

通过对洗选矸石与粉煤灰不同配比条件下压实特性的测试，分析各种配比条件下各组试样的压实力与变形量的关系，并得出最有利于现场充填的配比条件。

2.2 试验设备及试验条件

本试验采用美国MTS公司的MTS815.02电液伺服岩石力学试验系统进行测试，如图2-1所示。充填矸石与粉煤灰的盛样装置为自行设计的压缩钢筒，该装置的内径128 mm，钢筒深度180 mm，压缩活塞高度为110 mm，试验中试样高度为120 mm。

2.3 压实试验方案设计射线

在试验前将取洗选矸石和粉煤灰作为测试样品，按照二者不同的配比比例，将试样共同分为12组，其中1∶0和0∶1分别代表纯矸石和纯粉煤灰，压实试验配比方案见表2-1。

在矸石与粉煤灰直接充填综采项目现场工业性试验中，充填材料中的矸石直接来自洗选矸石仓，而实验室试验矸石样品来自于选煤厂排放于矸石山的矸石；充填材料中的粉煤灰直接来自电厂的粉煤灰，而实验室试验粉煤灰样品来自于电厂堆积于地面喷水后（喷水为了防止扬尘）的粉煤灰。因此，实际充填时料的含水量与试验的含水量是不同的，在实际配比时将会结合换算关系，进行配比换算。

矸石粉煤灰配比混合充填材料设计试验的压应力范围为0～30 MPa，加载速率为0.1 MPa·s-1。每组测试的时间为300 s，数据每1.0 s采集一次。每组不同配比的试验做三次，以防止试验过程中出现无效数据等情况，确保试验数据的真实有效性。

2.4 矸石与粉煤灰压实特性

压实度k的定义为充填材料在压实过程中受外力作用而被压实的程度。它用压实后的体积Vys与原松散状态下的总体积Vs之比来表示。

由图2-3可知，充填材料的压实度k随着压实力σ的增大而减小，特别在初始阶段，由于材料的松散程度较大，因此产生的压缩量较大，表现为压实度k变化较快。在试验曲线中取的当压力为7 MPa时，不同配比的压实度。由以上试验数据，可知不同配比情况下有不同的压实度，但是无法判断最优的配合比是否在试验配比当中，因此有必要采用神经网络和遗传算法进行寻优。

3 BP神经网络和遗传算法寻优

3.1 BP神经网络和遗传算法简介

人工神经网络（Artificial Neural Network，简称ANN）是模拟人脑学习、处理和记忆方式，在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人工神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它是一个由大量简单元件互相连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。BP神经网络又称为误差反向传播（Back Propagation）神经网络，是一种多层前馈神经网络，具有广泛的适应性和有效性，主要应用于模式识别和分类等方面。[3]

遗传算法（Genetic Algorithm，简称GA）是一种模仿自然界生物进化思想而得出的一种自适应启发式全局搜索算法，其实质是由复制—交换—变异算子组成的周而复始的循环过程。这种方法由于仿效生物的进化与遗传，根据“生存竞争”和“优胜劣汰”的原则，借助复制、交换、变异等操作，使要解决的问题一步步逼近最优解或近优解。[4]

在充填配比试验中，由于条件的限制，我们只能进行有限次的试验，而且试验配比是建立在经验的基础上，所以得到的试验结果往往不是最优的配比，但是我们可以认为在一定的配比情况下获得对应的压实度值，两者之间存在一定的非线性映射关系，通过建立神经网络结构，把配比作为输入数据，把压实度值作为输出数据训练神经网络，训练后的网络可以预测不同配比情况下的压实度值。然后把配比值作为遗传算法中种群个体，把网络预测的压实度值作为个体适应度值，通过遗传算法推导最优试验结果及其对应的配比。

3.2 模型建立

神经网络遗传算法极值寻优主要分为BP神经网络训练拟合和遗传算法极值寻优两步。神经网络训练拟合根据试验条件和试验结果的特点构建合适的BP神经网络，用部分试验结果的输入输出训练BP神经网络，训练后的BP神经网络就可以预测函数输出。遗传算法极值寻优把训练后的BP神经网络预测结果作为个体适应度值，通过选择、交叉和变异操作寻找压实度的全局最优值及对应输入配比值。

3.3 BP神经网络训练和遗传算法计算

利用MATLAB神经网络工具箱进行网络创建、训练、仿真和输出，网络有2个输入参数、1个输出参数，通过试凑隐藏层神经元个数比较输出结果与期望结果的误差，如图2-2所示，发现当隐藏层为2层，第一个隐藏层有8个神经元，第二个隐藏层有2个神经元时，网络的输出误差最低，因此确定BP神经网络结构为2-8-2-1。取试验的12组数据训练网络，并测试网络性能，网络训练好后用于预测输出。通过预测输出图可以看出预测输出与期望输出基本上吻合，但是每次验证的结果都会不同，因此BP神经网络的预测精度对于最优位置的寻找具有非常重要的意义，在进行拟合的时候要寻找最优BP网络结果，然后进行遗传算法寻优计算。

遗传算法中个体采用实数编码，由于试验配比只有两个输入参数，所以个体长度为2，迭代次数是100次，种群规模是20，个体适应度值为BP神经网络预测值，适应度值越大，个体最优，交叉概率为0.2，变异概率为0.1。经过遗传算法得到的最优个体适应度值为0.8490，最优个体为[0.9972，0.6521]，此时的配比为1：0.654，这个比值只是某次试验情况下的结果，不一定是所有试验最优结果，但是基本接近最优结果，我们可以根据得到的结果优化实际中的矸石和粉煤灰配比，达到最优的状态。[5]，[6]，[7]

4 结论

1）通过矸石与粉煤灰的物理化学特性实验，得到了邢台矿充填材料的化学成分和致密度情况以及含水率，发现二氧化硅和氧化铝的含量对于充填性能有较大影响，致密结构将有助于提高充填强度，粉煤灰的含水量较高对充填会有不利的影响。

2）利用遗传算法和人工神经网络，经过寻优计算得到了矸石和粉煤灰的近似最优配比，配比为1：0.654。

3）现场应用的结果表明，在此配比时上部岩层受采动应力影响，出现了裂隙发育、局部离层、最终到裂隙闭合的发展过程，说明充填体可控制上覆岩层的运动，工作面顶板不会出现大面积的垮落。矿用铁路沿线最大下沉值为16 mm， 沿南外环公路的观测线没有任何下沉。

4）国内同类矿山或采用充填法进行回采的矿山都可以通过计算智能方法，经过优化计算找到最优的充填材料配合比，参数的数量可以根据实验的条件进行改变，本文的方法有极大的参考价值。

参考文献

[1] Liu Q G， Zhao Q B. Coal Mining Technology with Fully Mechanized Solid Back filling Under the Building Structures in Xingtai Mine. Coal Science andTechnology， 2010， 38（3）： 1（刘建功，赵庆彪.邢台矿建筑物下综合机械化固体充填采煤技术[J].煤炭科学技术，2010，38（3）：1.）

[2] Hao B S， Zhang S G. An experimental study on waste stone-fly ash mixture for stowing after mining.China coal. 2009，35（11）：1（郝宝生，张书国.矸石与粉煤灰混合充填开采的试验研究[J].中国煤炭，2009，35（11）：1）