神经网络学习规则范文

导语：如何才能写好一篇神经网络学习规则，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

【关键词】模糊系统；神经网络；结合；现状

中图分类号：Q189文献标识码： A 文章编号：

一、前言

随着我国经济的快速发展，我国的各项事业都取得了巨大的成就。其中模糊系统与神经网络的结合就是重要的体现，模糊系统与神经网络的结合在很多方面都得到了应用，同时也引起了更多学者研究其的愿望。相信模糊系统与神经网络的结合在未来会发展的更好。

二、模糊系统与神经网络概述

1、模糊系统与神经网络的概念

（1）、模糊系统概念

模糊系统(Fuzzy System, 简称 FS)是仿效人的模糊逻辑思维方法设计的系统, 方法本身明确地说明了系统在工作过程中允许数值量的不精确性存在。

（2）、神经网络概念

神经网络( Neural Network, 简称 NN) 是由众多简单的神经元连接而成的网络。尽管每个神经元结构、功能都不复杂, 但网络的整体动态行为极为复杂, 可组成高度非线性动力学系统, 从而可表达许多复杂的物理系统。神经网络的研究从上世纪40年代初开始, 目前, 在世界范围已形成了研究神经网络前所未有的热潮。它已在控制、模式识别、图像和视频信号处理、金融证券、人工智能、军事、计算机视觉、优化计算、自适应滤波和A/D变换等方面获得了应用。

2、模糊系统与神经网络的异同

（1）映射集及映度

神经网络是用点到点的映射得到输入与输出的关系, 它的训练是确定量, 因而它的映射关系也是一一对应的; 模糊系统的输入、输出都是经过模糊化的量, 不是用明确的数来表示的, 其输入输出已模糊为一个隶属度的值,因此它是区域与区域间的映射, 可像神经网络一样映射一个非线性函数。

（2）知识存储方式

神经网络的基本单元是神经元, 对映射所用的多层网络间是用权连接的, 因此学习的知识是分布在存储的权中间的, 而模糊系统则以规则的方式来存储知识, 因此在隶属函数形式上, 区域的划分大小和规则的制定上人为因素较多。

（3）联结方式

神经网络的联结, 以前馈式网络为例, 一旦输出的隐层确定了, 则联结结构就定了, 通过学习后, 几乎每一个神经元与前一层神经元都有联系, 因此, 在控制迭代中, 每迭代一次,各权都要学习。而在模糊系统中, 每次输入可能只与几条规则有关, 因此联结不固定, 每次输入输出联系的规则都在变动, 而每次联结的规则少, 运算简单方便。

（4）计算量的比较

人工神经网络的计算方法需要乘法、累加和指数运算, 而模糊系统的计算只需两个量的比较和累加, 又由于每次迭代的规则不多, 因此在实时处理时, 模糊系统的速度比神经网络快。但是当模糊输入与输出变量很多的时候,模糊规则仅靠一张表已不能描述多变量间的关系, 且规则的控制存在一定困难, 此时人为的先验指数变得较少, 那么隶属函数、规则本身都要通过学习得到, 因此它的计算量也会增加。

三、模糊和神经网络的结合形式

目前,模糊和神经网络技术从简单结合到完全融合主要体现在四个方面(见图1)。由于模糊系统和神经网络的结合方式目前还处于不断发展的进程中,所以,还没有更科学的分类方法,下述结合方式是从不同应用中综合分析的结果。

1、模糊系统和神经网络系统的简单结合(见图1(a))

模糊系统和神经网络系统各自以其独立的方式存在,并起着一定的作用。¹松散型结合 在一系统中,对于可用“if-then”规则来表示的部分,用模糊系统描述;而对很难用“if-then”规则表示的部分,则用神经网络,两者之间没有直接联系。

（1）并联型结合 模糊系统和神经网络在系统中按并联方式连接,即享用共同的输入。按照两系统所起作用的轻重程度,还可分为等同型和补助型。

（2）串联型结合 模糊系统和神经网络在系统中按串联方式连接,即一方的输出成为另一方的输入。

图表 1模糊系统与神经网络结合形式分类

2、用模糊逻辑增强的神经网络。这种结合的主要目的是用模糊神经系统作为辅助工具,增强神经网络的学习能力,克服传统神经网络容易陷入局部极小值的弱点。

3、用神经网络增强的模糊逻辑

这种类型的模糊神经网络是用神经网络作为辅助工具,更好地设计模糊系统。

（1）网络学习型的结合 模糊系统设计的关键是知识的获取,传统方法难于有效地获取规则和调整隶属度函数,而神经网络的学习能力能够克服这些问题,故用神经网络增强的模糊系统。

（2）基于知识扩展型的结合 神经网络和模糊系统的结合是为了扩展知识库和不费时地对知识库进行修正,增强系统的自学习能力,这种自学习能力是靠神经网络和模糊系统之间进行双向。

4、模糊系统与神经网络的等价

（1）函数通近

模糊系统与神经网络除了都是无模型系统外,它们都是函数的全局逼近器.模糊系统以其插值机理来逼近任意的连续函数。不但传统的模糊系统模型是任意连续函数的全局逼近器,而且神经网络与模糊系统的不同结合能逼近不同的函数,如模糊神经网络可以逼近模糊函数，神经网络也是任意连续函数的全局逼近器。设任意连续函数h(x),对于紧空间X和任意小的正数,总能找到一个三层的前向神经网络N(x)满足:

在前向神经网络家族中,RBF神经网络是最优的函数逼近器,即对于任意的神经网络N(x)总存在一个RBF神经网络N‘(x),满足:

（2）神经网络与模糊系统的等价性

模糊系统和神经网络的等价性主要有两个方面:模型的等价性和Madani模型的等价性。对于TS模型.首先Jang〔,5〕给出了标准的Gauss,anRBF神经网络等价于限制的Ts一型模糊系统。Hunt指出推广的GaussianRBF神经网络等价于TS一型模糊系统。Benitez证明了若一个三层的神经网络,隐含单元的激发函数为对数函数(loglst1C),输出层的激发函数为单元函数.设N(x),则存在一个模糊系统的输出也为N(x)。

四、模糊系统与神经网络结合的现状

目前, FS和NN的结合主要有模糊神经网络和神经模糊系统。神经模糊系统是以NN为主, 结合模糊集理论。它将NN作为实现FS 模型的工具, 即在NN的框架下实现FS或其一部分功能。神经模糊系统虽具有一些自己所具有而NN不具备的特性, 但它没有跳出NN 的框架。神经模糊系统从结构上来看, 一般是四层或五层的前向神经网络。模糊神经网络是神经网络的模糊化。即以模糊集、模糊逻辑为主, 结合 NN 方法, 利用NN的自组织性, 达到柔性信息处理的目的。目前,FS理论和NN结合主要应用于商业及经济估算、自动检测和监视、机器人及自动控制、计算机视觉、专家系统、语音处理、优化问题、医疗应用等方面, 并可推广到工程、科技、信息技术和经济等领域。

五、模糊神经网络的发展方向及存在问题

然模糊神经网络得到了突飞猛进的发展,但目前还存在很多问题:（1）多变量、复杂控制系统中,很难确定网络的结构和规则点的组合“爆炸”问题；（2）传统的Bp学习方法昜陷入局部极小值,并切学习速度较慢。

发展方向主要集中于:（1）模糊逻辑和神经网络的对应关系,将模糊控制器的调整转化为等价的神经元网络学习,利用等价的模糊逻辑来初始化神经元网络；（2）寻找一般模糊集的模糊神经网络的学习算法

七、结束语

近年来随着信息技术的发展，模糊理论和人工神经网络近年来取得了引人注目的进展, 模糊理论和人工神经网络的各个方面都取得了越来越多的成果。 通过不断的努力，我们一定可以进一步的推进模糊理论和神经网络将会在发展新理论, 完善各自体系。相信在未来的研究中，模糊和神经网络的结合

将会为研究更高智能系统开创一条成功之路，造福人类。

参考文献

[1]刘增良.模糊技术与应用选篇[J].京航空航天大学出版社,1997.

[2]庄镇泉,章劲松.神经网络与智能信息处理[J].中国科学技术大学,2000.

篇2

关键词：自主导航；人工智能；模糊神经网络；避障；BP神经网络

中图分类号：TP79文献标识码：A文章编号：1005-3824（2014）03-0083-03

0引言

2013年12月14日21时11分，嫦娥三号探测器在月球表面预选着陆区域成功着陆，装着红外成像光谱仪、避障相机、机械臂和激光点阵器等设备的月球车“玉兔”驱动着6个轮子在月球表面留下了历史的痕迹。这标志着我国已成为世界上第3个实现地外天体软着陆的国家，也展现出了智能控制系统[1]在航天事业上的卓越应用。在如今的社会生活中，随处体现着智能技术的存在，人们已经离不开智能技术，智能机器人的发展也飞速前进，从儿童的玩具机器人到太空探索的机器人，可以预见智能机器人的应用将更加广泛。近年来，非线性动态系统的自适应控制在我国引起了广泛的研究，模糊神经网络控制是一个重要的自适应方法，因此得到了很多专家学者的青睐。

模糊逻辑控制在宏观上模仿人的思维，处理语言和思维中的模糊性概念，它是以模糊集合论、模糊语言变量和模糊逻辑推理为基础的一种计算机数字控制技术；神经网络是从微观上模仿人的智能行为，进行分布式并行信息处理算法的数学模型，它是根据人脑的生理结构和信息处理过程创造的[2]。模糊控制与神经网络各自都有一定的应用局限，因此，人们早在20世纪80―90年代就把它们相结合，组成更为完善的控制方法。模糊控制与神经网络的结合有多种方式，根据研究角度和应用领域的变化而不同。1模糊控制与神经网络的介绍

1.1模糊逻辑控制系统

模糊逻辑控制系统主要包含输入变量、模糊控制器、被控对象和偏差。模糊逻辑控制系统结构如图1所示。

知识库：是模糊控制器的核心。由数据库和规则库组成，数据库中存着有关模糊化、模糊推理、解模糊的一切知识，规则库是由若干模糊规则组成的。

模糊推理机：根据模糊逻辑法则把逻辑规则库中的模糊“if-then”转换成某种映射。

反模糊化：反模糊化的方法一般有最大隶属度平均法、最大中点法、面积等分法、重心法和加权平均法等。

模糊控制的优点：可以在预先不知道被控对象的精确数学模型；规则一般是由有经验的操作人员或者专家的经验总结出来并且以条件语句表示的，便于学习和理解；控制是由人的语言形式表示，有利于人机对话和系统知识的处理等。不足之处：精度不够高；自适应能力有限；模糊规则库非常庞大，难以进行更改优化[3]。

1.2人工神经网络

人工神经网络（ANN）是一种模拟人脑神经系统的结构和功能的运算模型，由大量的节点，即神经元及相互之间连接构成的，它是人工方式构造的一种网络系统。神经元结构模型如图3所示。

传递函数f又称转移函数或激活函数，是单调上升的有界函数，常用的转移函数有线性函数、斜坡函数、阶跃函数及单双极S型函数等。但是最常用的还是单极S型函数：

神经网络的结构形式也有几种，例如，全互连型结构、层次型结构和网孔型结构等[4]。前馈型网络是一类单方向层次型网络模块，其最基本的单层神经元网络如图4所示。

图4单层神经元网络3层BP神经网络是比较常用的结构，图5是它的基本结构。

图5BP神经网络的基本结构BP神经网络至少有3层，图5中，第Ⅰ层是输入层，第Ⅱ层为隐藏层，第Ⅲ层为输出层。由于3层的BP神经网络就具有了模糊系统中万能逼近的能力[5]，为了不使系统变得更复杂，本文就只用了3层的BP神经网络，当然，也可以根据自身的实际应用情况增加隐层的层数，但并不是层数越多，精度就越高，相对的系统的反应时间就会增加，时延也会增长。

神经网络的优点：能够通过学习和训练获取用数据表达的知识，不仅可以记忆一直获得的信息，还具有较强的概括及联想记忆能力，它的应用已经延伸到各个领域，在各方面取得很好的进展等。不足之处：缺乏统一的方法处理非线性系统；网络的权值是随机选取的；学习的时间长；无法利用系统信息和专家经验等语言信息；难以理解建立的模型等[6]。

所以，综合以上模糊逻辑系统与神经网络各自的优缺点，就提出了一种它们的结合方法，即模糊神经网络控制方法。

2模糊神经网络的结合方式

模糊神经网络大致分为3种形式：逻辑模糊神经网络、算术模糊神经网络和混合模糊神经网络。

在这3种形式的系统中，模糊神经混合系统是根据模糊控制系统和神经网络各自不同的功能、用途集成在一个系统里面的[7]。在这类系统中，我们可以将神经网络用于输入信号处理，模糊逻辑系统用于行为决策[8]（如图6），或者把模糊逻辑系统作为输入信号处理，神经网络系统作为输出行为决策，再或者是将神经网络去代替模糊控制器的一部分，还可以将基于神经元网络的模糊系统或者神经元网络用在模糊神经混合系统中。

在本文的应用中，使用的是轮式智能小车，它一共安装了3个超声波传感器、3个红外传感器和1个角度传感器，红外传感器除了应用在小车循迹外，还用来增加控制系统测量的精确性和弥补超声波测距的盲区。例如，在某一路或者几路超声波受到了外界的干扰时，红外线就可以测量出系统所需要的数量值。超声波与红外线用来测量小车到左、前、右障碍物的距离Ll，Lf，Lr；模糊神经系统中控制器的输入包括： Ll，Lf，Lr，小车与障碍物的夹角tg；输出为小车的转角sa和小车的加速度va。将Ll，Lf，Lr的模糊变量设为{near ，far}，论域为（0―2 m）；tg的模糊变量为{LB，LM，ZO，RM，RB}表示{左大，左小，零，右小，右大}，论域为（-1800，1800）；距离和夹角的隶属度函数如图7和图8所示。输出变量的隶属度函数在这里就不再赘述了。

在系统解模糊化时，是将一个模糊量转换成确定量，常用的解模糊化的方法有最大隶属度函数法、重心法、加权平均法。在本文中用的是重心法。

智能小车避障的控制系统如图9所示。

篇3

关键词：人工神经网络；Hopfield神经网络；联想记忆

DOIDOI：10.11907/rjdk.161853

中图分类号：TP391

文献标识码：A文章编号文章编号：16727800（2016）009014603

基金项目基金项目：

作者简介作者简介：余洋（1994-），男，湖北随州人，四川理工学院自动化电子信息学院硕士研究生，研究方向为智能控制；傅成华（1958-），男，四川富顺人，四川理工学院自动化与电子信息学院教授、硕士生导师，研究方向为先进控制与系统优化、神经网络与非线性信息处理。

0引言

Hopfield于1982年提出了一种新型的神经网络――Hopfield网络模型。它采用了与层次型人工神经网络完全不一样的结构特征和学习方法来模拟生物神经网络的记忆机理，首次使用“能量函数”的概念，并且说明了此神经网络与动力学之间的关系，使得判断神经网络在工作过程中的稳定性有了非常简便和可靠的依据。该神经网络非常利于人们理解学习，也可以比较方便地在集成电路中实现。Hopfield神经网络根据网络输入输出的不同分为两种形式：离散型Hopfield神经网络和连续型Hopfield神经网络，两种形式的神经网络应用领域也各不相同。本文使用离散型Hopfield神经网络实现联想存储器设计。

1离散型Hopfield神经网络

离散型Hopfield神经网络是由n个神经元相互连接而成的二值神经网络[12]，并且各神经元之间的连接是双向的，连接强度用权值表示。网络的全互联结构如图1所示。神经元的输出为离散值0（或-1）和1，分别代表神经元的抑制和激活状态。由于神经网络的时间离散特性，因而其被称为离散型Hopfield神经网络[3]。

这种连接方式使得离散型Hopfield神经网络中每个神经元的输出均通过神经元之间的连接权值反馈到同一层次的其它神经元，并作为该神经元的输入，从而使各神经元之间相互制约，保证离散型Hopfield神经网络在没有外部输入的情况下也能进入稳定状态。

两个互联神经元之间的连接权值相同（wij=wji），每个神经元到其自身的连接权值为0，即wii =0。

1.1处理单元模型

离散型Hopfield神经网络的单个神经元结构如图2所示，单个神经元采用M-P模型进行信息处理，假设神经网络有n个神经元，以xj表示神经元j的输出（也称为神经元的状态），wij表示神经元i与神经元j之间的连接权值，θj表示神经元j的阈值。

神经元j的净输入sj=∑ni=1xiwij-θj（1）

神经元j的输出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2网络状态及运行规则

离散型Hopfield神经网络的状态由网络所有（n个）神经元的状态集合构成，在任意一个给定的时刻t，离散型Hopfield神经网络的状态表示为：

X（t）=（x1 ，x2 ，…，xn ）（3）

离散型Hopfield神经网络是全互联反馈式的连接结构，每个神经元都会接收到全部神经元的反馈信息，故当网络中的各神经元状态改变时，整个网络状态也随之变化。当网络中各神经元的输出状态都不再改变时就表示网络达到稳定状态（即xj （t+1）=xj （t）=f（sj （t）））。神经网络要达到稳定状态需要经过反复更新，学习训练。

离散型Hopfield神经网络的工作过程就是网络状态的动态演化过程，即从网络初始状态沿能量递减的方向不断演化的过程，直到达到网络的稳定状态，这时网络的稳定状态就是网络的输出。离散型Hopfield神经网络工作时有以下运行步骤：①对网络进行初始化；②从网络中随机选取一个神经元i；③按照式（1）计算神经元i在t时刻的净输入si （t）；④按照式（2）计算神经元i在t+1时刻的输入xi（t+1），此时网络中除i以外的其它神经元j的输出保持不变，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判断网络是否达到了稳定状态，如果未达到稳定状态就转到②继续进行，如果网络达到稳定状态则网络的工作过程终止。

1.3离散型Hopfield神经网络的能量函数

Hopfield神经网络的一大特点就是引入了“能量函数”，它表明了神经网络与动力学之间的关系。上文也提到，网络运行时在网络状态不断变化过程中，网络的能量值不断递减，直到达到稳定状态。这说明网络的能量值与网络的稳定状态有着十分密切的关系。能量函数定义为：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神经网络实际上是一个非线性动力系统，网络按动力学方式运行，网络状态的变化过程实际上是使能量极小化的过程：每次神经元状态改变时，整个网络的能量应单调递减，即能量与以前相同或下降。证明如下：

设任一神经元j由式（4）得神经元j的能量为：

Ej=-12∑ni=1wijxixj+θjxj（5）

该式可变换为：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t时刻到t+1时刻神经元j的能量变化为：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1时刻只有神经元j调整状态，并且各神经元不存在自反馈，式（7）可简化为：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1时刻共有以下3种可能情况来分析ΔEj的大小从而论证网络能量值的改变方向：①如果神经元j的状态不发生变化，即xj （t+1）=xj （t），则Δxj=0，由式（8）可知ΔEj=0；②如果神经元j的状态发生变化，是从-1变为1，则Δxj=2，此时由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj

综上可知，从t时刻到t+1时刻，无论神经元j的状态如何变化，其能量的改变量均为ΔEj≤0。由于神经元j是网络中任意一个神经元，而网络中的神经元又都是按照同一规则来更新状态的，因而整个网络的能量一直向减少的方向进行。网络变化的过程就是网络能量的极小化过程，因为能量函数是有界的，故网络一定会趋于稳定状态，该稳定状态就是网络的输出。离散型Hopfield神经网络能量函数的变化曲线如图3所示，能量函数的变化过程可以看作是下坡的过程，当网络的状态随时间改变时，整个网络的能量沿着下降最快的方向改变，最终停在整个网络能量的极小点[4]。这些极小点有全局极小点c，也有局部极小点a、b，最终落入哪种极小点取决于网络的初始状态。网络能量函数变化曲线如图3所示。

1.4关于离散型Hopfield神经网络联想记忆的连接权值设计

离散型Hopfield神经网络可以应用于联想记忆[5]，其联想记忆的基本原理是利用能量函数的极值点，网络将记忆的样本信息存储在不同的能量极值点上，当网络输入某一种模式时，网络工作到稳定状态后能够“联想记忆”出与其相关的其它存储样本，从而实现联想记忆。并且神经网络都有很好的容错性能，即使是对一些不全的、破损的、变形的输入信息，网络也能够很好地将其恢复成比较完整的原型信息。记忆是联想的前提，必须先将信息存储起来，才能按照某种方式或规则再取出相关信息，能量极值点存储记忆模式，而网络的连接权值和阈值决定这些极值点的分布，因此网络联想记忆的关键就是根据能量极值点和需要被记忆的模式设计一组恰当的网络连接权值和阈值。

网络在没有记忆之前是空白状态，只有设计了恰当的连接权值和阈值才会使网络具有知识，连接权值的设计调整过程就是网络的学习过程。离散型Hopfield神经网络一般用Hebb规则的外积和法来设计权值。方法具体如下：

假设网络共有n个节点，W是网络的连接权矩阵，如果网络一共处理m个两两正交的模式样本，则网络的学习记忆集合为xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一个学习模式，学习记忆集合为X1，对于输入模式X1，如果网络达到稳定状态，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函数的特点可知，若满足x1j（∑ni=1wijx1i）>0，即若连接权值wij正比于x1jx1i，则式（9）成立。综合可得，网络的连接权值与输入模式向量的每个分量之间满足关系：

wij=αx1jx1iα为常数而且大于零（10）

（2）如果有多个学习模式，则可将式（10）进行推广有：

wij=α∑mk=1xkjxkiα为常数而且大于零（11）

由wii=0可将式（11）改写为：

W=α∑mk=1[（Xk）TXk-I]α为常数而且大于零，I为nxn的单位矩阵（12）

在设计好网络连接权矩阵后，网络就处于正常工作状态，加载输入模式向量时，网络可以进行模式的记忆及联想。

2联想记忆功能实现证明

联想记忆的过程分为两个阶段：第一阶段是记忆阶段（也称存储阶段、学习阶段），它是联想记忆的关键，其处理过程是将记忆模式作为网络的稳定状态，并通过设计或学习获得需要的网络连接权值；第二阶段是联想阶段（也称回忆阶段），此阶段是利用网络进行回忆，将给定的输入模式作为网络的初始状态，网络按照既定的运行规则不断演化，一直演化到网络的稳定状态，此时网络的稳定状态就是回忆出的记忆模式。下面举例证明离散型Hopfield神经网络是如何实现联想记忆功能。设有一个4神经元的离散型Hopfield神经网络，各神经元的阈值为0，其中存储了两个模式，模式一X1为（1，1，1，1），模式二X2为（-1，-1，-1，-1），每个存储模式由两部分组成：名称和颜色。前两神经元存储的是名称，后两个神经元存储的是对应的颜色。模式一表示“蓝色的天空”，前两个1表示天空，后两个1表示蓝色的；模式二表示“绿色的树”，前两个-1表示树，后两个-1表示绿色的，当网络上加载信息不全或错误地输入模式三X3=（1，1，-1，1）时，让网络联想记忆输出模式X1。若想让网络联想输出模式X1，必须首先设计网络的连接权值，让网络记忆模式一和模式二，然后让网络加载输入模式三运行到稳定状态。将网络要存储的模式一和模式二设计为网络的两个稳定状态，由此设计网络的连接权值。根据式（12），设α=1得网络的连接权矩阵为；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

设计好连接权值后，将模式三加载至网络，然后按照网络运行规则让网络运行：

t=0：网络的初始状态X（0）=（1，1，-1，1）；

t=1：选取节点1，节点1的状态为x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

网络状态X（1）=（1，1，-1，1）；

t=2：选取节点2，节点2的状态为x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

网络状态X（2）=（1，1，-1，1）；

t=3：选取节点3，节点3的状态为x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

网络状态X（3）=（1，1，1，1）；

t=4：选取节点4，节点4的状态x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

网络状态X（4）=（1，1，1，1）；………

按此规则循环运行下去直到网络状态不再改变，网络处于稳定状态，网络的输出就是（1，1，1，1），也即网络存储的记忆模式一X1=（1，1，1，1）。同理，当网络加载模式四X4=（-1，-1，1，-1）时，网络也可联想记忆输出模式二。从而证明了离散型Hopfield神经网络具有联想记忆功能。

3结语

神经网络的联想记忆功能虽然很强，但是也存在一些缺陷。由于联想记忆能力受到了记忆容量和样本差异的制约，当记忆的模式较多且容易混淆时，网络不能够很好地辨别出正确模式，而且达到的稳定状态也往往不是记忆住的模式。并且，所有记忆模式不是以同样的记忆强度回想出来的。

参考文献参考文献：

[1]周非.基于RBF网络和逆模型的汽油机瞬态空燃比控制[D].成都：西华大学，2006.

[2]于乐斐.两类时滞细胞神经网络的稳定性分析[D].青岛：中国海洋大学，2008.

[3]夏松.Hopfield神经网络构造的联想记忆存储器实现与研究[D].合肥：安徽大学，2010.

篇4

关键词：神经网络;模糊逻辑;模式识别;具体应用

现阶段人工智能领域正在开展关于多种智能识别方法的融合应用来改善识别效果，基于模糊逻辑与神经网络而成的模糊神经网络对于真正智能模拟的实现有着极为重要的作用。

1.模式识别概述

模式在本质上是一个内涵十分丰富的概念，其主要是指人类可以利用感官直接或间接接受的外界信息，Watanabe等人在研究中将模式定义为：凡是可以给出一个名字的便可以称为“模式”，并且其在定义过程中将某些具有共同特性的模式集合统称为“模式类”。“模式识别”在本质上是识别特定事物或模式相同点与相似点的过程，所以在研究过程中主要是利用自动技术来实现这一过程，在该类技术的支撑下计算机可以自动地将待识别模式分配到各自的模式类中，在这个过程中用到的技术统称为模式识别技术，尤其是在计算机技术的支撑下使其发展形成一种模拟人的识别方法，所以对于模式识别的概念应该定义为自动判别和分类的过程。模式识别的过程为研究对象、数据采集、数据预处理、测量空间、特征选择与提出、特征空间比对、模式分类、储存至类型空间等，对于整个模式识别过程来说数据采集、数据预处理、特征提取以及特征选择是其重点。在模式识别中，数据预处理后所获取的原始数据所在空间则被称为测量空间，将模式进行分类的空间则称为特征空间。模式识别系统在设计过程中主要由学习模块与测试模块两个核心模块组成，并且整个系统在运行过程中具备训练模式样本特征数据输入、制定分类判决规则、错误率检测、模式样本特征选择和正特提取方法调整等多项功能。

2.模式识别系统分析

模式识别系统在运行中的学习模块与测试模块中都设计了数据预处理的功能，其可以根据用户需求将感兴趣的模式从背景中进行分离处理，并且可以避免噪声信号对整个系统的运行产生影响，还可以根据用户的实际需求来建立标准化模式样本等。学习模块在运行中会将已知的样本模式进行数值化处理后输入计算机，这个过程被称为训练模式样本特征数据的输入，系统可以对输入的样本进行分析并排除无效或容易出现混淆的特征，对于一些对分类判别有效的数据特征则可以进行界定并保留，这个过程被称为模式识别系统在运行阶段的特征选择。

模式识别系统在运行过程中还需要将一些变换技术作为支撑，这是因为通过变换技术的应用可以得出比原来数目少的综合性特征作为分类用，这一过程被称为特征维数压缩或特征提取，系统会按照设想的分类判决数学模型对样本模式进行训练来得出分类的判决规则。模式识别系统在获取判决规则后便可以开始整个识别过程，其需要将未知模式特征数据进行采集、选择与提取，然后根据已有的判决规则对输入的模式进行分类，最后便可以根据用户需求来输入整个模式识别的结果。系统还可以将已识别的分类结果与已知分类输入模式进行对比，以便于对判决规则与特征选择、提取方法进行不断的优化，系统只有在该种模式下才能制定出错误率最小的判决规则与特征选择、提取策略，对于模式识别系统来说，这一过程被称为再学习的过程。

3.神经网络在模式识别中的具体应用

国内在较早阶段便开始了神经网络在模式识别中应用的相关研究，但是学者所提出的研究成果并没有得到广泛应用。在20世纪80年代末期，我国一些专家对模式识别在地震特征提取等方面的应用进行了优化与改进，并结合不同地区不同地质条件开展了一系列试验研究，先后取得了很多效果十分显著的成果，并且在这个基础上为整个系统增加了人机交互功能，改进后的模式识别系统开始在国内相关领域中得到了广泛应用。我国部分领域所使用的模式识别系统在最初以统计识别策略为主，在最近几年才将神经网络识别策略应用于模式识别系统中。20世纪80年代后期，世界上关于人工神经网络的研究开始进入一个热潮，这是因为在该阶段由Rumelhart等人在研究中提出了反向传播学习算法，对于神经网络来说其可以有效解决前馈反向神经网络学习训练的问题，所以对于整个神经网络研究领域来说开辟了一条新的途径。前馈反向神经网络学习问题的有效解决使神经网络的各项优势充分彰显出来，而前馈反向神经网络模式识别则成为模式识别中的一个核心发展方向，并且开始被广泛应用于生物、医学、地质以及化工等产品检测领域中，本文认为关于神经网络在模式识别中的应用将会给社会带来巨大变革，同时也意味着基于神经网络的模式识别技术将成为网络数字化时代的一项核心技术。

4.结语

现阶段前馈反向神经网络模式识别已经开始在社会各领域进行实践应用，虽然在该技术体系中还存在一些不足与缺陷，但是在现代科技的支持下其势必会迎来一个新的发展时期，对于我国社会各生产领域来说有着极为重要的推动作用。

参考文献：

[1]汪烈军.一种改进的结构自适应自组织神经网络算法[J].微电子学与计算机，2007（01）.

[2]赵菊敏，程海青，张立毅.基于动量项前馈神经网络盲均衡算法[J].太原理工大学学报，2007（03）.

篇5

关键词：模糊神经网络；伺服驱动系统；故障诊断

0 引言

现代伺服驱动系统采用最新的电力电子技术及数控技术，呈现出高度自动化、信息化、系统化和智能化的发展趋势。由于运行中的各种客观条件或人为因素，伺服驱动系统出现故障的可能性是不可避免的。在众多故障诊断方法中，人工智能技术在现代伺服驱动系统的故障诊断中发挥巨大作用。其中，模糊神经网络具有很强的非线性处理能力，本文提出利用模糊神经网络技术来建立针对伺服驱动系统的故障诊断模型。

1 模糊神经网络的原理及结构

1.1 模糊神经网络的原理

模糊神经网络是模糊逻辑和人工智能神经网络有机结合的产物，它是一种集模糊逻辑推理的强大结构性、知识表达能力和神经网络的强大自学习能力于一体的新技术，由精确输入、模糊化、模糊规则库、推理机制、清晰化、精确输出组成。模糊化将输入空间向量中精确的点映射成模糊集合。模糊规则库是由if-then规则集合所组成。推理机制即使用编制完成的模糊if-then规则将模糊输入集合映射到模糊输出集合。清晰化是把模糊输出集合映射成精确输出集合。

1.2 模糊神经网络的结构

本文所采用模糊神经网络是一个五层网络，分别为输入层、模糊化层、BP隐含层、模糊输出层和清晰化层。输入层节点数为故障征兆数；模糊输入层通过隶属度函数实现故障征兆转为以此隶属度表示的模糊向量；BP隐含层实现BP输入层到输出层的映射；模糊输出层输出模糊化数值，任一节点代表一种故障原因，其值代表故障原因存在可能性的程度；清晰化层根据隶属度最终确定故障原因。

2 BP神经网络隐含层节点数的确立

BP神经网络的隐含层节点数对BP神经网络预测精度有较大的影响：节点数太少，网络不能很好地学习，需要增加训练次数，训练的精度也受影响；节点数太多，训练时间增加，网络容易过拟合。经验公式如下：

l

l

l=√（mqn） （3）

l=log2n （4）

式中：l代表隐含层神经元个数；n代表输入层节点数；m代表输出层点数； a为0-10之间的常数。

3 模糊隶属度函数

伺服驱动系统是一个非常复杂的综合性系统，包含以下几个子系统：总线通信；交流进线端；DC Bus；逆变输出；内部温度检测；伺服电机编码反馈；带抱闸伺服电机松闸检测等。本文以奥地利贝加莱B&R公司的ACOPOS驱动器为案例，以上文列举几大子系统的常见故障，并结合外部接线常见错误和个别典型性故障作为研究对象，来建立对伺服驱动系统的模糊神经网络故障诊断模型。现代伺服驱动系统在发生故障时，往往能够过人机操作界面或系统自带的显示面板输出故障代码，贝加莱公司的ACOPOS驱动系统同样可以做到这点，故障代码就是最好的故障征兆。伺服驱动系统的一种故障征兆可能是由多种故障原因造成的，而同一种故障原因可能引起多种故障征兆的出现，故障征兆和故障原因之间往往是n对m的一种复杂映射关系。想要根据故障征兆来判断出哪些原因可能引起故障，并确立多种故障原因的可能性高低，需由预先设定模糊隶属度函数来确定故障征兆与故障原因之间的隶属度。伺服驱动系统的故障原因对故障征兆贡献大小，即隶属度。

4 模糊神经网络模型的建立、训练及其仿真

4.1 模糊神经网络模型的建立

4.1.1故障隶属度分布

根据传感器测量值与正常值比较和专家经验获得贝加莱伺服驱动系统的故障隶属度分布，共71条故障征兆，86条故障原因。

4.1.2故障征兆训练样本

该样本是一个由71x71组成的矩阵：

4.1.3故障原因训练样本

该样本是一个由86x71组成的矩阵：

4.2 模糊神经网络模型的训练

使用Matlab R2014a的神经网络工具箱nnstart功能对模糊神经网络模型进行训练。输入层神经元个数71个，使用经验公式（3）确定隐含层神经元个数80个，输出层神经元个数86个。选用nnstart工具箱中的Fitting app方式训练。经过多次训练得到最佳训练效果，误差曲线如图。

4.3 模糊神经网络模型的仿真

基于模糊神经网络的伺服驱动系统故障诊断模型训练完毕后，应采用适当的检验样本对其进行仿真。选取贝加莱伺服驱动系统常见的3组故障征兆作为FNN的检验样本。故障征兆X001 32189：CAN总线或powerlink网络循环数据超时；X037 6019：驱动器输出过流；X061 41031：驱动器输出IGBT结节温度模型过高警报。表2、表3和表4为基于模糊神经网络的伺服驱动系统故障诊断模型的仿真结果。三张表分别对应故障征兆X001、X037和X061的期望输出、模糊神经网络模型的实际输出和归一化输出的比较。从三张表可以看出，模糊神经网络模型的实际输出在归一化处理后与期望输出基本相符，说明模糊神经网络模型能够正确对贝加莱伺服驱动系统进行故障诊断，在故障诊断中具有很好的决策能力。

篇6

关键词：图像复原 BP神经网络 Hopfield神经网络 应用

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2013）11-0040-02

1 引言

图像复原是一项富有现实意义的工作，它涉及到广泛的技术领域，是图像处理领域研究的焦点之一。在得到图像的过程中，由于各种各样的原因，包括与观测对象的相对运动、介质散射、成像系统缺陷和环境噪声等原因，使得最终的图像都会有一定程度的退化。图像复原就是从退化的图像中恢复图像的本来面目。传统的图像复原处理问题的关键在于建立退化模型，估计退化过程中的参数，由此通过相应的逆过程得到原始图像。获得准确的图像退化模型是比较困难的事情。大多数图像复原的实际问题是点扩展函数以及原始图像均未知的盲复原问题，这类问题具有更严重的病态性因而进一步增加了解决的难度。人工神经网络（Artificial Neural Network，ANN）为图像复原问题的解决提供了另外一条路径，这是基于人工神经网络具有的模拟人类神经的非线性、自组织、自学习、自适应特性。一般而言，人工神经网络适合于解决无法或很难精确建立数学模型、不完全清楚内部机理的问题，人工神经网络的很多特性适合解决图像复原问题。近些年来，对人工神经网络应用于图像复原的研究越来越多，形成了很多丰富的神经网络模型和算法。BP（Back Propagation反向传播）和Hopfield（霍普菲尔德）是典型的人工神经网络类型，也是在图像复原领域应用较多的神经网络类型。

2 BP神经网络在图像复原中的应用

2.1 BP神经网络的特性

BP神经网络是上世纪80年代美国加州大学的Rumelhart、McClelland及其团队研究并行分布信息处理时提出的采用反向传播算法的多层前馈网络。BP神经网络具有良好的泛化能力，其隐层的非线性传递函数神经元可以学习输入输出之间的线性或非线性关系。在1989年，RobertHecht-Nielson证明了对于任何一个在闭区间内连续的函数都可以由具有一个隐含层的BP网络来逼近，这样，一个三层（输入层、隐层和输出层）的BP神经网络即能完成对多维度函数的逼近。这些特性，使得选用BP神经网络简单地实现在未知点扩展函数的情况下，拟合原始图像与退化图像之间的关系，从而得到满意的图像复原结果成为可能。

2.2 BP神经网络应用于图像复原

BP神经网络用退化图像与相对应的原始图像进行训练，退化图像为网络的输入，原始图像为网络的输出。训练完成的神经网络会在退化图像与原始图像之间建立非线性的映射关系，使得利用这种非线性关系即可实现在只有退化图像的情况下对齐进行复原。

利用BP神经网络进行图像复原，一般用输入图像的N×N邻域内的N2个像素点对应输出图像的一个像素点。这样的对应方法会使整个运算量增大，但正由于参与运算的像素点增加，使得网络具有更好的泛化和鲁棒能力。由于三层BP神经网络可以任意精度逼近某一多维度函数，因而其应用于图像复原时使用三层网络结构。输入层和输入层节点数分别由输入图像像素数量和输出图像像素数量决定，隐层节点数量和训练方法在很大程度上决定了网络性能。

为了便于网络计算，通过神经网络计算前通常将输入图像进行归一化。以灰度图像为例，将图像数据[0～255]转换到[-1～1]或[0～1]。图像经过神经网络复原后还需进行反归一化转换，将计算得到的数据转换为图像数据，即将[-1～1]或[0～1]转换到[0～255]。

通常，运用BP网络进行图像复原算法流程包括：（1）图像的预处理，得到归一化的便于神经网络计算的数据；（2）使用退化图像与对应的原始图像（训练BP神经网络；（3）将待复原图像输入训练好的BP神经网络进行图像复原；（4）数据的后处理，将网络输出数据进行反归一化，得到复原图像。

3 Hopfield神经网络在图像复原中的应用

3.1 Hopfield神经网络的特性

不同于BP神经网络，Hopfield神经网络是一种单层反馈网络，信号在网络中不仅向前传递，还在神经元之间传递。图1是有三个神经元的Hopfield神经网络结构图。Hopfield神经网络由美国加州理工学院物理学家J·J·Hopfield在上世纪80年代提出，并首次在神经网络研究中引入了计算能量函数的概念，通过研究网络的稳定性与计算能量函数的相关性给出了网络的稳定性判据。J·J·Hopfield运用Hopfield神经网络成功地探讨了旅行商问题（TSP）的求解方法。HNN神经网络采用灌输式学习方式，其网络权值是事先按一定规则计算出来的，确定之后不再改变，各神经元的状态在运行过程中不断更新，网络稳定时各神经元的状态便是问题的解。Hopfield神经网络的这些自身特征使其适于应用于联想记忆和求解最优化问题。

3.2 Hopfield神经网络应用于图像复原

利用神经网络进行图像复原的方法分为两类：一种是用原始图像和模糊图像构成的样本训练神经网络，在训练好的网络中建立起原始图像与模糊图像的非线性映射关系，然后以带复原的模糊图像作为网络的输入，经过网络输出的图像数据就是经过复原的图像，BP神经网络就是运用这种方法进行图像复原的典型神经网络。另一种是经过神经网络反复的数学迭代计算复原，运用Hopfield神经网络进行图像复原属于这类方法。

其中是神经网络的状态向量，为网络的权值矩阵，为由网络中各神经元阈值构成的向量。Hopfield神经网络的运行结果即网络达到稳定状态就是达到最小值时的状态。由式（4）和（5）可以看出图像复原的目标函数与Hopfield神经网络能量函数具有相似的表达形式，因而可以建立两者之间的联系，从而将图像复原问题转变为神经网络的运算问题，这也就是Hopfield神经网络应用于图像复原的基本原理。

运用Hopfield神经网络解决图像复原问题首先要确定网络的权值矩阵。可以按照Hebb学习规则得出[4]。完成网络初始化后，将退化图像输入网络，从网络中选取一个神经元按照Hopfield神经网络的运算规则得出神经元的输出，将所有神经元求出输出后判断该网络是否达到稳定状态，即计算前后的网络能量函数的误差是否小于要求的范围。如果网络不稳定，需要重复迭代计算；网络达到稳定状态时，神经网络的状态向量就是要求的原始图像。经过一定的后处理就能得到具有一定精度的原始图像。

4 结语

人工神经网络在图像复原问题中的应用已经扩展到了很多方面，包括三维显微图像、高能闪光照相等领域[5-6]。神经网络在图像复原中的应用机理也不断得到深入研究。这些得益于神经网络算法不依赖求解问题本身数学模型的特点，以及自身强大的泛化能力。BP和Hopfield神经网络都能成功地运用在图像复原问题中，在选用神经网络进行图像复原研究时要注意到BP神经网络强烈地依赖退化图像与原始图像构成的样本集合对网络进行训练，这就要求得到足够的先验知识或者通过某种算法得到退化图像与原始图像相对应的样本群。Hopfield神经网络不依赖于退化图像与原始图像的先验知识，可以直接针对退化图像进行复原。这就需要根据不同的实际情况选取合适的网络类型来解决问题。

参考文献

[1]尚钢，钟珞，陈立耀.神经网络结构与参数选取[J].武汉工业大学学报，1997，19（2）.

[2]王晗.基于Hopfield神经网络的图像恢复[D].武汉：华中科技大学南京理工大学，2006年4月.

[3]席旭刚，罗志增.用Hopfield神经网络实现触觉图像恢复[J].仪器仪表学报，2008，30（10）.

[4] Bianchini M，Frasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

篇7

关键词：神经网络；数据挖掘；算法

1.数据挖掘过程及常用的神经网络模型

1.1数据挖掘过程

数据挖掘是一个由诸多步骤共同组成的具有反复特性的迭代过程，其最主要的目的是从海量的数据当中，找出人们最感兴趣的信息。大体上可将数据挖掘过程分为3个阶段，即数据准备、模式提取以及结果的解释与评估。

（1）第一个阶段为准备所需的数据，具体可将这个阶段细分为数据清洗、数据选取以及数据预处理和数据表示四个步骤。数据是数据挖掘过程中不可或缺的重要前提和基础，但大量的实践表明，只有数据是很难进行挖掘工作的，必须在对数据进行挖掘前，做一些相应的准确工作，这些工作也成为数据挖掘的重要环节。

（2）第二阶段为模式提取。该阶段是数据挖掘的核心环节，需要先明确数据挖掘的任务及目标，并在正式确定目标之后，选择合适的算法或工具，开始对数据进行挖掘操作。在这个环节当中，算法是关键，即可选择单一的算法，也可多种方法联合使用，具体的选择应视挖掘的任务而定。

（3）第三阶段为解释与评价。挖掘过程中发现的模式应当以最容易理解的形式呈现给用户，其间要对发现的模式进行比较、校验，看是否与用户的要求相符，进而确定出挖掘效果。

1.2神经网络模型

现阶段，已知的人工神经网络模型有40多种，较为常用的有以下几种：

（1）BP神经网络。BP是误差反向传播的简称，这种神经网络归属于前馈网络的范畴，其具有多层映射的特征，该网络所采用的主要学习方式为最小均差，结构简单、学习训练算法成熟、工作状态稳定是BP模型的3大特点，正因如此使得该模型获得了非常广泛的应用。由于BP算法对误差函数有着一定的要求，即误差函数必须可微，故此，为了有效克服局部极小的问题，多以全局优化算法为主，如遗传算法等。

（2）RBF神经网络。RBF是径向基函数的简称，该网络与BP网络在归属的范畴上相同，也属于前馈网络。RBF网络在激活函数方面有多种可选择，最常用的是高斯函数，因为这种函数具有很多显著的特点，如形式简单、径向对称、容易解析等等。由于RBF网络是一个多层前馈网络，故此只要隐单元足够多，便可达到任意给定精度，其在逼近目标时，采用的化整为零的思想，即将目标分解成为若干个局部对象。

（3）混合型神经网络。这是―种将其它方法有机融合到―起构成的神经网络模型，它与传统网络模型的拓扑结构相同，但学习机制却有所不同。常用的混合型神经网络有模糊和进化2种。

2.基于神经网络的数据挖掘方法

2.1神经网络在数据挖掘中的应用优势

神经网络是一门实用性较强的科学技术，其集多种现代技术于一身，有诸多并行分布的处理单元连接而成。从系统的角度上讲，神经网络归属于动态系统的范畴，具有自适应和非线性的特征，对噪声数据有着非常强的容错和承受能力。由于神经网络所具有的这些特点，使得基于神经网络构建的数据挖掘模型具备了与之相同的特点，这样便可以适应数据环境的不同变化，由此进一步提升了数据挖掘模型的准确性。可见，神经网络十分适用于数据挖掘领域。

2.2基于神经网络的数据挖掘过程

由上文分析可知，在数据挖掘领域中，神经网络具有较高的适用性，以此为基础的数据挖掘过程分为以下几个阶段。

2.2.1数据的选择及预处理阶段

数据选择的主要目的是为神经网络的构建提供相应的数据支撑，这个过程可以细分为以下2个环节：（1）对数据进行训练，（2）对数据进行测试。观察和理解是选择数据时必须做的工作，当样本数据集确定之后，便可按照挖掘目标，并结合挖掘方法，对数据进行编码处理。

2.2.2网络训练与剪枝

当数据选择和处理工作完成之后，数据挖掘人员需要选用一个神经网络模型，同时确定相应的网络训练算法，通过该算法对神经网络进行训练。剪枝的主要作用是以神经网络的准确性为前提，去除掉没有意义和价值的冗余结点由此会使网络模式更加简练，也更容易理解。

2.2.3规则的提取与评估阶段

经过以上2个阶段后，神经网络当中便会蕴含着学习到的规则，也就是常说的知识，但是此时的规则由于存在形式的原因，不容易理解，所以需要对规则进行提取。提取规则的主要目的在于将规则的形式转化为容易理解的形式，如模糊逻辑、决策树等，然后再借助测试样本对规则的可靠性进行测试、评估。

2.3基于RBF神经网络的数据挖掘模型设计

下面本文以RBF神经网络为依托，对数据挖掘模型进行设计，其整体框架结构如图1所示。

整个系统由以下模块构成：数据获取、数据处理、数据分类与评估、控制与干预、GUI人机交互、知识库。系统模块的设计情况如下。

2.3.1数据准备

①数据选择。在数据选择中，让用户利用数据访问接口对数据集进行自行选择，进一步确定数据集类型、数据集名称及数据集处所位置。数据访问接口为对象模型，该模型覆盖了数据访问的各个层面，具体可使用的接口包括ADO，DAO和ODBC三种，本系统采用的数据库访问方案为DAO/ODBC，选择该方案的主要原因是DAO既能够与Microsoft Jet数据库引擎并用，还可借助ODBC Direct选项不与其并用。同时，通过DA0对Jet进行访问更加简单、便捷，并且使用DATE控件和DAO，能够创建出与数据库本身无任何关联性的虚拟代码。②数据清理。该环节的主要目的是将不希望包括在内的观测值筛选掉，操作过程既可借助SQn吾句实现，也可借助相关程序予以实现。③数据合成。该环节是将独立的数据合成数据集，操作过程较为简单，只要规则确定便可利用sQL语句或相关程序来实现。

2.3.2数据挖掘

（1）挖掘方法的选择与管理。该环节在系统中具有重要的作用，与系统的可扩充性和最佳挖掘方法的选择有关。挖掘方法管理可对系统中使用的全部方法所产生的接口信息进行保存，如对文本文件分词方法、Web日志的Session戈0分方法等挖掘方法中产生的特定数据信息予以保存，粗糙集、决策树属于通用的挖掘方法。在对该模块进行设计的过程中，针对分类预测问题，使用了聚类和神经网络以及统计学等方法。选择方法的主要目的是几乎所有的方法都是数据依赖，并没苻一种方法能够在所有的数据上表现良好。因此在方法选择的初始阶段，通过专家的人为干预是有必要的。经过对前人的研究成果进行总结后发现，将多种不同的方法联合运用可大幅度提升运用效果。对于本文构建的数据挖掘系统而言，其核心部分为数据挖掘模块，该模块的设计分为3个方面：①训练模块，以训练RBF网络为主，采用数学模型方法构建网络分类模型；②预测模块，在分类实际数据的基础上，将分类产生的数据结果快速传递到评估模块；③重构模块，该模块地能够确保数据挖掘模型具有―定的可扩展性和自适应能力，按照具体需要对模型进行重新构建。（2）结果显示。该环节以多种形式显示数据挖掘结果，如列表、树、图等是最为常见的显示方式。本文采用了可视化的方法进行数据挖掘结果显示，这样能够使用户对挖掘结果的了解更加直观、具体。（3）结果评估。在评估中，采用数据挖掘评价方式，通过比较分析不同模型下产生的数据挖掘效果，从而得出各类型分析工具的最终结果，再配以相应的标准图标进行直观显示，方便用户利用相关数据信息开展定量评价。在结果评估中，强调获取规则的价值评定，其评价关键点为查看数据挖掘结果与用户期望的符合程度，并对挖掘结果的可靠性和价值性进行评价，将其作为知识库是否纳入规则的重要评判依据。在GUI交互界面上，数据挖掘系统与用户可以进行交互操作。

2.4安全性保障措施

基于RBF神经网络的数据挖掘系统在使用过程中，安全性非常重要，为此，本文提出几点安全性保障措施，以此来确保数据挖掘的安全。

（1）采用登录机制确保数据安全。所谓的登录机制主要是针对客户端的一种安全控制措施。由于用户与服务器端需要通过网络的方式进行数据传输，为了进一步提高数据传输的安全性，可对数据进行加密处理，并将用户挖掘到的数据结果存储在服务器上，由此在不同的计算机上使用客户端均可对之前挖掘到的数据结果进行利用。

（2）设置权限。可以通过用户管理来完成用户的注册、登录以及使用权限管理。当用户需要使用数据挖掘系统进行数据挖掘时，要先进行账号注册，并在使用前通过注册的账号和密码进行登录，从而保证每个用户的数据安全。此外，用户管理能够实现分级管理，赋予不同用户不同的权限，这使安全性获得了进一步提升。

篇8

关键词：MIS智能入侵检测；特征规则；模糊聚类

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵检测（Intrusion Detection，ID）是指通过对行为、安全日志或审计数据或其它可以获得的信息进行操作，检测到对系统的闯入或闯入的企图[1]。它通过对计算机系统或网络计算机系统中的若干 关键点收集信息并对其进行分析，从中发现系统或网络中是否有违反安全策略的行为和被攻击的迹象。

现有的入侵检测系统多数采用概率统计、专家系统、神经网络等智能化方法来实现系统的检测机制。其中，神经网络方法可以利用大量实例通过训练 的方法构造正常行为模型，能够有效预测未知的攻击，并且它有自适应、自学习、自组织、并行性等优点，在攻击类型上，则对非授权获得超级用户权限和远程到本 地的非授权访问的检测效果显著[2]。

本文使用新的聚类方法来改善神经网络，通过得到最佳的规则数来降低算法时间复杂度，简化神经网络，使之进行有效的数据提取和学习，提高入侵检测的效率和智能性。

2 MIS智能入侵检测技术

MIS智能入侵检测主要由四个主要模块组成：

1) 数据采集：主要由SQLServer跟踪日志给出，相当于事件产生器；2) 检测单元：主要由神经网络训练出一个相对稳定的正常模型，用于检测异常调用，相当于事件分析器[3]；3) 特征数据库：主要利用误用检测的特点，实现快速检测各种已知的异常调用，并直接反馈倒报警单元，相当于事件数据库，其征数据库与被监控数据库分离存储；4) 报警单元：主要是杀掉异常调用的客户端进程，反馈给系统管理员并记录到自定义日志文件，相当于响应单元。

主要流程是：首先通过采集的样本数据经过训练后形成检测单元，建立相应特征数据库并完成日志文件初始化工作；然后实时监测客户端调用，将数据直接和特征数据库进行匹配，如有匹配则送入报警单元，反之则送入检测单元；检测单元将数据作为输入向量与正常模型比较，如果泛化输出值大于期望值，则列为异常，直接送入误用数据库存储，并通知报警单元，反之继续监测各调用。

3 基于聚类方法的智能入侵检测

3.1 数据采集

入侵检测的关键是用户行为特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟踪文件，针对TSQL、存储过程、安全审核、会话等事件，选取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七个数据列作为输入向量[4]。分别表示客户端对数据库表、存储过程和视图的调用；客户数据库登陆名；CPU占用时间；对数据库的读写操作；客户端进程号和系统 分配进程号。这七种数据在对数据库的调用过程中相对稳定。LoginName中则主要考虑客户端默认调用，采集到的数据都是十进制数据，不需要额外的数据预处理，符合神经网络输入的要求。

3.2 神经网络学习

本文采用采用三层神经网络[5]：输入单元为七个，分别对应上述七个处理向量；输出层为一个神经单元，输出结果 规定在（0，1）范围内，用0表示为正常行为，用1表示为异常行为；隐层结点通过试验确定为6个；权值和阈值为小的随机数；学习率为0.1；隐含层和输出层采用Sigmoid函数f(x)=(1+e-x)－1为激发函数，该函数具有非线性放大功能，可以把输入从负无穷大放大到正无穷 大的信号，变换到0到1之间的输出，可以逼近非线性输入/输出关系。我们将七种特征向量作为神经网络的输入向量，训练的结果就是确定了B网络的权值，而 这些权值就存储了行为的特征模式，将训练后的神经网络用于实际的工作，就可以判断是否有异常的调用，如发现了新的非权限异常调用，则把检测到的模式存储到特征数据库。

3.3利用新的聚类方法提取最佳规则数

此文通过求解最佳聚类数来得到最佳规则数，首先通过构造一个新的判别准则来进行模糊分类,确定样本数据的最佳分类,从而确定最佳规则数。

可以看出,聚类判别准则Vp由2部分组成,第一部分反映了同一类中的紧凑程度。第k个样本Xk越接近模糊类中心,最大隶属度max(uik)就越接近1。因此,对每一个样本Xk来说,模糊集max(uik)被认为是一个好的分类指标,这个值越大,代表同一类的紧凑程度就越好。式(1)的第二部分体现了类与类之间的分离程度[4]。这里,用2个模糊集的交集来评价类Vi和Vj的分离程度。事实上,如果Xk接近类中心Vi,min(uik,ujk)接近于零,结果类Vi和Vj很明显被分开。

另一方面,如果min(uik,ujk)接近于1/C,Xk属于所有类的隶属度相等,此时划分的类最模糊。这个新的的判别准则Vp既考虑了同一类的紧凑程度,又考虑了类与类之间的分离程度。这样相对于最大值Vp的聚类数C就是一个最佳聚类数[6]。

3.4 调整特征提取规则

经过神经网络学习，得到了大量的特征提取规则，现在就要根据上文所得的最佳规则数来调整规则，使之达到最佳。规则的化简是基于网络权值来进行的。权值的初始值的大小代表了规则成功的概率；经过网络进行训练以后，这个概率或被增加或被减少。概率为零表示该条规则不再存在理应被去除[7-8]。1) 主要思想是将网络权值为零或很接近于零的规则视为无效的规则而被去除[9]；2) 在具有同一前件的所有规则中，将取权值最大的规则保留，而将其余的规则去除；3) 为了保持规则的一致性，在矛盾的规则中取概率最大的规则是一种良好的选择[10]。

3.5 实验结果

MIS系统在正常运行一周内，从跟踪文件中随机选取了1000个样本作为训练样本，500个样本作为检测样本。利用聚类方法的神经网络学习得到的规则数目由原来的35个减少到23个。改进前构建的正常行为模型80%以上的能够检测到未知的异常操作，误用数据库70%的可以快速检测得到各种已知的异常调用。改进后构建的正常行为模型90%以上的能够检测到未知的异常操作；而误用数据库则98%的可以快速检测得到各种已知的异常调用。

由结果可以得知，本文提出的方法，有效的提取了数据和神经网络学习，提高入侵检测的效率和智能性。

4 结论

本文介绍了神经网络实现的MIS智能入侵检测技术的简单流程，采用了新的聚类方法来改善神经网络，通过得到最佳的规则数来确定特征提取规则的界限，降低了算法时间复杂度，简化了神经网络。从而优化了特征提取规则，提高了入侵检测的效率和智能性。

参考文献：

[1] 刘美兰,姚京松.神经网络在入侵检测系统中的应用[J].计算机工程与应用,1999,(6):37-42.

[2] 撖书良,蒋嶷川,张世永.基于神经网络的高效智能入侵检测系统[J].计算机工程与应用,2004,30(10):69-70.

[3] 陈瑾,罗敏,张焕国.入侵检测技术概述[J].计算机工程与应用,2004,(2):133-136.

[4] 王士同,陈慧萍,赵跃华,等.人工智能教程[M].北京:电子工业出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神经模糊系统及其应用[M].北京:北京航空航天大学出版社,2004.

篇9

关键词:农村电力;BP算法;人工神经网络;回归分析

中图分类号:TM855文献标识码:A

文章编号:1009-2374 (2010)22-0138-03

0引言

农村用电具有很大的不确定性,农村电力短期负荷预测研究对农村电力系统的安全及农业安全生产有十分重要的意义。基于短期负荷预测研究理论和方法已做了大量预测研究,提出了很多方法,大致可以分为两类:一类是以时间序列法为代表的传统方法,如时间序列法等,这些方法算法简单,速度快,应用广泛,但由于其本质上都是线性模型方法,因此存在着很多缺点和局限性,无法真实地反映农村电力系统不同负荷模型的非线性特性;另一类是以人工神经网络为代表的新型人工智能方法,神经网络具有并行分布信息和自学习及任意逼近连续函数的能力,能够捕获农村电力短期负荷的各种变化趋势。BP网络需要大量历史数据进行训练,且学习及处理不确定性和人工信息的能力较差。人工逻辑系统适用于处理不确定性、不精确性及噪声引起的问题。实践证明,将BP算法和神经网络融合的人工神经网络能发挥各自的优势,克服各自的不足是一种有效的方法。

1农村电力短期负荷预测研究算法

基于负荷预测方法主要有回归分析法、时间序列法、指数平滑法、灰色模型法、专家系统法、人工神经网络法、小波分析预测技术和数据挖掘理论等。

1.1回归分析法

回归分析法是研究变量与变量之间的一种数学方法。在回归分析中,自变量是随机变量,因变量是非随机变量,由给定的多组自变量和因变量资料,研究各自变量和因变量之间的关系,形成回归方程,求解回归方程后,给定各自变量数值,即可求出因变量值。回归分析法根据历史数据和一些影响负荷变化的因素变量来推断将来时刻的负荷值。回归分析法的特点是:原理、结构简单,预测速度快,外推特性好,对于历史上未出现过的情况有较好的预测值。

1.2灰色模型法

灰色系统理论将一切随机变化量看作是在一定范围内变化的灰色量。常用累加生成(AGO)和累减生成(IAGO)的方法将杂乱无章的原始数据整理成规律性较强的生成数据列。用灰色模型(GM)的微分方程作为农村电力系统单一指标(如负荷)的预测时,求解微分方程的时间响应函数表达式即为所求的灰色预测模型,对模型的精度和可信度进行校验并修正后即可据此模型预测未来的负荷。

1.3专家系统法

专家系统是依据专门从事短期负荷预测的技术人员提供的经验,总结出一系列的规则,并建立相应的历史负荷和天气的数据库,利用if-then规则对待预测日的负荷进行估计。由于专家系统将天气条件作为一个重要因素引入预测模型,因而预测的结果更为令人满意。专家系统预测的优点在于较好的解决了天气等因素对负荷的影响,有力的克服了时间序列法不能处理数据序列中出现大扰动的情况。但是这种方法过分依赖规则,如果没有一系列成熟的规则负荷预测就无法进行,而规则本身不具有普遍适应性,预测模型不能推广到所有的系统,这正是专家系统存在的弱点。

1.4人工神经网络法

人工神经网络方法是90年代以来发展起来的新方法,用人工神经网络进行负荷预测是农村电力系统负荷预测的一个新发展方向。人工神经网络法利用人工神经网络(ANN),选取过去一段时间的负荷作为训练样本,然后构造适宜的网络结构,用某种训练算法对网络进行训练,使其满足精度要求之后,用ANN作负荷预测。一般而言,ANN应用于短期负荷预测要比应用于中长期负荷预测更为适宜,因为短期负荷变化可以认为是一个平稳随机过程,而长期负荷预测与国家或地区的政治、经济政策等因素密切相关,通常会有些大的波动,而并非是一个平稳随机过程。目前用人工神经网络进行负荷预测还存在一些问题,比如模型结构的确定,输入变量的选取,人工神经网络的学习时间较长等问题。但它仍具有许多其他方法所不能比拟的优点,例如:良好的函数逼近能力,通过对样本的学习,能够很好的反映对象的输入/输出之间复杂的非线性关系。因此人工神经网络受到许多学者的高度评价。

1.5小波分析预测技术

小波分析是Fourie分析深入发展过程中的一个新的里程碑,是本世纪数学研究成果中最杰出的代表,已成为众多学科共同关注的热点。一方面,小波分析发扬了Foufie分析的优点,克服了Fourie分析的某些缺点;另一方面,小波分析现在已经被广泛应用于信号处理、图像处理、量子场论、语言识别与合成、地震预报、机器视觉、机械故障诊断与监控、数字通信与传输等众多领域。原则上讲,凡是传统方法中采用Fourier分析的地方,基本上都可以用小波分析来取代,而且其应用结果会得到深化和发展,因此小波分析作为一种多方面运用的数学工具,具有巨大的潜力和广泛的应用前景。

农村电力系统中曰负荷曲线具有特殊的周期性,负荷以天、周、年为周期发生波动,大周期中嵌套小周期。而小波分析是一种时域或频域分析方法,它在时域和频域上同时具有良好的局部化性质,并且能根据信号频率高低自动调节采样的疏密,容易捕捉和分析微弱信号以及信号、图像精细的采样步长,从而可以聚焦到信号的任意细节,尤其是对奇异信号很敏感,能很好的处理微弱或突变的信号,其目标是将一个信号的信息转化成小波系数,可以方便的处理、存储、传递、分析或被用于重建原始信号,这些优点决定了小波分析可以有效地应用于负荷预测问题的研究。

1.6模糊预测法(FUZZY)

FUZZY预测,是近几年来在农村电力系统负荷预测中不断出现的一种预测方法,将FUZZY方法引入的原因是,农村电力系统中存在着大量的模糊信息,如负荷预测中的关键因素气象状况的评判、负荷的日期类型的划分等信息,都是模糊的。常规方法就是采用统计和经验相结合的方法予以处理,这给负荷预测引入了不科学因素,并且与自动化要求相矛盾,而FUZZY方法正是破解这些模糊信息的钥匙。从实际应用来看,单纯的FUZZY方法对于负荷预测的精度往往是不尽人意的,主要因为FUZZY预测没有学习能力,这一点对于不断变化的农村电力系统而言,是极为不利的。

2农村电力短期负荷预测研究与实现

2.1人工神经网络原理

人工神经网络是一种“采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。”人工神经网络是最近发展起来的十分热门的交叉学科,它涉及生物、电子、计算机、数学和物理学科,有着非常广泛的应用背景,这门学科的发展对日前和末来的科学技术的发展有重要的影响。二维的简单人工神经网络按网络拓扑结构可分为两类:前馈型网络和反馈型网络。反馈型网络模型是一种反馈动力学系统,它具有极复杂的动力学特性。反馈神经网络模型可以用完备的无向图表示,代表性的模型包括;Hopfield网络模型和Hamming网络模型。反馈神经网络模型有很强的计算能力。前馈神经网络模型是指那些在网络中各处理单元之间的连接都是单向的,而且总是指向网络输出方向的网络模型。

2.2BP人工神经网络算法

基于BP网络学习规则的指导思想:对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。

xk+1=xk-akgk (1)

其中xk是当前的权值和阈值矩阵,gk是当前表现函数的梯度,ak是学习速度。假设三层BP网络,输入节点,隐层节点,输出节点。输入节点与隐层节点间的网络权值为,隐层节点与输出节点间的网络权值为。当输出节点的期望值为时,模型的计算公式如下:

隐层节点的输出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

输出节点的计算输出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

输出节点的误差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3误差函数对输出节点求导

=・=・ (7)

E是多个zk的函数。但有一个zk与vlj有关,各zk间相互独立,其中:

=[-2(tk-zk)・]=-(tl-zl) (8)

=・=f '(netl)・yj (9)

则=-(tl-zl)・f '(netl)・yj (10)

设输入节点误差为δl=(tl-zl)・f '(netl) (11)

则=-δl・yj (12)

2.4误差函数对隐层节点求导

=・・ (13)

E是多个zl的函数,针对某一个wji,对应一个yj,它与所有zl有关,其中:

=[-2(tk-zk)・]=-(tl-zl) (14)

=・=f '(netl)・(-1)=f '(netl)・vlj (15)

=・=f '(netl)・xi (16)

则=-(tl-zl)・f '(netl)・vlj・f '(netj)・xi=δlvlj・f '(netj)・xi(17)

设隐层节点误差为δj'=f '(netj)・δlvlj (18)

则:=-δj'xi (19)

由于权值的修正Δvlj,Δwji正比于误差函数沿梯度下降,则有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)・f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)・δlvlj (25)

其中隐层节点误差δj′中的δlvlj表示输出节点的zl的误差δl通过权值vlj向节点yj反向传播成为隐层节点的误差。

2.5 阈值θ也是变化值,在修正权值的同时也需要修正,原理同权值修正一样误差函数对输出节点阈值求导

=・ (26)

其中=-(tl-zl) (27)

=・=f '(netl)・(-1)=-f '(netl) (28)

则=(tl-zl)・f '(netl)=δl (29)

阈值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

误差函数对隐层节点阈值求导=・・(32)

其中=-(tl-zl) (33)

=f '(netl)・vlj (34)

=・=f '(netj)・(-1)=-f '(netj) (35)

则=(tl-zl)・f '(netl)・vlj・f '(netj)=δlvlj・f '(netj)=δj' (36)

阈值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6传递函数f(x)的导数S型函数

f (x)=,则f ' (x)=f (x)・(1-f (x)) (39)

f ' (netk)=f (netk)・(1-f (netk)) (40)

对输出节点zl=f (netj) (41)

f ' (netj)=zl・(1-zl) (42)

对输出节点yj= f (netj) (43)

f ' (netj)=yj・(1-yj) (44)

3结语

基于一种新的基于人工神经网络在农村电力短期负荷预测研究。针对BP算法中存在的收敛速度慢、易陷入局部最小值的问题,可采用附加动量法和自适应学习速率法在一定程度上解决这些问题。附加动量法是在BP算法的基础上,在每个权值变化上加上一项正比于上一次权值变化量的值,并根据BP算法来产生新的权值变化,利用附加动量法可能会避开某些局部最小值。自适应学习速率法是在学习过程中不断修正学习速率,有利于提高学习效率,缩短学习时间。

参考文献

[1] 刘光中,颜科琦.组合神经网络模型对电力需求的预测[J].数量经济技术经济研究,2003,(1)

篇10

[关键词] 小生境遗传算法 神经网络 股票 预测

一、引言

股票和股票市场对国家企业的经济发展起到了积极的作用，如可以为投资者开拓投资渠道，增强投资的流动性和灵活性等。但股票价格的形成机制是颇为复杂的，股票价格既受到多种因素，诸如:政治，经济，市场因素的影响，亦受技术和投资者行为因素的影响，个别因素的波动作用都可能会影响到股票价格的剧烈波动。因此，股票价格和各影响因素之间很难直接建立明确的函数关系表达式。针对这一情况，将可有效处理非线性问题的神经网络引入到股票价格的预测中来，但神经网络收敛慢,易陷入局部极小点，出现振荡，鲁棒性差。所以有的学者用遗传算法(GA)来优化神经网络，这种神经网络可能获得个别的甚至局部的最优解,即GA早熟现象。本文引进能较有效地保持种群多样性的小生境遗传算法(NGA),采用NGA优化与用GA优化的BP网络权值进行对比,证实了NGA的判别准确性和寻优能力。

二、小生境遗传算法优化的神经网络

1.BP神经网络

反向传播(BP)算法又称为误差逆传播校正方法，它是1974年P.Werbos(哈佛大学)提出的。BP算法用来训练多层前馈神经网络,属于监督学习算法。BP网络具有结构清晰，易实现，计算功能强大等特点。因而是目前最常见，使用最广泛的一种神经网络。但是在实际应用中，传统的BP算法存在以下问题:收敛速度慢;若加快收敛速度易产生振荡；存在局部极小和平台问题;泛化能力差;隐节点数和初始值的选取缺乏理论指导;未考虑样本选择对系统学习的影响等。所以很多学者提出许多改进的方法，用小生境遗传算法优化神经网络权值的神经网络来预测股票价格。

2.小生境遗传算法

小生境遗传算法(Iche Genetical Gorihm)的基本思想是:首先比较任意两个个体间的距离与给定值的大小，若该距离小于给定值，则比较其适应值大小。对适应值较小的个体施加一个较强的惩罚，极大地降低其适应值。也就是说，在距离L内将只有一个优良个体，从而既维护了群体的多样性，又使得各个体之间保持一定的距离，并使得个体能够在整个约束空间中分散开来。

3.神经网络连接权的优化

用小生境遗传算法可以优化神经网络连接权，神经网络结构，学习规则等，这里我们对神经网络的连接权进行优化，具体步骤如下：

（1）随机产生一组权值分布，采用某种编码方案对该组中的每个权值(或阈值)进行编码，进而构造出一个码串(每个码串代表网络的一种权值分布)，在网络结构和学习规则已确定的前提下,该码串就对应一个权值和阈值取特定值的一个神经网络。

（2)对所产生的神经网络计算它的误差函数，从而确定其适应度函数值，误差越大,则适应度越小。

（3)选择若干适应度函数值最大的个体,直接遗传给下一代。

（4)利用交叉和变异等遗传操作算子对当前一代群体进行处理，产生下一代群体。

（5)重复（2）（3）（4），使初始确定的一组权值分布得到不断地进化,直到训练目标得到满足为止。

这种由小生境遗传算法训练神经网络的方法也可以称做混和训练法。将基于小生境遗传算法的遗传进化方法和基于梯度下降的反传训练相结合,这种训练方法吸取两种方法的各自特点，所以收敛速度快。

三、股票价格预测仿真

根据经验选取输入预测日前四天开盘价、收盘价归一化后做为作为输入量，输出为第五天收盘价归一化数值。所以，本文采用神经网络结构为(8,5,1),即网络的输入层6个节点,隐含层9个节点,输出层1个节点。本文选择了“XDG 新梅（600732）”从2006年3月14日到2006年7月1日数据进行了仿真。利用MATLAB6.5编程，取70组训练样本和30组测试样本。如图（1）表示用遗传算法和小生境遗传算法对神经网络的权值进行优化时，误差曲线变化;从图中可以看出，小生境遗传算法收敛速度要快;图（2）表示股票预测值和实际值比较，从图中可以看出，遗传算法和小生境遗传算法对神经网络的权值的模型进行股票价格的预测，都能预测出股票走向趋势，但是，后者的预测精度显然要比前者高。

四、结束语

股票市场的不确定因素太多，股票的价格更是多种因素影响的集合体，是典型的非线性动力学问题。股票价格的中长期准确预测很难。本文建立了用小生境遗传算来优化神经网络模型来预测股票价格，结果表明，这种方法比单用遗传算法优化的神经网络收敛速度快，预测精度高。对于股票价格预测具有较好的应用价值。

参考文献:

[1]龙建成李小平:基于神经网络的股票市场趋势预测[J].西安电子科技大学学报(自然科学版.2005.3（32）:460-463

[2]王波张凤玲:神经网络与时间序列模型在股票预测中的比较[J].第27卷第6期武汉理工大学学报・信息与管理工程版.2005.9（27）:69-72

[3]张立明:工神经网络的模型及其应用[M].上海:复旦大学出版社,1995.35-76