PSOBP神经网络研究论文

导语：PSOBP神经网络研究论文一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

摘要基于粒子群优化的算法具有全局随机搜索最优解的特点。本文尝试把PSO算法和神经网络权值训练的常用算法BP算法结合起来进行数据的训练，实现对一组数据的训练，并对结果与BP算法的训练结果进行了对比，得到了较好的效果。

关键词神经网络；反向传播算法；PSO算法；适应度函数

人工神经网络是由人工神经元互连而成的网络，它从微观结构和功能上实现对人脑的抽象和简化，具有许多优点。对神经网络的权值系数的确定，传统上采用反向传播算法（BP算法）。BP网络是一种多层前向反馈神经网络，BP算法是由两部分组成：信息的正向传递与误差的反向传播。在反向传播算法中，对权值的训练采用的是爬山法（即：δ算法）。这种方法在诸多领域取得了巨大的成功，但是它有可能陷入局部最小值，不能保证收敛到全局极小点。另外，反向传播算法训练次数多，收敛速度慢，使学习结果不能令人满意。

粒子群优化算法（ParticleSwarmOptimizer,PSO）是一种进化计算技术(evolutionarycomputation)。源于对鸟群捕食的行为研究，PSO中，每个优化问题的解都是搜索空间中的一只鸟，我们称之为粒子。所有的粒子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。如果用粒子群算法对神经网络的权值进行训练，会得到较快的收敛速度，而且可以避免局部最值得出现。研究表明PSO是一种很有潜力的神经网络算法。

本文提出了一种基于PSO算法的BP网络学习算法，并通过MATLAB7.0实现对一组简单的向量进行训练对PSO—BP算法和BP算法进行了对比，试验结果说明PSO—BP算法适合训练BP网络，并且也有希望应用于其他种类的前向网络的训练。

1PSO算法

PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的例子都有一个由被优化的函数决定的适应值(fitnessvalue)，每个粒子还有一个速度决定它们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。

D维搜索空间中，有m个粒子，其中第i个粒子的位置是，m,其速度为。将带入目标函数可计算出适应值。记第i个粒子搜索到的最优位置为，整个粒子群搜索到的最优位置为。离子状态更新操作为：

其中，i=1，2…，m，d=1，2…，D；是非负常数，称为惯性因子。也可以随着迭代线性减小；学习因子，是非负常数；r1，r2是介于[0，1]之间的随机数；是常数。

迭代中止条件一般选为最大迭代次数和粒子群迄今为止搜索到的最有位置满足适应阈值。

2基于PSO的BP网络学习算法

BP网络是一种多层结构的前向网络，其隐层神经元的激活函数为S型函数，而输出神经元的激活函数可以是S型函数，也可以实线性函数，典型的S型函数为：

（3）

其中：s为神经元的加权输入函数。

用PSO算法训练BP网络时，定义粒子群的位置向量的元素是BP网络的全体连接权和阈值。首先初始化位置向量，然后用PSO算法搜索最优位置，使如下均方误差指标（适应值）达到最小

（4）

其中，N是训练集的样本数；是第i个样本的第j个网络输出节点的理想输出值；是第i个样本的第j个网络输出节点的实际输出值；C是网络输出神经远的个数。

基于PSO算法的BP网络学习算法流程如下：

1)选定粒子数m；适应值阈值ε；最大允许迭代步数；、和；初始化X和V为（0，1）间的随机数。

8)endfor

9)fori=1:1:m

10)按式（1）计算；按式（2）计算；

11)endfor

12)endwhile

13)以所得权值阈值为初始值用BP算法对网络进行训练

上述流程中，1）到12）用标准PSO算法对权值和阈值进行训练，13）对PSO输出的权值和阈值作为初始值用BP算法训练网络（MATLAB中有集成的训练函数）。另外，，其中是第I个粒子的位置；V=,其中是第I个粒子的速度；是m个粒子迄今搜索到的最优适应值，其对应的粒子位置矩阵是p=;是粒子群迄今搜索到的最优适应值，对应的最优粒子位置是，粒子数m选定为30个。

3结果分析

本实例中随机选取机输入和输出矩阵，如：p=[00000;10001;01001;00100;00010];t=[0000;1000;0100;0010;0001]。由于P是五行的矩阵，所以网络输入层的神经元个数为：5个，T为五行矩阵，故输出层神经元个数为：5个，隐含层神经元个数为：6个。

首先观察一下PSO算法中的适应值（fitness）的变化过程，图1中，实线表示适应值的平均值，虚线表示是最优适应值。从图中可以看出适应值迅速的选择过程。

图2为用PSO—BP算法和BP算法在训练误差精度为0.002的情况下的误差演化曲线：（a）为PSO—BP算法训练误差演化曲线，所用时间是20.422000s。（b）为常用BP算法训练误差演化曲线，对权值的训练采用的是梯度下降法，所用时间是27.172000s。从图中可以看到：PSO—BP算法的迭代次数远远小于BP算法，并且训练时间也缩短了。

(a)

(b)

图2

为了充分说明实验结果，笔者做了多次反复实验，实验结果如下表：在训练误差精度为0.002的情况下，十次试验中PSO—BP算法的平均迭代次数远小于BP算法，收敛时间较接近。

算法

次数BP算法PSO—BP算法

迭代次数收敛时间迭代次数收敛时间

1158735.79700071719.547000

2105123.17200079433.390000

391718.28100068327.813000

480916.28200087933.265000

5132333.125000109730.218000

6214643.76600093126.046000

7116123.64100056817.391000

853014.68700073625.782000

9141526.75000086927.625000

10122724.17200095329.422000

平均值1216.625.967300822.727.04990

4结论

本次试验中对BP算法和PSO—BP算法进行了对比试验，试验结果证明：PSO—BP算法优于BP算法。具体表现在：学习算法的收敛速度有所提高；BP算法中的局部极小问题常令学习结果不满意，PSO的全局优化能力使问题得到解决。

参考文献

[1]MartinT.Hagan,HowardB.Demuth,MarkH.Beale，著，戴葵，等译.《神经网络设计》.机械工业出版社，2002年9月

[2]徐丽娜编著.《神经网络控制》.电子工业出版社，2003年2月

[3]高隽编著.《人工神经网络原理及仿真实例》.机械工业出版社，2003年8月

[4]ZbigniewMichalewicz，DavidB.Fogel著，曹宏庆，李艳，董红斌，吴志健，译.《如何求解问题——现代启发式方法》.中国水利水电出版社，2003年2月

[5]阳明盛，熊西文，林建华，编著.《MATLAB基础及数学软件》.大连理工大学出版社，2003年8月

[6]TomM.Mitchell，著，曾华军，张银奎等译.《机器学习》.机械工业出版社，2003年1月