神经网络方法范文
时间：2024-03-29 18:17:26
导语：如何才能写好一篇神经网络方法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
篇1
为了改善小波神经网络（WNN）在处理复杂非线性问题的性能，针对量子粒子群优化（QPSO）算法易早熟、后期多样性差、搜索精度不高的缺点，提出一种同时引入加权系数、引入Cauchy随机数、改进收缩扩张系数和引入自然选择的改进量子粒子群优化算法，将其代替梯度下降法，训练小波基系数和网络权值，再将优化后的参数组合输入小波神经网络，以实现算法的耦合。通过对3个UCI标准数据集的仿真实验表明，与WNN、PSOWNN、QPSOWNN算法相比，改进的量子粒子群小波神经网络（MQPSOWNN）算法的运行时间减少了11%～43%，而计算相对误差较之降低了8%～57%。因此，改进的量子粒子群小波神经网络模型能够更迅速、更精确地逼近最优值。
关键词：
小波神经网络；改进的量子粒子群；参数组合优化
0引言
小波神经网络（Wavelet Neural Network， WNN）自提出以来得到了广泛应用，然而，传统WNN模型存在精度差、不稳定、易早熟等缺点。与此同时，量子粒子群优化（Quantumbehaved Particle Swarm Optimization， QPSO）算法虽然对传统粒子群优化（Particle Swarm Optimization， PSO）算法进行一定的改进，但仍然没有完全摆脱PSO容易陷入局部最优的缺点，并存在着易早熟、后期多样性差、搜索精度不高等缺陷。
基于此，本文将在前人的研究基础上，提出一套QPSO算法的改进方案，并用改进后的QPSO算法代替梯度下降法，以均方差（Mean Squared Error， MSE）误差为目标函数，优化WNN的小波基系数和网络权值，再将优化后的参数组合输入WNN模型进一步精确优化，从而实现两种算法的耦合。通过实验分析可以证明，改进后的WNN具备更高的收敛精度和更快的收敛速度，对于解决复杂非线性问题拥有更好的泛化能力、容错能力以及学习能力。
1量子粒子群算法及其改进
1.1量子粒子群算法
为了克服传统PSO算法的缺陷，Sun等[1]提出QPSO算法，提高了粒子群的全局收敛能力。由于算法在迭代过程中，仅存在粒子位置的变化，因此计算大大简化，主要迭代方程归纳为：
其中：i=1，2，…，M；n=1，2，…，N；M为粒子的种群规模；N为粒子的维数；t为当前迭代次数；r1、r2和u均为[0，1]的随机数；pi（t）为粒子的个体最优位置；pg（t）为粒子的全局最优位置；p（t）为pi（t）和pg（t）之间的随机点。 β为收缩扩张这个说法是标准表达吗？请明确 。是否应该为收缩-扩张系数？系数，是量子粒子群算法唯一的初始参数，通常情况下， β的值随着迭代次数增加而线性减小[2]，即：
β=0.5+（1-0.5）（T-t）/T（2）
其中T为最大迭代次数。当u≤0.5时， β取正号；当u>0.5时， β取负号。与其他智能算法不同，量子粒子群只有收缩扩张系数β作为唯一的初始参数，因此它具有易控制、收敛快以及全局搜索能力强等特点，但也存在以下几点问题：
1）量子粒子群算法没有在根本上改变标准粒子群在后期容易陷入早熟的问题，相关研究[3]表明，随着迭代次数的增加，种群的多样性逐步减弱，粒子的全局搜索能力也会随之降低。
2）在量子空间里，单个粒子没有速度向量的指引，后期搜索能力较弱，并且随着β参数的递减，粒子的搜索空间也逐步压缩，容易陷入早熟，导致搜索精度不高。
1.2改进的量子粒子群算法
为了改善QPSO算法性能，Sun等做了许多工作，比如提出了概率分布机制，维持种群的多样性[4]；与模拟退火算法相结合，提高全局搜索能力[5]；利用免疫记忆来提高粒子的收敛速度[6]等。此外，Coelho[7]提出了基于Gaussian分布的QPSO算法，通过引入变异算子改善后期搜索能力；林星等[8]提出混沌QPSO优化算法，具有较好的搜索精度和较强的克服早熟的能力；许少华等[9]引入量子Hadamard门操作和全局自适应因子，改善了QPSO算法的搜索能力等。
上述改进方法都能在一定程度上改善了QPSO算法的性能，但算法的改进应是一个系统工作，仅靠一两个方面的改善，效果非常有限，甚至可能会带来一些负面效果，比如提高粒子搜索精度可能降低收敛速度，加快搜索可能陷入早熟，所以，本文针对QPSO算法固有缺陷，提出从收敛精度、搜索速度以及克服早熟能力的三个方面综合考虑，全面系统地设计改进方案，主要包括以下4点。
1）加权系数。
式（1）中平均最优位置mbest仅仅是由处于每个维度上最优粒子的简单求和平均得出，这就等同于假定了每个粒子在空间搜索中所做贡献是一样的，而在实际情况中这显然是不合理的。虽然在多数情况下，传统的处理方式是可行的，但是为了降低算法的随机性，提高粒子搜索精度，本文引入加权系数[10]对原算法进行改进。
在每次迭代时，通过计算出适应值pi（t），筛选出每一个维度处于最优位置的粒子。若是求最大值问题，则pi（t）越大，粒子越重要；反之，若是求最小值问题，则pi（t）越小，粒子越重要。因此，根据适应值的大小，首先将粒子按降序排列，然后为每个粒子确定其加权系数αi，n，离预期的最优结果越近，αi，n的值越大，所以，将mbest改进为：
2）Cauchy随机数。
一般情况下，QPSO算法的随机因子都是使用均匀分布产生，但随着迭代次数的增加，量子空间逐渐被压缩，一旦陷入局部最优，大多数粒子会不断趋同，整个粒子群就会失去多样性，如此便很难避免早熟的产生。对此，有文献提出使用Gaussian分布代替均匀分布，增加粒子后期的活力，但由于Cauchy分布具有较高的两翼概率，更易得到一个离原点较远的随机数，比Gaussian分布的区域范围更广，因此，本文采用Cauchy分布[11]代替均匀分布生成随机因子。
本文采用标准的Cauchy分布C（0，1）分布，首先将随机因子u由原来的u～U（0，1）改为u服从u～C（0，1），其次，将随机因子r1和r2也改为服从Cauchy分布，即r1，r2～C（0，1），则式（1）改进为：
3）随机收缩扩张系数。
收缩扩张系数β是QPSO算法中唯一重要的初始参数，较大的β有利于粒子的快速收敛，提高算法的全局搜索能力；而较小的β有利于对当前的搜索区域进行精确局部搜索，增强算法的局部搜索能力。文献[2]中详细验证了当β为线性递减或者非线性递减时，对于多数情况下能取得较好的结果，但这种参数处理方法需要反复的实验才能确定最优值，并且，若在搜索的开始阶段未能接近最优值，则随着β的减小和粒子多样性的减弱，算法易陷入局部最优。
对此，本文在白俊强等[12]的启发下，将收缩扩张系数β服从某种随机分布，如果在搜索的开始阶段未能接近最优值，则β的随机生成能使部分粒子跳出局部最优，重新在可行域中搜索，进而尽量避免β线性或非线性递减所引起的早熟，因此将式（2）改进为：
其中：εmax为随机系数的最大值；εmin为随机系数的最小值；σ为随机系数的方差；N（0，1）为标准正态分布的随机数；rand（0，1）为0到1之间的随机数。
4）自然选择。
为了在不影响收敛精度的前提下，尽可能提高粒子在可行域空间的搜索速度，本文在前人研究[13]的基础上，将自然选择的思想引入到QPSO算法的改进方案中，通过保留优等粒子，加快淘汰迭代过程中偏离最优解的劣等粒子来实现对算法的改进。
具体的做法是在每次迭代过程中将每一个种群的粒子按适应值pi（t）排序，通过比较，用粒子群中最优的20%部分的粒子替换最差20%部分的粒子，同时保留每次迭代过程中产生的全局最优值，以提高粒子群中优等粒子的比重，以保证QPSO算法的收敛速度加快，并持续保持良好的性能。
综上所述，本文提出了旨在提高QPSO算法收敛精度、搜索速度和克服早熟能力的3种性能，以引入加权系数、Cauchy随机数、随机收缩扩张系数和自然选择的4种改进方法为基础的一套改进方案，以此提升QPSO算法的综合性能，如图1所示。其中：引入加权系数是为了提高收敛精度，引入自然选择是为了提高搜索速度，引入Cauchy随机数和随机收缩扩张系数是为了防止早熟的产生。
2基于改进的QPSO的小波神经网络模型
2.1小波神经网络
WNN与传统BP神经网络的主要区别在于将神经元中的Sigmoid激励函数换成小波基函数，使其具备小波变换的局部化特点和神经网络的自学习性质，具备较强的非线性逼近能力。
隐含层函数ψa，b（x）采用国内外较多使用的Morlet小波基函数[14]，即：
网络输出的误差函数采用均方差计算，即：
MSE=1M∑Mm=1∑Jj=1（yjm-Rjm）2（8）均方差的定义应该为开方形式，为何没有？即应与式（12）类似，请明确或解释一下。
根据预测误差值，采用梯度下降法调整连接层权重和小波基系数，即：
2.2改进的量子粒子群小波神经网络的实现
使用基于改进的量子粒子群算法训练小波神经网络（Modified Quantum Particle Swarm OptimizationWavelet Neural Network， MQPSOWNN）实际上就是将每个维度的粒子向量分别代表WNN模型的初始连接层权重（wik，wkj）和小波基系数（ak，bk），并以均方差误差函数，即式（8）作为MQPSO优化的目标函数，通过反复迭代计算，一直到适应值趋于稳定为止。在此基础上，将优化后的参数组合应用到预先设置好的WNN模型中进一步训练，直至搜索到最优网络参数。由于在MQPSOWNN的初始阶段，MQPSO算法代替了梯度下降法调整WNN模型参数，使得整个网络能够更稳定地在更接近最优解位置进行参数寻优，从而有效提高了WNN寻优速度和精度。
MQPSOWNN算法的步骤如图2所示。
2.3改进的量子粒子群小波神经网络的分析
与BP神经网络相比，WNN采用小波基函数取代Sigmoid函数作为激励函数，并引入伸缩、平移因子，因此具备了更强的容错、识别和预测能力，但在实际应用中WNN存在着初始参数的选取不合适可能导致整个学习过程不收敛的缺点。而MQPSO算法拥有精度高、收敛快等良好性能，因此，尝试将二者相互耦合，采用MQPSO算法对网络参数进行优化，得到更适应WNN模型的参数组合，再通过WNN进一步精确优化，能够提高WNN模型的稳定性、容错能力及学习能力，增强其对于实际问题的解决能力。
3仿真实验
3.1实验条件
为了验证MQPSOWNN算法的有效性及优越性，本实验在CPU主频2.20GHz、内存2.0GB的运行环境下，使用Matlab 7.0软件，选取UCI机器学习数据库中的3个标准数据集作为原始数据集（都是典型的复杂非线性预测问题），分别采用WNN、PSOWNN、QPSOWNN和MQPSOWNN算法进行预测仿真实验，进而对比研究。
篇2
关键词：GPS高程转换 神经网络 标准BP算法 LMBP
中图分类号：TN711 文献标识码：A 文章编号：
0. 引言
GPS定位技术自问世以来,以其精度高,速度快,操作简便等诸多优点受到测绘界的广泛关注。国内外大量的实践表明,利用GPS进行平面相对定位的精度能够达到±(0.1～1)mm×106D甚至更高,这一点常规测量技术难以比拟。但是,GPS测量经过平差处理,所得到的高程是相对于WGS―84椭球的大地高h,在实际工程应用中使用的是水准高(正常高)H,因此,在工程应用中应将大地高h转换为水准高程H,两者之间的差值称为高程异常ξ。其关系如下：H=h-ξ，用图形表示则如图1所示：
图1 大地高与正常高的关系
GPS测量经过平差、转换,如能获得高精度的水准高程值H,则可部分地节约工作量及其繁重的水准测量,其经济效益是非常可观的。目前转换GPS高程的方法有很多种,常用的比较传统的有以下几种数学模型：
（1）多项式曲面拟合模型 这种模型是在拟合区域内的水准重合点之间,按削高补低的原则平滑出1个多项式曲面来代表拟合区域的似大地水准面,供内插使用。拟合范围越大,高程异常的变化越复杂,所得结果的误差也越大。同时,由于二阶多项式函数几何表示为一“抛物单曲面”,所以如果高程异常图像鞍部、水波浪形等存在多个凸凹面时,用1个二阶多项式函数就无法以数学形式表示。并且该模型对于高程异常变化较大的测区来说很难适应,因此适用范围受到限制。
（2）多面函数拟合模型 多面函数拟合是一种纯数学曲面逼近方法,它的出发点是在每个数据点上同各个已知数据点分别建立函数关系。
（3）加权平均值模型 加权平均模型是根据重合点上的高程异常值的加权均值推算插值点上的高程异常。采用此类模型时若以内插点到已知平面距离的函数作为权,则只顾及了已知点距内插点远近的影响,未反映出重合点分布及周围地形起伏的影响,插值点上的高程异常向最近的已知值靠近。若以向径的函数作权,对精度有一定的改善。对于不同测区要根据点位分布密度和面积选择适当的权函数和拟合半径。该模型一般适用于大面积、点位分布均匀的区域。
以上几种方法都是人为的构造一个数学模型，再根据一定数量的已知点信息结算数学模型中待定参数，从而达到求解该未知量的目的。但这样做一般不可避免地会存在数学模型误差。
本文所讨论的神经网络法是一种自适应的映射方法,它不用作假设,理论上也比较合理,能避免未知因素的影响,减少模型误差。本文将最新的神经网络的相关理论与GPS高程相关理论相结合,给出一种新的算法,来有效地改进GPS高程拟合。这种方法对有效地减少水准测量的外业及解决GPS高程拟合,有很高的应用价值。
1.BP神经网络模型
1.1神经网络的概述
神经网络，是由大量的神经元广泛互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。人工神经网络非常适合于模拟非线性映射，并且不需要建立数学模型。它能够通过自学习功能来获得非线性映射能力，并把这种能力分布地存储在网络的连接权值和阈值中。
多层前馈型人工神经网络是最常用、最流行的网络模型，它的逼近能力和训练算法是其应用的关键。BP网络是一种多层前馈神经网络,其神经元的变换函数一般为线性函数,如S型函数或双曲线正切函数,因此输出量为0到1之间的连续量,它可以实现从输入到输出的任意的非线性映射。由于权值的调整采用反馈传播(Back Propagation)的学习算法,因此被称为BP网络。在确定了BP网络的结构后,利用输入输出样本集对其进行训练,也即对网络的权值和阀值进行学习和调整,以使网络实现给定的输入输出映射关系。经过训练的BP网络,对于不是样本集中的输入也能给出合适的输出,这种性质称为泛化(generalation)功能,从函数拟合的角度看,这说明BP网络具有插值功能。
典型的BP网络是三层网络，包括输入层、隐含层和输出层，各层之间实行全连接，如图2所示。
1.2 BP算法的学习过程
BP网络的学习由四个过程组成，即
（1）输入模式由输入层经中间层向输出层的“模式顺传播”过程；
（2）网络的希望输出与网络实际输出之差的误差信号由输出层经中间层向输入层逐层修正连接权的“误差逆传播”过程；
（3）由“模式顺传播”与“模式逆传播”的反复交替进行的网络“记忆训练”过程；
（4）网络趋向收敛即网络的全局误差趋向极小值的“学习收敛”过程。
简而言之，就是由“模式顺传播”“误差逆传播”“记忆训练”“学习收敛”的过程。
2. GPS高程的神经网络转换方法
进行GPS高程的转换,实质是为了实现GPS高程与正常高之间的非线性映射。所以采用反向传播网络(Back Propagation,BP网络)。
用已知点的坐标(,)和高程异常值建立神经网络的已知样本集
=｛｝
=(,,)i=1,2,…,n
对样本集P进行学习,建立映射关系
=f(x,y)
其中,x,y为平面坐标; 为高程异常。
通过计算比较,结点激活函数选用Sigmoid函数()。
2.1 标准BP学习算法
标准的BP算法是基于梯度下降法,通过计算目标函数对网络权值和阈值的梯度进行修正。标准梯度下降法权值和阈值修正的迭代过程可以表示为
x(k+1)=x(k)-ηΔF(x(k))
式中,x(k)为由网络所有权值和阈值所形成的向量;η为学习速率;F(x(k))为目标函数;ΔF(x(k))为目标函数的梯度;k为迭代次数。
BP神经网络的算法流程如下：
（1）初始化网络。
（2）选取模式对提供给网络。
（3）用输入模式，连接权计算隐含层各单元的输入然后用通过S函数计算隐含层各单元输出
j=1,2,…p (1)
(2)
（4）用隐含层的输出、连接权值计算输出层各单元的输入然后用通过S函数计算输出层各单元的响应
(3)
(4)
（5）用希望输出模式、网络实际输出计算输出层的各单元的一般化误差
(5)
（6）用连接权、输出层的一般化误差、隐含层的输出计算隐含层各单元的一般化误差
(6)
（7）用输出层各单元的一般化误差、隐含层各单元的输出修正连接权
(7)
，
（8）用隐含层各单元的一般化误差、输入层各单元的输入修正连接权
(8)
，，
（9）选取下一个学习模式对提供给网络，返回到步骤（3）直到全部m个模式对训练完毕。
（10）重新从m个学习模式对中随机选取一个模式对，返回步骤（3）直到网络达到预设的训练次数或网络全局误差函数E小于预先设定的一个极小值。
（11）结束学习。
神经网络训练规则中反向传播训练算法虽已经得到了广泛的应用,但是仍然存在着一些缺点：(1)从数学上看,反向传播算法归结为非线性梯度优化问题,因此不可避免存在局部极小问题;(2)学习算法的收敛速度慢;(3)存在过学习问题.
2.2 BP网络的改进学习算法―LMBP算法
L-M算法是一种利用标准数值优化技术的快速算法,具有二阶收敛速度.其不需要计算Hessian（赫森）矩阵,利用进行估算,梯度计算采用,式中J为Jacobian（雅可比）矩阵,包含网络误差相对权重和阈值的一阶微分.雅可比矩阵可利用标准反向传播算法得到,比直接计算赫森矩阵简单很多.L-M算法迭代式为：
（9）
比例系数μ=0时即为牛顿法,μ取值很大则接近梯度下降法,每迭代成功一步,μ值减小,在接近误差目标时逐渐与牛顿法相似.牛顿法在接近误差最小值时,计算速度更快,精度更高.
3.应用实例仿真
应用上述人工神经网络模型,对某一测区具有15个水准重合点的GPS控制网的数据进行了实际计算。图3是两种学习算法的误差下降曲线图。
（a）标准BP算法误差下降曲线图
（b）LMBP算法误差下降曲线图
图3 两种学习算法误差曲线的比较
4. 结论
从上述的实例资料计算可以得出:
（1）神经网络方法对GPS水准联测点数目要求较少,能解决已知点较少的测区GPS高程转换问题,且效果较好。这对于充分利用GPS高程信息减少水准测量外业,有着一定的现实意义,并对局部GPS问题即解决GPS高程拟合和精化局部大地水准面模型也有十分实用的参考价值。
（2）改进的学习算法和标准BP算法在GPS高程转换中,误差相当的情况下,改进的学习算法LMBP收敛速度比标准BP算法快很多。因此改进的BP网络学习算法与标准算法相比,在GPS高程的实时解算方面是一种很好的方式。
（3）由于神经网络本身还有很多的问题需要研究目前的算法对于不同的问题均存在陷入局部极小的可能性,因此对于神经网络转换GPS高程而言,还需要在算法的优选等方面作进一步的研究。
参考文献：
【1】Martin T.Hagan, Howard B.Demuth, Mark H. Beale.戴葵，等译.神经网络设计[M].机械工业出版社，北京：2002.
【2】韩硕.神经网络在GPS高程拟合中的应用.测绘通报[J].2006,4:48-50.
【3】鲁铁定，钟小威.基于改进BP学习算法的GPS高程转换.测绘通报[J].2005,12:13-15.
【4】韩敏，田雪.基于神经网络的GPS坐标转换方法研究.大连理工大学学报[J],2005,45(4):603-606.
【5】云学英，谢灵斌.GPS高程拟合模型及优选.城市勘测[J].2005,4:21-24.
【6】吴良才，胡振琪.GPS高程转换方法和正常高计算.测绘学院学报[J].2004,21(4):256-258.
篇3
【关键词】介损值;BP算法;人工神经网络
1.引言
当前的电容型电气设备绝缘在线监测与诊断还停留在一个简单处理数据的层次上，如果能够结合先进的数学工具进行分析，将有助于提高监测与诊断的应用水平。模糊数学、专家系统、神经网络、灰关联分析等理论在电气设备的绝缘监测与诊断方面已经有了广泛的应用，并提供较完备的知识与信息，提高了绝缘监测与诊断的准确性。
大量停电试验和专门试验的介损值结果统计分析表明，介损值会对温度的变化较为敏感，环境的湿度对介损值也会有影响。在分析了各种因素影响介损值的基础上，文献[6]提出了基于人工神经网络的电容型电气设备的绝缘状况的预测方法。人工神经网络方法能够根据大量的故障机理研究以及经验性的直觉知识归纳出典型样本，通过对神经网络内部的竞争达到问题的求解，从本质上模拟专家的直觉。在此基础上本文提出了基于人工神经网络的电容型电气设备的介损值的预测方法，以BP神经网络作为主要的研究方法。BP网络的预测结果的准确与否取决于学习样本的优劣，本文根据实际情况选取了神经网络的学习样本并进行了仿真，结果表明该预测方法的误差满足工程误差的要求，基于人工神经网络的介质损耗值的预测方法是可行的、正确的和有效的。
2.基于BP神经网络预测方法的确定
人工神经网络的模型有数十种，可分为三大类：前向网络、反馈网络和自适应网络。但在人工神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变化形式。BP（Back Propagation）网络是一种多层前馈型神经网络，其神经元的传递函数是S型函数，输出量为0到1之间的连续量，它可以实现从输入到输出的任意非线性映射。BP神经网络的主要优点：
（1）BP神经网络具有分布式信息存储能力;
（2）BP神经网络的容错性和大规模并行处理能力;
（3）BP神经网络具有自学习、自组织和自适应能力;
（4）BP神经网络是大量神经元的集体行为，表现出一般复杂非线性系统的特性;
（5）BP神经网络可以处理一些环境信息十分复杂、知识背景不清楚和推理规则不明确的问题。
基于以上优点，本文选用BP神经网络作为主要研究方法。
3.BP算法基本思想和网络的基本结构
BP神经网络是一个多层前馈神经网络，包括了输入层、隐层和输出层。这种网络在输入层和输出层之间至少有一个隐含层，每一个神经元结点都与其后一层的结点相连接，但是没有后层结点向前层结点的反馈连接。BP网络具有结构简单、可靠性强的优点，能够满足工业应用的需要，而且有关网络的机理和算法的研究都很丰富，是众多网络中最为成熟，应用最为广泛的一种，是复杂系统建模的优秀工具。
BP算法的基本思想：当一对学习样本提供给网络后，神经元的激活值从输入层经隐层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出与实际误差的方向，从输出层经过各隐层逐层修正各连接权值，最后回到输出层，这种算法为“误差逆传播算法”。随着这种误差逆的传播修正不断进行，网络对输入模式响应的正确率也不断升高。
三层前馈网络中，输入向量为X=（x1，x2， ……，xi，……，xn）T;隐层输出向量为Y=（y1，y2，……，yj，……，ym）;输出层输出向量为O=（o1，o2，……，ok，……，ol）T;期望输出向量为d=（d1，d2，……，dk，……，dl）T。输入层到隐层之间的权值矩阵用V表示，V=（v1，v2，……，vj，vm），其中列向量Vj为隐层第j个神经元对应的权向量;隐层到输出层之间的权值矩阵用W表示，W=（W1，W2，……，Wk，……，Wl），其中列向量Wk为输出层第k个神经元对应的权向量。如图3-1所示。
对输出层，有
Ok=f（netk） k=1，2，…，l （1）
netk= k=1，2，…，l （2）
对于隐层，有
yj=f（netj） j=1，2，…，m （3）
netj= j=1，2，…，m （4）
以上两式中，转移函数f（x）均为单极性（或双极性）sigmoid函数，f（x）具有连续、可导的特点。式（3.1）到式（3.4）共同构成了三层前馈网的数学模型。
图1 三层BP网络
三层前馈网络的BP学习算法权值调整计算公式为：
（5）
（6）
其中：
（7）
对于一般多层前馈网，设共有h个隐层，按前向顺序各隐层节点数分别记为m1，m2，…，mh，各隐层输出分别记为y1，y2，…，yh，各层权值矩阵分别记为W1，W2，…，Wh，Wh+1，则各层权值调整计算公式为：
输出层：
j=0，1，…，mh;k=1，2，… （8）
第h隐层：
i=0，1，…，mh-1;j=1，2，…，mh （9）
按以上规律逐层类推.则第一隐层权值调整计算公式：
p=0，1，…，n;j=1，2，…，m1 （10）
容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即：学习率η、本层输出的误差信号δ以及本层输入信号Y（或X）。
4.基于MATLAB的BP神经网络的实现
4.1 网络的输入层和输出层设计
大量停电试验和专门试验的介损结果统计分析表明，电容型设备的介质损耗值的大小与环境等外界因素之间有着密切的关系。基于此，本文提出了基于环境等外界因素影响分析电容型设备绝缘状况的BP神经网络模型，其示意图如图2所示。
图2 神经网络模型示意图
为了更好的体现输入和输出变量的相应关系，输入层神经元应尽可能多采集与输出量相关性大的信息。本文以某一时刻设备的电压、电流、电容、环境温度、湿度和介质损耗值所为网络的输入参数，所以网络输入层的神经元有6个。输出层只有一个即预测时刻的介质损耗值，则输出层只有一个神经元。
为了统一量纲和防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区。BP神经网络的训练样本在输入网络之前要进行必要的归一化，也就是通过变换处理将网络的输入、输出数据限制在[0，1]或[-l，1]区间内。归一化方法有很多种形式，本文采用如下公式来进行样本数据的归一化：
令P为网络的输入向量，t为网络的目标向量，p_test、t_test为网络的测试样本向量，利用MATLAB归一化的代码为：
归一化后的输入向量P
for i=1：6
P（i，：）=（p（i，：）-min（p（i，：）））/（max （p（i，：））-min（p（i，：）））;
end
归一化后的输入向量A
for i=1
T（i，：）=（t（i，：）-min（t（i，：）））/（max（t（i，：））-min（t（i，：）））;
end
测试样本向量p_test和t-test的归一化同输入向量p和目标向量t的归一化，归一化后的向量为P_test和T_test。
4.2 隐层神经元数的选择
在设计多层前馈网时，一般先考虑设一个隐层.当一个隐层的隐节点数很多仍不能改善网络性能时，才考虑再增加一个隐层。由于本系统是一个比较小型的网络，且各结点采用S型函数进行处理，故采用单隐层。
隐层的神经元数目选择是一个非常复杂的问题，往往需要根据设计者的经验和多次试验来确定。隐单元的数目与问题的要求、输入/输出单元的数目都有直接的联系。隐单元数目太多和会导致学习的时间过长、误差不一定最佳，也会导致容错性差、不能识别以前没有看到的样本。选择最佳隐单元数的参考公式：
（1）
其中，k为样本数，n1为隐单元数，n为输入单元数。
（2）
其中，m为输出神经元数，n为输入神经元数，a为[1，10]之间的常数。
（3）
其中，n为输入单元数。
由于单隐层BP网络的非线性映射能力比较强，本文采用了单隐层的神经网络，而中间层神经元个数需通过实验来确定，输入层神经元个数有6个，中间层神经元的个数选择3个值，分别为13、15和20，并分别检查网络性能。通过实际的迭代训练，设置多种不同的隐节点情况，用同一样本集进行训练，比较迭代训练实验的结果，从中确定网络误差最小时对应的神经元个数。
MATLAB代码为：
隐层单元个数向量
a=[13 15 20];
for i=1：3
net=newff（threshold，[a（i），1]，{‘tansig’， ‘logsig’}，‘traindx’）;
net.trainparam.epochs=1000;
net.trainparam.goal=0.01;
init函数用于将网络初始化
net=init（net）;
net=train（net，P，T）;
Y（i，：）=sim（net，P_test）;
end
figure;
绘制误差曲线
中间神经元个数为13
polt（1：6，Y（1，：）-T_test）;
hold on;
中间神经元个数为15
polt（1：6，Y（2，：）-T_test）;
hold on;
中间神经元个数为20
polt（1：6，Y（3，：）-T_test）;
hold off;
通过3种情况下的误差比较发现，中间层神经元个数为13、20时网络的误差比较大，当隐层节点数为15时，网络误差较小，收敛速度较快能得到最理想的输出，网络的预测性能最好。
通过上述分析，可以确定本文设计的神经网络结构为6-15-1，网络中间层的神经元传递函数，采用S型正切函数tansig，输出层神经元传递函数采用S型对数函数logsig。这是因为函数的输出位于区间[0，1]中，正好满足网络输出的要求。
图3 预测误差对比曲线
本文所要解决的问题是根据环境等外界因素对设备的绝缘状况进行预测，对网络的训练速度和稳定性有较高的要求，因此选择traingdx函数作为训练函数，该函数结合了动量梯度下降算法和自适应学习速率梯度下降算法。
该算法的基本过程为：首先计算出网络的输出误差，然后在每次训练结束之后，利用此时的学习率计算出网络的权值和阈值，并且计算出网络此时的输出误差。如果此时的输出误差与前一时刻的输出误差的比值大于预先定义的参数max_perf_inc，那么就减小学习率（通过乘以系数lr_dec来实现），反之，就增加学习率（通过乘以系数lr_inc来实现）。再重新计算网络的权值和阈值以及输出误差，直到前后输出误差的比值小于参数max_perf_inc为止。
4.3 网络学习速率和动量系数的选择
学习速率大小的选择，直接影响训练时间，当学习速率的选择不当，特别在严重时，将导致网络完全不能训练，这是因为1986年Rumelhart等人在证明BP训练算法收敛中，假设了无限小的权重调节速率。实际上这是不可能的，因为这表示需要无限的训练时间，所以，实际上必须选一个有限的学习速率大小，即η的值取0.01到1。一般来说要根据实验或经验来确定，还没有一个理论指导。若η选得太小，收敛可能很慢：若η选得太大，可能出现麻痹现象。为了避免这种现象，通常会选择减少η，但又会增加网络的训练时间。动量项可以加快BP算法的学习速度，但选项的时候应当注意避免学习时产生振荡。
因此，本文在确定网络的学习速率和动量系数的时候，采用不同的值的组合，利用55组训练数据进行了若干次网络的迭代训练。本文根据比较结果确定学习速率为0.1，动量系数为0.7作为网络训练时的参数。
5.基于BP神经网络介损值的预测应用
本文所建立的BP网络是基于MATLAB中的GUI建立。图形用户界面GUI （Graphical User Interfaces）是神经网络的工具箱提供的人机交互界面，它引导工程人员一步步的建立和训练网络，避免了代码的编写过程。借助图形用户界面GUI，可比直接利用工具箱函数更快捷和方便的完成神经网络的设计与分析。
利用BP神经网络理论和经过以上训练得到的网络参数，利用Matlab软件提供的GUI构造出了基于环境等外界因素影响分析设备绝缘状况的BP神经网络模型。表1列出了本文研究中建立的BP网络的各个参数和函数。
网络所用的训练数据和测试数据均出自于某110KV变电站主变套管的在线监测的数据]，本文采用其中的55组典型数据，其中50组数据用于网络训练（训练次数为1000次，训练目标为0.01），5组数据用于仿真预测，利用仿真函数获得网络的输出，网络的预测结果及误差见表2，可见预测值与实际监测值之间的误差非常小，能满足实际要求。
表1 基于BP神经网络的电容型设备绝缘诊断模型参数
名称 参数
输入层节点数 6
隐含层节点数 15
输出层节点数 1
训练函数 traingdx
学习函数 learngdm
学习速率 0.1
动量系数 0.7
表2 外界环境相同时介损值的实际值与预测值的对比
序号 电压 电流 电容 温度 湿度 实 际
介损值 预 测
介损值 误差
1 119 7.047 326.479 18 50 0.003906 0.004025 0.000119
2 119 7.057 327.545 17 52 0.000440 0.004386 0.000014
3 118 7.022 328.078 17 55 0.003946 0.004108 0.000162
4 119 7.059 327.035 16 55 0.004471 0.004512 0.000041
5 119 7.069 327.406 17 59 0.003249 0.003178 0.000071
6.结束语
本章通过对BP网络模型和学习算法的研究，深入分析了BP网络在函数预测方面的优点，确定了用BP网络来实现对容性设备介质损耗值的预测，得到的结论如下：
（1）通过对BP网络结构的研究，将三层前向神经网络结构进行了改进，适应了本文对介质损耗值的预测要求。
（2）BP网络的预测结果的准确与否取决于学习样本的优劣，本文根据实际情况选取了神经网络的学习样本并进行了仿真，结果表明该预测方法的误差满足工程误差的要求，及基于人工神经网络的介质损耗值的预测方法是可行的、正确的和有效的。
（3）数据预测具有一定的精度，但是还存在误差，需选择相关大的、较合理的输入向量，还可以对网络的结构和算法选择方面进行改进，选择更合适的训练函数使其收敛速度更快，误差更小。
参考文献
[1]张寒，文习山，丁辉.用人工神经网络预测基于泄漏电流、气象因素的绝缘子等值附盐密度预测[J].高压电器，2003，39（6）：31-35.
[2]韩力群.人工神经网络理论、设计及应用[M].北京：化学工业出版社，2002.
[3]闫志忠.BP神经网络模型的改进及其应用研究[D].长春：吉林大学，2003.
[4]闻新.MATLAB神经网络仿真与应用[M].北京：科学出版社，2000.
[5]许东，吴峥.基于MATLAB6.X的系统分析与设计-神经网络（第二版）[M].西安：西安电子科技大学出版社，2002.
[6]丛爽.面向MATLAB工具箱的神经网络理论与应用[M].合肥：中国科技大学出版社，1998
篇4
关键词：人工神经网络；神经元；可视化
中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)36-2882-03
Analysis and Comparison Between ANN and Viewdata
ZHAO Chun, LI Dong
(Department of Computer Science, Xinxiang University, Xinxiang 453000, China)
Abstract: ANN and viewdata two calculating methods of obtaing new data by the dig and learrangement of the original data. This paper intends to make a general analysis of the featurcs of the two methods and a friof comparison between the two, and summed up the two algorithms and the similarity of common ground.
Key words：ANN; nerve cell; viewdata
1 引言
人工神经网络和可视化方法是数据挖掘中的两个重要的算法模型，两者都是根据模拟人脑和人的视觉神经与传统的数字计算机相比较而抽象出来的数据挖掘算法。可视化方法是人脑神经网络的一部分，它们之间存在着必然的联系，而算法又各有所异。随着数据挖掘技术的快速发展，存储在数据库中的数据量也迅速增长，这证明传统的关系数据库和存储图像、CAD（计算机辅助设计）图纸、地理信息和分子生物结构的复杂2D和3D多媒体数据库是合理的。许多应用都要用到大型的数据库，这些数据库有几百万种数据对象，这些数据对象的纬度达到几十甚至几百。面对如此复杂的数据时，我们常常面临着一些棘手的问题：应该从哪里开始着手？哪些是有用的数据？还有一些其他可用的数据吗？能得出答案的其他方法是什么？人们在寻求突破的同时反复地思考并询问复杂数据的专门问题。我们从人工神经网络和可视化方法的算法、特有属性进行横向和纵向的比较来找出他们的共同点和相似点。
2 人工神经网络算法与可视化方法性能比较
2.1 人工神经网络提供特有的属性和能力
1) 人工神经网络有超强的运算功能――人脑大约有1011个微处理神经元，这些神经元之间相互连接，连接的数目大约达到1015数量级[1]。每个神经元都相当一个微型计算机，把每个微型计算机链接起来就形成了一个超级计算机网络。
2) 由于人工神经网络相当于一个超级因特网，每个神经元都相当于一个微型计算机，对所有的任务都可并行，并且是分布式处理，其处理能力也是超强的――每个神经元节点都可以看作一个微型计算机，这样就形成了一个庞大的神经元网络。
3) 人工神经网络有归纳总结和分类的能力。――归纳总结和分类是人工神经网络对输入而产生合理的输出。
4) 人工神经网络有离散性。
5) 人工神经网络通过典型的实例中进行归纳总结。
6) 对整个网络有很强的适应性和快速的验证的能力。
7) 对整个人工神经网络的包容性。
8 对整个人工神经网络统筹能力。
2.2 可视化方法特有的属性和能力
1) 在正常情况下人对图像的信息比较敏感。而对数据的反映比较迟钝。
2) 人从图像视觉接受到的信息比从文本或表格上接受更快、更有效。比如“百闻不如一见”。
3) 人从图像视觉接受到的信息总是有选择的接受
4) 人的视觉选择的特征为形状、颜色、亮度、运动、向量、质地等。
这些筛选仍然是通过人庞大的神经网络中的部分神经元来处理的。其中进行的样本的学习能里以及自适应性得到了充分的体现。
2.3 人工神经网络和可视化方法的共同点
1) 对接受到的信息进行归纳处理。
2) 对接受到的信息进行转化，只是转化的方式不同。
3) 对接受到的信息进行筛选，并对接受到的信息产生合理的输出。
4) 容错性。
5) 从接受到的信息进行学习的能力。
2.4 人工神经网络和可视化方法的不同点
1) 人工神经网络是好比因特网，而可视化方法的计算网络好比计算机网络。可视化网络的计算能力只是人工神经网络很小的一部分。
2) 可视化方法虽然也是并行分布式处理的结构，但是它也只是人工神经网络分布式处理的很小部分。其速度要远远低于人工神经网络
3) 人的视觉和人工神经网络对信息的筛选的方式各有不同。
3 算法比较
3.1 人工神经网络
人工神经元是一个抽象的自然神经元模型，将其数据模型符号化为：
netk=x1wk1+x2wk2+ … … +xm wkm +bk
在ANN中输入和相应权重乘机的累加为xiwki（其中，i=1, ……m），一些输入xi，i=1, ……m，其中k是ANN中给定的神经元的索引，权重模拟了自然神经元中的生物突出强度[2]。
一个神经元就是一个微型计算机，它是一个ANN运转的最小单位，就像是整个因特网中的一台计算机。下例图1是人工神经元的模型。
从这个模型可以看出人工神经元是有三个基本元素组成：
第一、一组连接线。X1 、X2 、…、Xm，每个连接线上的Wki为权重。权重在一定范围类可能是正值，也可能是负值。
第二、累加器。将Xi与对应的权重值相乘的积累加。
第三、筛选函数。通过每个神经元经过函数筛选后输出数值。
同样，还可以用矢量符号来将其表示成两个m维向量的无向乘积：
netk= X・W
其中
X={x0, x1, x3,… , xm}
W={w0, w1, w3,… , wkm}
3.2 可视化方法
可视化技术在字典中的意思为“心理图像”，在计算机图形学领域。可视化将自身行为联系起来，特别是和人眼可以理解的复杂行为联系起来。计算机可视化就是用计算机图形和其他技术来考虑更多的样本、变量和关系。
可视化技术其目的是清晰地、恰当地、有见解地思考，以及有着坚定信念的行动。
基于计算机的可视化技术不仅仅把计算机作为一种工具，也是一种交流媒介，可视化对开发人类认知方面提出了挑战，也创造了机遇。挑战是要避免观察不出不正确的模式，以免错误地做出决策和行动。机遇是在设计可视化时运用关于人类认知的知识。
安得鲁曲线技术把每个n维样本绘制成一条直线。
f(t)=x1/1.41+x2sin(t)+x3cos(t)+ x4sin(2t) +x3cos(2t)+ …
其中t为时间域，函数f(t)把n维点X=(x1, x2, x3, x4, …,xn)
将f(t)进行部分变换：
f(t)= X・W
其中
X={x0, x1, x3,… , xm}
W={w0, w1, w3,… , wkm} （w0= sin(t)，w1= cos (t)）
这种可视化的一个好处是它可以表示很多维，缺点是要花很多的时间计算，才可以展示每个维点。这种几何投影技术也包括探测性统计学，如主成分分析、因子分析和纬度缩放。平行坐标可视化技术和放射可视化技术也属于这类可视化[3]。
3.3 人工神经元模型与可视化化方法中的安得鲁曲线技术分析与比较
人工神经元是一个抽象的自然神经元模型，将其数据模型符号化为：
netk=x1wk1+x2wk2+ … … +xmwkm+bk
netk= X・W
安得鲁曲线技术把每个n维样本绘制成一条曲线。这种方法与数据点的傅立叶转换相似。它用时间域T的函数f(t)来把n维点X=(x1,x2,x3,x4, …,xn)转换为一个连续的点。这个函数常被划分在－∏≤t≤∏区间。
f(t)=x1/1.41+x2sin(t)+x3cos(t)+ x4sin(2t) +x3cos(2t)+ …
f(t)= X・W
人工神经网络和可视化方法部分算法比较可以近似的计算认为：
netk= f(t) =X・W
通过对人工神经网络和可视化方法公式的整理可以得出它们有着很多的共同性和相似性[4]，在容错允许的情况下其算法为：
F(t)= X・W
其中F(t)可表示为人工神经网络
F(t)= netk
或可视化方法
F(t)= f(t)
4 kohonen神经网络
Kohonen神经网络也是基于n维可视化的聚类技术，聚类是一个非常难的问题，由于在n维的样本空间数据可以以不同的形状和大小来表示类，n维空间上的n个样本。
Mk=（1/n）
其中k=1，2，…，k。每个样本就是一个类，因此∑nk=N。[5]
Kohonen神经网络可以看作是一种非线性的数据投影这种技术和聚类中的k-平均算法有些相似。
可见，Kohonen神经网络属于可视化方法也属于神经网络算法。
5 结束语
现代世界是一个知识大爆炸的世界。我们被大量的数据所包围着，这些数据或是整型的、或是数值型或其他类型，它们都必须经过各种方法的分析和处理，把它转换成对我们有用的或可以辅助我们决策和理解的信息。数据挖掘是计算机行业中发展最快的领域之一，原始数据在爆炸式的增长，从原始数据中发现新知识的方法也在爆炸性地增长。人工神经网络和可视化方法是两种对海量数据进行数据挖掘整理的不同算法，通过以上纵向和横向的对比，我们可以发现它们的相似性和共同点：对接受到的信息进行归纳处理、转化、筛选、容错性、并对接受到的信息产生合理的输出。在应用中可以根据它们不同的属性和能力选择不同的算法。
参考文献：
[1] Tang，Z H.数据挖掘原理与应用[M].北京.清华大学出版社,2007:74.
[2] Kantardzic M.数据挖掘[M].北京.清华大学出版社,2002:89.
[3] 李守巨,王吉.基于概率神经网络的岩土边坡稳定性预测方法[J].岩土力学,2000(2).
[4] Tam C M, Tong T K L.Diagnosis of Prestressed Concrete Pile Defects Using probabilistic Neural Networks[J].Engineering Structures,2004,26(8):1155.
篇5
[关键词]模糊系统 神经网络 模糊推理神经网络 威胁 评估
一、引言
威胁评估就是根据战场敌我双方的态势推断敌方对我方的威胁程度,是防空指挥自动化系统的一个重要组成部分,是火力分配和战术决策的前提,对指挥员准确地判断敌情、正确部署、调整和使用兵力有着举足轻重的作用。目前常用的威胁评估方法主要有:层次分析法、多属性决策法、专家系统方法、模糊理论、神经网络方法等。
本文将模糊理论和神经网络融合,取长补短,提出了基于模糊推理网络的目标威胁评估方法。该方法利用神经网络来实现模糊逻辑推理,使神经网络没有明确物理含义的权值被赋予了模糊逻辑中推理参数的含义,并且系统具有自学习能力。实验表明,新方法保留了模糊理论和神经网络各自的优势,较好地解决了各自存在的问题,能有效地评估目标的威胁程度。
二、影响目标威胁程度的因素
在防空作战中,往往需要用多个因素刻画空袭目标的本质与特征。对地空导弹武器系统而言,影响目标威胁程度的主要因素有:
(1)目标的航路捷径P。指对武器部署点或保卫要地的航路捷径。
(2)目标类型C。空袭兵器的类型不同,其飞行速度和攻击能力也不同,对要地或地域的威胁程度也不同。
(3)机动特性M。主要考虑高度上的机动。当发现目标机动,说明其攻击意图明确,威胁程度大。
(4)到达发射区近界的时间T。
(5)电子干扰E。
三、模糊推理神经网络
一个多输入多输出的模糊推理网络系统(FNNS),它由五层组成,可直接完成模糊化、模糊推理、模糊运算、去模糊化等操作。
1.网络结构
FNNS各层的内部结构如下:
2.学习算法
FNNS的自组织学习过程和监督学习过程如下:
四、实验与分析
在一次保卫要地的防空作战中,某地空导弹营的探测雷达发现空中有4批敌对目标对我保卫要地构成了威胁。已识别出4批目标的类型C分别为战术弹道导弹、巡航导弹、歼击轰炸机、武装直升机,且已测得各批目标当前时刻的航路捷径P、到达发射区近界的时间T、电子干扰能力E(已归一化)。各个目标的数据如表1所示。
表1 4批目标的数据
根据上述数据,分别构建一个含4个输入节点、1个输出节点的神经网络(3层BP网)和模糊推理网络(5层),并进行训练。将得到目标威胁程度W的评估结果如下:
(1)模糊推理网络:W3=0.92 > W1=0.63 > W2=0.59 > W4=0.57。即,目标3的威胁程度是最大的,目标4的威胁程度是最小的。
(2)神经网络:W3=0.89 > W1=0.64 > W2=0.59 > W4=0.58。
可见,评估结果与模糊推理网络的相同,只是具体数据有所差异。
五、结论
本文将模糊理论与神经网络相结合,使用模糊推理神经网络评估目标的威胁程度。该方法利用神经网络来实现模糊逻辑推理,使神经网络没有明确物理含义的权值被赋予了模糊逻辑中推理参数的含义,使得规则容易抽取出来,并且系统具有自学习能力。仿真结果表明新方法能有效地评估目标的威胁程度。
参考文献:
[1]王卫平,田志学,陈选社.威胁判断的层次――效用模型在防空雷达中的运用[J].现代雷达, 2005, 27(2): 8-14.
[2]曲长文,何友,马强.应用多属性决策的威胁评估方法[J].系统工程与电子技术, 2000, 22(5): 26-29.
[3]刘玉全,李为民,王君.基于排列法的目标威胁评估模型[J].现代防御技术, 2004, 32(1): 20-23.
[4]余舟毅,陈宗基,周锐.基于贝叶斯网络的威胁等级评估算法研究[J].系统仿真学报, 2005, 17(3): 555-558.
[5]邓文运,尼喜.地面防空威胁估计模糊优化计算方法及使用[J].现代防御技术, 2001, 29(4): 9-11.
[6]潘红华,王建明,朱森等.目标威胁判断的模糊模式识别模型[J].兵工学报, 2004, 25(5): 576-580.
[7]王向华,覃征,刘宇等.径向基神经网络解决威胁排序问题[J].系统仿真学报, 2004, 16(7): 1576-1579.
[8]黎洪生,卓祯雨. ANFIS模糊神经推理机在故障诊断中的应用[J].控制工程, 2003, 10(2): 153-155.
篇6
关键词:自组织特征映射神经网络;概率神经网络;岩性识别;预测
中图分类号:TP183
0 引 言
岩性识别是储层评价的重要工作之一,是求解储层参数的基础。测井在勘探中的作用和地位正在日益提高,测井参数值是地下岩石的矿物成分、结构和孔隙度等的综合反映,是岩性分析的基础资料。对于一组特定的测井参数值,它就必然对应着地层中的某一种或某几种岩性。在分析岩心和测井参数对应特征的基础上,划分岩心的岩石类型,并从各类岩石中读取能够代表岩样的测井参数值,确定岩性与测井参数对应关系。
由于井下地质构造的复杂性和测井参数分布的模糊性,传统的数理统计等方法难以准确地反映测井资料与地层岩性的非线性映射关系,识别精度有限,采用具有聚类功能的人工神经网络――自组织特征映射网络(SOM)和概率神经网络(PNN)完成测井资料的岩性识别。采用神经网络对测井数据进行岩性识别,具有较强的自组织和自适应性,有较高的容错能力。
1 概率神经网络(PNN)
概率神经网络(Probabilistic Neural Network,PNN)是基于贝叶斯最小风险准则和Parzen窗的概率密度函数方法发展而来的一种并行算法,是径向基函数模型的发展[3]。它直接考虑样本空间的概率特性,以样本空间的典型样本作为隐含层的节点,其网络权值是模式样本的分布。
概率神经网络由四个结构层组成:输入层、样本层、累加层和输出层。输入层的节点数是样本向量的维数,将所有样本不变地传给样本层后,样本层将输入向量的各个分向量进行加权求和,然后再用一个非线性算子进行运算,非线性算子取高斯函数:
式中:[WTHX]X为输入向量;W[WTBX]为权值向量;1/R2为平滑因子。オ
然后将计算结果传递到累加层[5],累加层各个节点只与相应类别的样本节点相连,计算同类样本输出值的和,权值都为1。网络的输出层,即竞争层采用胜者为王的学习规则,使具有最大概率的向量的输出为1,其他类别的向量输出为0。这样网络就按Bayes决策[6]将输入的向量分配到具有最大后验概率的类别中去。
2 自组织特征映射神经网络(SOM)
自组织特征映射网络(Self[CD*2]Organizing feature Map,SOM),接受外界输入模式时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征。自组织映射学习算法包含:竞争、合作和更新三个过程[7]。
(1) 在竞争过程中,确定输出最大的神经元为获胜神经元。由于神经元的激励函数为线性函数,神经元的最大输出取决于其输入ui=∑Nj=1wijxj,即输入向量[WTHX]X[WTBX]=[x1,x2,…xN]T和权值向量[WTHX]W[WTBX]i=[wi1,wi2,…wiN]T,i=1,2,…,M的内积。而该内积在输入向量和权值向量均为归一化向量时,等价于输入向量和权值向量的欧氏距离最小。所谓欧氏距离就是n维欧氏空间中向量[WTHX]Y[WTBX]=[y1,y2,…,yN]和向量[WTHX]Z[WTBX]=[z1,z2,…,zN]的距离,其值为∑ni=1(yi-zi)2。所以当输入向量为[WTHX]X[WTBX]且第c个神经元获胜,满足条件:[WTHX]X[WTBX]-[WTHX]W[WTBX]c=┆min[WTHX]X[WTBX]-[WTHX]W[WTBX]i(i=1,2,…,M) 。И
(2) 在合作过程中,确定获胜神经元的加强中心。拓扑邻域的中心就是在竞争过程中得到的获胜神经元,在邻域范围内的神经元为兴奋神经元,即加强中心。
(3) 在更新过程中,采用Hebb学习规则[8]的改变形式,对网络上获胜神经元拓扑邻域内的神经元进行权值向量的更新。
自组织特征映射神经网络是一种竞争式学习网络,共有两层,输入层各神经元通过权向量将外界信息汇集到输出层的各神经元。采用Kohonen算法,获胜神经元对其邻近神经元的影响是由近及远,由兴奋逐渐转变为抑制,其学习算法中不仅获胜神经元本身要调整权向量,它周围的神经元在其影响下也要程度不同地调整权向量,调整力度依邻域内各神经元距获胜神经元的远近而逐渐衰减。最后使输出层各神经元成为对特定模式类敏感的神经细胞,对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时,代表这两类的神经元在位置上也接近,从而在输出层形成能够反映样本模式类分布情况的有序特征图[9]。
3 基于神经网络的岩性识别
通过对已知井段测井数据进行学习,来预测同一地区其他井段的岩性。
3.1 岩性样本
为了探讨神经网络在岩性识别中的具体应用,选择一批测井岩性数据用于岩性识别建模工作。选择某地区的资料进行研究,该地区属于碳酸盐地层,选取的样本岩性有3种,即泥岩、砂岩和石灰岩。影响岩性的重要因子有5个,补偿中子空隙度CNL、补偿密度曲线DEN、声波时差DTC、自然伽玛GR和微电阻率RT。通过对历史资料的分析,获得了6组样本数据。
在各种测井工作中,由于不同的测井响应具有各自的测量量纲,数值大小不一,差异较大,无法直接进行定量比较,因而必须对测井数据进行处理,对其归一化,将非地质因素校正到同一水平上。在归一化处理后的测井响应值是没有量纲的,而且其数值在[0,1]范围内变化,消除了不同测井响应在量纲和数量级上的差异。原始数据归一化后的结果数据列出如表1所示。
3.2 PNN网络岩性识别仿真
建立PNN网络,其输入层有5个神经元,分别对应5个影响因子,选取的样本有三种不同的岩性,利用二进制格式描述这三种岩性,作为目标向量。利用下面函数创建PNN网络用于岩性识别。
net=newpnn([WTHX]P[WTBZ],[WTHX]T[WTBZ],SPREAD);其中:[WTHX]P[WTBZ]为输入向量;[WTHX]T[WTBZ]为目标向量;SPREAD为分布密度。
运用建立的模型对学习样本仿真,输出结果如表1最后一列所示。
由表1的仿真结果可知,网络成功地将岩性样本分为三类,这与实际情况一致,并且可知第1类为泥岩,┑2类为砂岩,第3类为石灰岩。接下来用一组测试样本,检验模型的未知岩性的识别能力。测试样本数据如表2所示。
运用建立的模型对上表的岩性影响因子测试样本进行仿真,输出结果如表2最后一列所示。仿真结果显示该组测试样本属于第3类,即为石灰岩,与期望输出一致。可见,PNN网络能够正确识别未知岩性样本。
3.3 SOM网络岩性识别仿真
SOM神经元数的选取与样本有多少模式有关。如果神经元数较少,对输入样本类别进行“粗分”,如果神经元数较多,可将输入样本类别“细化”。
选取竞争层神经元为2×3的组织结构,通过距离函数linkdist来计算距离,利用下面函数创建SOM网络,用于岩性类别的“粗分”。
由于网络的初始权值相同,权向量是重合的。利用表1的学习样本对网络训练,训练步数的大小影响网络的聚类功能。不断调整训练步数,训练100次后,神经元就可以自组织分布。网络训练结束后权值也就固定了,以后每输入一组新的样本,竞争层的神经元开始竞争,激活与之最为接近的神经元,从而实现岩性自动识别。运用建立的SOM网络对学习样本和测试样本进行仿真,聚类结果如表3所示。样本序号类别激发神经元索引
聚类结果表明学习样本分为三类,序号为1,2的样本为第1类,激活第5个神经元;序号为3,5的样本为第2类,激活第4个神经元;序号为4,6的样本为┑3类,激活第1个神经元。而测试样本激活第1个神经元,属于第3类,由学习样本可知,为石灰岩。可见,SOM网络能够准确地划分岩性类别。
将上述岩性样本类别“细化”,或者增加更多不同类型的岩性样本,那么应该增加竞争层神经元的数量。选取竞争层神经元为3×4的组织结构,创建SOM网络,随着神经元个数的增加,增加训练次数,当训练1 000次时,神经元就可以自组织分布。运用建立的SOM网络对学习样本和测试样本进行仿真,聚类结果如表4所示。[JP]
参照样本实际分布曲线,分析聚类结果,当竞争层的神经元数目较多时,几乎每一个样本都被划分为┮焕唷＊从图1可以看出,序号1和2样本、序号3和5样本分别在高维空间相近,而聚类后激活的相应神经元的位置也接近,序号4和6样本相仿程度更高,聚类后激发了同一个神经元1,这和实际情况是吻合的。测试样[LL]本与序号4和6样本极为接近,聚类后激发了同一个神经元,即网络的第1个神经元,所以样本属于第4类。增加竞争层神经元的数量,可以使岩性类别划分更加详细,岩性识别准确。
4 结 语
采用概率神经网络和自组织特征映射神经网络对岩性进行自动识别是准确的。PNN网络不需要训练,具有结构简单、追加样本容易的特点,是一种具有较强容错能力和机构自适应调整的网络,但需要预设目标向量。SOM网络具有效率高,无需监督,能自动对输入模式进行聚类的优势,但输出层的神经元数目多,网络规模较大。仿真结果表明这两种网络用于岩性分类和识别是准确和可靠的,对用于油层、煤层及其勘探等领域,具有重要的参考价值。
参 考 文 献
[1]于代国,孙建孟,王焕增,等.测井识别岩性新方法[CD2]支持向量机方法\[J\].大庆石油地质与开发,2005,24(2):93[CD*2]95.
[2]Gao T H,Cao J Y,Zhang M L,Qi J B.Lithology Recognition during Oil Well Drilling Based on Fuzzy[CD*2]adaptive Hamming Network [A].Proceedings of the Sixth International Conference on Intelligent Systems Design and Applications[C].2006:574[CD*2]578.
[3]Specht D F.Probabilistic Neural Network and General Regression Neural Network [M].McGraw-Hill,1996.
[4]Tao Song,Mo Jamshidi,Roland R Lee,et al.A Novel Weighted Probabilistic Neural Network for MR Image Segmentation[A].IEEE International Conference on System,Man and Cybernetics\[C\].2005,3:2 501[CD*2]2 506.
[5]Han J,Kanmber M.Data Mining:Concepts and Techniques[M].San Francisco:Academic Press,2001.
[6]Chuhee Lee,Euisun Choi.Bayes Error Evaluation of the Gaussian ML Classifier[J].IEEE Trans.on Geoscience and Remote Sensing,2000,38 (3):1 471[CD*2]1 475.
[7]杨建刚.人工神经网络实用教程[M].杭州:浙江大学出版社,2001.
[JP2][8]Parag C,Pendharkar A.Data Envelopment Analysis[CD*2]based Approach for Data Preprocessing[J].IEEE Trans.on Knowledge and Data Engineering,2005,17(10):1 379[CD*2]1 388.[JP]
[9]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006.
篇7
WANG E （School of Traffic and Transportation， Lanzhou Jiaotong University， Lanzhou 730070， China）
摘 要：文章借鉴物流联盟风险评价问题已有成果，总结了影响物流联盟风险的主要因素，并在此基础上建立了两级4种类型的物流联盟风险评估指标体系，该指标体系包括市场风险、合作关系风险、能力风险、信息与管理风险4个方面共11个评价指标。建立了基于BP神经网络分析法对物流联盟合作伙伴选择模型，利用MATLAB进行了样本训练和实例分析，结果显示利润分配、信息共享、信任程度是影响物流联盟风险最重要的二级指标。
关键词：物流联盟；风险评价；BP神经网络；物流联盟风险
中图分类号：F272 文献标识码：A
Abstract： This paper questioned the risk of assessment results for logistics alliance， summarized the main factors which influencing the risk of logistics alliance， and based on the two levels of four types of logistics alliance risk assessment index system， the index systems including four aspects such as market risk， cooperation risk， ability risk， information and management risk， these risks contained eleven evaluation indexes. We build a logistics alliance partner selection model which is based on the BP neural network analysis method， and sample training and case analysis， are studied by using the MATLAB software and results show that the degree of profit distribution， information sharing， trust are the most important secondary indexes affecting logistics alliance risk.
Key words： logistics alliance； risk assessment； the BP neural network； logistics alliance risk
0 引 言
随着经济的发展，物流业已经成为我国众多发展迅猛的行业之一。由于市场竞争程度的加剧，单个物流企业已无法应对市场中的各种风险，建立物流联盟成为物流企业调整战略格局的重要措施。我国的一些大中型物流企业不断卷起联盟的狂潮，目的是使企业获得较新的技术设备及能力资源、降低企业成本、提高企业核心竞争力、增加企业收入水平。理论上，如果物流联盟能够有效执行，其发展前景是不可估量的，但是也存在一些风险。本文研究目的是为物流联盟的构建以及风险因素的评估进行理论分析，并且借鉴这些因素对物流联盟的风险程度做出相应的定量分析和评价，以增加物流联盟的长期性、提高物流联盟的稳定性，使得双方或者多方企业通过物流联盟的方式降低物流成本，获得最大收益。
Ashino和Rangan[1]提出两个或者多个物流企业组成的联盟必须能够拥有共同的目标，在建立联盟时共同分享获得的利润，并且将这些资源运用到联盟企业的运营当中去，只有这样联盟才能持久且稳定，否则存在诸多联盟风险；Shapiro[2]将联盟风险中的信任风险分为4种：基于达成共识的信任风险、基于认知能力的信任风险、基于威慑的信任风险以及敏捷信任风险；Ming-Chih Tsai[3]等人分析了政治风险对物流企业发展的作用，指出微观企业因素和宏观政治因素所引起的风险不容忽略；Hallikas[4]提出了如何在网络环境中处理物流联盟风险的方法，介绍了风险管理的过程；郑绍镰[5]计算了层次分析法评估指标的权重，优化了联盟利益分配的机制；冯蔚东[6]利用模糊综合分析法（Fuzzy-AHP）建立了一种基于风险与投资比例的求解办法，通过实际的计算证明了其有效性和正确性；徐志禄[7]J为联盟合作伙伴的适合性、匹配性、资产专用性、竞争和合作的平衡、企业成员之间相互信任等因素会直接影响到物流联盟稳定性；刘明菲[8]依据物流市场运营风险的内涵，对市场运营风险进行分类识别，分析了各类风险可能产生的后果，并提出风险管理对策；袁旭和孙希刚[9]结合时间价值理论和层次分析法建立了一个虚拟物流企业受益混合模型；DASTK和TENGBS[10]等人针对物流联盟提出了基于风险理论，认为影响物流联盟的风险有绩效和关系两大类。
国外学者起初研究供应商选择方法，后来研究合作伙伴选择条件，但都未深入进行物流联盟合作伙伴的研究。国内对物流联盟研究起步较迟，且缺少实践经验，只描述概念方法和模型介绍，并未证明模型的适用性。本文根据物流联盟风险的分类，结合BP神经网络分析法对物流联盟的风险进行综合评价，并且运用MATLAB对物流联盟的风险评价结果进行验证。
1 物流联盟风险分类
根据风险的划分方式不同，物流联盟风险的种类也不尽相同。唐萌春[10]认为物流联盟中存在两类风险：内部风险和外部风险。联盟外部风险主要包括市场风险、金融环境风险以及自然环境风险等；联盟内部风险主要有合作关系风险、能力风险和信息与管理风险等。物流联盟风险的分类示意图如图1所示：
物流联盟内部风险占主导因素，物流联盟的外部风险也起一定作用，一般是由外部环境的不确定性和不稳定性导致的。本文主要分析以下4种风险（1种联盟外部风险和3种联盟内部风险）：
（1）市场风险
市场风险主要是指在一些市场中由于市场价格、利率等的不稳定从而使得市场遭受无法预料的隐含损失风险，包含物品风险、利率风险、权益风险以及汇率风险等，其中利率风险是主要风险。
（2）合作关系风险
合作关系风险是指由于联盟的企业之间的某种交易行为从而造成联盟关系的不稳定性。一般来说，影响物流联盟的合作关系有很多因素，例如：企业文化、价值观念、激励机制、道德风险、信任程度以及战略目标。第一，信任是合作的首要保证，当然也是物流联盟合作的基础。如果企业联盟之间互不相信，那么企业联盟也将无法进行下去。第二，物流联盟的有效保障是适当地激励和合理公平的利益分配，如果信息不对称，那么物流联盟将可能会出现停滞现象，同样，利润分配不公平、激励不合理、联盟成员的机会主义等都有可能造成物流联盟的失败。第三，企业和成员的价值观念以及行为方式的不同，还有企业文化的冲突等都会对联盟的关系产生威胁，甚至破裂。
（3）能力风险
能力风险主要是指由于联盟组织的实践经验、知识积累以及协调管理等能力的缺乏引起的。同样，物流服务成本、物流技术、物流服务质量以及物流响应时间等方面因素都可能会对物流联盟组织的稳定性造成一定的影响。物流联盟的基础是对客户提供优质的服务，当物流联盟企业各方面的能力有限、技术上没有办法满足客户要求或服务质量低下时，都有可能使得物流联盟的关系解体。
（4）信息与管理风险
信息与管理风险主要是指信息的传递、核心能力的集成、信息资源的集成和物流联盟的组织与管理等方面的风险。物流与信息流密切相关，信息共享和信息高效、准确的传递是有效物流联盟建立的最基本要求，然而由于每个物流联盟企业互不相同的信息系统、通信协议以及数据库标准，往往使得企业之间物流信息的传递出现延迟，或者集成时出现衔接困难，因而造成物流联盟效率低下、运行资料缺少，增加物流联盟的运行风险。
2 BP神经网络模型建立
设输入变量为X=x■，x■，…，x■；隐含层输出向量为y■=y■，y■，…，y■；输出层输出向量为h■=h■，h■，…，h■；期望输出向量为d■=d■，d■，…，d■。输入层和隐含层间的连接权值为W■，隐含层与输出层间的连接权值为W■；隐含痈魃窬元的阀值为
z■，输出层各神经元的阀值为z■；样本数据个数为K，K=1，2，…，m，输出层的误差函数为：
E=■■d■k-y■k■ （1）
隐含层与输入层之间的连接修正权值为：
ΔW■k=-u■=δ■kX■k （2）
W■=W■■+ηδ■kX■k （3）
则全局误差为：
E=■■■d■k-y■k■ （4）
接下来看误差是不是适合特定的条件，如果网络误差降到了一定的程度或者最初的最大次数小于训练次数时，就可以让训练停止。
MATLAB软件中Nntool工具箱对BP神经网络训练过程：
（1）创建网络；
（2）输入训练样本；
（3）计输出值和误差值；
（4）修正各层权值和阈值；
（5）误差满足条件，训练结束（如果误差不满足终止条件则继续第三步，直到误差达到所设置的误差为止）。
3 基于BP神经网络分析的风险评估实例分析
文章结合以下实例运用BP神经网络方法对物流联盟风险进行评估：例如某企业在组建物流联盟之前邀请5位专家对联盟伙伴的匹配性和合作者风险进行评估，这两种风险发生的概率和该风险对物流联盟所产生的影响度分别用p■和f■来表示。评语集合U=极高，高，中等，低，极低。邀请5位专家对风险因素X■进行评估，第j个专家的重要程度为W■，评价结果如表1所示：
风险影响程度数值表示，如表2所示：
第i种风险因素的风险度为：
X■=1-1-■w■f■1-■w■p■ （5）
其中：n表示专家个数（这里n=5），代入相应的数值计算可得：
X■=1-1-0.2×0.8+0.2×0.8+0.3×0.6+0.1×0+0.2×0.61-0.2×0.4+0.2×0.6+0.3×0.5+0.1×0.85+0.2×0.65=0.835
同理可得：X■=0.865，X■=0.888，X■=0.963，X■=0.800，X■=0.953，X■=0.779，X■=0.769，X■=0.774，X■=0.941，X■
=0.933。
具体数据如表3所示：
从以上的数据我们可以看出，在这11种风险当中，信任程度的风险度是最高的，其值为0.963，其次是利润分配和信息共享，风险度的值分别为0.953和0.941。在一定的条件下，技术能力和文化冲突等对联盟风险的风险度就比较小。风险等级的区间表示：区间0，0.2表示低风险，区间0.2，0.4表示较低风险，区间0.4，0.6表示中等风险，区间0.6，0.8表示较高风险，区间0.8，1表示高风险。由于等级区间表示范围在0，1之间，故隐含层采用Logsig函数（隐含层节点数为4），输出层采用Purelin转换函数（输出层的节点数为1），建立BP神经网络，对网络进行训练。假设输入层节点数为10，以专家评价法求出的11种风险因素的风险度作为BP神经网络的期望输出值。5位专家打分的风险发生的概率和重要度作为样本的输入，输出7组数据作为训练样本，再用4组数据作为预测输出值，输出值的大小用以上的5个等级来反映风险的大小。
首先是创建神经网络，然后对网络环境初始化，主要是阈值和权值的设定（包括连接权重、隐含层、输出层阈值等），最后输入样本训练值对网络进行训练。当训练到第100步时，训练误差的蓝线达到期望水平并保持稳定，即BP神经网络收敛，训练结束。如图2所示：
经过训练，得到样本输出结果为：0.92315，0.92071，0.93959，0.79772，0.80573，0.79717，0.91989；训练输出结果为：0.82125，0.85374，0.92061，0.89466。
结果分析：从以上的训练结果可以得到该物流联盟的风险范围，因而能够判断物流联盟风险的高低。从输出结果可以看出，在误差允许范围内，第10种风险是信息共享风险，专家评价计算得出的风险度（期望输出值）为0.941，风险等级为极高；而网络训练结果为0.92061，风险等级也为极高。由此说明BP神经网络的分析结果和期望结果基本一致，证明了本文所建立的BP神经网络的可靠性。
4 结 论
对物流鹇粤盟风险进行评估，不仅可以有效地规避物流联盟在建立过程中的风险，而且可以让联盟企业有针对性地选择对应措施。如果在物流联盟组建之前对其风险进行评估，就可以未雨绸缪，采取有效措施将风险降低。BP神经网络能够兼顾多种影响因素，利用人工智能学习的方法达到解决问题的实时性、敏捷性等特点。文章分析了物流联盟风险产生的原因和风险特点，结合BP神经网络分析法对风险指标进行评估，并且对联盟的风险评估方法进行选择，最后使用MATLAB软件中的Nntool工具箱对实例进行分析，验证了文章提出方法的合理性和适用性。但是，该方法的使用有其不足之处：在使用BP神经网络进行训练所需的大量样本不易获得。
参考文献：
[1] Charles W. L. Hill， Gareth R. Jones. Strategic management[M]. Houghton Mifflin Co， 1995：32-37.
[2] Shapiro D. L. International Trust： A Comparison of Attitudinal and Situational Factors[J]. Human Relations， 1980，33（11）：113-132.
[3] Ming-Chih Tsai， Ying-So Su. Political risk assessment on air logistics hub developments in Taiwan[J]. Journal of Air Transport Management， 2002，11（6）：373-380.
[4] Jukka Hallikas， Iris Karvonen， Urho Pulkkinen， et al. Risk management processes in supplier networks[J]. International Journal of Production Economics， 2004，6（8）：47-58.
[5] 郑绍濂，等. 分层次与相对绩效评价机制及其效率研究[J]. 管理科学学报，1998（1）：27-29.
[6] 冯蔚东. 虚拟企业中的风险分析与监控[J]. 中国管理科学，2001（10）：24-31.
[7] 徐志禄. 第三方物流企业战略联盟的稳定性研究[D]. 广州：暨南大学（硕士学位论文），2007.
[8] 刘明菲，罗显敏. 物流园区市场运营风险管理[J]. 武汉理工大学学报，2006（3）：389-399.
[9] 袁旭，孙希刚. 基于贡献的虚拟物流企业收益分配[J]. 桂林电子工业学院学报，2004（3）：72-74.
[10] DASTK， TENGBS. Resource and management in strategic alliance making process[J]. Journal of Management， 1998（24）：21-54.
篇8
论文关键词：微钙化点良恶性分类，肿瘤模式识别，学习矢量量化神经网络，敏感度，特异度
1 引言
随着早期检测的重视，近年来乳腺癌的死亡率有降低的趋势，但仅是在欧美国家，比如美国癌症协会ACS建议40-50岁之间的妇女每隔一年就做一次X光片的早期检查，而对50岁以上的则要求一年一次[1]。在过去的十年里中国的乳腺癌诊断病例以每年3%的比例在增长，这个比例已高于西方国家[2]，并且呈年轻化的趋势，这可能归结于环境的变化、饮食结构等改变。
本文的主要工作是提出将微钙化簇分类为良性或恶性的分类算法。分类算法包括4个步骤：（1）从DDSM数据库中获取研究对象，并修改图像格式和尺寸；（2）从数据库相关说明文件中提取病灶区域；（3）提取有效的特征向量；（4）对CC和MLO两种视图的图像使用LVQ神经网络分别训练和测试获得最佳的分类率；（5）使用逻辑或操作计算最后的分类结果，即如果认为任何一个视图下的图像是恶性的，那该病人的病灶性质就是恶性的。
2 图像预处理及特征提取
2.1 图像数据库和预处理
篇9
关键词:压铸机;RBFNN;故障诊断;模糊K均值聚类算法
中图分类号:TP212文献标识码:A
文章编号:1004-373X(2009)12-179-04
Method of Control System Sensor Fault Dignosis Based on RBF Neural Network
PENG Jishen,DONG Jing
(Faculty of Electrical and Engineering Control,Liaoning Technical University,Huludao,125105,China)
Abstract:For the problems of related sensor common fault in the die casting machine real-time detection and control system,through the study of artificial neural network′s theory and methods,sensor fault diagnosis observer model of control system based on a radial basis function neural network control system RBFNN is established.The model is trained by the measured parameters of die-casting machine,adopting fuzzy K means clustering algorithm to select clustering centre,using the observer to forecast the residuals between the sensor output value and the sensor actual output value to diagnose sensor fault.The simulated results show that RBFNN observer has strong capacity of non-linear process and arbitrary function approximation,and has many advantages such as high-precision,learning time short,rapid network computing and stable performance to meet the requirements of sensor fault diagnosis.
Keywords:die casting machine;RBFNN;fault dignosis;fuzzy K means clustering algorithm
0 引 言
传感器是现行研究的压铸机实时检测与控制系统[1]的关键部件,系统利用传感器对压铸机的各重要电控参数(如:合型力、油压、压射速度、模具温度等)进行检测,并进行准确控制。这一过程中,各传感器输出信号的质量尤为重要,其优劣程度直接影响压铸机控制系统分析、处理数据的准确性,最终影响压铸件产品质量的优劣。由于大型压铸机生产环境较为恶劣,长期的高温、高压、高粉尘及来自周边器械的电磁干扰等因素的存在,不可避免地会造成传感器软硬故障的发生,有故障的传感器所发出的错误信号,会使整个压铸机控制系统分析、处理和控制功能紊乱,造成系统无法正常运行,带来无法估计的生产安全隐患及严重的后果。因此,对压铸机控制系统中传感器故障诊断方法的研究具有重要的意义。
人工神经网络[2](神经网络)是传感器故障诊断的方法之一。神经网络是有大量人工神经元相互连接而构成的网络。它以分布的方式存储信息,利用网络拓扑结构和权值分布实现非线性的映射,并利用全局并行处理实现从输入空间到输出空间的非线性信息变换。对于特定问题适当建立神经网络诊断系统,可以从其输入数据(代表故障症状)直接推出输出数据(代表故障原因),从而实现非线性信息变换。层状结构的神经网络输入层、输出层及介于二者之间的隐含层构成。依据用于输入层到输出层之间计算的传递函数不同,提出一种基于径向基函数RBF神经网络的传感器故障诊断策略[3-5]。
1 RBF神经网络的模型
径向基函数神经网络[6,7](RBFNN)是一种新型神经网络,属于多层前馈网络,即前后相连的两层之间神经元相互连接,在各神经元之间没有反馈。RBFNN的三层结构与传统的BP网络结构相同,由输入层、隐含层和输出层构成,其结构见图1。其中,用隐含层和输出层的节点计算的功能节点称计算单元。
图1 RBF神经网络结构图
RBF神经网络输入层、隐含层、输出层的节点数分别为n,m,p;设输入层的输入为X=(x1,x2,…,xj,…,xn),实际输出为Y=(y1,y2,…,yk,…,yp)。输入层节点不对输入向量做任何操作,直接传递到隐含层,实现从XFi(x)的非线性映射。隐含层节点由非负非线性高斯径向基函数构成,如式(1)所示。
Fi(x)=exp(-x-ci/2σ2i), i=1,2,…,m(1)
式中:Fi(x)为第i个隐含层节点的输出;x为n维输入向量;ci为第i个基函数的中心,与x具有相同维数的向量;σi为第i个感知的变量,它决定了该基函数围绕中心点的宽度;m为感知单元的个数(隐含层节点数)。x-ci为向量x-ci的范数,通常表示x与ci之间的距离;Fi(x)在ci处有一个惟一的最大值,随着x-ci的增大,Fi(x)迅速衰减到零。对于给定的输入,只有一小部分靠近x的中心被激活。隐含层到输出层采用从Fi(x)yk的线性映射,输出层第k个神经元网络输出见式(2):
k=∑mi=1ωikFi(x), k=1,2,…,p(2)
式中:k为输出层第k个神经元的输出;m为隐层节点数;p为输出层节点数;ωik为隐层第i个神经元与输出层第k个神经元的连接权值。
RBF网络的权值算法是单层进行的。它的工作原理采用聚类功能,由训练得到输入数据的聚类中心,通过σ值调节基函数的灵敏度,也就是 RBF曲线的宽度。虽然网络结构看上去是全连接的,实际工作时网络是局部工作的,即对输入的一组数据,网络只有一个神经元被激活,其他神经元被激活的程度可忽略。所以 RBF网络是一个局部逼近网络,这使得它的训练速度要比 BP网络快 2～3 个数量级。当确定了RBF网络的聚类中心ci、权值ωik以后,就可求出给定某一输入时,网络对应的输出值。
2 算法学习
在此采用模糊K均值聚类算法[8]来确定各基函数的中心及相应的方差,而网络权值的确用局部梯度下降法来修正,算法如下:
2.1 利用模糊K均值聚类算法确定基函数中心ci
(1) 随即选择h个样本作为ci(i=1,2,…,h)的初值,其他样本与中心ci欧氏距离远近归入没一类,从而形成h个子类ai(i=1,2,…,h);
(2) 重新计算各子类中心ci的值,ci=1si∑sik=1xk。其中,xk∈ai;si为子集ai的样本数,同时计算每个样本属于每个中心的隶属度为:
uij=min∑sij=1xj-cixk-ci, xj,xk∈ai(3)
U={uij∈[0,1]|i=1,2,…,h;j=1,2,…,s}
(3) 确定ci是否在容许的误差范围内,若是则结束,不是则根据样本的隶属度调整子类个数,转到(2)继续。
2.2 确定基函数的宽度(误差σ)
σ2=(∑sj=1uijxj-ci)∑sj=1uij(4)
式中:ai是以ci为中心的样本子集。
基函数中心和宽度参数确定后,隐含层执行的是一种固定不变的非线性变换,第i个隐节点输出定义为:
Fi(x)=exp(-x-ci2/2σ2i)∑mi=1exp(-x-ci2/2σ2i)(5)
2.3 调节隐层单元到输出单元间的连接权
网络的目标函数为:
E=12N∑NK=1[y(xk)-(xk)]2(6)
也就是总的误差函数。式中:y(xk)是相对于输入xk的实际输出;(xk)是相对于xk的期望输出;N为训练样本集中的总样本数。对于RBFNN,参数的确定应能是网络在最小二乘意义下逼近所对应的映射关系,也就是使E达到最小。因此,这里利用梯度下降法修正网络隐含层到输出层的权值ω,使目标函数达到最小。
Δωi=-ηE(xk)•(xk)郸i(7)
式中:η为学习率,取值为0~1之间的小数。根据上面式(6),式(7)最终可以确定权值ω的每步调整量:
Δωi=-ηN∑[y(xk)-(xk)]bi(xk)(8)
权值ω的修正公式为:
ωiωi+Δωi,i=1,2,…,m(9)
利用上述学习方法得到ci=8.1,σ=0.01。
3 控制系统传感器故障诊断与仿真研究
3.1 观测器模型与故障诊断
压铸机检测与控制系统中传感器主要检测的参数有合型力、油压、模具温度、压射速度,各参数随时间变化输入与输出之间存在明显的非线性关系。RBF神经网络模型具有较强的非线性处理和任意函数逼近的能力。图2为基于RBF神经网络的传感器故障诊断原理。
图2 基于RBFNN的传感器故障诊断原理图
图2中虚线框所示部分即为RBFNN观测器原理。基本思想:通过正常情况下非线性系统的实际输入和传感器的输出学习系统的特性,用已经训练好的观测器的输出于实际系统的输出做比较,将两者之差做残差,再对残差进行分析、处理,得到故障信息,并利用残差信号对传感器故障原因进行诊断[9]。
非线性系统:
y(k)=f[u(k-d),y(k-1)](10)
u(k-d)=[u(k-d),u(k-d-1),…,u(k-d-l)](11)
y(k-d)=[y(k-1),u(k-2),…,y(k-n)](12)
式中:y(k)是传感器实际输出;u(k)是系统实际输入;f(•)代表某个未知的动态系统(压铸机)的非线性关系;n,l,d分别代表系统结构的阶次和时间延迟,并且假设u(k),y(k)是可测的。
利用RBF神经网络模型的径向基函数来逼近f(•)。将函数:
X(k)=y(k)=[u(k-d),u(k-d-1),…,
u(k-d-l),y(k-1),y(k-2),…,y(k-n)](13)
作为RBF神经网络训练模型输入层的输入,通过上述隐含层高斯径向基函数进行非线性变换,再利用上述模糊K均值聚类算法来选取聚类中心和训练权值,最后得到整个网络的输出:
(k)=∑mi=1ωiFi(k)+θ(14)
式中:(k)为输出层的输出;ωi为修正后的权值;Fi(k)为第i个隐层节点的输出;θ为输出层节点的阀值,并将(k)与当前系统的实际输出y(k)进行比较,得到残差δ(k)。若δ(k)小于预定阀值θ,表示传感器正常工作,此时采用系统实际输出的数据;若δ(k)大于预定阀值θ,说明传感器发生故障,此时采用RBFNN观测器的观测数据作为系统的真实输出,实现信号的恢复功能。
3.2 仿真实验
在压铸机系统各传感器正常工作时连续采集52组相关数据,将其分成2组,前40组用于对RBF神经网络进行离线训练,以构建RBF神经网络观测器;后12组用于对训练好的网络进行测试。表1为训练样本库中的部分数据。
表1 用于RBF神经网络训练的部分数据
序号合型力 /MPa油压 /MPa压射速度 /m/s模具温度 /℃
111.258.962.50353.21
211.408.902.52353.30
311.409.002.46354.20
411.259.002.42354.50
511.009.102.42353.61
611.709.102.56353.14
712.009.122.60352.90
812.109.212.60352.95
912.109.232.52353.76
1011.709.122.68353.21
1111.258.902.68356.12
1211.258.892.62355.32
1311.328.982.48354.46
1411.329.112.48353.62
1511.459.102.50355.00
1612.109.112.42356.18
由于表1中的4个参数的物理意义、量级各不相同,必须经过归一化处理后才能用于神经网络的训练,用Matlab[10]的Simulink仿真工具箱提供的函数对数据进行归一化处理使数据位于[-1,1]之间。训练结束后切断学习过程使网络处于回想状态,将系统实际输出与网络模型的输出相减就可以获得残差。以合型力传感器为例,采样时间为0.5 s,利用上面的学习样本在时间T∈[1 s,1 000 s]内对RBF神经网络进行训练,结果经过约50步训练误差就达到10-7并急剧减少,如图3所示。
图4为用后12组数据对RBF神经网络进行测试时,跟踪正常合型力传感器测量值y的情况,其最大误差不超过1.5 MPa,所以训练好的RBF神经网络具有一定的泛化能力,可以较好的观测、跟踪合型机构现状。
现针对传感器经常发生的卡死故障、漂移故障和恒增益故障进行模拟仿真实验。当合型力传感器正常工作时,RBFNN观测器输出与合型力传感器测量值y之间的残差δ=-y近似为高斯白噪声序列,其均值近似为零;当传感器发生故障时,由于y不能准确反应合型力数据,导致δ突变,不再满足白噪声特性。根据上面所述的传感器故障诊断原理,设定阀值θ=2.7 MPa,图5表示合型力传感器在T∈[400 s,600 s]内发生卡死故障时的输出残差曲线;图6表示传感器在T∈[600 s,1 000 s]内发生漂移故障;图7表示传感器在T∈[800 s,1 000 s]内发生恒增益故障时的输出残差曲线。
图3 RBFNN训练过程误差收敛情况
图4 合型力传感器正常工作时的残差曲线
图5 合型力传感器发生卡死故障时的残差曲线
图6 合型力传感器出现漂移故障时的残差曲线
通过对各类典型故障的仿真实验,能够准确检测到合型力传感的各类故障。
图7 合型力传感器出现恒增益故障时的残差曲线
4 结 语
在此依据径向基(RBF)神经网络原理,以压铸机控制系统各传感器的输出参数作为RBF神经网络的输入,采用模糊K均值聚类算法选取聚类中心,建立传感器RBF神经网络观测器模型对控制系统传感器进行故障诊断,仿真实验表明径向基神经网络具有较强的非线性处理和逼近能力,泛化能力强,网络运算速度快,能够准确发现和处理故障信号,性能稳定。因此,RBF神经网络故障诊断是压铸机控制系统一个必不可少的新管理工具。
参考文献
[1]彭继慎.压铸机控制技术[M].北京:机械工业出版社,2006.
[2]韩力群.人工神经网络教程[M].北京:北京邮电大学出版社,2006.
[3]王军,吕震中,曹荃,等.基于神经网络的传感器的故障诊断方法与应用[J].自动化仪表,2003,24(10):21-24.
[4]翁桂荣,叶萍.基于RBF的传感器在线故障诊断和信号恢复[J].传感器技术,2003,22(10):50-53.
[5]胡香玲,冯浩,华亮.基于RBF神经网络的变压器保护[J].电气应用,2005,24(10):59-62.
[6]赵望达,刘勇求,贺毅.基于RBF神经网络提高压力传感器精度的新方法[J].传感技术学报,2004,23(4):640-642.
[7]张秀玲,李海滨.一种基于RBF神经网络的数字模式识别方法[J].仪器仪表学报,2002(6):265-267.
[8]张小军,冯宏伟.基于径向基函数神经网络的车型识别技术[J].西北大学学报:自然科学版,2006(2):21-24.
篇10
Columbia, Canada
Machine Learning Methods
in the Environmental
Sciences
2009, 349pp.
Hardcover
ISBN: 9780521791922
William W. Hsieh著
机器学习是计算机智能(也叫人工智能)的一个主要的子领域。它的主要目标就是利用计算的方法从数据中提取信息。神经网络方法,一般被认为是机器学习研究中的第一次突破,它自上世纪80年代以来开始流行,而核方法是在上世纪90年代后半期作为机器学习研究的第二波而到来的。本书对于机器学习方法和它在环境科学中的应用给出了统一的处理。
机器学习方法进入环境科学是在上世纪90年代。已经大量地应用于卫星数据的处理、大气环流模型、天气和气象预报、空气质量预报、环境数据的分析和建模、海洋和水文预报、生态建模、以及雪灾冰川和森林监测等领域。
书中第1-3章主要是为学生们而写的背景性资料,包括在环境科学中应用的标准统计方法。1.主要介绍了概率分布的基本意义、随机变量的平均值与方差、分析两变量关系的相关与回归分析方法等基本统计概念;2.回顾了主成份分析的方法和它的一些变化,以及经典相关分析方法;3.引入了基于时间序列数据的分析方法,如奇异谱分析(SSA)、主振荡型分析(POP)等。
第4-12章为那些标准的线性统计方法提供了有力的非线性转化。4.关于前馈神经网络模型及其最普遍的代表――多层感知哭模型(MLP模型),介绍了MLP模型的一些历史发展知识;5.为MLP神经网络模型所需要的非线性优化的内容;6.探索了几种能够使神经网络模型正确的学习并泛化的方法;7.是关于核方法内容。主要讨论了核方法的数据基础、主要思想以及它的一些缺点,并介绍了从神经网络到核方法的过渡;8.介绍了处理离散型数据的方法――非线性分类;9.介绍了两种核方法(支撑微量回归、SVR 和高斯过程、GP)和一种树方法(分类和回归树方法CART);10.关于非线性主成份分析的方法及相关的一些研究方法;11.系统地阐述了MLP和非线性经典相关分析(NLCCA)方法,并以热带太平洋气候变异性数据及它同中纬度气候变异的相关性为例加以说明;12.给出了大量机器学习方法在环境科学众多研究领域中的应用实例如遥感、海洋学、大气科学、水文学及生态学等。
作者William W. Hsieh是英属哥伦比亚大学地球与海洋科学系及物理与天文学系的教授,主持大气科学项目。作者在环境科学中发展和应用机器学习方法中所做的先驱性工作在国际上享有很高的知名度。已在天气变化、机器学习、海洋学、大气科学和水文学等领域80多篇。
本书主要适用于研究生初期阶段或者高年级的本科生,而且对于那些致力于在各自的研究领域应用这些新方法的研究者和参与者们也是十分有价值的。
朱立峰,
博士后
(中国科学院动物学研究所)
