常见的神经网络算法范文
时间:2024-04-03 16:11:05
导语:如何才能写好一篇常见的神经网络算法,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
关键词:回归神经网络;时间序列;数据预测;归一化方法
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2014)07-1508-03
在工业、气象、金融、地理、医药、交通、环境等领域,都存在大量需要进行分析与处理的数据信息,在对这些数据信息进行挖掘分析的过程中,为了能提高分析效能与提高分析性能,在进行数据分析初期阶段需要对原始数据进行预处理,将原始数据值通过某种算法转化为所需分布范围数据,即数据标准化处理。
利用神经网络模型来进时间序列数据趋势预测是一个已经开展了很长时间研究的热门话题,这方面也有了许多研究成果。Connor[1]等运用非线性自回归平均移动预测模型来进行时间序列问题鲁棒预测,cheung[2]等运用神经网络模型对未来的金融数据进行预测,Wang[3]等设计出一种基于回归神经网络的多维并行预测模型,文献[4] 采用基于自回归神经网络进行多维动态预测。在运用神经网络预测模型进行趋势预测时,需要对时间序列数据进行缺失值及数据标准化处理,下文运用多维动态预测模型对几种常见的数据归一化方法进行分析。
1 回归神经网络预测模型
图一为基于回归神经网络的多维动态预测模型[5]。网络模型分为输入层、分配层、隐层与输出层四层;隐层为具有延迟一步功能的反馈单元,作用函数为Sigmoid函数,输出层作用函数为线性累加函数。
2 数据归一化方法
数据归一化方法很多,用的较多的有线性归一化与非线性归一化两种方法。线性归一化方法主要运用极值或则均值通过线性运算公式对原始数据进行运算,将数据转换为[-1,1]区间内的数值;非线性归一化方法主要运用一些非线性行数对原始数据进行运算,将数据转换为一定分布范围数据。
从实验结果来看,初始数据的归一化处理方法对自回归神经网络预测模型的预测性能有明显的影响,线性归一化方法中最大值运算法要优于最大最小值法;非线性归一化方法中,对数运算法优于反正切运算法,总体来看,运用最大值运算法对初始数据进行归一化标准化处理适合于自回归神经网络预测模型。
4 结论
通过运用基于自回归神经网络的动态预测模型来分析几种常见数据归一化方法对模型预测性能的影响,结果表明,数据归一化方法的选择会对自回归神经网络预测模型性能有明显影响;对于自回归神经网络预测模型,运用最大值运算法来进行数据归一化处理要优于其它几种常见方法。
参考文献:
[1] Connor J T,Martin R. D,Atlas L E.Recurrent neural networks and robust time series prediction[J].In IEEE Trans. on neural networks,1994(5):240–254.
[2] Cheung Y M,Leung W M,Xu L.A RPCL-CLP architeeture for finaneial time series forecasting[C].Proceedings of IEEE International Conference on Neural Network,1995,2:829-832.
篇2
关键词:电气设备;故障诊断;神经网络;学习算法
中图分类号:TP183
近年来,随着电气设备复杂度的增加,其发生故障的概率也逐渐上升。即使是熟练工程师,面对日趋复杂的设备内部电气结构,也难以迅速分析及判别其故障原因。与此同时,涌现出的各种智能算法、专家系统等,为设备诊断问题提供了可行的方案。其中,神经网络以其特有优势在电气设备故障诊断中发挥了重要作用。神经网络理论是人工智能、认知学、脑神经学、信息学等诸多学科融合发展的结果,它是由大量简单的处理单元(称为神经元),通过广泛的互相连接而形成的复杂网络系统。神经网络具有学习能力,可以根据电气设备的正常历史数据训练,将训练结果信息与当前测量数据进行比较,以确定故障。同时它具有滤除噪声的能力,这使其能在噪声环境中有效地在线监测及诊断。其具有的分辩故障原因及类型的能力,为未来实现故障智能诊断奠定了基础。本文介绍神经网络结构及其学习算法,提出一种基于BP网络的电气设备故障诊断方法,通过网络训练及结果测试表明,该方法具有良好的故障诊断能力。[JP]
1 BP神经网络模型
神经网络有很多模型,例如BP网络、Kohonen,Hopfield及ART等。其中,反向传播网络(Back[CD*2]Propagation Network)在神经网络的实际应用中有着十分重要的影响,工程应用中的绝大多数网络模型都采用BP模型或其变形,可以说BP模型体现了神经网络中的精华。
1.1 BP神经网络模型
以三层前向BP网络为例,对神经网络结构进行分析,其组成包括输入层、隐含层和输出层。如图1所示,图中圆圈表示神经元,Wir表示输入层第i个神经元与隐含层第r个神经元的连接权值;Vrj表示隐含层第r个神经元与输出层第j个神经元的连接权值;其间的连线表示神经元之间的相互作用强度。И
从图1的结构中可以得到,隐含层节点的输出函数和输出层节点的输出函数分别为:
式中:Tr和θr分别为隐含层和输出层的单元阈值。在本文设计的BP神经网络结构中,式(1)中的f(•)采用sigmoid函数,即f(x)=(1+e-x)-1。И
1.2 BP学习算法
BP模型的成功得益于BP算法的应用,即误差反向传播算法。BP算法属于梯度下降算法,是一种监督式的学习算法。用网络的实际输出与目标矢量之间的误差来修正网络权值,使输出与期望尽可能接近(网络输出层的误差平方和达到最小);通过反复在误差函数梯度下降方向上调整网络权值的变化,逐渐逼近目标。每次权值和偏差的变化都与网络输出误差的影响成正比,并以反向传播的方式传递到每一层。BP网络是由两部分组成:信息的正向传递和误差的反向传播。
设神经元的输入矢量为[WTHX]X[WTBX]=\[x1,x2,…,xn\],其中n是输入层的神经元数。对应于输入[WTHX]X的输出矢量是Y[WTBX]=\[y1,y2,…,ym\],其中m 是输出层的神经元数。如果要求网络的期望输出是[WTHX]T[WTBX]=\[t1,t2,…,tm\],г蛭蟛詈数可以定义为:
BP算法采用梯度下降法来调整网络的权值,以使上述误差函数减小,即:
Иw(n+1)=w(n)-η(E/w)[JY](3)И
式中:常数Е鞘侨ㄖ档髡速率,通常取值0.01≤η≤1。权值WУ牡髡方法采用以下公式:
式中:ИΔwpq表示某层第p个节点到下一层第q个节点的权值修正量;xp表示节点p的输出;δq表示节点qУ亩说愕燃畚蟛,由输出层的等效误差反传而来:
式中:对应BP模型网络结构(见图1);节点q位于输出层;节点h位于隐层。
2 电气设备故障检测实例
在电气设备中发动机是故障率比较高的设备之一,其在故障诊断中比较具有代表性。在此,以发动机为例,分析BP神经网络在电气设备故障诊断过程中的一般模式及步骤。
2.1 网络样本选取及参数选择
分析发动机的常见故障模式,首先选择具有代表性的故障作为特征向量,取[WTHX]X[WTBX]=[x1,x2,x3,x4]作为神经网络的输入。其中:x1代表功率不足故障;x2代表声音异常故障;x3代表排气温度高故障;x4代表消耗量过大故障。通过分析故障原因,取[WTHX]Y[WTBX]=[y1,y2,y3,y4,y5]作为目标输出向量。其中:y1代表点火不正确;y2代表高压线圈损坏;y3代表出现燃爆现象;y4代表进气排气管故障;y5代表增压积炭过多故障。表1给出了输入故障现象[WTHX]X和输出原因分析Y[WTBX]е间的对应关系。
由此可知,在设计基于三层BP神经网络的发动机故障诊断系统中,输入层神经元节点数N=4,输出层神经元节点数M=5。由公式h=(N+M)+σ可得隐含层神经元节点数h取3~6之间的数。И
2.2 训练及测试
通过输入样本组对所设计的网络进行训练,选择训练误差为10-6。例如,输入样本[WTHX]X[WTBX]=[0,0,1,0],调整网络状态,使其输出接近目标[WTHX]Y[WTBX]=[1,0,0,1,0],即当发生排气温度过高故障时,可能原因是点火不正确以及进气排气管问题。训练网络的过程,实际上就是调整网络参数的过程,具体来说,最主要的就是确定各个网络权值。最终训练好的网络在测试过程中,能较为准确地诊断出故障问题的原因。在工程使用过程中,选择故障检测过程中各种仪器测量出来、有代表意义的测量数据,根据先验知识及专家分析,组成输入样本和目标向量组,对设计的网络结构训练。在训练过程中,可增加输入样本的数量。因为通过大量样本训练,神经网络能具有更好的适应性和鲁棒性,其故障诊断的准确性有所提高。采用C++builder及Matlab混合编程,前者负责做界面系统的开发,后者集中在神经网络算法的设计上,据此进一步提高本工作的实际应用能力。
篇3
Abstract: The paper puts forward the optimization method of fractional linear neural network based on genetic algorithm. It firstly optimizes the weight of fractional linear network by using genetic algorithm, and then, on the basis of genetic improved result, trains fractional linear network by fractional linear network back propagation (BP) algorithm, and gets the optimal weights of network. It is applied to build the fractional linear neural network model based on genetic algorithm for predicting the gas-oil ratio of original oil. The Comparative experiments show that the fractional linear neural network optimization method based on genetic algorithm is a kind of new modeling method.
关键词: 遗传算法;分式线性神经网络;预测模型;原油气油比
Key words: genetic algorithm;fractional linear neural network;prediction model;gas-oil ratio of original oil
中图分类号:TP183 文献标识码:A 文章编号:1006-4311(2013)28-0221-02
0 引言
BP网络是一种应用最为广泛的前馈神经网络。但是BP网络收敛速度慢,易陷入局部极小。遗传算法是一种自适应全局优化概率搜索算法,具有较强的鲁棒性,可以与BP网络结合避免其陷入局部最小。一些学者对BP网络进行了优化和改进,如吴清佳等[1]采用VC维方法确定网络结构,再用BP算法和基本遗传算法对暴雨量进行预测分析;张少文等[2]尝试用GA-BP算法建立了黄河上游降雨-径流神经网络预测模型。
由相关数学概念可知,线性函数的倒数是分式线性函数。文献[3]证明了分式线性神经网络具有比常见BP网络更强、更广泛的逼近能力。但是,分式线性网络反向传播(BP)学习算法也有不收敛或易陷入局部极小的可能。本文结合GA和分式线性网络BP算法的特点构建了基于遗传算法的分式线性神经网络模型并用于原油溶解气油比预测。仿真结果表明,这一模型可以用来预测原油气油比,因而基于遗传算法的分式线性网络可行有效。
1 分式线性网络神经网络模型拓扑结构
分式线性网络是具有m(m?叟3)层的前向神经网络,包括1个输入层,1个或1个以上的隐含层和1个输出层。
本文神经网络优化模型采用3层分式线性网络,即1个输入层,1个隐含层和1个输出层,其中隐含层神经元的输入函数是分式线性函数。
根据有关文献和溶解气油比实验结果,压力、温度、气体相对密度、原油重度与原油溶解气油比之间存在一定的非线性函数关系。本文把压力、温度、气体相对密度以及原油重度这4个参量作为网络的输入节点,气油比这个参量作为输出节点。因此,输入层节点个数为4,输出层节点个数为1。决定隐含层的神经元数量的选取多是通过实验不断调整数量和经验公式选取。根据本文设计思想和实验反复计算测试,设计输入层神经元数目为n,输出层神经元数目为1,隐含层神经元数目为(2n+1)=2×4+1=9。
2 基于遗传算法的模型初始权值优化设计
2.1 基本思想 为加快分式线性网络BP算法收敛速度,避免陷入局部极小,本文先对模型初始的权值、阈值编码,构成初始种群,然后借助遗传算子生成下一代种群,对种群中的最优个体解码后得到的权值做出评价,如果满足遗传算法性能指标,则输出此最优权值,否则继续遗传算法操作,直至某一代的种群最优个体满足性能指标,并输出对应的权值、阈值。此时得到的权值阈值是遗传算法优化后的分式网络初始解,再把得到的优化权值再传赋给分式线性网络再做进一步的优化。
2.2 设计方法
2.2.1 编码方法 本文遗传算法采用实数编码方法。将分式线性神经网络的权值和阈值按先后顺序级联为一个长串,串上的每一个位置对应着网络的一个权值和阈值,并用一个向量?孜表示:?孜=[W1,W2,B1,B2](1)
其中,W1为输入层神经元与隐含层神经元连接权值,W2为隐含层神经元与输出层神经元连接权值,B1为隐含层神经元阈值,B2为输出层神经元阈值,
取隐含层传递函数?椎(t)=■,设输入学习样本共有M个,记为Xp=(x■,x■,…,x■),p=1,2,…,M,对应的样本输出为Y■=(y■,y■,…,y■),p=1,2,…M,W■■,是对应第p个样本的输入层与隐含层神经元连接权值,W■■是对应第p个样本的隐含层与输出层神经元连接权值,B■■对应第p个样本的隐含层神经元阈值,B■■对应第p个样本的输出层神经元阈值。网络在学习样本下的实际输出为
■■=W■■■+B■■,p=1,2,…M
(2)
定义适应度函数的形式为:f=■=
1/■Y■-W■■■+B■■(3)
2.2.2 遗传操作 ①选择算子:采用基于正态分布序列选择的选择算子。②交叉算子:采用算术交叉算子。③变异算子:采用基于非均匀变异的变异算子。④进化代数:T=300。
3 模型构建
以东营市利津油田34口油井建立神经网络预报模型,对这些油井的溶解气油比作为分析对象,分别通过遗传算法进化分式线性网络模型和采用L-M训练算法的BP网络模型对比进行训练学习,对34口油井中的28个样本作训练样本建模,训练后的网络预测剩余6口油井的气油比,进而实现从输入段到输出端的非线性形式下的映射,预测6个测试样本的原油溶解气油比。(表1)
4 仿真实验
本文提出结合遗传算法的分式线性网络BP算法模型对滨南采油厂利津油田34个数据进行仿真实验。为构建分式线性函数,固定点取(a1,a2,a3,a4)=-1,由于设定输入层神经元个数为4,则隐含层神经元输入函数(分式线性函数)为I=■W1■(4)
其中W1为输入层神经元与隐含层神经元连接权值,xi为输入变量。
分式线性网络隐含层传递函数为Sigmoid函数?椎(t)=1/(1+e-t),输出层传递函数为线性函数L(t)=t,最终训练目标e=0.001,样本数目M=28,训练次数为1000。遗传算法的初始种群规模N=50,最大进化代数T=300。为对比仿真结果,同时对采用L-M训练算法的三层BP网络做仿真,输入层节点数为4,输出层节点数为1,隐含层节点数为10,训练函数为trainlm,训练目标?着=0.001,训练次数为1000,其余均取默认值。
GA优化结果:最大适应度f=26.2544,得到的权值阈值是矩阵形式:?孜=[W9×4,W4×9,W9×1,W4×1]其中,各个变量的定义同前述。
从表2可以看出,本文优化算法需要213步达到训练误差要求,而改进BP算法需要24步就达到要求,本文算法训练步数较长。
由表3可见,基于本文优化算法的模型可以预测原油气油比,其整体预测气油比的精度与基于改进BP算法的模型效果接近,因而本文优化算法预测数据是可行有效的。
5 结束语
本文将遗传算法和分式线性神经网络相结合用于原油气油比的预测,这对原油物性分析提供了一个借鉴和参考。下一步需要充分考虑其他因素的影响并不断改进模型,同时调整好GA算子和分式线性网络的参数以便提高预测的精确度和时效。
参考文献:
[1]吴清佳,张庆平,万健.遗传神经的智能天气预报系统[J].计算机工程,2005,31(14):176-177,189.
篇4
关键词:客运量预测;蚁群算法;神经网络;ACONN模型;灰色预测
中图分类号:G642 文献标识码:A 文章编号:1009-3044(2014)06-1348-04
Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN
ZHANG Qinq-lin,LIU Chun-ling
(Department of Information Engineering, Anhui Economic Management Institute, Hefei 230051,China)
Abstract: According to the defects of neural network, this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure, the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally, it takes
highway passenger transportation in hefei as an example, try ACONN ant colony neural network application in the passenger traffic forecast, results show that the ant colony neural network model's prediction precision is better than other models.
Key words: Passenger traffic forecast;ant colony algorithm;neural networks;ACONN model;gray prediction
随着汽车保有量的增加,公路客运量也随之增加,公路客运能力受到了极大的挑战。如何有效利用现有工具来预测客运量,满足公路客运管理和交通工程建设,这是交通管理和建设部门面临的一项重要工作任务。国内外学者对预测模型进行了大量详尽的研究,其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等建模方法比较常用[1~2]。这些方法很多是线性的,无法逼近真实的历史数据;也有利用原始BP神经网络方法来预测,虽然多层BP网络可以实现任意可实现的线性和非线性函数的映射,但是在训练过程中易陷入局部最小的情况,所以这些预测方法的准确率还不是很高。该文针对神经网络存在无法有效收敛最优值问题,构建基于蚁群算法优化的神经网络的公路客运预测模型[3]。经过对2012年合肥公路客运量进行预测分析,掌握各个时段客运量的分布,有利于相关部门作出相应决策,应对客运高峰期带来的种种压力,更好地满足广大人民群众的需求, 以最合理的人力和财力的投入,来获得最大经济效率,达到最好的社会效果。
1 蚁群算法
蚁群算法(Ant Colony Algorithm,简称ACA)是人们受到对自然界中真实的蚂蚁群体行为启发而提出的一种仿生优化算法。属于随机搜索算法,该算法是在1991年召开的第一界欧洲人工生命会议上,由Dorigo M等人第一次提出的关于蚁群算法的基本模型[4]。Dorigo M等人通过模拟蚂蚁搜索食物的过程(就是怎样去找到蚁穴到食物源的最短路径,前提是在个体之间相互合作的情况下)来求解TSP问题。
该算法以前主要解决一维的静态优化问题,发展到现在用于解决多维动态组合优化的问题,在多种研究领域,已经得到广泛应用。蚁群算法目前软件及硬件的实现上都取得了突破性的研究进展,既具有深刻的学术思想,又具有广阔的发展前景。
以TSP为例,基本蚁群算法的程序结构流程图如图1。
2 蚁群算法与神经网络NN(Neural Network)的融合
2.1 基本思想
针对反向传播BP(Back Propagation)算法容易陷入局部极小的不足,采用蚊群优化算法ACO(Ant Colony Optimization)训练方法。[5]蚁群优化神经网络训练过程就是在实数权值组合中,找到一组最优的,使得期望结果与输出结果之间的误差达到最小,而蚁群算法正是寻找这样的最优权值组合的不错选择。
2.2 构建蚁群优化神经网络ACONN系统
应用蚁群优化神经网络ACONN(Ant Colony Optimization Neural Network)系统预测的框图2如下,首先对输入数据进行预处理,再建立原始的神经网络,再次利用蚁群算法来优化神经网络的权值、阈值构建一个性能完好的ACONN系统,最后利用优化好的ACONN系统来预测,输出预测数据。
图2 ACONN系统预测图
3 合肥客运量预测的蚁群优化神经网络模型构建
3.1 样本采集与数据预处理
样本选择了以合肥市历年的客运量为样本数据,月为单位的训练样本选择了2011年每月的数据,预测2012年中每月的客运总量。
由于BP神经网络要求输入的数据范围一般在(0,1)。因此对样本数据进行归一化处理。其公式为[6]:
[Y=X-XminXmax-Xmin]
其中Xmax取一个比较大的值,保证预测年的数据小于该数值, Xmin取一个小于样本数据序列中最小值的值,保证归一化后的数据不太接近于0。
3.2 预测方式选择及ACONN的训练样本设计
我们知道,目前我们基于蚁群优化的神经网络的客运预测模型,它是属于一种数据驱动的方法,也就是说,我们去利用目前神经网络的一种非线性的特性去逼近一个时间序列,这样通过神经网络的清晰逻辑关系,并且利用过去时刻的值,去表达未来某一时刻的值。我们的人工神经网络预测,目前可以分为单变量时间序列预测和多变量时间序列预测[7]。所以说无论是单变量时间序列预测还是多变量时间序列预测,都可以使用我们平时的常用的方法,共有三种是:单步预测,滚动预测,多步预测[8]。
现采用的是滚动预测方式,在训练样本设计时需要根据网络的结构。以月为单位预测,采用2个输入,即连续两年的同月份2个月数据作为输入,下一年同月份作为输出。设有归一化的样本集 X(t)(t=1,2,…,n),选择一步预测时,选取个m输入,1个输出,可组成如下的训练组对:
表1
[输入数据 期望输出\&X(1),X(2),…,X(m) X(m+1)\&X(2),X(3),…,X(m+1) X(m+2)\&…… ……\&X(n-m),X(n-m+1),…,X(n-1) X(n)\&]
3.3 蚁群优化神经网络的结构与参数
现在我们所熟知的蚁群优化神经网络采用具有一个隐含层的三层BP网络结构。由于采用年和月为单位预测,因此根据需要在输入层、隐含层上有差别,具体的各层神经元个数在年与月的预测中有具体的设置。目前,我们可以去根据万能逼近定理,如果有一个三层的BP网络,它可以以任意的精度去逼近一个连续函数。这样,也就是说可以采用具有一个隐含层的三层BP网络结构。在网络模型结构确定的基础上设定网络参数,网络的连接数目S,蚁群算法参数选为ρ=0.7,Ant=40,网络权值参数随机值选值N=30, 网络权值参数随机值范围为[-3,3],训练次数为500次学习,像Q、S等参数根据年和月的预测会有所不同,在后续有具体设置。
3.4 预测分析
现在用蚁群优化神经网络ACONN、反向传播神经网络BPNN、灰色预测GM(1,1)三种模型分别对来合肥市客运量进行预测[9-10]。ACONN是通过蚁群算法找到最优的初始权值,从而固定了初始权值,因此每次的预测值几乎趋于固定;可是目前神经网络中,我们知道它的初始权值的选取,都是具有随机性的,所有我们去使用相同的数据,去进行多次预测时时候,得到的预测结果就不会完全相同。因此,为了使预测更具有一定的普遍性,ACONN与BPNN可以采取一样的网络结构,同时我们选取10次预测的平均值作为最终的预测结果。
将ACONN、BPNN、GM(1,1)模型分别作预测,将预测结果进行反归一化,预测结果如下表:
表2
将ACONN、BPNN、GM(1,1)模型预测合肥市客运量结果用图形表示,可以更直观看到它们之间预测的精度。具体预测结果如图3。
图3 ACONN、BPNN、GM(1,1)模型预测结果图
从每幅图形可以直观地看出ACONN的数据在实际值附近有很小的波动,BPNN数据值比ACONN的在实际值附近波动要大些,而GM(1,1)数据只有中间很小区间比较精确一点,而数据的开始和末端状态都表现出发散,其数据预测精度不高。所以比较之,ACONN很明显表现出很好的优势,预测数据比较稳定。
4 结束语
ARIMA模型、Box-Jenkins方法、马尔可夫方法、灰色系统方法及统计回归方法等,这些预测方法很多是线性的,无法逼近真实的历史数据。利用原始BP神经网络方法来预测,我们现在知道,虽然多层的BP网络能去实现任意一个可实现的线性以及非线性函数的映射,但是在训练过程中易陷入局部最小的情况,所以这些预测方法的准确率还不是很高。经过分析蚁群算法在神经网络中应用的可行性后,提出一种基于蚁群算法和神经网络相结合的新型预测方法,该方法可以有效地避免原始BP神经网络存在的问题和单一预测方法精确度不高的缺陷,为预测提供了新的途径。
参考文献:
[1] 翁钢民,郑竹叶,刘洋,等.基于GM-Markov 模型的旅游客源预测[J].燕山大学学报,2008,9(2):109-112.
[2] 李松,刘力军,郭海玲.短时交通流混沌预测方法的比较[J].系统工程,2009,27(9):60-64.
[3] 董超俊,刘智勇.多层混沌神经网络及其在交通量预测中的应用[J].系统仿真学报,2007,19(10):101-104.
[4] 张维存,郑丕谔,吴晓丹.蚁群遗传算法求解能力约束的柔性作业车间调度问题[J].计算机集成制造系统,2007,13(2):333-337.
[5] 万李,杨杰.小波神经网络在短时交通流量预测中的应用[J].计算机仿真,2012,29(9):352-355.
[6] 方琴,李永前.K 近邻短期交通流预测[J].重庆交通大学学报:自然科学版,2012,31(4):829-831.
[7] 吴宝春,郑蕊蕊,李敏,杨亚宁.基于遗传灰色GM(1,1,ρ)模型的短时交通流量预测[J].电子设计工程,2012,20(13):165-167.
[8] 郭杰,丁镠,朱超余.灰色预测模型的系统动力学仿真[J].电子设计工程,2011,19(14):4-7.
篇5
关键词: 神经网络;模拟电路;故障智能诊断
Applications of Neural network in analog circuit fault intelligent diagnosis
Huang Qian1 ,Lu Li2
Nanchang institute of technology JiangXi NanChang 330029
Abstract: The article mainly describe development course of neural network simulation circuit and the common method of fault diagnosis of simulation power based on neural network at this stage, the focus analysised BP neural network fault dictionary method and the SOM neural network fault dictionary method and respective of calculation method, and basic thought, and technology difficulties analysis, discussed application problem of neural network method in in analog circuit fault intelligent diagnosis, last talk about development trend of simulation circuit neural network diagnosis method.
Keyword: Neural network;Analog circuits;Intelligent fault diagnosis
引 言
随着神经网络等人工智能技术的发展, 模拟电路故障诊断的研究又开辟了一条新路, 基于神经网络的模拟电路故障诊断方法已经成为新的研究热点。20世纪80年代末期起有学者研究将人工神经网络应用到模拟电路的故障诊断中,现阶段已经提出多种基于神经网络的模拟电路故障诊断方法,有些方法如BP( Error Back Propagation Network)神经网络故障字典法已经能有效应用于滤波电路、模拟放大电路等非线性容差电路的故障诊断, 效果优于传统的故障字典法。
1神经网络故障字典法
神经网络故障字典法把模拟电路的故障诊断看成是一个分类问题, 利用神经网络的分类功能来诊断故障。在测前把神经网络训练成一部故障字典, 字典的信息蕴含在网络的连接权值中, 只要输入电路的测量特征, 就可以从其输出查出故障。
1.1 BP 神经网络故障字典法
BP 是一种多层网络误差反传学习算法。
1)初始化,随机给定各连接权[w],[v]及阀值θi,rt。
(2)由给定的输入输出模式对计算隐层、输出层各单元输出
式中:bj为隐层第j个神经元实际输出;ct为输出层第t个神经元的实际输出;wij为输入层至隐层的连接权;vjt为隐层至输出层的连接权。
式中:dtk为输出层的校正误差;ejk为隐层的校正误差。
(3)计算新的连接权及阀值,计算公式如下:
(4)选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。
应用BP 神经网络故障字典法进行模拟电路故障诊断步骤如下:
(1)确定待测电路的故障集和状态特征参量, 采用电路仿真或实验的方法获取电路每一故障状态下的状态特征数据, 经筛选和归一化处理后构造训练样本集。设计BP 神经网络并进行训练。
(2)用训练样本集中的样本训练好网络, 即完成学习的过程。一般采用3 层BP 神经网络, 输入层节点数与电路状态特征参量的维数相同, 输出层节点数可与电路待测故障类别数相同,也可小于待测故障类别数, 隐层节点数则需按经验公式试凑。实际诊断时给被测电路加相同的测试激励, 将测得的实际状态特征参量输入到训练好的BP 神经网络, 则其输出即可指示相应的故障状态。
1.2 SOM神经网络故障字典法
SOM (Self - organizing Feature Map)神经网络是芬兰教授Kohonen于1981 年提出的一种自组织特征映射神经网络。这种自组织特征映射神经网络通过对输入模式的反复学习,使连接权矢量空间分布密度与输入模式的概率分布趋于一致, 即连接权矢量的空间分布密度能反映输入模式的统计特性。
SOM二维网络拓扑结构图
SOM 网络能对输入模式自动分类,通过输入模式的自组织学习, 在竞争层将分类结果表示出来。应用SOM 神经网络建立模拟电路故障诊断字典的具体步骤如下:
(1)确定电路的故障集和激励信号。通过仿真获取电路在每一故障状态下的状态特征向量, 并进行预处理得到训练样本数据。
(2) 确定SOM 网络结构。 SOM 网络只有输入层和输出层两层, 没有隐层,输入层的形式与BP 网络相同, 其结点数应与电路状态特征向量的维数相同。输出层即竞争层的神经元一般采用二维平面阵结构排列, 也可采用一维线阵或三维栅格阵的结构排列。采用一维线阵时, 输出层结点数可与电路的故障类别数相同。
(3)经过SOM 训练形成具有容差的故障字典。SOM 网络的学习算法可采用标准的Kohonen 算法。可以看出, SOM 网络法与BP 网络法构建故障字典的方法步骤完全相似,SOM 网络法一般适用于交流电路, 以电路响应的频域参量为状态特征,它能更有效地克服容差因素对故障定位的影响,SOM 网络法实际诊断时容易出现模糊故障集, 诊断过程要比BP网络法复杂。
1.2神经网络故障字典法难点
同经典的故障字典法相比, 神经网络故障字典法突出的优点是测后诊断速度快,实时性强,其原因是该方法利用了神经网络高度并行的信息处理能力。经典的故障字典法需要进行繁琐的模糊集分割处理, 且一般只能诊断硬故障。而神经网络故障字典法由于神经网络的泛化能力,可以诊断容差模拟电路, 而且对软故障情况也有很好的应用前景。应用该方法难点包括以下几个方面:
(1)神经网络的结构和参数等只能依据经验反复调试, 难以确定所设计的神经网络是最优的。
(2)数据预处理技术和训练样本集的筛选至关重要,神经网络故障字典法的诊断效果主要依赖于此。如何根据实际电路对原始数据进行预处理以突出故障特征信息及如何优选训练样本。
2 神经网络优化诊断法
传统的优化诊断法依据被测电路的解析关系, 按照一定的判据(目标函数) , 估计出最有可能出现故障的元件。优化诊断法是一种测后模拟的逼近法, 可在较少的测量数据下诊断故障,避免元件的容差问题, 可以诊断软故障和多故障但传统优化诊断法存在一个复杂的重复过程, 需要多个优化过程和多次电路模拟, 测后计算量很大。
神经网络优化诊断法对传统方法进行改进, 利用Hopfield 神经网络的优化计算功能寻优, 克服了传统的优化诊断方法测后计算量大、实时性差的缺点。由于该方法最终是通过求解元件参数或参数增量来判定故障元件的。
神经网络优化诊断法的基本思想是将模拟电路的故障诊断方程转换为带约束条件的优化问题, 然后利用Hopfield 神经网络进行优化问题的求解。将优化问题映射到一种神经网络的特定组态上, 此组态相应于优化问题的可能解, 然后再构造一个适合于待优化问题的能量函数(对应于目标函数), 当Hopfield 神经网络从某一初始状态沿着能量函数减小的方向运动, 其稳定平衡解即对应于优化问题的解。对于线性电阻电路, 可以以元件参数增量和可测节点电压变化量建立故障诊断方程, 该诊断方程通常为一组欠定方程。
应用Hopfield 神经网络求解此类带约束条件的优化问题的步骤如下:
(1)分析问题: 分析网络输出与问题的解相对应。
(2)构造网络能量函数: 将实际待解决优化问题的目标函数表达成能量函数的相应形式, 能量函数最小值对应问题最佳解。
(3)设计网络结构: 将能量函数与目标函数相比较, 求出能量函数中的权值和偏流。
(4)运行网络求出稳定平衡态: 由网络结构建立网络的电子线路, 运行该电子线路直至稳定, 所得稳态解即为优化问题所希望的解。
3 其它神经网络故障诊断法
ART (Adaptive Resonance Theory)神经网络故障诊断法。ART 神经网络是一种基于自适应共振理论ART的学习算法, 包括ART1 型、ART2 型和ART3 型三种结构形式。文献三中的作者探讨了一种采用ART1 型神经网络进行模拟电路故障诊断的方法,将电路的各种故障分出层次,并按一定特征给故障类型进行编码形成故障数据样本,将故障数据样本输入ART1型神经网络进行训练, 训练完成后该ART 网络即可用于诊断。ART最大的特点是既能识别已有的故障模式, 又能较好地诊断新发故障。基于神经网络的网络撕裂法。网络撕裂法是一种大规模模拟电路分层诊断的方法, 将网络撕裂法与神经网络故障字典法相结合就形成基于神经网络的网络撕裂法。
ART的基本思路是, 当电路网络分解到一定程度后, 电路子网络继续分解往往越来越困难, 这时可以引入神经网络故障字典法, 分别为每一电路子网络构建一个神经网络, 则电路子网络级的诊断采用神经网络故障字典实现。
与传统的网络撕裂法相比, 该方法测后工作量小, 诊断过程更加简单,诊断速度加快。基于神经网络求解非线性方程的模拟电路故障诊断方法。
4 模拟电路神经网络诊断法发展趋势
近年来, 一个值得重视的现象是神经网络与专家系统、模糊控制、遗传算法和小波分析等技术相结合应用于模拟电路的故障诊断领域的研究。如神经网络与模糊逻辑理论相结合, 即所谓的“模糊神经网络”用于模拟电路的故障诊断, 其基本思想是在BP 神经网络的输入层与输出层中间增加1到2 层模糊层构造模糊神经网络,利用神经网络处理低层感知数据, 利用模糊逻辑描述高层的逻辑框架,其对模拟电路软故障的诊断效果优于单一的神经网络分类器。又如小波分析与神经网络结合应用于模拟电路的故障诊断。
小波与神经网络的结合有以下两个途径:
(1) 辅助式结合, 比较典型的是利用小波分析对信号进行预处理, 然后用神经网络学习与判别。
(2)嵌套式结合, 即把小波变换的运算融入到神经网络中去, 其基本思想是用小波元代替了神经元,即激活函数为已定位的小波函数基, 通过仿射变换建立小波变换与神经网络的联接,小波神经网络由于把神经网络的自学习特性和小波的局部特性结合起来,具有自适应分辨性和良好的容错性。
参考文献
[1] 王显强.谈谈神经网络在模拟电路故障诊断中的应用问题[J]
电路技术.2012(06)
[2] 刘华.基于神经网络的模拟电路故障诊断方法研究[J]微电子学报.2010(03)
[3]董伟.谈ART1 型神经网络进行模拟电路故障诊断方式分析. [J]电路科技. 2012(05)
[4]王承. 基于神经网络的模拟电路故障诊断方案探究.[J]电路科技. 2013(06)
[5]张宇. 基于神经网络的模拟电路故障诊断方案探究.[J]计算机测量与控制. 2012(07)
[6]王承. 基于神经网络的模拟电路故障诊断方案探究.[J]电路故障. 2013(02)
[7]刘盛灿. 神经网络的模拟电路故障的应用.[J]电路科技. 2013(06)
[8] 万磊.神经网络在模拟电路故障诊断中的应用若干问题探讨[J]
电路技术.2011(08)
[9] 郭明强.神经网络在模拟电路故障诊断中的发展历程分析[J]电路技术.2013(08)
篇6
关键词:MATLAB;BP神经网络;多元非线性系统;训练算法;学习精度
中图分类号:TP312文献标识码:A文章编号文章编号:16727800(2013)0010006602
基金项目:佛山科学技术学院重点项目(2010)
作者简介:刘晓莉(1961-),女,佛山科学技术学院副教授,研究方向为应用数学。
0引言
在科学研究和生产实践中,对具有表现系统特征或运行状态的离散数据进行建模,用于系统预测、评价等,是科学决策和决策系统建立的重要基础。由于大多数研究对象普遍具有多变量且依从高度非线性关系等特征,因此多元非线性系统建模极其重要。
人工神经网络是由大量简单的处理单元(神经元)广泛地互相连接形成的复杂非线性系统。它不需要任何先验公式,可直接从训练样本(离散数据)中自动归纳规则,提取离散数据之间复杂的依从关系(可以是高度非线性关系),储存于网络权重之中,从而建立研究问题的神经网络模型。其中由Rumelhart提出的多层前馈神经网络,由于采用误差反传的学习算法,被称为BP网络,其应用非常广泛。在理论上已经证明具有三层结构(一个隐含层)的BP网络能够逼近任何有理函数[1]。
1MATLAB中BP网络训练算法
MATLAB中的神经网络工具箱由许多子程序组成,这些子程序已完成了神经网络算法中所涉及的许多运算和操作,使用者根据需要调用相关函数即可。常见的BP网络训练算法有traingda;traingdx(变学习率算法)、trainrp(弹性BP算法)、trainbfg 或traincgf(变梯度算法)、trainoss(类Newton算法)等。对于一个实际问题,选用那种训练方法最快捷,样本的拟合精度高低与否等很难判断,它取决于许多因素,包括问题的复杂程度、学习样本的多少、隐含层的节点数目、误差目标等,所以,网络的结构和参数的设计是关键。
2案例与建模
表1所列的样本数据是3个自变量、1个因变量(预测或控制变量)的非线性系统。现用三层BP神经网络模型逼近存在于样本数据间的函数关系,其模型为y=ANN(x1,x2,x3), ANN是一个非线性函数。此模型为隐含表达式,即不能用通常的数学公式表示,故称为“知识库”。
程序中,p、t是用于学习样本输入和目标(实际)输出矩阵;函数newff的第一个参数为样本输入的最小值与最大值构成的矩阵;输入层与隐含层、隐含层与输出层的节点数分别为s1、s2,其传递函数分别为tansig(S型)和purelin(线性);训练算法trainlm 的主要参数是: show、lr、epochs、goal、min_grad、time等,如果训练次数超过epochs,误差低于goal,梯度值低于min_grad或训练时间低于time,训练就结束;newff的返回值net为一个可训练的BP网络,函数train用于训练网络,它将p和t不断作用于该网络以调整网络权值,从而减小网络输出与目标输出间的差距;train函数的返回值为训练后的结果。函数sim模拟网络,它接受样本输入、返回网络输出。
事实上,BP神经网络初始权值对训练结果的影响较大,即使是微小的改变。由于MATLAB的网络初始化是随机的,因此程序在每次运行后得到的训练网络是不同的,即“知识库”是不同的,包括实际迭代次数、网络输入和目标输出的均方差MSE。为此,特取B组数据样本,用来检验训练后的网络可靠性,即在程序中增加以下语句:
3分析
通过试验发现,训练后的网络一般对学习样本有很高的逼近精度,但即便是MSE远远小于最小误差goal值,对那些没有用于网络训练过程的样本(非学习样本)而言,却可能出现误差较大的反映。所以选择训练算法、确定主要参数及改变节点数s1的取值等是极其重要的,需要进行调整。当F检验值越大,MSE值越小,训练后的网络对学习样本的拟和精度越高;网络输出和实际输出的方差Sc值越小,则对非学习样本的拟和精度越高。多次试验中的结果见表3。其中,序号为5的试验中,学习样本的MSE没有达到设定的最小误差goal=1e-4,训练后的网络对学习样本和非学习样本拟和精度较低;序号为2的训练网络对样本拟和精度最高。试验表明,这种方法在提高网络的学习精度等方面是极其有效的。
4结语
多元非线性系统的BP神经网络模型能最大限度地概括原自变量系统中的数据信息,又能对因变量具有较好的解释能力。针对此案例的多次试验表明,各种算法中,trainlm算法的性能较好;对于大小适中的网络,从训练的迭代次数来看,trainlm是最快的一种算法;对于大网络,一般选用trainrp算法或是某个变梯度算法比较好;对于小网络,则可选择trainbfg。
人工神经网络能同时描述多个控制或预测量的非线性系统。例如,若预测或控制因变量为2个,即目标输出为两列矩阵,则在上述程序中将网络的输出节点取为2即可,多于两个依次类推。人工神经网络适用于关系复杂的多元非线性系统建模,具有误差小、精度高的优点。
参考文献:
[1]王学辉,张明辉.MATLAB6.1最新应用详解[M].北京:中国水利水电出版社,2001.
[2]陈杨,王茹,林辉.MATLAB6.0版本中神经网络工具箱训练算法的使用与比较[J].电脑与信息技术,2002(3).
篇7
关键词:发电燃料;供应预测;BP神经网络;预测方法
中图分类号:TM 762 文献标示码:A
0 引言
发电燃料的供应受到能源政策、供需形势、资源分布、供应价格、交通运输、市场博弈等多种复杂因素的影响,长期以来缺乏合理有效的供应预测方法和技术手段,尤其是厂网分离后鲜见相关的研究工作。
文献1《辽宁火电厂燃料管理信息系统的开发与研制》开发和研制了覆盖辽宁全体直属电厂燃料公司并同东电局进行广域网数据交换,同时能进行审核管理和业务信息方便传输的燃料综合管理信息系统。
文献2《电力系统燃料MIS系统开发研究》探讨了燃料管理信息系统的组成、功能、结构及开发应用,为综述性理论研究。
以上文献均未对发电燃料供应提供较有效的预测方法。本文提出一种基于BP神经网络的发电燃料供应量预测方法,利用神经网络原理,通过数据收集、数据修正和神经网络结构选择建立起基于BP神经网络的发电燃料供应预测模型。通过MATLAB实际仿真,证明该预测方法预测较准确,并具有灵活的适应性。
基金项目:中国南方电网有限责任公司科技项目(K-ZD2013-005)
1 预测方法
按预测方法的性质不同,预测可分为定性预测和定量预测。常用的定性预测方法有主观概率法、调查预测法、德尔菲法、类比法、相关因素分析法等。定量方法又可以分为因果分析法和时间序列分析法等,因果分析法也叫结构关系分析法。它是通过分析变化的原因,找出原因与结果之间的联系方式,建立预测模型,并据此预测未来的发展变化趋势及可能水平。时间序列分析法也叫历史延伸法。它是以历史的时间序列数据为基础,运用一定的数学方法寻找数据变动规律向外延伸,预测未来的发展变化趋势。由于时间序列模型无法引入对负荷影响的其它变量,所以,单纯应用时间序列模型进行供应预测精度难以提高。
运用人工神经网络技术进行预测,其优点是可以模仿人脑的智能化处理过程,对大量非结构性、非精确性规律具有自适应功能,具有信息记忆、自主学习、知识推理和优化计算的特点,特别是其自学习和自适应功能是常规算法和专家系统所不具备的,因此,预测是人工神经网络的最有潜力的应用领域之一,有非常广泛的前途。
2 BP神经网络模型
2.1 人工神经网络概述
人工神经网络是由神经元以一定的拓扑结构和连接关系组成的信息表现、储存和变换系统,是模仿人脑结构的一种信息系统,可较好地模拟人的形象思维能力。它是对自然界中生物体神经系统进行抽象和改造,并模拟生物体神经系统功能的产物。神经网络的重要特点是具有记忆和学习能力,经过一定训练之后,能够对给定的输入做出相应处理。
人工神经网络适用于处理实际中不确定性、精确性不高等引起的系统难以控制的问题,映射输入输出关系。人工神经网络优于传统方法在于:
1)实现了非线性关系的隐式表达,不需要建立复杂系统的显示关系式;
2)容错性强,可以处理信息不完全的预测问题,而信息不完全的情况在实际中经常遇到;
3)由于神经网络具有一致逼进效果,训练后的神经网络在样本上输出期望值,在非样本点上表现出网络的联想记忆功能;
4)由于大规模并行机制,故预测速度快;
5)动态自适应能力强,可适应外界新的学习样木,使网络知识不断更新。
图1是一个人工神经元的典型结构图。
图1 神经元典型结构图
它相当于一个多输入单输出的非线性阈值器件。,表示该神经元的输入向量;为权值向量;θ为神经元的阈值,如果神经元输入向量加权和大于0,则神经元被激活;f表示神经元的输入输出关系函数,即传输函数。因此,神经元的输出可以表示为:
其中传输函数是神经元以及网络的核心。网络解决问题的能力与功效除了与网络结构有关,在很大程度上取决于网络所采用的传输函数。
几种常见的传输函数如图2所示:
(1)为阈值型,将任意输入转化为0或1输出,其输入/输出关系为:
(2)为线性型,其输入/输出关系为:
(3)、(4)为S型,它将任意输入值压缩到(0,1)的范围内,此类传递函数常用对数(logsig)或双曲正切(tansig)等一类S形状的曲线来表示,如对数S型传递函数的关系为:
而双曲正切S型曲线的输入/输出函数关系是:
(1) (2)
(3) (4)
图2 常见的传递函数图形
2.2 BP神经网络概述
神经网络的魅力在于它超强的映射能力,单层感知器可实现性分类,多层前向网络则可以逼近任何非线性函数。可以将BP网络视为从输入到输出的高度非线性映射,而有关定理证明BP神经网络通过对简单的非线性函数进行数次复合,可以近似任何复杂的函数。
在人工神经网络的实际应用中,80%-90%的人工神经网络模型是采用BP网络和它的变化形式,它也是前向网络的核心,体现了人工神经网络最精华的部分。在人们掌握反向传播网络的设计之前,感知器和自适应线性元件都只能适用于对单层网络模型的训练,只是后来才得到进一步拓展。
BP神经网络主要应用有:
(1)函数逼近:用输入矢量和相应的输出矢量训练一个网络逼近一个函数。
(2)模式识别:用一个特定的输出矢量将它与输入矢量联系起来。
(3)分类:把输入矢量以所定义的合适方式进行分类。
(4)数据压缩:减少输出矢量维数以便于传输或存储。
2.3 误差反向传播算法原理
BP神经网络是一种多层前馈神经网络,名字源于网络权值的调整规则,采用的是误差反向传播算法(Error Back-Propagation Training Algorithm)即BP算法。BP神经网络是单向传播的多层前向神经网络。除输入输出节点之外,有一层或多层的隐藏节点,同层节点之间无任何连接。典型的BP网络是三层前馈阶层网络,即:输入层、隐含层(中间层)和输出层,各层之间实行全连接。BP神经网络结构如图3所示:
图3 BP神经网络结构示意图
BP网络学习过程包括误差正向传播和反向传播两个过程。在正向传播过程中,输入样本从输入层传入,经各隐含逐层处理后,传向输出层,每一层神经元的状态只影响下一层神经元的状态。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。误差反传是将输出误差的某种形式通过隐含层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各神经元之间权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络学习训练的过程。此过程一直进行到网络输出的误差减小到可接受的程度,或进行到预先设定的学习次数为止。
BP神经元与其他神经元类似,不同的是,由于BP神经元的传递函数必须是处处可微的,它不能采用二值型{0,1}或符号函数{-1,1},所以其传递函数为非线性函数,最常用的函数S型函数,有时也采用线性函数。本文采用S型(Sigmoid)函数作为激发函数:
式中,为网络单元的状态:
则单元输出为:
其中,为单元的阀值。在这种激发函数下,有:
故对输出层单元:
对隐层单元:
权值调节为:
在实际学习过程中,学习速率对学习过程的影响很大。是按梯度搜索的步长。越大,权值的变化越剧烈。实际应用中,通常是以不导致振荡的前提下取尽量大的值。为了使学习速度足够快而不易产生振荡,往往在规则中再加一个“势态项”,即:
式中,是一个常数,它决定过去权重的变化对目前权值变化的影响程度。
图4为BP算法流程图。
图4 BP算法流程图
3 发电燃料供应预测BP神经网络模型建立
3.1 数据的收集与整理
发电燃料供应是一个庞大的系统,其中的数据资料纷繁复杂。在进行模型的搭建之前,需要进行历史资料的整理,提取出所需的数据。本模型中,选取与燃料供应有关的数据作为影响因素,如电厂发电量、能源政策、能源供需形势、交通运输状况、燃料价格和机组能耗等。
3.2 数据的修正
如果在数据采集与传输时受到一定干扰,就会出现资料出错或数据丢失的情况,此时都会产生影响预测效果的坏数据,这些坏数据将会掩盖实际模型的规律,直接影响模型的效果与精度。据此,需对样本数据进行预处理,以确保在建模和预测过程中所运用的历史数据具有真实性、正确性和同规律性。一般样本数据预处理方法主要有经验修正法、曲线置换法、插值法、20%修正法、数据横向纵向对比法、小波分析去噪法等。对于简单问题,采用数据的横向纵向对比即可实现坏数据的剔除。
3.3 BP神经网络的结构选择
理论证明,3层前向式神经网络能够以任意精度实现任意函数,所以,本模型中采用3层前向网络。同时,当有N个影响时, 3层BP神经网络的输入层节点数为N个,隐含层节点数一般为2N ~ 4N,最佳取值可根据实际问题试凑得,输出层为1个节点, 因此可以取其平均结构为N - 3N - 1型, 输入层激发函数为线性函数, 中间层和输出层的激发函数为S型函数。
3.4 BP神经网络模型建立
对于实际的燃料供应模型,数据的选择要有针对性,结构要合适,这在预测过程中是重中之重。为便于模型选择、结果对比,可同时采用几种不同的数学模型进行预测。在完成对恰当的预测模型的选择后,利用提取自历史资料的训练数据对建立好的预测数学模型进行参数训练。当模型的参数训练好以后,即可利用此模型进行预测。
具体操作步骤如下:
(1)对训练样本与预测样本进行归一化预处理,公式表示如式(1)。
(1)
其中表示经过归一化后的值,表示实际值,,分别是训练集中数据的最大值和最小值,k表示输入向量的维数,i表示有作用因素的个数。
(2)对预测的数据样本进行提取,并分别列出训练与测试的样本集合。
(3)对BP神经网络的输入层、隐含层、输出层的节点进行定义,对网络的权重、阈值进行初始赋值。
(4)利用训练样本对BP神经网络进行训练,建立符合实际问题的模型。
(5)利用事先预备的测试样本对训练好的网络进行测试,若效果不佳,则重新训练,若效果好则继续下一步。
(6)利用预测样本及训练好的模型进行预测。
具体流程图如图5所示:
图5 模型建立流程图
4 基于BP神经网络模型的发电燃料供应预测
(1)样本数据的选择
以各类影响耗煤的因素作为输入 。
(2)进行归一化处理
避免量纲对模型的影响。同时,降低数据的数量级,可以提高BP网络的训练的速度,避免饱和。
(3)确定BP神经网络的结构
3层BP神经网络的输入层节点为1个(可根据实际情况调整),对应于输入样本,隐含层节点为15,输出层节点为1,对应于输出样本。网络初始连接权及神经元初始阈值采用随机赋值方式。神经元的激发函数为S函数,最大迭代次数为400,学习步长为0.001,学习误差为0.00001。
(4)利用训练样本进行网络的训练
(5)利用测试样本进行模型的测试
人为选定5%相对误差为模型训练好坏的判别标准。若测试样本的测试结果的相对误差在5%以内,则进行下一步,否则重新训练。
(6)利用预测样本和已训练好的模型进行预测
南方电网全网发电燃料供应量预测结果值与实际值的对比如图6所示:
图6 南网全网发电燃料供应预测值与实际值对比图
5 结论
随着厂网分离的实施,电网公司和电力调度机构对发电燃料供应的掌握严重不足,已经不能满足电力供应工作的要求,尤其是在来水偏枯、电力供应紧张的时期,发电燃料供应的预测对缓解电力供需矛盾、有序做好发用电管理起着举足轻重的作用,因此,迫切需要开展发电燃料供应影响因素及预测方法的研究工作。
本文在收集、掌握发电燃料供应来源、价格、运输等情况的基础上,基于BP神经网络研究建立发电燃料供应量的预测模型和预测方法。通过MATLAB仿真预测,对预测结果值和实际值进行了对标分析,证明该预测方法预测较准确,并具有灵活的适应性。本文的研究有利于提升发电燃料的管理水平和掌控力度,为合理有序做好电力供应工作提供有力支持。
参考文献:
[1]孙长青.基于OSGI的发电集团燃料管控系统设计与实现[D].导师:陈有青.中山大学,2011.
[2]史新梅,裴珍.辽宁火电厂燃料管理信息系统的开发与研制[J].安徽工业大学学报,2001,(04):359-362+366.
[3]付民庆.基于J2EE架构燃料管理信息系统的研究与实现[D].导师:申晓留.华北电力大学(北京),2008.
[4]魏学军.DF电厂燃料管理信息系统的研究与应用[D].导师:胡立德;戴鹤.重庆大学,2008.
[5]孙文君.发电企业燃料自动监管系统设计及应用[D].导师:张庆超;关万祥.天津大学,2010.
篇8
关键词 神经网络;空调;应用
中图分类号 TP387 文献标识码 A 文章编号 1673-9671-(2012)071-0184-02
中央空调系统是一个庞大复杂的系统,主要包括:空调冷热源系统、水或空气系统、控制系统等,空调系统能耗与影响因素之间是一种多变量、强耦合、严重非线性的关系,具有很强的动态性。而人工神经网络可以实现从输入到输出的任意非线性映射,能够模拟高度非线性系统,具有较强的学习能力、自适应能力、容错能力和联想能力,已成为复杂的非线性系统建模、仿真、预测的新型工具,人工神经网络自20世纪40年代初被首度提出来以后,经过几十年的发展,广泛运用于模式识别和图像处理、控制与优化、人工智能等方面。随着我国空调事业的快速发展及节能减排新形下,人工神经网络在空调系统中的运用越来越受到广大暖通空调研究者的关注。
1 神经网络
神经网络是对人脑或生物神经网络的抽象和建模,具有从环境学习的能力,以类似生物的交互方式适应环境。人工神经网络是一个由大量简单的神经元广泛联接组成的复合系统,当系统被训练达到平衡后,由各个神经元的权值组成的整个网络的分布状态,就是所求的结果。网络学习的过程也就是各神经元权值的调整过程。人工神经网络根据连接方式不同可以分为两大类:无反馈的前向神经网络和相互连接型网络(包括反馈网络),图1为BP神经网络系统结构简图,BP网络就是一种误差反向传播的前向网络,神经网络的学习算法总体来讲可分为有监督学习和无监督学习。人工神经网络的具有强容错性、冗余性、鲁棒性和信息分布式并行处理及快速进行大量计算能力特点, 能适应复杂环境和进行多目标控制。
图1 BP网络系统结构
2 人工神经网络在空调系统中的应用
2.1 空调风系统方面的应用
变风量系统(VAV系统)的基本思想是:当室内负荷发生变化时,改变送入室内风量,以满足室内人员的舒适性或工艺性要求,实现送风量的自动调节,最大限度地减少风机动力,节约运行能耗。目前对变风量空调控制方法传统方法主要有:定静压控制、变静压控制、总风量控制等,但多数局限于的PID控制理论,对变风量空调这种非线性系统的控制精度难以保证。朱为明等人在VAV系统中采用神经网络预测优化算法对变风量空调进行控制,神经网络预测优化算法控制过程的节能范围为:6%-13.5%,与PID控制方法相比,神经网络预测优化算法的控制量之和减少6%以上,具有较好的节能效果。
2.2 空调水系统方面的应用
中央空调水系统主要包括冷却水和冷冻水系统,对于大型系统,管道长,系统热容量大、惯性大,被控系统水温和流速变化速度较慢,滞后现象严重,是一种典型的大滞后系统,对于过程纯滞后非线性特性,目前过程控制传统算法不具备克服滞后影响的能力,在稳定性和响应速度上都难以达到较好的性能指标。周洪煜等人利用了神经网络的非线性逼近特性、自学习、自组织的能力以及预测控制的滚动优化和反馈校正的特性,建立起的中央空调水系统的动态模型,作为预测控制器的预测模型,不需要对被控对象进行精确的辨识, 提出的多变量神经网络预测控制系统具有优良的控制效果,实现了空调水系统的自适应控制。何厚键等人在中央空调水系统的建模与优化研究中,利用前馈型网络结合BP算法建立了冷却塔和制冷机的神经网络模型,解决的具有高度非线性的中央空调水系统设备的建模问题。
2.3 制冷系统方面的应用
神经网络在空调中的制冷系统应用,主要体现在制冷机组优化控制和制冷系统的故障诊断两方面。在中央空调系统中制冷机组是能耗最大的设备,对制冷机组进行优化控制,提高其运行效率,是空调系统节能的重要途径之一。赵健等人在分析了影响压缩机运行效率的主要因素基础上,建立了以压缩机入口制冷剂温度、压缩机出口制冷剂温度和负荷为输入量,最佳吸气压力输出为输出量的BP神经网络模型。通过在线修正制冷机的吸气压力工作点,解决变负荷下,制冷机优化控制问题,大幅度提高制冷性能参数COP的值,降低了制冷机的运行能耗,与采用额定工况相比,采用神经网络优化控制方法的制冷机节能量约为44.8%。
故障诊断是一种了解和掌握设备在使用过程中的技术,确定其整体或局部是否正常,早期发现故障及其原因并能预报故障发展趋势的技术。在制冷系统的故障诊断方面,神经网络也发挥着重要作用,随着我国空调制冷事的蓬勃发展,制冷系统越来越复杂,故障的潜在发生点也越来越多,制冷设备的故障检测与诊断越来越受到人们的重视。胡正定等人在分析制冷系统常见故障特征的基础上,建立以压缩机进口温度、蒸发器进口温度、冷媒水进口温度、冷媒水出口温度、压缩机排气压力、压缩机吸气压力、压缩机出口温度、冷凝器出口温度等8特征征参数作为输入量,故障模式作为输出量的补偿模糊神经网络模型。仿真结果表明,系统的诊断结果且有较高的准确率。李中领等人在空调系统故障诊断中利用神经网络建立了三层BP网络模型,输入层节点个数为4,对应于4种故障现象,隐含层单元个数为4,输出层节点个数为12,对应于12种故障原因,输出节点值的大小反映了故障出现的可能性。
2.4 负荷预测方面的应用
空调系统逐时负荷的准确预测是实现现代控制的前提之一,准确预测空调负荷对空调高效节能运行具有重大意义,影响空调负荷的因素有空气温度、湿度、太阳辐射强度、人员、设备运行情况等,空调负荷与影响因素之间是严重非线性的关系,具有动态性。
2.5 空调制冷系统的仿真设计方面的应用
制冷空调产品设计中,大量地依赖样机的反复制作与调试,使得产品的设计周期延长,并影响性能优化,用计算机仿真代替样机试验,在计算机上面实现优化设计,使得制冷空调装置仿真技术近年来得到了迅速发展 。
2.6 大型建筑运行能耗的评价方面的应用
大型公共建筑指非住宅的民用建筑,包括办公楼、商场、宾馆、医院、学校等,大型公共建筑用能特点是单位面积耗能非常高,为每年100 kW/m2-300 kW/m2,而且我国大型公共建筑能源系统效率较低,浪费严重,其电耗超过公共建筑节能设计标准规定指标的10倍以上。大型公共建筑中央空调系统运行能耗的科学评价是对大型公共建筑进行用能科学管理的重要基础,赵靖等人基于BP人工神经网络,将冷水机组、冷冻水泵、冷却水泵、冷却塔、其它设备月平均功率、运行时间和气象特征共七个作为预测因子,空调系统总能耗为输出量,建立了大型公共建筑系统运行能耗的预测评价模型,仿真结果表明,网络的平均预测误差输出值约为3.3E-014,可以满足实际应用的要求。
3 发展方向
人工神经网络基于较强的学习能力、自适应能力、容错能力和联想能力,在暖通空调领域中的应用已经取得了突破性的进展。今后的发展方向主要有两个方面,首先,不断改进神经网络性能,提高其预测和控制精确度;另外,逐步使神经网络的实现由软件实现过渡到硬件实现,扩大其在空调领域的应用范围,也是今后的研究方向之一。
参考文献
[1]胡守仁.神经网络导论[M].北京:国防科技大学出版社,1999.
[2]候媛彬,杜京义,汪梅.神经网络[M].西安电子科技大学出版社,2007.
篇9
[关键词] 人才预测 Elman神经网络 BP神经网络
随着知识经济的到来,人才在区域经济中的作用日益彰显,人力资源规划已经成为区域经济发展的重要影响因素。因此人力资源需求预测逐渐被接纳和重视。人才预测的方法有很多种,神经网络是较为常用的方法之一。目前大多数采用的是基于BP算法的神经网络,它可以看成是输入与输出集合之间的一种非线性映射,通过对有限样本的学习来模拟系统的内部结构。但BP网络作为一种静态前馈网络,它对动态系统进行辨识时将动态时间建模问题变为静态空间建模问题。Elman回归神经网络是一种典型的动态神经元网络,它是在BP网络基本结构的基础上,通过存储内部状态使其具备映射动态特征的功能,从而使系统具有适应时变特性的能力。因此,考虑到人才系统具有动态性的特点,尝试采用Elman神经网络以江苏省技术人才系统为例进行预测。
一、Elman神经网络
Elman神经网络是Elman于1990年提出的,该模型在前馈网络的隐含层中增加一个承接层,作为一步延时算子,达到记忆的目的,从而是系统具有适应时变特性的能力,能直接反映动态过程系统的特性。
1.Elman神经网络结构
Elman神经网络一般分为4层:输入层、中间层(隐含层)、承接层、输出层,如图1所示。其输入层、隐含层、输出层的连接类似于前馈网络,输入层的单元仅起信号传输作用,输出层单元起线性加权作用。隐含层单元的一步传递函数可采用线性或非线性函数,承接层又称为上下文层或状态层,它用来记忆隐含层单元前一时刻的输出值,可以认为是一个延时算子。
Elman神经网络的特点是隐含层的输出通过承接层的延迟与存储,自联到隐含层的输入,这种自联方式使其对历史状态的数据具有敏感性,内部反馈网络的加入增加了网络本身处理动态信息的能力,从而达到了动态建模的目的。
图1 Elman神经网络的模型
2.Elman神经网络的学习过程
以图1为例,Elman网络的非线性状态空间表达式为:
其中,y,x,u,xc分别表示m维输出结点向量,n维中间层结点单元向量,r维输入向量和n维反馈状态向量。w3,w2,w1分别表示中间层到输出层、输入层到中间层、承接层到中间层的连接权值。 g(*)为输出神经元的传递函数,是中间层输出的线性组合。f(*)为中间层神经元的传递函数,常采用S函数。
Elman网络也采用BP算法进行权值修正,学习指标函数采用误差平方和函数:
其中为目标输出向量。
二、基于Elman神经网络的江苏技术人才需求预测
1.Elman网络样本设计
在实际的人力资源规划中,江苏省 年的技术人才需求不仅受到年江苏经济状况的影响,由于人才需求的时滞性,而且受到等年份诸多因素的影响,具有动态性。表1给出了1989年~2005年江苏省的地区生产总值(GDP)和技术人才数量。现在利用前14年的数据作为网络的训练样本,每4年的人才数和第5年的地区生产总值作为输入向量,第5年的人才数作为目标向量。这样可以得到11组训练样本。第15、16年的数据作为网络的测试样本,主要看网络能否合理地预测出当年的数据。
表1江苏省技术人才数和地区生产总值(1989年~2005年)
2.Elman网络训练与测试
获得样本数据后,由于原始样本中各向量的数量级差别很大,为了防止部分神经元达到饱和状态,在研究中使用MATLAB7对样本进行的输入进行归一。接下来是设计Elman网络的结构。合理的网络结构是预测性能的基础。实际上结构的确定尤其是中间层神经网络元数的确定是一个经验性的问题,需要大量的实验。分别使用不同的中间层神经网络元数来构造Elman网络,使用训练样本进行学习训练,用测试样本进行测试分析预测值和实际值的误差,观察其训练曲线和预测误差曲线。经过反复试算,中间层神经网络元数目为8,传递函数为tansig时,网络收敛于允许误差的范围内。图2给出了Elman神经网络预测值与实际值的比较。
图2Elman网络输出值与实际值对比
3.与BP神经网络预测比较分析
BP神经网络是人才预测中最常见的非线性方法,是一种单向传播的多层次前向网络。经过反复训练,建立结构为5-9-1的江苏技术人才需求BP神经网络预测模型,算出江苏技术人才需求的BP网络预测值,并与Elman神经网络预测值进行比较。图3是BP神经网络的拟合曲线,与图2相比可以看出,Elman神经网络的拟合曲线更接近于实际值曲线。因此,Elman神经网络在江苏技术人才需求趋势的拟合上有着BP神经网络不可比拟的优势。部分预测结果的比较分析见表2。
图3 BP网络输出值与实际值对比
表2Elman神经网络拟合与预测结果
三、结论
Elman神经网络是在BP网络的基础上加入反馈信号,利用内部状态反馈来描述系统的非线性动力学行为,提高了学习速度,适合动态系统的实时辨识。Elman神经网络代表了神经网络建模、辨识与控制的发展方向。若能将其与灰色模型、多元回归模型结合起来,则有可能进一步提高人才预测的精度,并能在人力资源规划中发挥更大的作用。
参考文献:
[1]董长虹:MATLAB神经网络与应用[M].国防工业出版社,2005
[2]李涛宋光兴:区域人才资源需求预测方法研究[J].云南财经大学学报,2006,(3)
[3]盛艳波:基于BP神经网络和ARIMA组合模型预测浙江省人均国内生产总值[J].商场现代化,2006,(23)
[4]林春燕朱东华:基于Elman神经网络的股票价格预测研究[J].计算机应用,2006,(2)
篇10
关键词:羊绒羊毛纤维;贝叶斯分类器;BP神经网络;SVM支持向量机
中图分类号:TS102.3 文献标志码:A
A Research of Classifiers for Testing Cashmere & Wool Fibers
Abstract: This paper mainly studies the classifiers for identifying the image features of wool and cashmere fibers. The image features, which are selected in the same way, are identified by using respectively Bayes classifier, BP neural network and SVM support vector machine. Then, by comparison we conclude that the SVM support vector machine is more suitable for testing of wool and cashmere fiber thanks to its higher recognition rate and speed.
Key words: cashmere and wool fibers; Bayes classifier; BP neural network; SVM support vector machine
羊绒纤维是制作高档面料的重要原料,但其产量极少,仅占动物纤维总产量的很少一部分。由于羊绒的珍稀、高价、优良品质及风格特征,生产商常采用山羊绒与其它纤维进行混纺加工;并且市场上也存在用混纺产品假冒纯羊绒制品进行销售的问题。故准确鉴别羊毛羊绒纤维十分必要。
图像分析技术是纺织纤维形态研究的重要技术之一,使用图像分析技术有助于提高羊绒羊毛检测领域对于天然纤维的识别和分类的效率。本研究通过比较当今鉴别羊绒羊毛纤维时使用的不同分类器,来找到较适合的分类器。
1分类器介绍
1.1贝叶斯分类器
贝叶斯分类器依据研究对象的先验概率,利用贝叶斯公式计算出研究对象的后验概率,即是该对象属于其中某一类的概率,选择属于最大的后验概率的类为其所属的类。因此,贝叶斯分类器是最大正确率意义上的优化。
若已知有M类物体,以及每一类在n维特征空间的统计规律,即是各类别ωi(i=1,2,3,…,M)的先验概率P(ωi)以及类条件概率密度P(X|ωi)。对于待测样本,贝叶斯公式公式(1)可以计算出该样本各类别的概率,即后验概率,根据后验概率的大小决定X属于哪一类。
在羊绒羊毛纤维检测中,统计数据服从正态分布,其相应的均值和方差可以由样本均值以及样本方差求出。
1.2BP神经网络
人工神经网络是通过对人脑思维方式的模仿,以一定的学习准则,通过人工神经元的网络系统进行一定的记忆与学习,并通过不断的学习,调整整个网络的权值和阈值,达到减少错误的发生率的过程。
BP神经网络,即人工神经网络使用误差逆传播算法(BP算法)的学习过程。该算法由信息的正向传播和误差的反向传播两个过程组成,其中正向传播使用最速下降法进行传播,误差反向传播则是利用输出层的误差来估计其直接前导层的误差,即形成了将输出端表现出的误差沿着与输入信号传送的逆方向逐级向网络的输入端传递的过程。利用各层的误差进行神经网络阈值和权值的选取,以达到神经网络误差平方和最小的目的。
1.3SVM支持向量机
支持向量机是以VC维原理和结构风险最小化理论为基础建立的机器学习方法,是一种监督式的学习、分类方法。其优势表现在解决小样本、非线性和高维模式识别问题上,并且解决了模式识别中经常出现的“维数灾难”和“过学习”等问题。SVM支持向量机的原理是通过不同的“核函数”将提取的纤维特征在低维进行计算然后将分类效果映射到高维,从而实现从低维向高维的转化。这避免了在高维上的复杂计算,实现了计算的精简,提高了分类学习的效率。
2羊绒羊毛纤维图像特征提取
本文所用的羊绒羊毛纤维图像为中国纤维检验局提供的辽宁盖县种羊场成年公羊羊绒纤维图像样本100张和国际羊毛局标准羊毛纤维图像100张。通过图像旋转,灰度化,中值滤波,边缘提取等预处理过程。使用中轴线法提取纤维鳞片直径和纤维鳞片高度作为特征参数。
3仿真结果分析
3.1贝叶斯分类器
本次研究选取羊毛纤维特征及羊绒纤维特征各95个作为训练学习对象,其余羊毛羊绒纤维特征作为检测对象,重复进行100次,贝叶斯算法仿真结果(图1)得到的平均识别结果为88.7%。
3.2BP神经网络
本次使用的BP神经网络是最常见的两节点的BP神经网络。选取羊毛纤维特征及羊绒纤维特征各95个作为训练学习对象,其余羊毛羊绒纤维特征作为检测对象,仿真结果如图2所示,得到平均识别率为84.8%,并且仿真时训练时间过长,为138.242s。
3.3SVM支持向量机
本次以纤维鳞片直径和纤维鳞片高度作为特征变量,利用交叉验证,SVM支持向量机仿真结果如图3所示。从图3(a)可看出,通过使用SVM支持向量机,得到的识别率为92.7%;通过图3(b)可以看到,分类效果相较于BP神经网络效果更好。
4结论
通过对不同仿真结果的分析可以得出:首先,BP神经网络针对小样本的识别过程耗时过多,可能会出现过度训练的情况,相比较而言,贝叶斯方法和SVM支持向量机识别过程耗时较少,更有效率;其次,针对识别率,BP神经网络为84.8%,贝叶斯方法为88.7%,SVM支持向量机为92.7%,识别率更高。因此,SVM支持向量机较贝叶斯方法以及BP神经网络更适宜作为羊绒羊毛纤维图像特征识别的分类器。
参考文献
[1] 卫敏.羊绒的鉴别检测方法分析[J].福建轻纺,2011(2):33-37.
[2] 杨潇,季益平,张毅.图像识别在羊绒羊毛检测中的应用研究[J].广西纺织科技,2010,39(3):13-16.
[3] 石先军,于伟东,袁子厚.基于贝叶斯方法的山羊绒与细羊毛的鉴别[J].纺织学报,2008,29(1):27-33.
[4] 刘彩红.BP神经网络学习算法的研究[D].重庆:重庆师范大学,2008.
[5] 丁世飞,齐丙娟,谭红艳.支持向量机理论与算法研究综述[J].电子科技大学学报,2011(1):2-10.
[6] 王柏华,胡志宇,葛顺顺,等.基于光镜条件下绵羊毛与山羊绒的鉴别[J].毛纺科技,2011,39(4):42-45.
[7] Rafael C. Gonzalez, Richard E. Woods, Steven L. Eddins.Digital Image Processing Using MATLAB[M].阮秋琦,译.北京:电子工业出版社,2005.
作者简介:侍瑞峰,男,1989年生,硕士在读,研究方向为图像处理与模式识别。
通讯作者:刘亚侠,副教授,E-mail:。