神经网络反向传播过程范文

导语：如何才能写好一篇神经网络反向传播过程，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

[关键词]有机碳含量评价 神经网络

中图分类号：TP183 文献标识码：A 文章编号：1009-914X（2015）45-0356-01

1 BP神经网络基本原理

BP神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

2 BP神经网络工作机理

2.1 正向传播

图中，表示神经元的输入，表示输入层与隐含层之间权值，为隐含层与输出层之间的权值，f（）为传递函数，为第k个神经元输出。假设BP神经网络输入层有n个节点，隐含层有q个节点，输出层m个节点。

隐含层第k个神经元的输入：

经过传递函数f（）后，则隐含层第k个神经元的输出：

其中f（）为单调递增且有界，所以一定有最大值。

输出层第j个神经元输出：

2.2 反向传播

输入P个学习样本，通过传入网络后，输出，第P个样本误差：

式中：期望

全局误差E：

输出层权值的变化，通过调整，使得全局误差E最小，得出输出层神经元权值调整公式：

隐含层神经元的调整公式：

3 应用实例

选择AC，DEN，CNL，GR，PE，RD作为输入曲线。XX井的53个点的岩心数据，从中选出30个点作为训练样本，23个点作为预测，构建网络，对全井段处理。结果对比（如图3-1），发现神经网络计算的TOC比传统的法计算的TOC效果好。其中TOC_NN为神经网络预测TOC，TOC_DaltalogR_AC为法计算的TOC。

4 结论

BP神经网络预测TOC克服了常规解释模型的缺陷，不用选择解释参数，计算结果与解释人员经验无关，预测结果精度有较大幅度的提高。利用多种测井解释数据及岩心分析资料作为网络训练样本，通过网络的训练、学习，建立了BP网络TOC模型，并利用该模型预测该地区新井的TOC值，实验证明用该模型进行TOC预测是可行的。

参考文献

[1]杨斌.神经网络及其在石油测井中的应用[M].北京：石油工业出版，2005：111-115.

[2]罗利，姚声贤.神经网络及模式识别技术在测井解释中的应用[J].测井技术，2002.

篇2

关键词： Matlab； 串联BP； 多函数拟合； 自定义网络

中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2013）22?0014?03

0 引 言

BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland提出的，它是一种误差按反向传播的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP神经网络具有非常强的非线性映射能力，能以任意精度逼近任意连续函数，因此在人工智能的许多领域都得到了广泛的应用，如函数逼近、模式识别、分类和数据压缩等领域[1?2]。由于目前一个神经网络只能同时对一个函数进行拟合，针对此本文提出了一直串联BP网络同时实现两个函数的拟合。

1 BP网络结构与学习算法

BP神经网络是目前应用最广泛的拓扑结构。BP模型是一种多层前向网络，这里采用的是三层BP神经网络模型，它由输入层、隐层和输出层组成，其结构如图1所示，分别为：

（1）输入层节点，其输出等于[xi]（[i]=1，2，…，n），将控制变量值传输到隐含层；

（2）隐层节点[j]，其输入[hj]，输出[oj] 分别为：

[hj=i=1nwjxi-θj=i=1n+1wjxi]

[oj=f（hj）]

（3）输出节点[k]，其输入[hk]，输出[ok] 分别为：

[hk=j=1m+1wjkoj]

[ok=f（hk）]

式中：[k]=1，2，…，[l]；[f]为传输函数。

BP算法分两步进行，即正向传播和反向传播[3]。

（1）正向传播

输入的样本从输入层经过隐单元逐层进行处理，通过所有的隐层之后，在传向输出层。在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。

（2）反向传播

反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小[4]。

2 BP网络的串联模型

神经网络串联即由两个或两个以上的神经网络串联所组成的新型网络模型，用于串联的各神经网络称为子神经网络。神经网络串联模型中的各子神经网络首尾相连，如图2所示。

假设总的神经网络由k个子神经网络串联而成，即第一个神经网络的输出作为第二个神经网络的输入，第二个神经网络的输出做为第三个神经网络的输入，以此类推下去。每一个子神经网络均由同类型的神经网络构成，在本文中，每一个子网络都采用最常用的BP神经网络，其子网络的构建都遵循现有的BP网络的构建形式，其基本的子网络结构采用三层模式，一个输入层，一个隐含层和一个输出层[5?6]。

通过Matlab神经网络工具箱的自定义的方法来实现两个子BP网络的串联。

部分程序如下所示：

net=network；

net.numinputs=2；

net.numlayers=6；

net.biasConnect=[1；1；1；1；1；1]；

net.inputConnect=[1 0；0 0；0 0；0 1；0 0；0 0]；

net.layerConnect=[ 0 0 0 0 0 0；1 0 0 0 0 0 ；0 1 0 0 0 0；

0 0 1 0 0 0 ；0 0 0 1 0 0；0 0 0 0 1 0]；

net.outputConnect=[ 0 0 1 0 0 1]；

网络的拓扑结构如图3所示，其中每个子网络的隐含层节点为20个，传递函数为tansig，输出层采用线性函数[7]。

3 实验测试与分析

运用本串联BP网络在Matlab 2011的环境中同时对两个目标函数进行拟合。其目标函数为：

目标函数1：

[y=sin x]

目标函数2：

[y=x（1-16x2）e-x]

训练样本输入的设置：输入样本p={p1’，p1’}其中p1=[-1：0.05：1]，目标向量T={t1’；t2’}，其中t1= sin（3*pi*p1），t2= p1.*（1-1/6*p1.^2）.*exp（-p1）。并加入噪声t3=sin（3*pi*p1）+0.15*randn（size（p1））；t4=t2+0.15*randn（size（p1））；T={[t3]’；[t4]’}；对其进行训练仿真[8?10]。

网络的输出y包含了两个待拟合函数的拟合后的数据通过下面操作：

y1=cell2mat（y）；

y2=y1’；

a=y2（1：1：41）；

b=y2（42：1：82）；

得到各自的拟合数据。

仿真结果如图4～图6所示。

由图4、图5仿真拟合曲线与待拟合函数曲线的比较可以看出此串联网络在通过加噪声的训练样本训练后能够很好的对两个待拟合函数进行拟合。由图6知在经过342次训练后其误差达到了0.000 978。可见，通过此串联BP神经网络准确地拟合了待拟合函数曲线。

4 结 语

通过以上叙述可以看出本文设计的串联神经网络能够和好地对函数曲线进行拟合，为同时实现多函数曲线的拟合提供了新的方法。

参考文献

[1] 张雨浓，蔡炳煌.人工神经网络研究进展及过程[M].北京：电子工业出版社，2010.

[2] 蒋正金，汪晓东，端木春江.采用BP神经网络拟合光纤位移传感器特性曲线[J].微型机与应用，2012，31（4）：67?69.

[3] 郭军.BP神经网络算法研究[D].武汉：华中科技大学，2005.

[4] 贾丽会，张修如.BP算法分析与改进[J].计算机技术与发展，2006，16（10）：102?107.

[5] 刘华，高大启.RBF_LBF 串联神经网络的分类应用及其学习算法[J].计算机应用，2004，24（10）：100?104.

[6] 邓秋香.神经网络串并联学习算法在B超图像识别中的应用[D].武汉：武汉理工大学，2008.

[7] 张德丰.Matlab神经网络应用设计[M].北京：机械工业出版社，2012.

[8] 陈小宇，乔翠兰，汪瑞祥，等.基于BP算法神经网络的物理实验曲线拟合[J].物理实验，2002，22（9）：10?13.

[9] 李洁.BP网络的算法及在Matlab上的程序仿真[J].西安航空技术高等专科学校学报，2009，27（1）：42?43.

篇3

关键词：人工神经网络；概算；BP

中图分类号：TP183文献标识码： A

一、人工神经网络应用于建设项目概算的重要意义

（一）人工神经网络

人工神经网络就是由许多神经元互连在一起所组成的神经结构，把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。人工神经网络是一种非常复杂的非线性的动态分析系统。它模拟人脑的神经功能分层由单个神经元非线性地、复杂地组合成一个网络系统。当某一问题的求解过程可描述为若干个有一定内在联系，又无法用解析法表达其内在关系的各个输入因子与输出因子的关系时，将输入、输出因子作为样本进入神经元网络结构，网络系统会对各个输入、输出因子的因果关系作一番认识和学习，建立起各神经元之间的连接强度(即权值)阀值。这样学习后生成的人工神经元网络系统，仿佛具有了人脑解决这一问题的技能。当输入一组新的参数它可以给出这个领域专家认为应该输出的数值。

（二）建设项目概算应用神经网络的必要性

电网建设工程造价是组成电网的各分项工程的价格总和，而各分项工程的价格则取决于其工程量的大小和单价的高低。以往工程造价的计算是由造价编制人员算出各分项工程量，分别乘以其单价。由于组成电网的分项工程数量多，工程量的计算非常繁琐，计算时间占造价计算总时间的90%以上，所以计算结果容易出现误差。这表明造价计算的重点和难点在于工程量的计算。

一个有丰富经验的造价师，根据工程类型、特征及其相关情况，参照以往经验和工程数据资料，就能大致概算出造价，而无需进行大量繁杂计算，而且经验越丰富，资料积累越多，格算的造价就越准确，模仿这种大脑思维模式，正是人工神经网络所擅长的。神经网络模型通用性、适应性强，它不但不排斥新样本，相反它会随着样本数的不断增加而提高自身的概括能力和预测能力，这正好满足了建立造价信息系统的要求--动态地、自适应地从众多已完工程中提取有用信息，进行预测并辅助决策，由于电网工程的单件性，一般不存在两个完全一样的工程，但许多工程之间存在着某种程度的相似性，造价估计分析的基本原理就是建立在电网工程的相似性基础上，对于某个欲估工程，首先从分析电网类型和工程特征入手，再从数目众多的同类已竣工的工程中找出与预估项目最相似的若干个工程，然后利用这些相似电网项目的造价资料作为原始数据进行推理，最后得到拟建电网的造价及其他有关数据。

二、BP网络

（一）BP网络算法

神经网络在目前已有几十种不同的模型，在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(白适应共振理论)网络。其中BP网络是反向传播(BackPropagation)网络，它是一种多层前向网络，采用最小均方差学习方式，这是一种最广泛应用的网络。

BP算法的学习过程是由正向传播和反向传播两个过程组成。在正传播过程中,输入信息从输入层经隐含层逐层传递、处理,每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出,则转入反向传播过程,将误差信号沿原来的连接通路返回,通过修改各层间连结权的值,逐次地向输入层传播,再经过正向传播过程,两个过程的反复运用使得误差不断减小至满足要求。其模型可以表示为:

单隐层BP网络有三部分组成:输入层,输入向量:

X=(x1x2,...,x1,...,xn)T

隐含层:

输出层:

期望输出向量为:

d=(d1,d2,...,dk...,dl)T

输入层到隐含层之间的权值矩阵用V表示:V=(v1,v2,...,vj,󰀁vm)T

隐含层到输出层之间的权值矩阵用W表示:W=(w1,w2,...,wk,...,wl)T

转移函数采用tansig函数:

F(n)=2/(1+exp(-2*))-1

准则函数(误差):

权值的调整量:�

;

反向传播计算公式,可得如下权系数学习规律:

（二）BP神经网络的利弊分析及相关建议

BP算法样本训练失败的可能性较大，原因有以下几点：

（1）从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题是求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；

（2）网络的逼近、推广能力完全取决于学习样本的典型性。而对学习样本的选取并组成训练集则是相当困难的问题。

（3）难以解决应用问题的实例规模和网络规模间的矛盾。实例规模与网络规模总是存在着很大差异，网络容量也是有着自己的局限性，当实例规模超出网络容量时，BP算法会失败。

基于前文所给出的BP网络技术存在的利弊现象，结合工程造价实际情况，个人认为，其弊端的解决方法可以概括为以下几点：

（1）由于BP网络技术在执行较为复杂的目标函数时会出现“崩溃”现象，即算法低效，函数图象错乱、超过网络容量等等。所以造价人员在选择需要用BP算法概算的工程时应该注意工程的复杂性，对于那些过于庞大、复杂的工程不宜采用BP算法，以免出现系统错乱。对于较为简单、较为精简的工程则可用BP算法进行工程造价的概算。同时，也应注意实例造价概算工程的规模与网络实际承载规模的大小，对于网络承载范围之内的，才宜采用BP算法。

（2）样本数据的采集非常重要。BP算法的网络预测能力是与训练能力呈正比的。因此，首先需要确定分解项目，分解项目应选择那些最能体现一个工程特征并且最能决定这个工程造价的关键因素，这样才能正确定位这个工程的造价。其次，选择的已建工程一定是要与待估工程有着较高的相似度。此处，可以进行相似度估测，查看已建工程每个分项的隶属度与待估工程隶属度的差异，差异过大的样本应予以舍去。

（3）针对BP算法的“过拟合”现象，造价中需要注意的是选择的样本数量不宜过大。以防BP算法网络学习了细节却丢失了最重要的骨架――样本内部的规律，从而不能得出满意的结果。

三、基于人工神经网络的送电线路工程造价概算

（一）送电线路工程造价估算模型建立

送电线路工程的造价受多个因素的相互影响，考虑下列因素作为影响着工程价格的主要因素，把它们列为神经网络的输入单元，如图l所示。设在某一电压等级下的送电线路，考虑某种地形、气象条件、架线回路、杆塔类型等基本因素的影响，把实际工程项目投资划分为工地运输、土石方工程、基础工程、杆塔工程、架线工程、附件工程等6个部分。根据测算出的每公里建筑安装费用，再加上其它费用与资金成本，得出每公里的单位静态投资造价，将这些指标作为神经网络的输出单元。

图1 图2

（二）工神经网络模型的建立和设计

BP网络模型结构的选择主要涉及到输入层、输出层、隐含层神经元数目的确定、学习算法的确定等。

1、神经元数目的确立

输人层：由上面送电线路工程概算体系结构的分析，按影响因素层次，可得到13项主要指标，也即是下面的输入神经元。

输出层：输出节点对应于评价结果，在笔者建立的模型中，产生了7个相关指标，分别代表着本体工程的6项投资金额和单位投资金额，因此选择7个输出神经元节点。

隐含层：隐含层神经元单元数的选择与输入输出单元的多少都有直接关系。

在实际操作中，可参考下面经验公式(1)确定。

n1=(1)

其中，m为输出神经元数；拓为输入神经元数；a为1～10间的常数,形成的人工神经网络示意图见图2。

2、输入输出向量

（1）输入向量

1)地形因秦

送电线路地形可能由5种地形组合而成，所讨论的某地区基本是丘陵和山地组成，因此选择它们作为2个输入神经元，以所占线路的百分比表示。

2)线型因素

主要包括导线和地线型号的选择，参考限额设计指标与实际采用的导线型号，对于110 kV线路，有LGJ―150／20、LGJ―185／25、LGJ一240／35、LGJ一300／35四种类型，依次选择上述导线类型，将对应量化值为1、2、3和4。在地线型号选择中，选取GJ一35、GJ一50，对于量化值为1和2，导线和地线型号量化值作为2个输入神经元。

3)平均档距

反映相邻杆塔问的距离作为1个输入神经元。

4)杆塔数目

铁塔数目和水泥杆数目对于造价影响重大，选择铁塔数和水泥杆数为2个输入神经元。

5)运距

它包括人力运距和汽车运距两部分，作为2个输入神经元。

6)土石方量

1个输入神经元。

7)金具

它包括挂线金具和拉线金具两部分，作为2个输入神经元。

8)绝缘子

1个输入神经元。

（2）输出向量

工地运输、土石方工程、基础工程、杆塔工程、架线工程、附件工程、单位静态投资。

参考文献

篇4

（安徽理工大学测绘学院，安徽 淮南 232001）

【摘　要】神经网络算法的收敛性和稳定性已经得到了广泛的证明，被应用在许多工业监控场合，在传统的BP神经网络预测基坑变形方法的基础上，融入了灰色算法，生成了一种新的智能化模型，以对原有方法进行优化。通过实际案例证明，新的组合模型无论在计算时间还是在计算精度方面，都显示了较为明显的优势，具有一定的经济意义和实用价值。

关键词 基坑变形；监测；灰色模型；神经网络

0　引言

随着我国社会经济的快速发展和城市规模的不断扩大，各项大型工程的建设也在蓬勃兴起，从而带动了基坑工程的快速发展。基坑工程具有面积大、深度大、造价高及施工难度大等特点，其稳定性和安全性越来越受全社会的普遍关注，因此变形预测和预报成为一项十分重要的工作。基于基坑的结构类型、组成物质的物理学性质、外力作用的多变性和不确定性，很难建立合适的确定性模型。目前用于变形预测模型有很多种，如回归分析模型、灰色系统模型、神经网络模型等。本文针对灰色模型和神经网络模型进行改进，以期提高基坑变形测量的准确性，更好的保障工程施工的安全。

1　灰色神经网络模型

1.1　BP神经网络

神经网络结构分为多种，本设计选取了BP神经网络作为研究对象，它属于一种前馈型神经网络，目前应用较为广泛，已经成为了一种成熟的优化模型。BP神经网络不但有输入层节点(单元)、输出层节点，而且还有一层或多层隐含层节点，层与层之间多采用全连接方式，但同一层之间的节点不存在互相连接。该模型流程如下：

第一阶段，正向传播过程: 输入层神经元通过接受外界的输入信息，并传递给中间层神经元，中间层神经元负责前后层之间的信息交换，并确定出中间层设计的隐含层的数量，最终将信息传到输出层并输出显示结果，完成一次正向传播处理过程。

第二阶段，反向传播过程: 主要用于误差调整，当预测结果同预期差距过大时，误差通过输出层，通过采用误差梯度下降的方式来调整各层权值，并向隐含层、输入层逐层反向传播。

以上两个过程不断循环往复，可在很短的时间内完成整个寻优过程，收敛性良好，并可保证将输出误差降低至最小。当然，从另一角度考虑，为了防止算法陷入无限循环中，可预先设定学习次数，当模型运算次数达到预定值时，无论是否达到预期精度，都会终止模型并输出结果。

1.2　灰色神经网络组合模型

灰色神经网络的组合预测模型是将灰色GM（1,1）模型和BP 神经网络模型相结合，并充分发挥灰色系统和BP神经网络模型各自的优势，实现两者优势互补，从而提高计算精度和运算能力，更好地解决实际工程中复杂的不确定问题。具体实施步骤如下:

（1）采用灰色GM（1，1） 模型对原始时序数据序列{x（0）（i）},i=1，2，…,n进行预测，获得拟合数据x’（1）（i）。

（2）求出残差序列e（0）=x（0）－x’（0）,i=1,2,……,n，这里可取e（0）（i－3），e（0）（i－2），e（0）（i－1）作为BP神经网络的输入，e（0）（i） 作为网络的输出，从而获得BP神经网络修正后的残差序列e’（0）（i） ，则组合模型的最终预测结果等x’（0）（i）+e’（0）（i） 。

采用BP 神经网络进行残差修正的预测模型流程，如图1所示。

2　实例分析

某大型工程基坑开挖深度11m～14m，基坑工程类别为一级。该场地地下水类型主要有上层滞水、第四系松散岩类孔隙裂隙水。土层滞水主要赋存于人工填土层中，水位不连续，变化幅度大，主要接受大气降水和地表水体的补给。基坑线路东侧沿线分布有多个水塘，部分坑内有积水。水坑均为雨季雨水汇集形成，个别水坑在线路上方。基坑施工过程中，若发生较大范围的土体变形，造成边坡土体开裂，会导致水塘内积水渗入基坑，从而影响基坑施工安全。在此期间，为实时了解基坑在开挖过程中的变形情况，对该基坑进行了定期观测。其中基坑的沉降监测点位布设如图2 所示。

为了检验灰色神经网络模型在变形监测数据预测中的效果，对该基坑冠梁上监测点x－2的沉降数据数据进行计算分析。这里选取4 个月的监测数据，时间间隔为4d，共计22次数据，分别用3种模型进行预测分析。采用前19 次实测数据建立相应模型，对后3次数据进行预测，将获得的拟合结果和预测结果同实测数据进行比较分析。通过MATLAB进行编程计算，可得GM（1,1）模型拟合结果。

图3 列出了两种模型的拟合和预测情况，可以看出，灰色神经网络的预测精度明显高GM（1,1） 模型的预测精度，尤其是数据序列存在上下波动的情况下。在实际的变形监测过程中，由于许多不确定因素的存在，大多数获得的数据序列是波动的，此时我们可以采用灰色神经网络模型进行预测，可有效提高精度，并获得较满意的结果。

4　结语

本文将灰色理论和神经网络模型相结合，建立灰（下转第259页）（上接第106页）色神经优化组合模型，充分发挥两者优势，能够在小样本，贫信息及数据有波动等情况下对变形监测数据做出比较准确的模拟和预测，并具有模型简单、无需确定非线性函数和计算方便等优点，从而为变形监测的数据处理提供一种有效的方法。

参考文献

［1］张正禄,黄全义,文红雁,等．工程的变形监测分析与预报[M]．北京:测绘出版社,2007．

篇5

1.1人工神经网络研究简况

1943年，生理学家W.S.McCulloch和数学家W.A.Pitts首次提出二值神经元模型。半个世纪以来人们对神经网络的研究经历了五六十年代的第一次热潮，跌人了70年代的低谷;80年代后期迎来了第二次研究热潮，至今迭起，不亚于二战期间对原子弹研究的狂热。

人工神经网络是模仿生物脑结构与功能的一种信息处理系统。作为一门新兴的交叉学科，人工神经网络以其大规模并行结构、信息的分布式存储和并行处理，具有良好的自适应性、自组织性和容错性,具有较强的学习、记忆、联想、识别功能气引起众多领域科学家的广泛关注，成为目前国际上非常活跃的前沿领域之一。

    1.2人工神经网络的基本模型及其实现

    1.2.1人工神经网络的基本模型人工神经网络的基本模型见表1?

1.2.2以误差逆传播模型说明人工神经网络的实现人工神经网络中应用最多的是误差逆传播(ErrorBack-Propagation)网络，简称BP网络，从结构讲’BP网络是典型的多层网络，分为输入层、隐含层和输出层3层,层与层的神经元之间多采用全互连方式，而同层各神经元之间无连接，见图1。BP网络的基本处理单元（输入层单元除外）为非线性输人-输出关系，一般选用S型作用函数f(x)=l/(1+e-当给定网络一个输人模式时，它由输人层单元传到隐含层单元，经隐含层单元逐层处理后再送到输出层单元，由输出层单元处理后产生一个输出模式。这是一个逐层状态更新的过程，称为前向传播。如果期望输出与实际输出之间的误差不满足要求，那么就转人误差反向传播，将误差值沿通路逐层传送并修正各层连接权值(w1,W2),这是一个逐层权值更新的过程，称为误差反向传播过程。随着2个过程的反复进行，误差逐渐减小，直至满足要求为止。

2常用人工神经网络模型的应用分析

当前，人工神经网络方法主要应用于有机有毒化合物毒性的分类及定量预测、对不同污染物生物降解性能的预测、单要素环境质量评价、环境质量综合评价、环境预测、环境综合决策等方面。

2.1预测性能的分析

以BP网络为例，就近两年来应用BP网络进行预测的成功研究来看，人工神经网络的预测性能得到了充分的肯定。

1997年，刘国东等141应用BP网络建立的雅砻江和嘉陵江流域气温、降水和径流之间关系的网络模型，具有较高的拟合精度和预报精度，并具有精度可控制的优点。计算结果同国内外研究成果的一致性表明，用BP网络分析、研究气候变化对一个地区(或流域)水资源环境的影响是一种新颖、有效的方法。

王瑛等w指出，当外界环境和系统本身性质发生剧烈变化时，BP网络能提供一种有效的方法来更新模型，实现新旧模型之间的转换。他们利用最近12年(1981~1992年）的环境经济数据对2000年环境指标进行了预测，并根据预测结果对未来的环境对策进行了分析。这为解决环境预测的模型问题提供了一条新思路。

张爱茜等用人工神经网络预测含硫芳香族化合物好氧生物降解速率常数和孙唏等⑺对胺类有机物急性毒性的分类及定量预测的结果都说明了，人工神经网络作为一种非线性模型预测能力大大优于多兀线性回归模型。

2.2 评价性能的分析

人们在环境评价中主要应用了BP网络、Hopfield网络、径向基函数网络等模型，并不断地改进应用方法，对其在环境评价中的性能进行比较研究》李祚泳的研究结果表明BP网络用于水质评价具有客观性和实用性。刘国东等?改进了BP网络的应用kf法，并比较了BP网络与Hopfield网络在水质综合评价中的性能。他们指出Hopfield网络采用模式（图象)联想或匹配，既适用于定量指标的水质参数又适用于定性指标的水质参数，而且使水质评价形象化，因此更优于BP网络.郭宗楼等将径向基函数人工神经网络(RBF—ANN)模型应用于城市环境综合评价，结果-表明RBF网络不仅具有良好的推广能力，而且避免了反向传播那样繁琐、冗长的计算，其学习速度是常用的BP网络无法比拟的。郭宗楼等[|11又以三峡工程为背景，把该模型应用于水利水电工程环境影响综合评价的人工神经网络专家系统中，与分级加权评价法相比较具有更高的推理效率。

环境科学研究的问题，如环境污染、生态破坏、自然灾害、资源耗竭、人口过量等等，无一不是在某种程度上损伤或破坏了人——环境的和谓。人——环境关系有着自身的变化规律,是可以进行科学量度的。显然这一M?度是多方位、多因素的非线性评价问题,至今尚未建立起一种适当的评价模型，我们是否可以借鉴人工神经网络的应用优点，考虑建立基于人工神经网络方法的评价模型。

篇6

内容摘要：本文首先选取若干科技园的投入产出统计指标，采用DEA进行分析，得到各自效率值，最后重新选取同样影响效率的其他相对指标作为输入，将已得效率值作为输出，由此作为学习样本，利用BP神经网络进行学习，并在此基础上进行科技园效率预测，从而实现对科技园运营效率的控制。

关键词：DEA BP神经网络 大学科技园 效率评价

研究方法

（一）数据包络分析

数据包络分析（DEA）是用于评价系统相对效率的分参数化方法。他们的第一个模型被命名为CCR模型。从生产函数角度看，这一模型是用来研究具有多个输入、特别是具有多个输出的“生产部门”同时为“规模有效”与“技术有效”的十分理想且卓有成效的方法。利用数学规划模型，该方法可以解决具有多输入多输出特征的同行业企业生产效率评价问题。

在进行大学科技园运营效率评价时，将每一个科技园看做一个决策单元，假设有n个待评价的科技园，决策单元DMUj（1≤j≤n）的输入、输出指标向量分别为Xj=（X1，X2j，…，Xmj）T>0，Yj=（Y1，Y2j，…，Ysj）T>0，即有m个类型输入和s个类型产出，h0为DMUj0的效率指数。

设输入和输出指标的权向量为v=（v1，v2，…，vm）T>0，u=（u1，u2，…，us）T

建立C2R模型（分式规划）：

令，ω=tv，μ=tu，进行C2变换，转换为模型：

为了直接判别DMU的DEA有效性，考虑模型的对偶问题为（模型）：

X0，Y0分别表示决策单元DMU0的输入和输出，λj，θ0是决策变量。如果决策单元是有效的，则θ*0=1。

（二）BP神经网络

BP网络是一种单向传播的多层前向网络，解决了多层网络中隐含单元连接权的学习问题。输入信号从输入节点依次传过各隐含层，然后传到输出节点，每一层节点的输出只影响下一层节点的输出。为了加快网络训练的收敛速度，可对输入矢量作标准化处理，并对各连接权值赋予初值。BP网络可看作是一个从输入到输出的高度非线性映射，神经网络通过对简单的非线性函数进行数次复合，可近似复杂的函数。基本的BP神经网络拓扑结构如图1所示。

它的具体数学模型如下：

隐层节点的传递函数及网络输出函数f（x）均采用Logistic函数：。

误差计算模型：反映神经网络期望输出与计算输出之间误差大小的函数。

第j个单元节点的输出的误差为，总误差为，Tjk是j节点的期望输出值，yjk是j节点的实际输出值。

中间层节点的数学模型如下：。O1jk表示中间层上，输入第k个样本时，第j个节点的输出。Xj为第j个节点输入。w1ij为输入层到中间层的权值。

输出节点的数学模型如下：。O2jk表示输出层上，输入第k个样本时，第j个节点的输出，w2ij为中间层的到输出层的权值。

修正权值：

BP算法的实现为：BP算法分两步进行，即正向传播和反向传播。正向传播时，输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。

实证研究

（一）指标与数据选择

本文选取北京大学国家大学科技园等37家有代表性的国家级大学科技园2008年的数据进行研究，分析分为两个部分进行，各自的指标选择如下：

DEA分析阶段：取年末固定资产净值、科技园区人员数量、科技园区总面积、科技园孵化基金总额等四个指标作为投入变量，以在孵企业数、在孵企业工业总产值、在孵企业净利润、累计毕业企业数、累计毕业企业工业总产值等五个指标作为产出变量。

BP神经网络学习阶段：考虑到从效率分析的角度说，投入低的地区不见得效率就低，因此在对科技园效率进行评价时必须采用相对指标。因此，选取在孵企业平均收入、在孵企业净利润与工业总产值的比值以及已毕业企业平均工业总产值作为投入变量，将效率分析值作为唯一产出变量，进一步采用BP神经网络进行学习。

（二）效率分析结果

采用DEA SOLVER 3.0软件进行DEA分析，结果如表1所示。有15家大学科技园的运营效率达到DEA有效，有10家大学科技园的运营效率DEA值在0.5以下，这说明这些大学科技园的投入存在不合理的地方，导致产出不足。

（三） BP神经网络预测

采用Alyuda NeuroIntelligence V2.2软件进行BP神经网络预测，结果如表2所示。由于科技园产出相对投入存在一定的滞后性，这里选择为2005年的数据。

BP神经网络的输入节点有3个，输出节点只有1个即效率值。本文采用1层隐含层，即采用一个3层网络来建立科技系统与效率之间的非线性映射关系。在节点选择上，如果隐层节点数量太少，网络从样本中获取的信息能力就差，不足以概括和体现训练集中的样本规律；隐层节点数量过多，又可能把样本中非规律性的噪声等也学会记牢，从而出现所谓过度吻合问题，反而降低了泛化能力。根据经验公式，本文将隐层节点数定为6个。

在进行训练中，参数设为默认值，经过20000次循环趋于稳定。为了测试模型的预测精度，将输入数据作为模拟值，得出BP神经网络预测的计算结果，只有3个大学科技园的效率误差在5%以上，最大误差为7.37%，取得了较高的预测精度。

根据人工神经网络模型，可以对大学科技园的运营效率进行中期或事前评价，一旦发现效率低下的迹象，可以分析其产生的原因，采取相应的措施进行控制。

本文评价方法选取既避免了人为计算权值的主观性和不确定性，同时BP神经网络快速的学习能力，也保证评价结果更加客观准确。本文的创新之处在于将DEA和BP神经网络结合起来，提出了对大学科技园进行评价的新的模型。今后从以下方面研究：提高指标选取的合理性，提出更加科学的指标体系；对评价方法进行改进，提出更加有效和科学的方法或模型。

参考文献：

1.徐小钦，陶星洁，王永宁.基于层次分析法和动态聚类法的大学科技园评价[J].重庆大学学报(自然科学版)，2004

2.范德成，张巍.大学科技园评价指标体系研究[J].科学学与科学技术管理，2005

篇7

关键词:钢管混凝土;拱桥;拱肋;线性控制;BP神经网络

中图分类号:TU377文献标识码:A 文章编号:1673-0992(2010)06A-0159-01

近年来,钢管混凝土拱桥以结构性能优越、跨越能力大、体系灵活多样、外形美观、施工方便等优点,备受工程界青睐。然而,钢管混凝土拱桥施工过程中,常因忽视桥梁结构内力和变形的控制导致拱桥坠毁,从而造成惨重伤亡和经济损失,给工程界带来了沉痛的经验教训[1~3]。因此,钢管混凝土拱桥工程施工状态的监控就显得十分必要,而拱桥拱肋线性控制是主要内容之一。

拱肋线形监控的方案有很多种。常用的是采用“全站仪+棱镜”的方法,但是这种方法存在很多弊端。首先棱镜不容易固定在拱肋表面,需要专门设计支架;其次棱镜与拱肋表面的距离无法测量准确,因此只能测量相对变形,无法测出绝对高程;第三,光学测量的精度有限,对于小变形来说,光学仪器不一定能够觉察。

为解决上述问题,本文结合盐城尖湖桥施工监控实体工程,采用BP神经网络方法,通过样本训练,仿真逼近,寻求出适合于样本数据的非线性映射关系,输出结果可作为拱桥施工过程中拱肋线形控制的依据。

1 工程概括

尖湖桥位于江苏省盐都县境内,为省道S233跨越V级航道的咽喉工程。该桥设计为钢筋混凝土下承式刚性系杆刚性拱体系拱桥,矢高为12m,矢跨比为1/5.417,主桥拱轴线为二次抛物线y=4fx(L-x)/L2。桥梁计算跨径65.56m,与河道成51.74?相交;桥面净宽为2×3.75m+2×0.5m,总宽9.70m。

桥梁拱肋由两榀单肋圆形钢管组成,内填50号微胀混凝土,拱间设有“一”字型横撑。全桥吊杆共24根,左右各12根对称分布。外部用钢管套防护,钢管套外径20.3cm,壁厚12mm。行车道板为25cm厚的预制实心板,顶面浇筑10cm整体化钢筋混凝土面层。桥面纵坡为2.932%。桥面横坡为2%。拱肋线性位移监控点如图1所示。

图1 拱肋线性监控点示意图

2 理论介绍

Rumelhart等人于1986年提出的3层BP(Back-propagation)反向传播神经网络的结构模型如图2所示[4~6]。

图2 3层BP神经网络的结构模型

该模型由输入层、隐层、输出层组成。各层次的神经元之间形成全互联连接,同层各神经元之间没有任何联系。网络包含n个输入节点、h个隐含层节点、m个输出节点,输入层和隐层之间的权值为[V]n*h,隐层和输出层之间的权值为[C]h*m,在输入层和隐层中分别加入加入一个阀值单元,该单元只向前传播,与下一层形成全互联连接,而与前一层无连接。各层之间的映射关系采用Sigmoid型函数,表达式为:

f=/(1+e-x) (1)

3层BP神经网络是一种有导师的学习网络,其学习过程由正向传播和反向传播组成。正向传播过程中,训练样本从输入层经隐层单元处理后传向输出层,每一层神经元的状态只影响下层神经元的状态。输出层的输出值与目标值之间的误差将通过误差反向传播,按照梯度下降法调整各层之间的连接权值和阀值,使误差函数E达到极小值,最后由此网络进行新问题预测、检验和求解。

3 实例分析

以尖湖桥拱肋线形监控过程为例,选用图1所示的点1和点2表面的理论计算应力和位移数据对作为训练样本,选用点3上表面的理论计算应力和位移作为检验样本对。

表1 训练及验算样本对

模拟位移值与样本位移值之间的相关关系表明,利用BP神经网络输出的模拟位移与理论值之间存在线性关系,说明利用应力值,通过网络进行映射之后可以得到位移值,而且具有很好的精度。

利用实测应力值和训练好的神经网络对尖湖桥图1所示的半跨拱肋施工期末的点1、点2和点3的垂直位移进行了计算,并与理论计算值进行比较,结果表明,施工期末点1和点3垂直位移与理论值极为接近,实测值与理论值之差不超过1mm。而上游拱肋在点2处位移比理论值偏大一点,也只有1.8mm,小于L/3000=2.2mm的规范要求。利用BP 神经网络方法的计算结果表明,施工末期上下游拱肋的垂直变形都符合要求。

4 结论

BP神经网络方法在钢管混凝土桥梁拱肋线形控制方面的应用,很好地解决了施工过程中线形位移测量所带来的不便,其计算结果为钢管混凝土拱桥拱肋施工提供了可靠的理论依据。

参考文献:

[1] 付超. 大跨度钢管混凝土拱桥拱肋线形控制技术[J]. 桥梁钢结构, 2000, 3(15), 8-11.

[2] 廖金平, 张浩, 陈伟. 大跨钢管混凝土拱桥预制吊装施工拱肋线型控制[J]. 辽宁交通科技, 2005, (7), 68-75.

[3] 胡大琳, 艾夫・哈依姆, 黄安录. 大跨径钢管混凝土拱桥空间几何非线性分析[J]. 中国公路学报, 1998, (4), 45-51.

[4] 周敉, 张h, 彭挺. RC梁桥承载力BP神经网络预测模型[J]. 公路与汽运, 2004, 3, 68-70.

篇8

关键词：方法；维修性评估；BP神经网络

1 概述

维修性是现代航空武器装备重要的设计特性，是影响其使用可用度和作战效能的重要因素。定型试飞阶段是装备维修性评价的重要环节，其目的是验证装备的维修性水平是否达标，为改进装备维修性设计提供重要参考，提高装备的维修性水平。试飞阶段的维修性评价主要是通过试飞阶段产生的维修信息，验证装备的维修性水平。维修性评估除了有量化指标要求外，还有很多是一些非量化和无法量化的要求和指标。对这些非量化的指标和要求进行评价是非常困难的，往往不易下结论或者结论不够准确。目前，人们一般采用层次分析法（AHP）、模糊综合评判法或灰色评价法进行评价，但这些方法具有较强的主观性，缺乏自学习能力，实际评判中易受判定随机性、参评人员主观不确定性及认识模糊性等诸多因素的制约。针对以上情况，文章在建立维修性定性评估指标体系的基础上，采用目前比较成熟且最常用的一种神经网络方法，即BP神经网络，建立了评价模型，并给出了评价结果。

2 BP神经网络方法

人工神经网络是在现代神经生理学和心理学的研究基础上，模仿人的大脑神经元结构特性而建立的一种非线性动力学网络系统，它由大量简单的非线性处理单元（类似人脑的神经元）高度并联、互联而成，具有对人脑某些基本特性的简单的数学模拟能力。

2.1 BP网络结构

BP神经网络是一种单向传播的多层前馈神经网络，由一个输入层、一个输出层和若干中间层（隐层）构成。每层由若干神经元组成，不同层次的神经元之间形成全互连接。层内神经元相互独立，不同层次之间的神经元以权值W单向连接。每层神经元在节点接受前一层的输出，同时进行线性复合和映射（线性或非线性），通过复合反映不同神经元之间的耦合和映射对输入信息作出反应。

BP神经网络对于输入值要先向前传播到隐层节点，经作用函数运算后，再把隐层节点的输出信息传播到输出节点，最后给出输出值。文章采用一种具有个n2输入节点、n1个隐层节点和单个输出节点的三层BP神经网络，它的数学模型是：

Y=f（WijX+？兹1） （1）

Z=f（WjY+？兹2） （2）

其中，X，Y，Z分别为输入层、隐层和输出层矢量（节点向量）；Wij，？兹1和Wj，？兹2分别表示输入层与隐含层以及隐含层与输出层之间的连接权和阈值，i=1，2，…，n2；j=1，2，…，n1；f（x）为网络激活函数或传递函数，通常采用S形函数，即f（x）=■，如果整个网络的输出要取实数域内任何值，则网络输出层可以采用线性函数作为传递函数，即f（x）=x，其结构如图1所示。

图2 图1中神经元j的结构模型

图1中Xk=（xp1，xp2，？撰，xpn2）为评价指标属性值，k=1，2，…，s，其中s是输入样本量；Z为样本模式P的输出。B=[b1，b2，？撰，bs]T=[bp]s×1为与样本模式P对应的评价结果，也是神经网络的期望输出值。实际输出Z与期望输出bp的误差函数Ep定义为Ep=（bp-Z）2/2。

对于图1中隐层的神经元j，其结构模型如图2。

神经元j模型可以表示为：

（3）

2.2 BP网络学习过程

BP神经网络的学习过程由正向传播和反向传播两部分组成，在正向传播过程中，输入模式从输入层经过隐层神经元的处理后，传向输出层，每一层神经元的状态只影响下一层神经元状态。如果在输出层得不到期望的输出，则转入反向传播，此时误差信号从输出层向输入层传播并沿途调整各层向连接权值和阈值。以使误差不断减小，直到达到精度要求。该算法实际上是求误差函数的极小值，它通过多个样本的反复训练，并采用最快下降法使得权值沿着误差函数负梯度方向改变，并收敛于最小点。

3 维修性定性评价指标体系

根据GJB 368B装备维修性通用工作要求中维修性定性评价内容可确定维修性定性评估的指标体系如图3所示。

图3 维修性定性评价指标体系

维修性评价的最主要目的就是得出分析对象的维修性好坏。对于二级指标，这里为了方便现场操作人员评价打分，每个指标又细化为多个评价准则。这里给出了互换性与标准化评价准则表，见表1。操作人员只需对评价准则进行回答，即可得出每个指标的评价值。文章以可达性中视觉可达为例介绍专家打分方法和评价过程。由于影响视觉可达的条件不同，因此具体项目和分值应根据实际操作进行调整。打分共有好、中、差等3项指标，“好”指标对应分值为80～100分，“中”指标对应分值为60～80分，“差”指标对应分值为60分以下，满分100代表最好的视觉可达状况。为了便于神经网络训练，对得到的百分制评价结果进行了处理，即每个分值除以100得到神经网络输入向量的元素，例如，如果专家对视觉可达的最终打分结果是85分，对应文章的输入向量的元素值为0.850。

附表1 互换性与标准化评价准则表

4 维修性BP神经网络评估模型

文章利用MATLAB实现BP神经网络的编程。将维修性定性评估指标体系中的16个指标作为神经网络的输入向量，将其评估结果作为唯一输出，建立一个如图1的16×midnote×1的3层BP神经网络。

其中16是输入样本的维数；

midnote是隐层节点数，隐层节点数目太多会导致学习时间过长、误差不一定最佳，也会导致容错性差、不能识别以前没有看到的样本，因此一定存在一个最佳的隐层节点数。以下3个公式可用于选择最佳隐层节点数时的参考公式：

（1）■C■■>k，其中k为样本数，n1为隐层节点数，n2为输入节点数。如果i>n1，C■■=0；

（2）n1=■+a，其中m为输出节点数，n2为输入节点数，a为[1，10]之间的常数；

（3）n1=log2n2，其中，n2为输入节点数。

1 是输出层节点数。

网络输入层与隐层之间的传递函数f（x）为tansig，即S型的双曲正切函数；隐层与输出层之间的传递函数f（x）为purelin，即f（x）=x；网络训练函数为traingd，即梯度下降BP算法函数；对于BP网络创建函数newff，其性能函数默认为“mse”，即均方误差性能函数，其权值和阈值的BP学习算法默认为“learngdm”。下面将介绍学习步长、初始权值和目标精度的选取要求。

4.1 学习步长、初始权值、目标精度的选取

学习步长是在学习过程中对权值的修正量，与网络的稳定性有关。步长过短，则学习效率低，步长过长，则网络稳定性差，学习步长一般取0.05。

初始权值选取和输出结果是否最接近实际，是否能够收敛，学习时间的长短等关系很大，由于MATLAB仿真软件会根据初始化函数自动生成相应的初始权值和阈值。

目标精度是确定神经网络的精度标准，当误差达到目标精度要求后网络停止。目标精度的确定是根据实际情况对精度的要求而定。

4.2 实例验证

训练根据实际数据和专家评定，选定用于训练和测试的10组样本数据，其中X矩阵的前9行，即9组训练样本，X矩阵的第10行为1组测试样本，B为10组样本的目标输出矩阵，Q为待估样本矩阵。

（1） 学习样本矩阵、目标输出矩阵、待评估矩阵的数据输入

（2）BP神经网络模型程序代码设计：

net=newff （min max（X（1：9，inf）'）， [midnote 1]， {'tansig'，'purelin'}，'traingd'）%创建网络并初始化

net.trainparam.show=50 显示训练状态间隔次数

net.trainparam.lr=0.05 学习步长

net.trainparam.epochs=500 仿真次数

net.trainparam.goal=0.001 目标精度

[net，tr]=train（net， X（1：9，inf）'，B'） 网络训练

Zsim=sim（net， X（10，inf）'） 仿真计算

（3）仿真结果输出及分析

待评估矩阵的仿真结果为：Zsim=0.762066，它表示的意义是在16个二级评估指标能力值分别为待评估矩阵所给定值时，该维修性的评估结果是0.762066。图4为BP神经网络训练图。从图中可以看出，训练仿真到351次时，达到设定的目标精度0.001，训练停止。文章只对BP神经网络解决维修性评估的方法上进行了初步的探索，随着装备维修性研究的不断深入和神经网络技术的发展，BP神经网络方法在维修性评估中的应用将更加广泛。

图4神经网络训练误差曲线

5 结束语

文章将BP神经网络方法应用于对航空维修性的评价，意在建立更加接近于人类思维模式的定性与定量相结合的综合评价模型。通过对给定样本模式的学习，获取评价专家的经验、知识、主观判断及对目标重要性的倾向，当需对有关对象作出综合评价时，便可再现评价专家的经验、知识和直觉思维，从而实现了定性分析和定量分析的有效结合，也较好地保证了评价结果的客观性，此外仿真结果精确度高，可信性强。

参考文献

[1]黄书峰，端木京顺，唐学琴，等.航空维修保障能力的神经网络评估方法与应用[J].航空维修与工程，2008.

[2]GJB 368A-1994.装备维修性通用大纲[S].

篇9

关键词： 计算机视觉； D像理解； 卷积神经网络； 多层感知器

中图分类号： TN915.63?34； TP311 文献标识码： A 文章编号： 1004?373X（2017）14?0170?04

Abstract： The optical network is a lightweight， versatile and purely Matlab?based deep learning framework. The idea underlying its design is to provide an easy?to?understand， easy?to?use and efficient computational platform for deep learning research. The framework supports major deep learning architectures such as multilayer perceptron（MLP） networks， convolutional neural networks （CNN） and recurrent neural networks （RNN）. The framework also supports the straightforward switch between both CPU and GPU for computation. The experiment result indicates that the framework has different applications in computer vision， natural language processing and robotic technology.

Keywords： computer vision； image understanding； convolutional neural network； multilayer perceptron

0 引 言

深层神经网络[1]已经给出了许多机器智能问题的主要进展，最新的神经网络模型的实现主要强调效率。这些框架可以由20万～50万行代码组成，并经常涉及多个编程语言[2?4]。它需要付出巨大的努力来彻底理解和改进模型。一个简单的和自我解释的深层学习框架是高度预期的且加快深层神经网络模型的理解和应用。

在此提出的光网络是一个轻便的、通用的和纯基于Matlab的深层神经网络模型。简洁、高效的Matlab编程技术已被用来实现所有的计算模块。许多神经网络流行的类型，如多层感知器、卷积神经网络、神经网络都在光网络中得以实现，是结合随机梯度下降的几个变化（SDG）为基础的优化算法。

自从光网络仅用Matlab实现，主要的计算用几百行代码来矢量化和执行，数量级比现有的框架更简洁。所有基本操作都可以轻松定制，只需有Matlab编程基本知识。数学化研究人员可以专注于数学建模的一部分而不是工程部分。

应用程序的用户可以很容易地理解和修改任何部分的框架，开发新的网络架构，使他们适应新的应用。除了简单，光网络还具有以下特点：光网络包含最现代的网络架构；计算机视觉中的应用、自然语言处理和强化学习已被证明；光网络提供了一个综合的优化算法的收集；光网络支持在CPU和GPU之间计算的简单切换；快速傅里叶变换来有效地计算卷积，从而使大卷积核被支持；光网络自动化的超参数优化了新型选择性的SGD算法。

1 模 块

主要的计算模块包括前馈过程和向后/反向传播过程。前馈过程评估模型，反向传播报告网络梯度。随机梯度下降算法是用来优化模型参数。

1.1 核心计算模块

光网络能够专注于数学部分而不是低层次的工程细节。为了使本文更完备，在此说明光网络中的主要计算模块。本文的所有网络和相关实验都是建立在这些模块的基础之上。

1.1.1 线性感知器层

一个线性感知器层可以表示为y=Wx+b。在这里，x表示input_dim×1大小的输入数据，W表示output_dim× input_dim大小的权重矩阵，b是一个output_dim× 1大小的偏置向量，y表示output_dim× 1大小的线性层输出。

从线性感知器输入映射到最终的网络输出可以表示为z=f（y）=f（Wx+b），f是一个非线性函数，它表示在更深层次的网络的计算；z是网络输出，通常是一个损失值。

1.1.2 卷积层

卷积层由一个多维滤波器组kio将输入特征图Nmap_in映射到输出特征图Nmap_out。每个输入特征图xi与相对应的滤波器组kio进行卷积，卷积的结果是求和并添加偏置值Bo生成o?th输出图： 。允许使用大的卷积核，快速傅里叶变换（FFT）是用来计算卷积（及相关）。根据卷积定理[5]，在空间域卷积等价于在频域的逐点乘法。因此，ki*xi可以用傅里叶变换计算：ki*xi=F-1{F{ki}・F{xi}}。在这里，F表示傅里叶变换，“”表示逐点乘法运算，卷积层支持填充和跨越。

从o?th输出特征图到网络输出的映射可以表示为z=f（yo）。这里f是从o?th输出特征图yo到最终的网络输出的非线性映射。与第1.1.1节类似，，，需要在反向的过程中计算。

1.1.3 Max?pooling层

最大pooling层计算在窗口中的最大元素与步幅大小，一个定制的im2col_ln功能是实现转换pooling补丁为列向量，来矢量化在Matlab中的pooling计算。内置的最大功能是这些列向量可以返回pooling结果和这些最大值的指数，然后，在原来的批量数据恢复相应指数。此外，零填充可应用于输入数据。

不失一般性，从Max?pooling层输入到最终的网络输出的映射可以表示为z=f（y）=f（Sx），其中S是选择矩阵，x是一个列向量，它表示输入数据到这层。

在反向的过程中，被计算并传递给浅层：。

当pooling范围小于或等于该步长大小时，可以用Matlab中简单的矩阵索引技术计算出。具体来说，与输入数据相同大小的一个空的张量dzdx被创建。dzdx（from）=dzdy，from是pooling指数，dzdy是一个记录pooling结果的张量。当pooling范围大于步长大小时，x中的每一个条目都可以被汇集多次，并且反向传播梯度需要为这些多个汇集条目积累。在这种情况下，计算可以利用Matlab自带的功能accumarray（）。

1.1.4 修正线性单元

修正线性单元（ReLU）作为一个主要的非线性映射函数被实现，一些其他的函数包括sigmoid和tanh这里的讨论就省略了。ReLU函数是很独特的函数，如果输入大于0，则输出0，否则y=ReLU（x）=x・ind（x>0）。在反向的过程中，如果输入数据是非负的，则梯度传递到较浅层，否则，梯度被忽略。

1.2 损失函数

通常，一个损失函数会和最深核心计算模块的输出相连。目前，为了达到分类任务光网络还支持softmax 中的LogLoss函数。

1.3 优化算法

随机梯度下降（SGD）为基础的优化算法是训练深层神经网络的主要工具。标准的SGD算法和它的一些流行的变型如adagrad[6]，rmsprop[7]， Adam[8]，同样实现了深度学习的研究。值得一提的是，在此实现了一个新的选择性的SGD算法便于参数尤其是学习速率的选择。

2 实 验

2.1 多层感知器网络

在MNIST数据上[9]构造一个多层感知器网络来测试光网络的性能。网络从MNIST图像数据集取得28×28输入，在接下来的两层分别有128个节点。然后，128维特征连接10个节点来计算softmax输出。实验结果见图1。

和测试阶段的损失和错误率

2.2 卷积神经网络

在cifar?10数据[10]上由4个卷积层构建一个卷积网络来测试光网络的性能。此结构与来自MatConvNet的一个报告相同[3]。32，32，64，64在前三层有5×5大小的卷积核，最后一层有4 × 4大小的内核。ReLU函数应用到每一个卷积层之后作为非线性映射函数。光网络自动选择和调整学习速率并可以达到非常精确。与有固定的学习速率的SGD标准比较，选择性SGD具有更好的精度。最重要的是，使用选择性SGD避免手动调谐的学习速率。图2为实验结果。计算在一个Intel i5 6600K CPU和Nvidia Titan X GPU（12 GB内存）的台式电脑上进行。当前版本的光网络用这种网络结构在GPU上每秒可以处理750个图像，大约比使用的CPU速度快5倍。

2.3 LSTM网络

长短期记忆（LSTM）[11]是一个流行的递归神经网络模型。由于光网络的通用性，LSTM网络作为一个特定的应用程序可以在光网络包中实现。值得注意的是，在光网络中的核心计算模块用于执行时域前向过程和反向传播为LSTM。

在一个LSTM模型中的前向过程可以用公式表示为：

和测试阶段的损失和错误率

优化LSTM模型，在LSTM中通过时间的反向传播实现和计算最关键值：

采用一个关键的迭代属性来计算上述值：

一些其他的梯度可以通过使用上述计算输出的链规则计算：

LSTM网络测试一个字符语言建模任务，该数据集由选自莎士比亚作品的20 000个句子组成，每个句子断成67字（和标点符号），LSTM模型可以根据前一个字符预测下一个字符。网络模型中使用30个隐含节点并且RMSProp用于训练。在后10次训练，下一个字符的预测精度提高到70%。

2.4 Q?网络

作为强化学习中的应用，创建一个和MLP网络一致的Q?network[12]。然后将Q?network应用到经典的Cart?Pole的问题中[13]。Cart?Pole系统的动力学可以在一个两层网络数百次迭代中学习到。对Q?network更新过程的一次迭代为：

式中，act是由概率ε随机选择的。所需的网络输出值Qnew是利用观测到的reward和由此产生的状态的贴现值γV（statenew）计算出来的，通过均衡器预测当前的网络。通过使用最小平方损失函数：

3 结 论

为了深层神经网络模型的理解与发展，光网络提供了一个易于扩展的生态系统。在Matlab环境下，整个计算过程可以很容易地跟踪和可视化。这些设置的主要功能可以对深度学习研究界提供独特的便利。

⒖嘉南

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems， 2012， 25（2）： 1097?1105.

[2] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the ACM International Conference on Multimedia. [S.l.]： ACM， 2014： 675?678.

[3] VEDALDI A， LENC K. Matconvnet： Convolutional neural networks for Matlab [C]// Proceedings of the 23rd Annual ACM Conference on Multimedia. [S.l.]： ACM， 2015： 689?692.

[4] BASTIEN F， LAMBLIN P， PASCANU R， et al. Theano： new features and speed improvements [J]. arXiv preprint arXiv， 2012， 20： 42?51.

[5] MALLAT S G. A wavelet tour of signal processing： the sparse way [J]. Academic press， 1998 ， 31 （3） ：83?85.

[6] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. The journal of machine learning research， 2011 （12）： 2121?2159.

[7] TIELEMAN T， HINTON G. Lecture 6.5?rmsprop： Divide the gradient by a running average of its recent magnitude [J]. Neural networks for machine learning， 2012， 4 （2）： 20?26.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization [C]// Proceedings of the 3rd International Conference for Learning Representations. San Diego： [s.n.]， 2015： 1412?1418.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[10] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images [M]. [S.l.： s.n.]， 2009.

[11] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation ， 1997， 9（8）： 1735?1780.

篇10

论文关键词：个股投资，项目风险度量，BP神经网络算法:实证分析

BP神经网络算法在个股投资项目风险度量中的应用研究

摘要：度量个股投资项目风险是一个复杂的过程，目前的大部分研究方法都没有考虑个股投资项目风险的非线性复杂特点。本文通过BP神经网络算法，对个股投资项目进行实证分析。结果显示，利用BP算法具有很好的预测精度，能有效地提高个股投资项目风险度量的准确性。

关键字：个股投资；项目风险度量； BP神经网络算法：实证分析

1引言

Eugene F.Fama(1970)的有效市场假说(Efficient Market Hypothesis)认为，如果证券市场在价格形成中充分而准确地反映全部相关信息，则称该市场是有效率的。但现实情况恰恰相反，由于股票行市受市场层次、行业层次和公司微观层次等因素影响，其内部规律非常复杂，周期变化无序。同时我国资本市场个人投资者的比例高，相对于机构投资者而言，投资者个人心理状态不同毕业论文提纲，风险承受能力差，专业水平低，尤其是非职业股民由于受时间、空间上的限制，往往无法长期关注股市动态和发展，同时出于追逐利益的目的以及本身缺乏风险意识以及缺少信息的原因，使得投资者普遍抱持着投机心理，产生了跟庄行为，由此导致“羊群效应”的发生。“羊群效应”是行为金融学的一个重要概念，是指在一定时期，当采取相同策略（买或卖）交易特定资产的行为主体达到或超过一定数量。这种投资者结构以及投资者行为的特点使得中国股票市场的股票行为具有了不同于成熟市场的特点论文提纲格式。所有这些给股票风险分析提出了新的课题。目前的诸多相关研究，其融合了诸多学科中的理论精华，并结合现代个股投资项目风险的特点，迄今在业界已经取得了不少成就，如主成分分析法、多元回归方法等，但这些方法大都没有考虑个股投资项目风险非线性复杂特点。

因此，本文从个股投资项目风险度量建模的具体情况出发，采用神经网络算法，应用MATLAB仿真软件进行了实证分析。并且通过与多元回归方法对比得到了，在具有复杂特点的个股投资项目风险管理中，BP神经网络算法具有很好的预测精度，能有效地提高个股投资项目风险度量的准确性。

2 BP神经网络

BP(backpropagation)神经网络是前馈型神经网络的一种，其是建立在梯度下降法的基础上的，学习过程(训练)由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层得不到期望的输出毕业论文提纲，则转入反向传播，逐层递归地计算实际输入与期望输入的差(即误差)。将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。

图1：三层神经网络模型

在图1中，输入向量为；隐层输出向量为；输出层输出向量为；期望输出向量为。输入层到隐层之间的权值矩阵用V表示，，其中列向量为隐层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用W表示，，其中列向量为输出层第k个神经元对应的权向量。各层信号之间的数学关系如下：

对于输出层，有

k=（2﹒1）

k=（2﹒2）

对于隐层，有

j=（2﹒3）

j=（2﹒4）

由于标准BP算法存在一些缺陷：

（1）易形成局部最小而得不到全局最优；

（2）训练次数多使学习效率低，收敛速度慢；

（3) 学习过程出现假饱和。

另外，网络隐含层数及隐节点的选取缺乏理论指导，网络训练时学习新样本有遗忘旧样本的趋势。因此，我们采取如下措施进行改进：

（1）增加动量项

令，称为动量系数，一般有。

（2）输入数据处理

在输入数据的标准化方面，输入数据太大，容易导致模型无法收敛，所以将输入数据变换为[0,1]区间的值，其公式如下

其中，代表输入数据，代表数据变化范围的最小值，代表数据变化范围的最大值。

（3）学习速率的调整

令

K为训练次数，为网络均方根误差毕业论文提纲，这样保证一个近最优的学习速率，从而得到比标准BP算法更快的收敛速度论文提纲格式。

3实证分析

本文数据来源于和讯网国内工业运输行业个股投资价值财务得分表，数据截止到2009.12.18（hexun.com/quote.hexun.com/stock/icb.aspx?code=2770&name=工业运输）部分情况见表1。

表1：个股投资项目指标体系

一级指标

二级指标

成长性指标

净利润增长率

资产增长率

资本增长率

每股收益增长率

财务能力指标

资产负债率

债务资本率

股东权益比率

偿债能力指标

流动比率

速动比率

长期资产适合率

现金流指标

每股现金流量

经营现金流与负债比

现金流量比率

净利润现金含量

经营能力指标

销售收入增长率

应收帐款周转率

存货增长率

营业周期

盈利能力指标

总利润率

净利润率

资产收益率

资本收益率

其中，均方根误差

（2）BP算法训练过程样本一共23组，其中训练样本15组，测试样本8组，利用MATLAB软件仿真。首先对测试样本进行网络训练，成长性、财务能力、偿债能力、经营能力、现金流指标、盈利能力等六个指标作为模型的输入因子。net=newff(minmax(P),[2,1],{'tansig’,’tansig'},'traingdx') net.trainParam.show=50; net.trainParam.epochs=1000; net.trainParam.mc=0.9;net.trainParam.goal=0.001; lr=0.01; lr_inc=1.05;lr_dec=0.7;err_ratio=1.04; [net,tr]=train(net,P,T); A = sim(net,P) E =A-T

MSE=mse(E) save net1212 net基于上述MATLAB程序代码（部分），得到误差结果（图2所示）。

图2：误差仿真结果

从图2可以发现模型经过442步，达到误差精度0.001要求。（3）BP算法测试过程load net1212 netP1;

A = sim(net,P1)加载训练好的网络，利用上述代码（部分），输入测试样本进行网络测试，得到结果如表2。表2： BP算法测试结果

10.96

29.74

68.64

11.84

92.28

35.72