神经网络初始化方法范文

导语：如何才能写好一篇神经网络初始化方法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：矢量量化；自组织特征映射神经网络；图像压缩；主元分析

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)36-2731-02

The Vector Quantization Based on PCA/SOFM Hybrid Neural Network

HUNG Cui-cui, ZHANG Jian

(Liaoning University of Technology Electronic and Information Engineering College, Jinzhou 121001, China)

Abstract: In order to improve the two main shortcomings of the Kohonen's self-organizing feature map(SOFM) that are high computation complexity and poor codebook quality, the author proposes a vector quantization algorithm based on PCA/SOFM hybrid neural network in this paper. Descend the dimension of imported vectors by using the principal component analysis (PCA) linear neural network. And then, use SOFM neural network to vector quantization. By modifying the learning-rate parameter, topology field weight and initial codebook of the SOFM neural network to optimize network. Simulation results demonstrate that the image compression algorithm can shorten the time and improve the performance of codebook.

Key words: Vector quantization(VQ); Self-organizing feature map neural network (SOFM); image compression; Principle component analysis(PCA)

1 引言

矢量量化[1,2]技术是一种利用图像数据空间相关性的高效有损压缩方法，它具有压缩比大，编码速度快等优点，目前己广泛用于信号识别、语音编码、图像压缩等领域中。矢量量化优越性的体现离不开性能良好的码书，因而，矢量量化的关键是如何设计一个最佳码书，使得用该码书中的码字表征输入矢量空间分布时所引起的量化平均失真最小。近年几来，许多学者将SOFM神经网络应用于码书的设计[3]。但SOFM算法存在收敛速度慢、计算量大等缺点。陆哲明和孙圣和针对SOFM基本算法的计算量大采用了快速搜索算法，为了提高码书性能对SOFM基本算法的权值调整方法作了一些改进[4]。目前越来越多的研究人员把目光投向将矢量量化与其他的编码方法相结合[5]。例如，矢量量化与小波变换结合的算法[6]，分形变换与矢量量化相结合的算法[7]。PCA是一种有效的图像变换编码算法，它能够提取图像数据的主特征分量，因此能够降低图像输入数据维数。SOFM算法用于图像矢量量化则具有不易受初始码书的影响，同时能够保持图像数据的拓扑结构等优点。为此本文将两者结合，提出了PCA/SOFM混合神经网络图像混合编码算法。先用PCA对图像进行降维处理，再用SOFM神经网络进行码书设计。本文还对码书的初始化的选择问题和神经网络的学习参数进行研究。实验表明，该算法不但大大降低了计算量，而且提高了码书的性能。

2 PCA/SOFM混合神经网络的算法

尽管SOFM神经网络比起LBG算法有很大优势，但SOFM算法仍然存在收敛速度慢。计算量大等缺点。因此本文将PCA与SOFM神经网络相结合，提出了PCA/SOFM混合神经网络。PCA/SOFM混合神经网络结构如图1所示，先用PCA线性神经网络对输入矢量降维处理，从而使得压缩图像达到最小失真。然后用SOFM神经网络进行码书设计， PCA线性神经网络采用Sanger提出的广义Hebb算法[8]。

2.1 基本PCA/SOFM混合神经网络算法

1) PCA网络权值Wpi,j和SOFM网络权值初始化；

2) PCA网络输出矢量Yp(t)：

(1)

N为PCA神经网络输入矢量Xp的维数。

3) Wpi,j网络权值调整：

(2)

4) 重复步骤(2)至(3)，直至算法收敛。输出矢量Ypi(t)，并将此作为SOFM的输入Xi(t)；

5) 计算矢量Xi(t)与权值矢量Wi,j(t)的距离：

(3)

6) 选择具有最小距离的输出节点，j*作为获胜节点，即：

(4)

7) Wij(t) 网络权值调整：

(5)

8) 重复步骤(5)至(7)，直至算法收敛。

9) 取输入训练矢量集的下一个输入矢量，回到步骤(2)反复进行，直到足够的学习次数或满足规定的终止条件为止。

10) 保存所有权值Wij的值，即设计码书。

2.2 PCA/SOFM混合神经网络的初始化和改进

在PCA/SOFM混合神经网络算法中网络的初始化、邻域函数和学习率函数非常重要，它直接影响到网络的收敛速度和码书的性能。本文要对这几个参数进行优化以提高压缩速度和压缩性能。本文采用一种改进的随机选取法，使空间分配均匀，不会出现码字空间分的过细或过粗的现象。首先，按k维矢量所有元素中最重要的单个元素(即k维欧氏空间中最敏感的方向)大小排序；然后按顺序每隔n个矢量取一个矢量作为初始码书的一个码字，完成码书的初始化（n=训练序列中矢量的总数/码书的大小）。

由SOFM基本算法可知，权矢量Wi(t+1)的更新实质上是权矢量Wit和训练矢量Xi(t)的加权和。其中学习率因子和邻域函数非常重要，它们决定算法的收敛速度。下面推导最优的学习率因子α(t)。由式（5）得：

(6)

可以总结得：

(7)

令多项式的各项相等可得到最优学习率因子：

(8)

其邻域函数取为：

(9)

式中，hcc典型地取为0.8。T为最大迭代次数，初始值σ0和最终值σT典型地取为0.8和0.1。

3 实验结果

为了验证算法的有效性，本文把基本SOFM编码算法、基本PCA/SOFM混合神经网络编码算法和改进PCA/SOFM算法分别用于图像的压缩编码。本文采用的是512×512像素，256级灰度的Lena图像用于训练图像进行码书设计。首先将图像分为4×4子块，然后将每一小块的16个像素灰度值作一个训练矢量，送入PCA线性神经网络。PCA线性神经网络输出节点为8维PCA变换系数矢量，同时将它作为SOFM神经网络的输入矢量，用于进行码本设计。进过多次实验，取其平均值作为实验结果，图3给出了各种算法在相同压缩比的情况下恢复图像的对比。表1给出了各算法编码后的尖峰信噪比PSNR和码书设计时间的比较。

从测试的结果可以看出改进PCA/SOFM算法优于基本SOFM算法和基本PCA/SOFM算法，该算法缩短了码书设计的时间，图像的恢复质量有所提高，取得了令人满意的结果。从而证明本文提出的算法是一种行之有效的方法。

4 结束语

篇2

关键词：CT图像；图像重建；BP神经网络

1 引言

图像重建是光学CT 技术的核心内容。在CT应用中，先是已知待测图像在几个方向上的投影，然后由这些投影数据重建出该图像。常用的算法主要有代数迭代法（ART）、滤波反投影（FBP）、最大熵法等。这些算法在投影数据比较多的情况下重建结果还比较理想，但在投影方向受限（如4～5个）的情况下，重建精度就很低[1，2]。

针对稀疏视角不完全投影图像重建的特点和难点，本文利用神经网络具有处理高维高度非线性和不确定问题的优势，提出了一种基于神经网络的图像重建方法。该方法充分利用神经网络具有强大的自适应学习和联想综合能力，故而可以实现所需的由已知投影值的视角区域到未知视角区域的弥补[3]，并且选用最简单的神经网络结构和有效的学习样本，从而在有限的条件下更有效地重建出高质量的图像。

2 基于BP神经网络的图像重建

2.1 BP网络模型及权值初始化

在各类神经网络中，BP神经网络是一种算法成熟且易于实现的网络类型。本文选用三层神经网络，即包含输入层、隐含层和输出层。

其中，输入层和输出层分别对应原始图像和重建图像的投影数据，神经元的个数为投影数据的个数。隐含层代表重建图像，神经元的个数为重建图像像素的个数[4]。在网络训练过程中，输入层至隐含层的权值W随误差的反向传播不断调整，隐含层至输出层的权值M在网络训练前事先初始化，并保持不变。根据CT图像重建理论，隐含层和输出层神经元之间的权值即为第i条投影射线穿过第j个像素的长度ri，j，故权值矩阵M即为投影系数矩阵R。笔者采用文献[5]新方法求取投影系数矩阵，从而确定权值矩阵M。

2.2 BP神经网络的改进

篇3

关键词：仿生算法；神经网络；遗传算法

中图分类号：TP183文献标识码：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神经网络[1]和遗传算法[2]是仿生算法[3]的典型方法，它们的优化问题一直是众多研究者所倍为关注的研究热点之一。在人工神经网络和遗传算法结构的研究中发现，人工神经网络具有很好的模式分类的特性，遗传算法有很好的动态变更权值的特性，基于此，本文提出了一种改进的基于人工神经网络和遗传算法的算法。本章的改进算法，就是对人工神经网络和遗传算法进行了变换，增强了对输入权值的变化速度，并提出用减少输入层个数的方法是加快神经网络学习的有效方法，取得了良好的实验效果。

1神经网络和遗传算法的特究点

1.1神经网络和遗传算法的不同点

1．神经网络是多层感知机，而遗传算法是单层感知机。神经网络是由输入层，隐含层和输出层够成，但遗传算法的基因组是一个数组，不管基因的长度有多长，其结构仍然是一个单层感知机。

2． 神经网络的隐含神经元个数是不确定的，而输出层和输入层的个数是可以确定的。我们希望输入层的个数用新的方法得到降低，这样神经网络的训练速度就可以提高。同时对于隐含层的层数，一般情况设为1。每层的神经元个数也并不是越多越好，是要根据问题的情况而变动的。但神经网络的隐含层是不确定的，而且隐含层的个数也是不确定的。对于遗传算法，它的二进制的长度是可以确定的，但是交叉和变异的比例是变动的。对于单点交叉比例，我们可以设定为黄金分割点。虽然设定为黄金分割点作为单点交叉比例没有用数学方法严格的证明，但是，大量的实验表明，选择黄金分割点往往可以得到较好的结果。对于变异比例，没有交好的方法确定，只能设计交互式的实验来调试决定。

3．权值的更新方式不一样。神经网络的权值的更新方式是时时的，而遗传算法权值的更新方式是批量的。

4．两者应用的范围不一样。神经网络主要应用于模式匹配，错误诊断，监视病人的状态，特征提取，数据过滤。而遗传算法主要应用在计算机辅助设计，日程安排，经济学的投资研究等。

1.2神经网络和遗传算法的相同点

1．有教师的学习。神经网络的输出是有目标的，当然是确定的。同时对于遗传算法的目标也是确定的。所以两者都是有目标的，也就是有教师的学习。

2．随机近似优化过程。神经网络中，如果把网络的权值初始化为接近于0的值，那么在早期的梯度下降步骤中，网络将表现为一个非常平滑的函数，近似为输入的线性函数，这是因为sigmoid函数本身在权值靠近0时接近线性。同样，遗传算法的初始个体都是随机产生的，它的交叉和变异都是一个不断近似的过程。

3．并行化。神经网络的每个神经元是独立的，如果把每个神经元分配一个处理器，那么就可以采用并行的方式。同样，遗传算法很自然地适合并行实现，有粗粒度并行方法和细粒度并行方法。有粗粒度并行方法就是把群体细分成相对独立的个体群，称为类属，然后为每个类属分配一个不同的计算节点，在每个节点进行标准的GA搜索。细粒度并行方法就是给每个个体分配一个处理器，然后相邻的个体间发生重组。

2算法的研究及改进

结合人工神经网络和遗传算法的研究的本质，通过两种算法结合的研究及改进，提高算法的收敛速度，从大量的数据中模拟生物的特性来完成特定的任务和解决问题的方法和方向。由于遗传算法是单层感知机，而神经网络是多层感知机，所以可以从多层感知机的多层性，我们想象为遗传算法是单层感知机作为神经网络是多层感知机的输入层。这样，我们就可以采用遗传算法的动态变更权值的特性来对神经网络输入层有效性的遗传和变异。这种算法适合与没有输入，只有输出的应用，就像无人驾驶技术中控制行驶的速度和方向的控制一样。基本的框架如图1：

图1结合人工神经网络和遗传算法的框图

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能体，神经网络的输出来控制智能体，控制中心将神经网络的权值用遗传算法的初始体来提供。

2.1遗传算法的基因作为神经网络的权值变量

遗传算法的基因的初始化必须要满足神经网络的输入要求，一般遗传算法的基因都是0，1编码。但是为了达到神经网络的输入要求，是要在（-1，+1）之间随机产生。

2.2遗传传算法中杂交点选择

遗传算法中，一般都是采用随机平均变异[4][5]的方式，但是如果输入是由遗传算法的基因提供的话，为了保证在变异的时候，采用标记变异的方法。我们可以首先根据图2的神经网络来考虑：

图2遗传算法作为人工神经网络和的权值图

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很显然，（0.3,-0.8,-0.2）是神经元1的权值 ；(0.6,0.1,-0.1)是神经元2的的权值；(0.4,0.5) 神经元3的权值。为了在遗传算法中的杂交过程中，不破坏每个神经元的权值个数，特意标记（3，6）所在的箭头。

2.3引入神经网络输入层的数据预处理

神经网络的计算问题是神经网络应用中最为关键的问题。如何提高网络的训练速度是算法研究的重点。我们在思考问题的时候，总是希望问题越简单越容易解决。同样，我们也可以通过对数据的预处理，来降低问题的难度。

为了减少输入层的个数，我们可以先对数据进行预处理。预处理的方法为如下流程：

（1）.计算机器人前进方向Position(x,y)和目标的所在的位置Location(x,y)。

（2）.归一化Position(x,y) 和Location(x,y)。

（3）.用点乘的计算公式计算两者点乘。

（4）.用符号重载的方式计算是顺时针还是相反。

（5）.计算角度=第3步的结果*第4步的结果。

3实验结果及分析

3.1实验框架

将本算法应用于扫雪机器人的智能控制中，设计的主要模块：

3.1.1神经网络部分的设计

神经网络的输入由四个变量组成：扫雪机器人方向向量（由两个变量组成，即在X和Y的分量），发现目标，即雪的向量（由两个变量组成，即在X和Y的分量）。神经网络的隐含层由一层组成，而且由10个神经元。神经网络的输出由两个变量组成，V1和V2，分别作用在机器人的左轮和右轮上。神经网络的响应函数采用SIGMOD。

3.1.2遗传算法部分的设计

遗传算法的初始化是为神经网络提供权值，所以是由[-1，1]随机数产生。遗传算法的变异是采用随机变量的变异，选择采用轮转法。

3.1.3扫雪机器人

扫雪机器人用神经网络来控制，当找到目标后，它的适值就加一。这样就随着发现目标越多，它的适值就越大。学习能力是通过不断的学习后，它的适值就会加强。如果直接采用机器人前进方向和目标的所在的位置，那么神经网络的输入为四个变量。

3.2结果与分析

如果直接采用机器人前进方向和目标的所在的位置，那么神经网络的输入为四个变量。通过对扫雪机器人的学习过程，没有进行预处理的数据，即四个变量输入神经网络后的参数设定：神经网络的输入为4，神经元为6个，输出个数为2个，如图3所示：

图3网络的参数设定图

Fig.3 Network parameters set figure

我们设定初始的适值为0，如果发现一个目标后，它所对应的适值就加上1，这样经过50次的进化后，没有进行数据预处理的最大值是25，平均值是10.1333。如表1所示：

将50次的统计结果用柱状图进行对比,如图4所示。

图4进化50代后的加入数据预处理和没有加入预处理的对比图

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

为了减少输入层的个数，我们可以先对数据进行预处理下面，用统计的方法对数据进行的结果分析，如表2所示。

将进化100代后，对比两者的对比柱状图如图5所示。

图5进化50代后的加入数据预处理和没有加入预处理的对比图

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

实验结果表明，为了减少输入层的个数，先对数据进行预处理。通过对扫雪机器人的过程的数据分析进行分析，数据预处理后的智能进化学习能力相对于原始数据的智能进化学习能力有明显的提高。

4结束语

本文提出了基于神经网络和遗传算法结合的改进算法，对于遗传算法的变异操作进行改进，不会破坏单个神经元的输入权值的基础上，采用数据预处理的方法来减少输入层的个数，从而提高进化学习的能力。从实验数据中可以看到，本章提出的改进算法加快了学习速度，达到了提高智能学习的预期

目的。

参考文献

[1] 乔俊飞，韩桂红．神经网络结构动态优化设计的分析与展望[J].控制理论与应用，2010,3(13):350-357.

[2] 葛继科，邱玉辉,吴春明，等．遗传算法研究综述[J].计算机应用研究,2008,10(9):2911-2916.

[3] 丁建立，陈增强，袁著祉．智能仿生算法及其网络优化中的应用研究进展[J].计算机工程与应用，2003,12(3):10-15

[4] 巩敦卫，等．交互式遗传算法原来及其应用[M].北京:国防工业出版社,2007.

篇4

关键词：信用风险预警； 模糊神经网络； 模因算法； 粗糙集

中图分类号：TP301.6 文献标识码：A文章编号：2095-2163（2013）06-0010-05

0引言

近年来，人工神经网络已广泛应用于信用风险预警等金融风险管理领域，研究表明神经网络预测准确性优于统计判别分析等传统预警方法，但其中的“黑箱”操作等缺陷却也导致了神经网络在信用风险管理领域的应用遭到多方质疑[1-2]。源自模糊理论与神经网络相融合的模糊神经网络（Fuzzy Neural Network，FNN）提高了网络的透明性、启发性及鲁棒性，在一定程度上克服了神经网络的“黑箱操作”，然而FNN也存在“维数灾难”、结构复杂、学习算法冗长、局部早熟等问题，由此也限制了其在金融风险管理领域中的应用[3]。据此，本文试图在对模因算法（Memetic Algorithms，MA）进行改进的基础上，结合粗糙集（Rough Set，RS）和模糊神经网络提出一种模因进化型粗糙模糊神经网络（MA-RSFNN）模型，旨在利用模因算法进行模糊神经网络的训练学习，发挥模因算法的全局优化能力，消减网络陷入局部早熟的可能性，使网络具有进化和学习的双重智能，同时借助粗糙集知识约简精炼训练集、降低输入维度，避免“维数灾难”现象。

1模因算法

模因算法（Memetic Algorithms，MA）由Moscato和Norman等人于1992年提出，是一种超启发式全局搜索混合算法，主要思想源自道金斯的文化进化思想和达尔文的自然进化法则[4]。其原理是在全局搜索策略中有机集成局域搜索策略，利用局部搜索策略的局部寻优能力提高算法的性能和收敛速度。相关研究表明模因算法在搜索过程中兼顾深度和广度，不仅有较强的全局寻优能力，同时算法收敛速度快，在许多问题上的求解获得了比遗传算法收敛速度更快[6-9]。

经典的模因算法通常采用遗传算法作为全局搜索策略，因此算法流程与遗传算法类似。根据文献[5]，模因算法的流程如图1所示。

2模因算法改进

模糊神经网络的训练学习是一个连续函数优化过程，以遗传算法为基础的模因算法能有效求解组合优化问题，但对连续空间问题的求解则效率不高。粒子群算法是一种源自对鸟类等生物群体觅食行为进行模仿的实编码优化算法，其概念简单、结构简洁，是求解实编码优化问题的有力工具。本文提出一种以粒子群算法为全局搜索策略，BP算法为局部搜索策略的改进型模因算法，以期设计出一种高效的模糊神经网络学习算法。

粒子群算法（Particle Swarm Optimization ，PSO）是一种基于群体智能的全局优化算法，其灵感源自鸟群、蚁群等生物群体的觅食过程[10-11]。目前，具有概念简单、算法简洁、隐含并行及全局收敛等优点的粒子群算法已广泛应用到决策分析、知识发现等领域[12-13]，并取得了丰硕研究成果。基本粒子群算法的数学描述如下[10]。

假设一颗微粒代表寻优空间中的一个解，算法初始化时随机生成一定数量的微粒构成种群，而后通过不断随机有向迭代寻求问题最优解。在迭代过程中，微粒通过跟踪个体及种群历史最优值，按式（1）、（2）不断调整个体的速度和位置以实现向最优解靠拢。

其中，式（3）为速度vij的调整量；速度vij为位置xij的调整量；w∈[0.4，0.9]为惯性因子；c1=c2=2.0为学习因子； r（·）∈（0，1）为随机数；pij和pg分别为个体及群体历史最优值。

2.2改进型模因算法

改进型模因算法基本流程如图2所示。

3模因进化型模糊神经网络

3.1网络结构

信用风险预警通常为多输入单输出的问题，参照文献[14-15]设计的模糊神经网络拓扑结构如所图3所示。

3.2网络学习算法

（1）编码。微粒的坐标值代表了模糊神经网络的模糊参数与权值，其编码如图4所示。

其中，yi为实际输出；yi为期望输出，P为群体规模。

（3）算法步骤。学习算法的主要步骤如下：

步骤一：初始化。设置全局搜索策略和局部搜索策略的相关参数，随机生成种群。

步骤二：BP算子。采用BP算法对每个个体进行局部寻优。

步骤三：算法终止判断。如果算法满足终止条件则跳转步骤六，否则跳转步骤四。

步骤四：PSO算子。①根据式（4）计算每个个体的适应值；②个体及群体历史最优位置调整；③按式（1）调整微粒速度；④按式（2）调整微粒位置。

步骤五：BP算子。采用BP算法对每个个体进行局部寻优，产生新群体，跳转步骤三。

步骤六：算法结束。

其中，算法终止条件：① MSE最大进化代数。

BP算子的目标函数为式（4）所示的适应值函数，学习过程中，网络参数与权值按以下数学公式作调整：

上述模因进化型模糊神经网络采用模因算法对网络进行学习与训练，使得模型具备了学习与进化的双重智能，但该模型也存在一般模糊神经网络的“维数灾难”现象。为此，采用粗糙集知识约简对模型输入数据进行前置处理，简化训练集、减少输入维数，从而降低网络结构的复杂程度，避免“维数灾难”现象。前置处理的主要步骤如下：

（1）指标初选和数据预处理

在考虑数据可获取性的前提下初步建立预警指标体系，指标体系要求涵盖各方面的信息，力图从全方位、多层次反映信用风险特征。

数据预处理主要是根据指标的特性，对连续型预警指标的数据进行离散化处理。数据离散化的原则是保持数据集分类或决策能力不变的前提下尽可能压缩数据。

（2）建立决策表

以指标初选和数据预处理后的数据为基础，建立如表1所示的决策表。

（3）知识约简

对建立的决策表进行约简处理，得到条件属性的相对约简，选取相对约简所代表的预警指标组成指标集作为模型的输入指标体系。

5模型在信用风险中的应用

从商业银行的角度看，信用风险是指借款人的违约而造成的损失可能性。本文从商业银行的企业贷款违约方面研究模型在信用风险评估中的应用，以检验模型在金融风险管理领域中的应用成效。

5.1指标初选与数据采集

在研究国内外相关成果的基础上，参考相关商业银行的企业绩效评价指标体系[16-19]，选择涵盖企业盈利能力、偿债能力、成长能力及营运能力等方面的共21个指标构成初选指标集，如表2所示。

5.2粗糙集前置处理

（1）数据离散化与决策表的建立

采用等频率划分算法在保持数据分类能力的前提下对数据进行离散化处理，断点集数k可通过试验获得，一般取k=3。在数据离散化的基础上，以初选指标为条件属性，属性Bc（1：贷款违约公司，0：贷款正常公司）为决策属性，建立信用风险预警的决策表，如表3所示。

（2）属性约简

5.3模型训练学习

学习算法的相关参数初始化如下：

（1）模糊子集数设为3（代表高、中、低），则该模型为6-18-3-1结构的模糊神经网络，输出Y为企业违约信号（1：违约；0：不违约）。

（2）参数初始化。网络的模糊参数及权值随机初始化，隶属中心∈[-1，1]，隶属宽度∈（0，1]，耦合权值∈（-1，1）。

（3）模因算法的参数设置。PSO算子随机生成规模M=30的种群，w=0.729， c1=c2=1.49，[Vup，Vdown]为[-1，1]，Vmax=0.3，BP算子的学习率η=0.005。

（4）训练终止条件：①适应值10 000。

在Matlab7.0环境中，编程实现上述的模型与算法，采用训练数据集的150份数据对模型进行训练学习，训练过程误差变化如图5所示。经过3 000多代的进化，MSE达到了0.000 281。

采用测试集的数据对预警模型进行仿真实验，表4汇总了三类模型的实验结果，从中可以看出MA-RSFNN模型的预测准确率高达90%，相比BP神经网络及单纯模糊神经网络均有了大幅度提高。无论是第一类错误还是第二类错误MA-RSFNN模型的表现都最好。

6结束语

模糊神经网络具有启发性、透明性等特征，可处理模糊信息，能避免神经网络的“黑箱操作”，但其存在“维数灾难”现象、结构复杂及收敛性差等缺陷。本文所提出的MA-RSFNN模型将模因算法和粗糙集理论融入模糊神经网络，发挥模因算法的全局搜索能力提升模糊神经网络的学习能力，借助粗糙集知识约简的降维消冗能力对训练数据进行降维消冗处理，从而精简网络结构，避免网络陷入“维数灾难”。应用实例的结果表明了新模型的有效性，可望为金融风险管理提供一种新方法和新思路。

参考文献：

[1]MIN J H， LEE Y C. Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters[J]. Expert Systems with Applications， 2005， 28 ：603-614.

[2]BAHRAMMIRZAEE A. A comparative survey of artificial intelligence applications in finance： artificial neural networks， expert system and hybrid intelligent systems[J].Neural Comput & Applic，2010，19：1165-1195.

[3]HAMDANI T M， ALIMI A M， FAKHRI K. Enhancing the structure and parameters of the centers for BBF fuzzy neural network classifier construction based on data structure[A]// Proceedings of the International Joint Conference on Neural Networks[C]. Piscataway NJ： IEEE， 2008： 3174-3180.

[4]MOSCATO P. On evolution， search， optimization， genetic algorithms and martial arts： towards memetic algorithms[A]//Tech. Rep. Caltech Concurrent Computation Program [C]. Pasadena， California， USA， 1989： 1-67.

[5]NORA S，CHRISTIAN S， ANDREAS Z.A memetic clustering algorithm for the functional partition of genes based on the gene ontology[C]//Proc of the 2004 IEEE Symposium on Computational Intelligence in Bioinformatics and Computational Biology.San Diego，USA，2004：252-259.

[6]DAWKINS R. The selfish gene[M].UK：Oxford University Press，1976.

[7]MOSCATO P， NORMAN M G. A memetic approach for the traveling salesman problem-implementation of a computational ecology for com-binatorial optimization on message-passing systems[C]// Proceedings of the International Conference on Parallel Computing and Transport Applications. Amsterdam：IOS Press，1992： 177-186.

[8]RADCLIFFE N J， SURRY P D. Formal memetic algorithms[J]. Evolutionary Computing， 1994，865： 1-16.

[9]XU Xin，HE H G.A theoretical model and convergence analysis of memetic evolutionary algorithms[C]//Proc of Int Conf on Natural Computation.Changsha，2005：1035-1043.

[10]KENNEDY J. EBERHART R C. Particle swarm optimization [A]// Proceedings of IEEE， International Conference on Neural Networks [C]. Piscataway NJ：IEEE， 1995： 1942-1948.

[11]KENNEDY J. The particle swarm： social adaptation of knowledge [A]//Preceedings of Evolutionary Computation [C] ，Indianapolis： IEEE， 1997：303-308.

[12]EBERHART R C， SHI Y H. Particle swarm optimization： developments， applications and resources [A]//Proceedings of the IEEE Congress on Evolutionary Computation [C]. Piscataway， USA： IEEE Service Center， 2001：81-86.

[13]吴启迪，汪镭. 智能微粒群算法研究及应用[M]. 南京：江苏教育出版社，2005-04.

[14]AKAGI T， SUGENO M. Fuzzy identification of systems and its application to modeling and control[J]. IEEE Transactions on Systems， Man， and， Cybernetics， 1985，15（1）： 116-132.

[15]黄福员. 金融风险预警的MPSO-FNN模型构建与应用[J]. 计算机工程与应用，2009，45（14）：210-212.

[16]ALTMAN E I， MARCO G， VARETTO F. Corporate distress diagnosis： comparisons using linear discriminant Ana analysis and neural networks[J]. Journal of Banking and Finance， 1994， 18： 505-529.

[17]李志辉， 李萌. 我国商业银行信用风险识别模型及其实证研究[J]. 经济科学， 2005（5）： 61-71.

篇5

【关键词】 图像识别技术 神经网络识别

模式识别研究的目的是用机器来模拟人的各种识别能力―比如说模拟人的视觉与听觉能力，因此图像识别的目的是对文字、图像、图片、景物等模式信息加以处理和识别，以解决计算机与外部环境直接通信这一问题。可以说，图像识别的研究目标是为机器配置视觉“器官”，让机器具有视觉能力，以便直接接受外界的各种视觉信息。

一、图像识别系统

一个图像识别系统可分为四个主要部分：被识图像、图像信息获取、图像预处理、图像特征提取、分类判决。

二、图像识别方法

图像识别的方法很多，可概括为统计（或决策理论）模式识别方法、句法（或结构）模式识别方法、模糊模式识别方法以及神经网络识别方法。重点介绍神经网络识别方法。

2.1神经网络识别方法

2.1.1人工神经网络的组成

人工神经网络（简称ANN）是由大量处理单元经广泛互连而组成的人工网络，用来模拟脑神经系统的结构和功能。而这些处理单元我们把它称作人工神经元。

2.1.2人工神经网络的输出

2.1.3人工神经网络的结构

人工神经网络中，各神经元的不同连接方式就构成了网络的不同连接模型。常见的连接模型有：前向网络、从输入层到输出层有反馈的网络、层内有互联的网络及互联网络。

2.1.4 学习算法

1）感知器模型及其算法

算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络中，经加权运算处理后，得到一个输出，如果输出与所期望的有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。

2）反向传播模型及其算法

反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。

算法思想是：B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。学习过程包括正向传播和反向传播。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果；反向传播用于逐层传递误差，修改神经元之间的连接权值，使网络最终得到的输出能够达到期望的误差要求。

B-P算法的学习过程如下：

第一步：选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成；第二步：从训练样例集中取出一样例，把输入信息输入到网络中；第三步：分别计算经神经元处理后的各层节点的输出；第四步：计算网络的实际输出和期望输出的误差；第五步：从输出层反向计算到第一个隐层，并按照某种原则（能使误差向减小方向发展），调整网络中各神经元的权值；第六步：对训练样例集中的每一个样例重复一到五的步骤，直到误差达到要求时为止。

3）Hopfield模型及其学习算法

它是一种反馈型的神经网络，在反馈网络中，网络的输出要反复地作为输入再送入网络中，使得网络具有了动态性，因此网络的状态在不断的改变之中。

算法思想是：

（a） 设置互连权值

其中xis是s类样例的第i个分量，它可以为1或0，样例类别数为m，节点数为n。

（b） 未知类别样本初始化。 Yi（0）=Xi 0≤i≤n-1

其中Yi（t）为节点I在t时刻的输出，当t=0时，Yi（0）就是节点I的初始值，Xi为输入样本的第I个分量。

（c） 迭代直到收敛

篇6

关键词：人脸检测；Adaboost算法；神经网络；样本扩张

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9599 （2012） 17-0000-02

0 引言

本文采用样本扩张策略使得样本信息可以更全面的覆盖人脸和非人脸信息，克服了原有算法在样本选择上的随机性，加强了训练样本的代表性，再利用Adaboost算法与神经网络串联对人脸进行检测，从而降低了原有算法对人脸检测的错检和重复检测率。

1 Adaboost算法的人脸检测

1.1 Adaboost算法原理

Adaboost是一种迭代算法，其算法思想简单说就是把一组弱分类器通过多次迭代，调整正负样本的权重，并把这些弱分类器按一定权重累加起来，最终得到所期望的强分类器。利用这个强分类器就可以对图像进行人脸检测了。

具体算法：

每个样本都赋予一个权重，T次迭代，每次迭代后，对分类错误的样本加大权重，使得下一次的迭代更加关注这些样本。

输入：（X1，Y1）， （X2，Y2），…（Xn，Yn）

Xi∈X， Yi∈Y={+1，-1}

初始化权值：D1（i）=1/n

For t=1，…，T

在Dt下训练，

得到弱的假设ht： X->{-1，+1}，

错误率：Εt=ΣDt（i） [ht（Xi）≠Yi]

选择αt=1/2 ln （ （1- Εt）/ Εt ），

更改权值：

if ht（Xi）≠Yi ， Dt+1（i）=Dt（i）* e αt /Zt

if ht（Xi）=Yi ， Dt+1（i）=Dt（i）* e -αt /Zt

输出：H（X）=sign（ ∑αtht（X） ）

1.2 弱分类器的生成

为减少计算量和主要特征参数，本文采用主成分分析方法（PCA）得到弱分类器。PCA用于人脸识别，其实是假设所有的人脸都处于一个低维线性空间，而且不同的人脸在这个空间中具有可分性。其具体做法是由高维图像空间经K—L变换后得到的一组新的正交基，对这组正交基进行一定的取舍，保留其中的一部分生成低维的人脸空间。

每一个PCA特征都对应着一个弱分类器，每一个弱分类器都是根据它所对应的特征的参数来定义的。利用上述特征的位置信息，对训练样本进行统计就可以得到对应的特征参数。

1.3 测试环境和结果分析

影响本算法的因素：正负样本的个数，循环次数i的大小；缩放的大小；级联结构的级数；每一级中的循环次数；每一级中所选取的PCA提取特征的数目以及判断为正人脸样本的特征的个数。

本算法选取了 2000 个正样本，2000 个负样本。 实验环境：Pentium（R） 4 CPU 2.93GHz 1.00GB内存。MATLAB：R2010b。测试结果如图1

图 1

由图可看出，此算法在多人脸检测情况下，有较高的错检率和重复检测率。

2 Adaboost算法与神经网络串联检测人脸

2.1 人工神经网络概述

人工神经网络是人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。它实际上是由大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行相关的逻辑操作和非线性关系实现的系统。

在现有神经网络中，BP网络、RBF网络、反馈网络和LVQ网络是目前使用较多的网络，也是在模式识别领域应用最广泛的网络。

LVQ网络学习简单，速度相对来说较快，相同情况下与其他网络相比可以实现更好的效果，因此本文采用了LVQ网络在Adaboost的基础之上进行分类识别。

2.2 样本扩张和串联检测思路

Adaboost算法的效果与前期训练时若分类其的选取关系重大，而弱分类器的选取在一定程度上依赖于样本集的选取，因而训练样本集显得十分重要。在Adaboost算法中，人脸和非人脸的选取比较重要随机，不能很好的表达人脸和非人脸的信息。针对这一现象，采用样本扩张的策略，使扩张后的训练样本可以比较全面的覆盖人脸和非人脸信息。

样本扩张的实现过程如下：1、用随机选取的人脸和非人脸样本构成初始训练库；2、利用该训练库训练神经网络，再将训练好的神经网络对Adaboost分类器判断为正样本的图片进行进一步判断，如果神经网络判断为负样本，则将图片加入初始训练库，用神经网络进行训练，同时直接将Adaboost分类器判断为负样本的图片加入初始训练库中，用神经网络进行训练。

因此，通过样本扩张形成的新训练库更具有代表性，可以很好的涵盖人脸和非人脸信息，再进行Adaboost和神经网络串联进行判断，可以得到很好的效果。

2.3 测试环境和结果分析

本算法选取了 2000 个正样本，2000 个负样本。 实验环境：Pentium（R） 4 CPU 2.93GHz 1.00GB内存。MATLAB：R2010b。测试结果如图3

图 2

评价： 在adaboost加入神经网络串联后，图1与图3相比，错误和重复检测消除了很多。实际运行中，由于神经网络训练权值的随机的初始化的影响，会造成图片横纵方向都每隔两个点扫描检测时可能会随机多出1到2个错检，或者就没有错检出现，这个是没有办法避免的，但是效果已经相对来说提高了很多了。

3 两种算法在给定测试样本数目下识别率的比较

实验环境：Pentium（R） 4 CPU 2.93GHz 1G内存

MATLAB：R2010b

说明：训练样本如果为10，则表示正样本为5，负样本也为5，训练样本如果为20，则表示正样本为10，负样本也为10，以此类推；每一次试验做30次取其均值

实验数据来源：mit人脸数据库

结果分析：在测试样本数目，循环次数以及PCA能量给定的情况下，采用Adaboost算法进行试验，当训练样本数目较少时，识别率比较低；当训练样本数增加的时候，增大到一定的程度，识别率不会有所提高了，反而所需的时间增加了，因此当选择训练样本的数目为20的时候，识别率有所提到，而且所用时间没有明显增大。

表2 改变循环次数T（Train Sample = 20， Test Sample = 500， PCA（98%），Adaboost算法）

结果分析：在测试样本数目，训练样本数目以及PCA能量给定的情况下，采用Adaboost算法进行试验，当循环次数较少的时候识别率比较低，当循环次数增大到一定程度以后，再增加循环次数，识别率没有明显提升反而所需时间增加了，因此选择循环次数为10次的时候技能有较高的识别率，所需时间没有明显增加。

在选择了训练样数目以及循环次数后，基本排除了这两个因素对识别率的影响，进行PCA能量的选择来比较一下Adaboost算法与增加神经网络后的算法的识别率的大小。

由上表可以看出，Adaboost算法与神经网络串联后的的算法具有很好的识别率。本次试验是在识别的基础之上做的，针对的是给定数目的测试样本，要是做到人脸检测需要更多的训练样本来提取人脸特征。

4 结论

本文提出的基于神经网络扩张的adaboost人脸检测算法在原有adaboost算法的基础上加入了LVQ神经网络串联，在经过两个算法的分类识别和样本扩张后，降低了原有算法的错检率和重复检测率，在给定测试样本数的实验中，本文提出的方法要比原算法在识别率上有15%左右的提升。

参考文献：

[1]李维维.基于肤色和AdaBoost算法的人脸检测[J].网络安全技术与应用，2012.

篇7

关键词 神经网络模型；模糊综合评价；权重；水质评价

中图分类号：X824 文献标识码：A 文章编号：1671-7597（2014）07-0147-01

目前，水污染很严重，治理好水污染，改善环境，防止造成进一步的污染，已经成为了社会所研究的重点。因此，水质的评价成为了一项重要的研究热点，根据水质的相关的指标的特点，综合分析得到水质的状况，能够为政府采取合理的措施提供依据。目前，神经网络模型对水质进行评价已经成为了热点，神经网络的优点在于权重的确定方面，能够合理的确定各个指标的权重，但是在评价的模型上[1]，神经网络用的层层分析模型，没有做够好的进行水质的评价，本文在神经网络中融合模糊综合评价模型，能够很好的对水质进行评价。

1 神经网络理论

人工神经网络（AnificialNeural Nemorks，ANN）是通利用数学模型的方法进行抽象和模拟，是一种模仿人脑结构和它的功能的非线性的信息处理系统。它主要是大量的单元相互连接而组成的网络结构，来实现大脑的感知和学习功能。神经网络拓扑结构可以分为前馈多层式网络模型、反馈递归式网络模型和随机型网络模型等。根据研究水质问题多因素权重问题以及神经网络的相关理论，前馈多层式网络中的反向传播神经网络（BP神经网络）具有良好的持久性以及适时预报性，因此在本文的评价模型中，我们都采用BP神经网络的结构方式[2]。

前馈神经网络分为了神经元分层排列，包含了输入层、隐含层和输出层三个层次结构，每个层次的神经元只能够接收前一个层次的神经元，层层对应。这是一种比较强有力的学习系统，它的结构相对而言较为简单，并且编程也比较容易，是一种静态的非线性映射，通过简单的非线性处理进行复合映射，能够得到更加复杂的处理能力。这些前馈网络学习，它们分类能力和模式识别的特点都要强于一般的反馈网络。典型的前馈网络有感知器网络和BP网络。水质评价模型中，一般采用的都是BP神经网络，能够很好的处理各个指标之间的关系特点，做到很好的评价，但是需要一个更好的模型结合神经网络确定权重的特点进行水质评价，能够收到更好的效果。

2 模糊综合评价的基本理论

模糊数学是利用数学方法进行研究与处理模糊现象的数学。模糊综合评价作为一门新的评价科学，是典型数学、统计数学之后的发展起来的一门新的数学学科，可以处理很多之前数学无法解决的问题。开始具有争议，经过一段时间，开始迅速发展，而且涉及的应用领域越来越广泛，已经遍及理、工、农、医及社会科学，充分体现了评价模型的优越之处。

模糊综合评价法是一种利用模糊数学为基础的综合评标方法。综合评价法利用模糊数学隶属度理论和模糊变换原理，根据给出的评价标准与实测值，考虑到被评价事物的各个相关因素，对其进行综合评价。对于模糊综合评价向量，即综合隶属度，可用如下公式：

A为输入，代表参加评价因子的权重经归一化处理得到的一个1×n阶矩阵；R为模糊变换装置，是通过单因素评判得到的隶属度向量，是一个n×m阶的模糊关系矩阵；B为输出，代表综合评判结果，是一个1×m阶矩阵[3]。

其中评价因子是m集合为：，分别为参与评价的n个评价因子。其中评价等级共m个等级，组成集合为：。

评判矩阵和隶属度的式子为：

3 神经网络和模糊综合评价结合算法

神经网络模型评价的精华在于权重的分析确定上，模糊综合评价模型的优点在于系统的评价模型，因此在评价的时候，只要将这两者的优点结合起来，就能够得到很好的效果，因此设计了以下算法模型，能够合理的对水质进行评价，为科学的采取污染防治措施提供依据。

Step1：网络初始化。根据系统输入输出序列（X，Y）确定网络输入层节点数p、隐含输入层节点数l，输出层节点数q，初始化输入层、隐含层和输出层神经元之间的连接权值α和β（α为初始权重，β为临界值，均随机设为较小的数）给定学习速率和神经元[4][5]。

Step2：输出计算。将已有的样本数值加在网络上，利用公式算出其输出值：

Step3：调整权系数。根据网络预测误差，按已知输出数据与上面算出的输出数据之差，调整权重系数，其中调整量为：其中：因为隐节点的输出内部抑制，利用反向推算可以得到：误差值从输出层反向推导得到。

Step4：对各层的权重系数进行调整后，得到调整后的权

重为：

BP神经网络利用梯度下降算法，通过迭代运算，不断调整mij的数值，当得到的输出误差小于所设定的阀值时，将认为获得的mijBP神经网络是合理的。而不断迭代的方法相当于对各类情况进行调整，具有一定的学习记忆特征。

基金项目

国家自然科学基金青年基金（11201485）；徐州工程学院校青年项目（XKY2010201）。

参考文献

[1]刘起霞，李清波，邹剑峰.环境工程地质[M].郑州：黄河水利出版社，2001.

[2]孙会君，王新华.应用人工神经网络确定评价指标的权重[J].山东科技大学学报（自然科学版），2001，20（3）：84-86.

[3]万金保，李媛媛.模糊综合评价法在鄱阳湖水质评价中的应用[J].上海环境科学，2007，26（05）：215-218.

[4]金菊良，魏一鸣，丁晶.基于改进层次分析法的模糊综合评价模型[J].水利学报，2004（03）：65-70.

[5]郭庆春，何振芳，李力，等.BP人工神经网络模型在太湖水污染指标预测中的应用[J].南方农业学报，2011，42（10）.

篇8

【关键词】大学生身体素质评估 遗传算法 BP神经网络 MATLAB计算程序

在校大学生是国家重要的人才后备力量，大学生的身体素质培养和锻炼是学校体育教学中关注的重点。对大学生身体素质进行科学、切实的评价可制订更为有效的培养方案，帮助大学生提高其身体素质。身体素质评价就是将大学生的身体形态、生理机能及运动能力等方面的数据综合起来进行评价[1]。从以往的研究成果看，对大学生身体素质评价集中于采用概率统计、多元回归分析和神经网络[2]的方法。然而，概率统计仅得到整体评价结果，多元回归分析预测精度较低，且两者受样本空间影响较大。为此，本文利用遗传算法来训练初始网络模型，再用BP算法来进行精确求解，是对神经网络评估大学生身体素质的进一步优化应用。

基于遗传算法的BP神经网络理论

通过把神经网络和遗传算法合理、科学的结合，既能够利用神经网络较强的学习能力，又发挥了遗传算法全局寻优的搜索功能。首先利用遗传算法得到权值的较优初始取值，训练网络避免了局部极小，利用BP神经网络训练次数和最终权值也相对稳定，训练速度明显加快，从而既节约了时间，又提高了预测结果的准确性。

1.基于遗传算法的BP神经网络结构

BP网络的学习规则采用最速下降法，利用遗传算法根据训练目标函数对网络权值进行迭代，找到最佳初始网络权值。通过反向传播来不断调整网络权值，使网络误差平方和最小，该系统的网络结构，如图1所示。先对大学生身体素质的评估指标进行分类，抽取大学生身体素质的特征指标，并作为输入信息送入由输入层、中间层和输出层组成的三层网络模型进行评估。经过测试的网络，成为稳定的模式评估器，即可输出评估结果[3，4]。

该模型的输入层节点数为n，即大学生身体素质评价指标数，中间层节点数为 ，输出层节点数为1，即身体素质评估结果值，ωij和ωj为BP神经网络权值，初始化隐含层阈值为ɑ，输出层阈值为b，由此可给定学习速率和神经元激励函数。从图1可发现，BP神经网络可以看成一个非线性函数，网络输入值和输出值分别为该函数的自变量和因变量。当输入层节点数为n，输出层节点数为1时，BP神经网络就表达了从n个自变量到1个因变量的函数映射关系。

2.基于遗传算法的BP神经网络算法

遗传算法优化BP神经网络的核心是用遗传算法来优化BP神经网络的初始权值和阈值，使优化后的BP神经网络能够更好地预测函数输出，计算流程如图2所示。

1.背景资料

根据本校某班2011年大学生身体素质测评成绩，从中选取30名学生的测试结果作为神经网络的训练样本和校验样本。结合遗传算法和BP神经网络算法，在大型数学计算软件MATLAB中编程实现基于遗传算法的BP神经网络大学生身体素质评估[4]。

2.计算结果与分析

遗传算法优化过程中最优个体的适应度变化（如图3）。把最优初始权值、阈值赋给神经网络，用训练数据训练100次后，得到基于遗传算法的BP神经网络预测值。为了对比分析，也进行了BP神经网络预测分析（如图4）。

从图4可看出，采用BP神经网络及遗传算法优化的BP神经网络两种算法得到的预测结果，与专家判断（实际值）基本一致。但基于遗传算法的BP神经网络较BP神经网络预测精度高。特别在输入节点，即评价大学生身体素质的指标较多时，基于遗传算法的BP神经网络预测效果要好一些。

结 论

1.本文提出了基于遗传算法的BP神经网络大学生身体素质评价算法，并建立了相应的网络模型。

2.基于遗传算法的BP神经网络算法不但具有神经网络的函数逼近能力，而且应用遗传算法优化BP神经网络的权值、阈值，可使优化后的神经网络避免训练时间长、易陷入局部极值的缺点。

3.结合实例，将基于遗传算法的BP神经网络大学生身体素质评价算法，应用于本校学生身体素质评估。结果表明，该算法较BP神经网络预测精度及效率高，可作为今后大学生身体素质评价的一种新方法。

参考文献：

[1]范正森，张明如，周瑞琪.大学生身体素质综合评价数学模型[J].武汉工业大学学报，2001，4：92-94.

[2]陈海英，郭巧.短跑运动能力的神经网络评价方法[J].北京理工大学学报，2003，1：54-57.

[3]陈刚，何政伟，杨斌，杨洋.遗传BP神经网络在泥石流危险性评价中的应用[J].计算机工程与应用，2010，46（3）.

篇9

[关键词]软件项目风险管理神经网络粗集

本篇论文的中心是基于粗集的人工神经网络(ANN)技术的高风险识别，这样在制定开发计划中，最大的减少风险发生的概率，形成对高风险的管理。

一、模型结构的建立

本文基于粗集的BP神经网络的风险分析模型,对项目的风险进行评估,为项目进行中的风险管理提供决策支持。在这个模型中主要是粗糙集预处理神经网络系统，即用RS理论对ANN输入端的样本约简，寻找属性间关系，约简掉与决策无关的属性。简化输入信息的表达空间维数，简化ANN结构。本论文在此理论基础上，建立一种风险评估的模型结构。这个模型由三部分组成即：风险辨识单元库、神经网络单元、风险预警单元。

1.风险辨识单元库。由三个部分功能组成：历史数据的输入，属性约简和初始化数据.这里用户需提供历史的项目风险系数。所谓项目风险系数,是在项目评价中根据各种客观定量指标加权推算出的一种评价项目风险程度的客观指标。计算的方法:根据项目完成时间、项目费用和效益投入比三个客观指标,结合项目对各种资源的要求,确定三个指标的权值。项目风险系数可以表述成:r=f(w1,w2,w3,T,T/T0,S/S0,U/U0),R<1；式中:r为风险系数;T、T0分别为实际时间和计划时间;S、S0分别为实际费用和计划费用;U、U0分别为实际效能和预计效能;w1、w2、w3分别是时间、费用和效能的加权系数,而且应满足w1+w2+w3=1的条件。

2.神经网络单元。完成风险辨识单元的输入后,神经网络单元需要先载入经初始化的核心风险因素的历史数据,进行网络中权值的训练,可以得到输入层与隐含层、隐含层与输出层之间的权值和阀值。

(1)选取核心特征数据作为输入，模式对xp=[xp1,xp2,.,xpn]T,dp(网络期望输出)提供给网络。用输入模式xp,连接权系数wij及阈值hj计算各隐含单元的输出。

m

Ypj=1/{1+exp[-(∑wijxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

(2)用隐含层输出ypj,连接权系数wij及阈值h计算输出单元的输出

m

Yp=1/{1+exp[-(∑wjxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

Yp=[y1,y2,……,yn]T

(3)比较已知输出与计算输出,计算下一次的隐含各层和输出层之间新的连接权值及输出神经元阈值。

wj(k+1)=wj(k)+η(k)σpσpj+α[wj(k)-wj(k-1)]

h(k+1)=h(k)+η(k)σp+α[h(k)-h(k-1)]

η(k)=η0(1-t/(T+M))

η0是初始步长;t是学习次数;T是总的迭代次数;M是一个正数,α∈(0,1)是动量系数。σp是一个与偏差有关的值,对输出结点来说；σp=yp(1-yp)(dp-yp)；对隐结点来说,因其输出无法比较,所以经过反向推算；σpj=ypj(1-ypj)(ypwj)(4)用σpj、xpj、wij和h计算下一次的输入层和隐含层之间新的连接权值及隐含神经元阈值。wij(k+1)=wij(k)+η(t)σpjxpi+α[wij(k)-wij(k-1)]

3.风险预警单元

根据风险评价系数的取值,可以将项目的风险状况分为若干个区间。本文提出的划分方法是按照5个区间来划分的:

r<0.2项目的风险很低,损失发生的概率或者额度很小;

0.2≤r<0.4项目的风险较低,但仍存在一定风险;

0.4≤r<0.6项目的风险处于中等水平,有出现重大损失的可能;

0.6≤r<0.8项目的风险较大,必须加强风险管理,采取避险措施;

0.8≤r<1项目的风险极大,重大损失出现的概率很高,建议重新考虑对于项目的投资决策。

总之，有许多因素影响着项目风险的各个对象，我们使用了用户评级的方式，从风险评估单元中获得评价系数五个等级。给出各风险指标的评价系数，衡量相关风险的大小。系数越低，项目风险越低；反之，系数越高，项目风险越高。

二、实证：以软件开发风险因素为主要依据

这里我们从影响项目风险诸多因素中，经项目风险系数计算，作出决策表，利用粗集约简，抽取出最核心的特征属性(中间大量复杂的计算过程省略)。总共抽取出六个主要的指标(PersonnelManagement/Training，Schedule，ProductControl，Safety，ProjectOrganization，Communication)确定了6个输入神经元，根据需求网络隐含层神经元选为13个，一个取值在0到1的输出三层神经元的BP网络结构。将前十个季度的指标数据作为训练样本数据，对这些训练样本进行数值化和归一化处理，给定学习率η=0.0001，动量因子α=0.01，非线性函数参数β=1.05，误差闭值ε=0.01，经过多次迭代学习后训练次数N＝1800网络趋于收敛，以确定神经网络的权值。最后将后二个季度的指标数据作为测试数据，输入到训练好的神经网络中，利用神经网络系统进行识别和分类，以判断软件是否会发生危机。实验结果表明，使用神经网络方法进行风险预警工作是有效的，运用神经网络方法对后二个季度的指标数据进行处理和计算，最后神经网络的实际输出值为r=0.57和r=0.77，该软件开发风险处于中等和较大状态，与用专家效绩评价方法评价出的结果基本吻合。

参考文献：

[1]王国胤“Rough:集理论与知识获取”[M].西安交通大学出版社，2001

篇10

关键词 BP神经网络;遗传算法;教学质量评价

中图分类号TP18,G420 文献标识码A 文章编号 1674-6708(2010)26-0184-01

1 基于遗传算法的神经网络训练方法

1.1 GA-BP算法的概述

遗传算法[1]从一组随机产生的初始解(称为群体)开始搜索过程,群体中的每个个体是问题的一个解,称为染色体,这些染色体在后续迭代中不断进化,称为遗传。遗传主要是通过选择、交叉、变异、运算生成下一代群体,就这样经过若干代进化之后,算法收敛于最好的染色体,即为问题的最优解。那么可以将遗传算法引入BP神经网络的训练,对权值的初始值进行全局优化,这样可避免 BP神经网络陷入局部极小值,并提高其收敛速度[2,3]。

1.2 用遗传算法学习和对神经网络权值的优化

为了方便理解,我们以基础的三层BP神经网络来进行说明。取WIHij为输入层中第i个结点与隐含层第j个结点的连接权值;WHOji为隐含层中第j个结点与输出层第i个结点的连接权值[4]。遗传算法学习BP网络的步骤如下:

1)初始化种群P,包括交叉规模、交叉概率pc、突变概率pm等,初始种群取60;

2)计算每一个个体评价函数,并按权值将其排序。

3)以概率pc对个体Gi和Gi+1交叉操作产生新个体和无交叉操作的个体进行直接复制;

4)利用概率pm突变产生Gj的新个体;

5)将新个体插入到种群P中,并计算新个体的评价函数;

6)如果找到了满意的个体,则结束,否则转3)。

最后,将群体中的最优个体解码即可得到优化后的网络连接权系数。接下来则与神经网络的基本算法相同。

2 实例分析

算法效果测试

根据《正方教学管理系统教学质量评价指标》以及[5]中建立的评价指标体系,我们选取10个二级指标作为输入神经元,取输入层的个数为10。而我们将教学质量评价的等级分为3类:当输出为:{0,0,1}时为“优秀”;当输入为{0,1,0}时为“良好”;当输入为{0,1,1}时为“良好”[6]。隐含层神经元的个数6较为适宜。

用matlab进行编程[2,7],经过大约350代的搜索后其平均适应度趋于稳定,图1为期网络训练误差变化曲线,经过改进的神经网络经过9步迭代即可达到精度的要求,较之于基本的BP神经网络都有较大的改进和提高。

回想结果TT为:

该结果基本接近实际的评价情况,其对应的教师的评价为良好、优秀、优秀、一般、一般,可见其评价是比较准确的。

从数据的结果上看,用GA训练的BP神经网络的权值可以得到满意的结果,但因为改进后的算法会对大量的数据进行编码、解码、交叉、变异等相关遗传操作,所以,时间比普通BP算法的运行时间要长。

3 结论

将全局优化算法GA引入BP 网络训练的权值初始确定,充分发挥了遗传算法的全局寻优能力和 BP 算法的局部搜索优势,形成了一种新的GA-BP算法。该算法能较好的避免BP算法陷入局部最小点、收敛速度慢的问题,是一种快速、可靠的方法。根据该算法建立了有效的教学质量评价模型,检验的结果表明该算法减少了误差,完全可以满足实际应用的要求。

参考文献

[1]史忠植.人工智能[M].北京:国防工业出版社,2007.

[2]田雨波.混合神经网络技术[M].北京:科学出版社,2009.

[3]卢宏,吴翠琴.BP神经网络的遗传优化及其应用研究[J]. 江西理工大学学报,2009,30(5):51-54.

[4]原清,贺新锋,刘湘崇.遗传算法和神经网络在导弹测试 设备故障诊断中的应用研究[J].测试技术学报,2002,16(21):702-706.

[5]彭志捌.模糊综合评判在教学质量评价中的应用[J].高等 建筑教育学报,2008,17(6):20-23.