神经网络学习方式范文

导语：如何才能写好一篇神经网络学习方式，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：BP神经网络、图像分割、特征提取

Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.

Keywords: BP neural network, image segmentation, feature extraction

中图分类号：TP183 文献标识码：A文章编号：

引言

BP人工神经网络算法是现今应用较为广泛的多层前向反馈式神经网络算法，BP人工神经网络有较好的容错能力、鲁棒性、并行协同处理能力和自适应能力，受到了国内外众多领域学者的关注。由于神经网络高效率的集体计算能力和较强的鲁棒性，它在图像分割方面的应用已经很广泛，Jain和Karu采用了多通道滤波与前向神经网络相结合的方法实现图像纹理分割算法。神经网络算法在特征提取阶段，压缩特征数量，以提高分类速度和精度。在图像识别领域中神经网络作为分类器的研究也得到了很大的进展，尤其是其学习能力和容错性对于模式识别是非常有利的，在一定程度上提高了训练速度和识别率。Le Cun等人提出了多层特征选择(Multilayer Selection Procedure)方法用于字符识别，每一层神经网络处理较低层次的特征，获取该层特征信息并传给上一层。

BP神经网络的基本原理

人工神经网络的研究起源于对生物神经系统的研究，它将若干处理单元（即神经元）通过一定的互连模型连结成一个网络，这个网络通过一定的机制可以模仿人的神经系统的动作过程，以达到识别分类的目的。人工神经网络区别于其他识别方法的最大特点是它对待识别的对象不要求有太多的分析与了解，具有一定的智能化处理的特点。神经网络的学习过程实际上就是不断地调整权值和阈值的过程。根据有无训练样本的指导可以将神经网络的学习方式分为两种：监督学习方式和非监督学习方式，也称为有导师指导学习方式和无导师指导学习方式。监督学习方式，是在给定固定的输入输出样本集的情况下，由网络根据一定的学习规则进行训练学习，每一次学习完成后，通过对比实际的输出和期望的输出，以此决定网络是否需要再学习，如果还没有达到期望的误差，则将实际误差反馈到网络，进行权值和阈值的调整，使实际的误差随着学习的反复进行而逐步减小，直至达到所要求的性能指标为止。非监督学习方式，是在没有外界的指导下进行的学习方式，在学习过程中，调整网络的权重不受外来教师的影响，但在网络内部会对其性能进行自适应调节。

BP神经网络分类器的设计

BP神经网络是基于误差反向传播算法(Back Propagation Algorithm，BPA)的多层前向神经网络，由输入层、输出层、一个或多个隐含层所组成。BP神经网络结构确定之后，通过对输出和输入样本集进行训练，反复修正网络的权值和阈值，达到学习训练的期望误差，以使网络能够实现给定的输入输出映射关系。BP人工神经网络的学习过程分为两个阶段，第一阶段是输入己知的学习样本数据，给定网络的结构和初始连接权值和阈值，从输入层逐层向后计算各神经元的输出；第二阶段是对权值和阈值进行修改，即根据网络误差从最后一层向前反馈计算各层权值和阈值的增减量，来逐层修正各层权值和阈值。以上正反两个阶段反复交替，直到网络收敛。具体实现步骤如下：

(1) 网络的初始化：首先对输入的学习训练样本进行归一化处理，对权值矩阵W和阈值向量赋初值，将网络计数器和训练次数计数器置为1，网络误差置为0。

(2) 输入训练样本，计算输入层，隐含层以及输出层的实际输出。

(3) 计算网络输出误差。将实际的输出和期望的输出值进行对比，采用均方根误差指标作为网络的误差性能函数。

(4) 若误差还没达到期望标准，则根据误差信号，逐层调整权值矩阵和阈值向量。

(5) 若最终调整之后的网络输出达到了误差范围之内，则进行下一组训练样本继续训练网络。

(6) 若全部的训练样本训练完毕，并且达到了期望的误差，则训练结束，输出最终的网络联接权值和阈值。

BP神经网络可以逼近任意连续函数，具有很强的非线性映射能力，而且BP神经网络中间层数、各层神经元数及网络学习速率等参数均可以根据具体情况设定，灵活性较强，所以BP神经网络在许多领域中广泛应用。一般来说，神经网络方法应同传统的人工智能方法相联系的。神经网络本身结构及性能上的特点使其对问题的处理更富有弹性，更加稳健。神经网络的基本特点是采用自下而上的设计思路，使其容易确定具体的目标分割或识别算法，在增加了不确定因素的同时也产生了网络最优化的问题，这就是所谓的伪状态(pseudo-trap)。尽管在实践中并非所有的伪状态对应完全失败的结果，但是毕竟这不符合对之完美的或者说合理的期望。人工智能则一般采用自上而下的方法，偏重于逻辑推理建立系统模型。因此将神经网络同人工智能结合起来，相当于赋予神经网络高层指导的知识及逻辑推理的能力，具有潜在的优势。

输入层中间层 输出层

图1 BP人工神经网络结构

BP神经网络的训练

4.1 BP神经网络的设计

BP神经网络的设计主要包括两方面内容：一是神经网络结构的确定，特别是隐含层层数及隐含层单元数目的确定；二是高精度收敛问题，隐含层和隐含层单元数过多，将导致训练时间过长并出现过度拟和的问题，隐含层单元数过少又导致网络收敛速度慢甚至不收敛，达不到误差精度要求。在确定隐含层层数以及隐含层单元数目时，没有一个严格的理论依据指导，需要根据特定的问题，结合经验公式确定大致范围来进行逐步试算比较得到。

4.2 数据预处理

为了加快网络的训练速度，通常在网络训练前进行神经网络输入和输出数据预处理，即将每组数据都归一化变为[-1,1]之间的数值的处理过程。

4.3 神经网络的训练

%当前输入层权值和阈值

inputWeights=net.IW{1,1}

inputbias=net.b{1}

%当前网络层权值和阈值

layerWeights=net.LW{2,1}

layerbias=net.b{2}

%设置训练参数

net.trainParam.show = 1000;%限时训练迭代过程

net.trainParam.lr = 0.1; %学习率，缺省为0.01

net.trainParam.epochs = 100000; %最大训练次数，缺省为100

net.trainParam.goal = 0.001; %训练要求精度，缺省为0

[net,tr]=train(net,P,T);%调用 TRAINGDM 算法训练 BP 网络

A = sim(net,P) %对 BP 网络进行仿真

E = T - A;%计算仿真误差

MSE=mse(E)

结束语

BP网络因为具有较强的学习性、自适应型和容错性，在很多领域均已经大量运用。本文将BP人工神经网络运用于图像的识别，探索人工神经网络在图像识别领域中的重要的现实意义。研究表明，BP人工神经网络应用于图像识别在一定程度上提高了识别的效率和准确率。但是，BP神经网络算法还存在以下几点不足之处：（1）权的调整方法存在局限性，容易陷入局部最优；（2）网络的结构需要提前指定或者在训练过程中不断的修正；（3）过分依赖学习样本，由于学习样本是有限的或者学习样本质量不高，那么会导致训练达不到效果；（4）对于规模较大的模式映射问题，存在收敛速度慢、容易陷入局部极小点、判断不准确等缺陷。总之，如何解决以上问题，如何进一步提高识别精度，扩大识别范围，使之更具有更好的工程实用性，是有待进一步研究的内容。

参考文献：

[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．

[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．

[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．

[4] 边肇其，张学工．模式识别（第二版）[M]．清华大学出版社，北京．1999，12．

[5] 陈书海，傅录祥．实用数字图像处理[M]．科学出版社，北京．2005．

[6] 万来毅，陈建勋．基于BP神经网络的图像识别研究[J]．武汉科技大学学报（自然科学版）．2006，6．

[7] 丛爽．面向MATLAB工具箱的神经网络理论与应用（第2版）[M]．北京：中国科学技术出版社，2003．

[8] 王娟，慈林林等．特征方法综述[J]．计算机工程与科学．2005．27（12）．68-71．

[9] 贾花萍．基于神经网络的特征选择与提取方法研究[J]．网络安全．2008，7．33-35．

[10] 龚声荣，刘纯平等编著．数字图像处理与分析[M]．清华大学出版社，北京．2006．7．

篇2

关键词： 图像检索； 特征提取； 神经网络； 机器学习； 相关反馈

中图分类号： TN711?34； TM417 文献标识码： A 文章编号： 1004?373X（2016）21?0078?05

Design and development of image retrieval platform based on artificial neural network

ZHANG Weihua， GAO Ang

（Department of Information Engineering， Zhengzhou Chenggong University of Finance and Economics， Gongyi 451200， China）

Abstract： Since the difference exists between the high?level abstract semantics and underlying feature of the user?description image， the retrieval system based on the image content feature can′t accurately accomplish the user′s retriecal task. To solve the above problem， an image matching calculation method based on neural network is proposed. The correct mapping from image low?level feature to image classification is formed by means of sample automatic learning and user feedback learning. The neural network after learning can classify and retrieve the image automatically. This method is combined with the image low?layer feature description and user high?level semantics feedback to effectively recover the semantic gap. The whole process of neural network learning and image retrieval was realized by integrating the Web front end， image extraction module， neural network module and database module.

Keywords： image retrieval； feature extraction； neural network； machine learning； relevance feedback

在利用神经网络进行图像检索的过程中，图像的大小、精度及细节越来越丰富，信息含量相应的也越来愈多，当使用大量的信息进行神经网络的构建和训练时，所需的时间和成本都大大增加，并且神经网络的检索效率也会降低，这就使得其满足不了用户准确搜索图像的需求[1]。同时，随着神经网络技术的发展，可以利用各种改进技术提高神经网络的学习效率和预测准确率，使得利用神经网络来模拟人脑对图像的分类和检索可以得到更好的效果。

1 图像特征的提取

系统使用图像分割方法对图像的形状特征进行描述，提取图像中各个部分的形状特征。

1.1 形状特征的提取

使用K?均值聚类分割算法进行图像的分割。将图像分割后，由于每个簇中的像素在视觉特征上具有很强的相似性，因此对每一区域的特征进行简单的描述，提取相应的图像特征然后保存结果，并将其作为图像检索系统的区域特征库。系统针对不同的图像特征选取不同的方法进行描述：

（1） 区域颜色特征，提取该区域中像素点在Lab颜色空间中的均值来描述。

（2） 区域位置特征，提取该区域中像素点在二维空间中的坐标的平均值来描述。

（3） 区域纹理特征，提取该区域中像素的平均对比度及平均各向异性来描述。

（4） 区域形状特征，提取该区域的封闭轮廓，并将其分解为可由若干椭圆重构的由椭圆参数组成的序列，然后通过傅里叶描述符来描述该封闭曲线[2]。

1.2 颜色特征的提取

由于颜色直方图的限制，选择颜色相关图进行图像颜色的提取。图像的颜色相关图就是由所有颜色对进行索引的表，在表中[（i， j）]的第[m]个条目表示找到与颜色为[i]的一个像素点距离为[m]的颜色为[j]的一个像素点的几率。在计算颜色相关图时需采用一些并行计算，这样可以提高计算效率。

1.3 纹理特征的提取

通过对比基于Tamura纹理特征算法的检索程序、基于灰度?梯度共生矩阵算法的检索程序和基于Gabor小波变换算法，基于Tamura纹理特征提取算法的检索程序的查询准确率要比后两者都高，且其查询使用的时间也要少很多，因此系统选择采用Tamura纹理特征提取算法。

2 BP神经网络模型的搭建

2.1 BP神经网络特点

选择BP神经网络作为图像的神经网络分类器，其将[n]维图像底层视觉特征映射为图像的分类。通过实验对BP神经网络进行一些改进和优化，使其能有效地完成图像检索的任务。典型样本集的选择、学习复杂性、网络结构的选择、输入特征向量的选择、预测能力的极限都是需要在搭建BP神经网络时需要考虑的问题[3]。

2.2 BP神经网络的原理及拓扑结构

基于BP神经网络相关原理的学习与分析，确定了系统中BP神经网络的结构和构建过程：首先定义输入层、隐含层和输出层的神经元数目分别为[n，l]和[m，]则[（x1，x2，…，xn）]为网络的输入矢量，[（h1，h2，…，hl）]为隐含层神经元的输出矢量，[（y1，y2，…，ym）]为网络的实际输出矢量，同时定义[（d1，d2，…，dm）]为训练样本所对应的预期输出矢量。然后定义输出层神经元[i]与隐含层神经元[j]的连接权值为[Vij，]隐含层神经元[j]与输出层神经元[k]的连接权值为[Wjk，]隐含层神经元[j]的阈值为[b，]输出层神经元[k]的阈值为[c。]由于传递函数需要表示具有线性特性的输入信号与输出信号的联系，又根据BP神经网络要求传递函数必须连续可导，因此其一般使用在（0，1）之间连续并可导的Sigmoid函数作为传递函数，该函数公式为：

[f（x）=11-e-x] （1）

实际输出矢量与预期输出矢量的误差计算公式为：

[E=12j=1m（dk-yk）2] （2）

隐含层神经元输出矢量的计算公式为：

[hj=fj=1N-1Vijxi+?j] （3）

输出层神经元输出矢量的计算公式为：

[yk=fj=0L-1Wjkhj+θk] （4）

BP神经网络通过反向传播算法调整权值，其权值修正公式为：

[Wij（n+1）=Wij（n）+ηδjx′i] （5）

在式（5）中，[Wij（n）]表示第[n]次学习后的神经元[i]与神经元[j]之间的连接权值，信号输出的神经元为[i，]信号输入的神经元为[j，][Xi]为神经元[i]的实际输出，[η]为网络的学习速率，[δj]为神经元[j]的学习误差。

系统中BP神经网络的构建流程如下：

（1） 初始化网络的连接权值和阈值，其值为均匀分布的随机数。

（2） 对网络使用一组样例数据进行训练。

（3） 网络搭建完成，将输入矢量输入网络可仿真输出符合预期的输出矢量[4]。

2.3 BP神经网络的学习过程

通过对相关反馈算法的学习，提出了一种基于BP神经网络进行学习的图像检索方法，它包含两种学习过程：

（1） 自动样例学习，首先通过包含高层语义标注的样例图像的学习构建图像高层语义的分类器，其中对于图像的每种语义分别构造一个分类器，输入样例图像后使系统提取图像的底层特征作为神经网络的输入，然后经过一定时间的学习可以得到网络的解，使分类器能够初步完成分类任务；

（2） 用户交互学习，首先通过用户的指导，将初步检索结果进行分类，然后系统将用户的反馈整理为学习样本，同样使用自动样例学习过程进行学习，最后得出网络最新的解，使分类器能更精确地完成分类任务。系统中BP神经网络的学习流程如图1所示。

2.4 BP算法的改进

使用附加动量法可以使网络在修正连接权值时，不只考虑误差在其梯度上的变化趋势，还考虑误差在其曲面上的变化趋势。在没有附加动量的情况中，网络在训练过程中有可能陷入局部极小状态，通过使用附加动量则可以在一定程度上绕过这些极小值，避免进入极小状态[5]。附加动量法在反向传播过程中，在每一个神经元的连接权值及阈值的当次训练的变化量上附加一个正比于上次训练后的连接权值及阈值的变化量的项，根据新的变化量计算出新的连接权值及阈值。添加了附加动量因子的连接权值和阈值的变化量计算公式分别为：

[Δwij（k+1）=（1-mc）ηδjpj+mcΔwij（k）] （6）

[Δbj（k+1）=（1-mc）ηδj+mcΔbij（k）] （7）

式中：[k]表示第[k]次训练；[mc]表示动量因子，[mc]的取值一般在0.95附近。

在结合附加动量法的网络训练过程中，需要根据不同条件判断何时使用动量因子来修正权值，其判断条件为：

[mc=0，E（k）>E（k-1）×1.040.95，E（k）

式中[E（k）]为第[k]步的误差平方和。

自适应学习速率的调整公式为：

[η（k+1）=1.05η（k），E（k+1）E（k）×1.04η（k），etc] （9）

式中[E（k）]为第[k]步的误差平方和。

动量法可以帮助BP算法正确找到全局最优解，自适应学习速率法可以帮助BP算法缩短训练时间，通过这两种方法的使用，可以有效地提高神经网络的学习效果。

2.5 实验结果分析

实验目的为确定系统中BP神经网络分类器的隐含层神经元数目。首先根据研究获得的图像特征向量的元素个数构建神经网络分类器的学习样例，此处每个样例的输入向量的元素个数为165个，因此构建16组含有165个元素的输入向量，4个一组划分为一种类别，最终形成含有4种类别的16组训练样本，以此方法再生成该4种类别的4组测试样本。然后根据经验公式获得合适隐含层神经元数目的取值范围，此处为9～17个。最后将训练样本及测试样本先后输入隐含层神经元数目不同的网络中进行训练和测试，记录数据。

表1记录了隐含层神经元数目及对应的训练误差和测试误差的数据，由其数据可以看出，随着隐含层神经元数目的增加训练误差总体上逐渐减小，当个数超过15后训练误差出现一定程度的波动，出现小幅的增加，虽然不影响网络的学习效果，但是过多的神经元个数会增加学习时间，而此时测试误差还是处于降低的趋势。综合分析实验结果，本系统确定采用较合适的15个隐含层神经元。

3 检索系统的设计与实现

3.1 系统结构分析

3.1.1 系统结构

系统的结构如图2所示，图中除了与用户交互的Web前端，其余的图像特征提取模块、神经网络模块及数据库都在服务器端，这种浏览器?服务器结构平台搭建后，用户可以通过不同客户端的Web浏览器进行图像检索的功能，而不必安装本地应用程序，同时将主要的核心功能集中到服务器上，不仅大大简化了系统的开发和维护流程，降低了成本，还增强了系统的扩展性。

3.1.2 系统流程

系统针对不同的功能需求设计了相应的不同流程，这些流程包括系统样例学习流程、用户反馈学习流程、用户查询流程。

如图3所示，在系统的样例学习过程中，系统接收到样例数据后会先对数据进行分析，然后交给神经网络进行学习，最终生成对应类别的分类器，这些分类器会在用户检索时对数据库中的图像进行分类，查找到符合用户需求的图像[6]。样例学习的流程是本系统学习分类知识的关键步骤，在该步骤中用户并不参与系统的学习过程，整个学习过程均为系统自动进行，因此需提供大量被正确标注的清晰图像样例，通过对这些优质样例的学习，系统会自动生成针对图像各种分类所对应的分类器，且经过长时间的学习，这些分类器的准确率会不断上升，最终使查询结果更符合用户需求。

如图4所示，在系统的用户查询流程中，用户的查询条件为图像特征的语义描述，系统最终返回为包含该描述特征的图像集，这个过程利用神经网络分类器学习的高层描述语义与低层图像特征之间的映射，因此随着神经网络学习时间的增大，这种映射也就越精确，系统完成的查询也就越符合用户要求。

3.1.3 图像特征提取模块

如图5所示，当图像输入到图像特征提取模块中时，图像会进行K?均值聚类分割算法处理、颜色相关图算法处理及Tamura纹理特征算法处理，这三个处理过程并行进行。

经过K?均值聚类分割算法处理，图像被分割为若干块区域，每个区域中的像素都具有相似的属性，对于每个区域，会提取其简单的区域特征，如颜色特征、位置特征、纹理特征及形状特征等；经过颜色相关图算法处理，生成当前图像的颜色自相关图；经过Tamura纹理特征算法处理，计算出图像的粗糙度、对比度、方向度、线性度等数值。将经过三个算法处理后得到的数值整理后得到图像的特征向量[7]。

3.1.4 神经网络模块

系统中的图像神经网络分类器由三层组成，分别为输入层、隐含层及输出层，其中输入层的神经元个数与归一化后的图像特征向量的个数相同，为固定值；隐含层的神经元个数通过前文中的实验得出，适合于本系统中神经网络的要求；输出层只有一个神经元进行分类，设定1为属于该分类的学习期望，设定0为不属于该分类的学习期望，但是实际运行时需要设定1为0.9，0为0.1，这是因为Sigmoid函数无法经过有限的连接权值计算得到1与0的值[8]。

3.1.5 Web 平台模块

系统的Web界面包括用户查询输入框、用户图像上传框、查询结果浏览框等。

3.2 实验结果分析

为了检验图像检索平台的性能，首先将系统设置为学习模式，然后从图像库中选取1 000幅已进行人工标注的样例集输入系统，最后当系统发出已训练完毕信号后，对系统已学习的分类当作查询输入系统进行检索，记录系统检索结果。

检索结果可知经过人工指导学习，系统可以仿真模拟更符合人类视觉感知的分类方式，并将其记忆于相应的神经网络分类器中，经过不断的学习，系统可以返回更准确的符合用户需求的检索结果。

4 结 论

本文主要研究包括基于内容的图像检索技术及人工神经网络技术两个方面。首先使用K?均值聚类分割算法、颜色相关图算法及Tamura纹理特征提取算法提取图像相应的形状、颜色及纹理特征，通过整合形成可以完整描述图像信息的特征向量。同时，针对基于内容的图像检索系统中用户高层语义与图像底层特征之间存在的问题，通过样例自动学习和用户反馈学习两种学习方式，BP神经网络通过反向传播学习算法调节网络权值，从而形成图像底层特征到图像分类的正确映射，学习后的神经网络通过这种映射可以进行图像的自动分类及检索，该方法结合了图像的底层特征描述及用户的高层语义反馈，有效地弥补了语义鸿沟。

参考文献

[1] KHERFI M L， ZIOU D. Relevance feedback for CBIR： a new approach based on probabilistic feature weighting with positive and negative examples [J]. IEEE transactions on image processing， 2006， 15（4）： 1017?1030.

[2] TRAINA A J M， MARQUES J. Fighting the semantic gap on CBIR systems through new relevance feedback techniques [C]// Proceedings of 2011 the 21th IEEE International Symposium on Computer?Based Medical Systems. [S.l.]： IEEE， 2006： 881?886.

[3] 周资云.基于内容的图像检索系统研发与应用[J].华章，2012（29）：22.

[4] 刘丽，匡纲要.图像纹理特征提取方法综述[J].中国图象图形学报，2013，14（4）：622?635.

[5] KANUNGO T， MOUNT D M， NETANYAHU N S， et al. An efficient k?means clustering algorithm： analysis and implementation [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（7）： 881?892.

[6] WILLIAMS A， YOON P. Content?based image retrieval using joint correlograms [J]. Multimedia tools and applications， 2007， 34（2）： 239?248.

篇3

【Abstract】Based on the concepts of genetic algorithm and BP neural network，the paper studies the optimization of BP neural network algorithm， and the effectiveness of the algorithm is verified by an example.

【关键词】遗传算法；BP神经网络；优化算法

【Keywords】genetic algorithm； BP neural network； algorithm optimization

【中图分类号】TPl83 【文献标志码】A 【文章编号】1673-1069（2017）04-0135-02

1 引言

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，凭借着复杂的系统结构，通过对系统内部节点连接关系的调节，实现对信息的高效处理。作为技术最为成熟的神经网络模拟，BP神经网络具有良好的自学习、自适应以及泛化能力，在许多领域中都有着广泛的应用。而针对BP神经网络在应用环节存在的问题，需要采取相应的优化算法，提升神经网络的收敛速度和理能力。

2 遗传算法与BP神经网络

遗传算法遵循的是生物界中适者生存的法则，其基本原理，是指将问题参数进行编码，形成染色体，通过迭代的方式，运用选择、变异、交叉等运算，对种群中染色体的信息进行交换，继而形成能够满足优化目标的染色体。

BP（Back Propagation）神经网络最初产生于1986年，属于一种依照误差逆传播算法训练的多层前馈网络，也是当前技术条件下应用最为广泛的神经网络模型之一，其可以对输入-输出模式的映射关系进行学习和存储，同时不需要对能够揭示这些映射关系的方程进行描述。神经网络具备自适应和自组织能力，在进行学习和训练的过程中，可以通过改变突触权重值的方式，更好地适应周边环境的变化。在同一个神经网络中，如果内容不同，学习方式不同，则会产生不同的功能。人工神经网络从本质上看，更加接近具备自主学习能力的系统，可以通过不断的学习，超出最初设计的知识水平。在人工神经网络中，比较常见的学习方法有两种，一是有监督的学习，可以结合标准样本，进行分类或者模仿，二是无监督的学习，在制定相应的学习规则后，系统会根据自身所处环境，进行学习内容的分析和选择，更加接近人脑的功能特点。

3 基于遗传算法的优化BP神经网络算法

3.1 算法基本原理

①BP算法。BP神经网络算法主要包括了数据流的前向计算和误差信号的反向传播两个方面的内容，结合三层BP神经网络的拓扑结构，假定x为网络输入，y为结果输出，当处于正向传播过程时，数据的传输为输入层隐层输出层，每一层神经元的状态仅仅会影响下一层神经元，而如果输出层无法获得期望输出，则会自动转向误差信号的反向传播流程。在BP神经网络中，网络的训练实际上是对阈值和权值进行调整的过程，当网络误差缩小到设定值，或者训练步数达到设定步数时，会自动停止训练。

②遗传算法。遗传算法可以从代表问题可能潜在解集的种群开始，种群中的每一个染色体都带有相应的特征，染色体可以看作若干基因的集合，为了便于分析，需要做好编码，完成从表现型到基因型的映射。在演化过程中，依照问题域中存在的个体的适应度，进行个体的挑选和交叉，然后变异出新的解集种群。选择末代种群中的最优个体进行解码，就可以得到问题的近似最优解。

3.2 优化BP算法

BP神经网络算法具有极强的局部寻优能力，但是容易陷入局部极小的问题，遗传算法具有良好的全局优化性和自适应性，但是局部寻优能力不足。对此，可以将遗传算法与BP算法结合起来，实现对于网络拓扑结构和网络权值、网络阈值的优化。

①权值优化。在传统的BP网络中，连接权值的学习算法容易陷入局部极小，无法得到全局最优。对此，可以引入遗传算法代替传统的学习方法，对神经网络的权值进行优化。在这个过程中，需要解决几个比较关键的问题，一是编码方案，可供选择的权值编码方式包括实数编码和二级制编码，前者是以实数表示权值，非常直观，不过需要对遗传算子进行重新设计，后者是利用0，1字符串表示权值；二是适应度函数，引入遗传算法后，网络的机构以确定，在这种情况下，网络的误差越大，适应度越小；三是进化过程，主要是对选择、交叉、变异算子的选择，如果必要，也可以重新设计；四是混合训练神经网络，遗传算法能够在大规模、复杂性的空间中实现可靠搜索，而且不需要有关误差函数梯度的信息，优势相当明显。可以通过在误差函数中增加惩罚项的方式，降低网络的复杂程度。

②权值和结构同时优化。BP神经网络连接权的进化，要求明确的网络结构，网络结构直接影响着神经网络本身对于信息的处理能力。神经网路的结构包括了网络连接方式（拓扑结构）和节点转换函数，完善的结构不仅需要能够对问题进行有效解决，还不能存在冗余节点和冗余连接。伴随着进化算法的应用，网络设计在很多时候被看作搜索问题，评价的标准包括了抗噪性、学习准确率以及泛化能力等。结构进化的关键体现在结构编码和算子设计，而结构编码方案则会影响算子设计的效果。以三层前馈型BP网络为例，其输入层和输出层节点的数量已经确定，优化算法需要重点研究隐含层的节点数量。考虑到问题本身的复杂性，二进制编码的方法并不适用，因此选择实数编码，在隐含层节点增加二级制编码作为控制基因，通过随机函数产生。当控制基因的数值为0时，对应的隐含层节点对输出层无用，而当控制基因的数值为1时，隐含层节点对输出层作用。需要注意的一点，当选择实数编码方案时，为了明确编码的长度，需要确定隐层的最大神经元数目。

4 仿真试验

结合已知数据，对某地区小麦吸浆虫的发生程度进行预测。对问题进行深入分析，可以转化为相应的输入输出系统，可以通过神经网络进行表达。现有的研究成果表明，小麦吸浆虫的发生与气候因素关系密切，因此可以利用气象因子对问题进行分析。选择2000年到2015年的气象数据，设置40个研究样本，以x1-x14表示需要处理的原始数据（气象因子），Y表示小麦吸浆虫的发生程度。从减小误差的角度，对原始数据进行预处理。以优化后的BP算法进行神经网络训练，结合训练结果进行MATLAB仿真。在仿真试验中，需要做好一些关键参数额的设置，遗传算法和BP算法的最大代数分别为100，BP算法均方误差为0.001，会激活函数为双曲正切S型，线性输出层，学习算法被设置为经过改进的自适应学习率的梯度下降学习算法。

设定14作为隐层神经元的上限，由于编码长度固定且迭代代数一定，在所有的试验中，遗传算法的复杂度都是相同的。结合仿真试验分析，隐含神经元的最优数目为5、6、7，与传统方法得到的结果基本一致。相比较而言，利用遗传算法同时进行结构和权值的优化，最为显著的优势在于能够对隐层神经元的数目进行自适应确定，减少尝试的次数，提升计算效率。

而结合相应的训练结果分析，利用遗传算法进行BP神经网络连接权值的优化，相比较传统算法更加有效，不过同样需要进行网络结构的尝试，换言之就是选择合适的隐层神经元数目。不仅如此，利用遗传算法同时对神经网络的权值和结构进行优化，智能型更强，可能找到合适的初始权值和优秀的网络结构，不过，如果数据烦琐，搜索的速度会变慢。

篇4

关键词： 层次分析法； 神经网络； 电网安全； 安全评估

中图分类号： TN911?34； TP22 文献标识码： A 文章编号： 1004?373X（2016）15?0145?04

Abstract： The power grid safety situation analysis is realized based on the evaluation index. Since the nonlinear relationship among the safety assessment indexes causes the bad effect of security situation analysis， an evaluation method of power grid security situation analysis based on analytic hierarchy process （AHP） and neural network is proposed. The AHP is used to layer the multiple logical structures of the power grid， and the factors effecting on the security situation is set with weight. And then the weight of each influence factor is acquired， and according to which the influence factor with high power grid security interfe?rence is selected. The neural network model was trained with historical evaluation data to accomplish the power grid safety assessment. Experimental results show that the improved method can evaluate the power grid security accurately， and has high evaluation precision.

Keywords： analytic hierarchy process； neural network； power grid security； security assessment

0 引 言

电网安全关系到国家安全和社会稳定，是电力企业生存和发展的根本。又由于电网系统庞大而复杂的综合性，需要考虑的安全评估指标较多[1?2]。不同电网安全评估指标之间大都存在非线性关系，导致传统方法无法准确描述不同指标间存在的关联性，得到的电网安全评估结果存在较大偏差。在这种情况下，塑造有效的电网评估模型，成为相关学者的重点研究方向[3?6]。

文献[7]提出融合因子分析法和层次分析法的电网评估方法，该方法的评估结果具有一定的有效性，但是存在较高的局限性。文献[8]分析了采用模糊聚类和模糊推理产生稳定性电压评估的决策树方法，实现电网电压安全的有效评估，具有较高的效率，但是鲁棒性较低。文献[9]依据系统性能论以及层次分析法的电网安全评估方法，通过塑造电网优势函数对电网安全进行评估，当系统性能存在较大波动时，该方法的评估精度将大大降低，稳定性较差。文献[10]提出通过模糊神经网络模型的电网评估模型，存在效率高和容易陷入局部最佳解的问题。

针对上述各种方法存在的问题，本文提出了一种基于层次分析法和神经网络的电网安全评估方法，采用层次分析法对全部可以影响电网安全的因素进行分析，运算各影响因素的权值，按照权重选择对电网安全干扰最高的因素，将该因素当成神经网络的输入并塑造神经网络模型，依据历史评估数据对神经网络模型进行训练后，对电网安全进行评估。实验结果说明所提方法具有较高的评估准确性。

1 层次分析法和神经网络的电网安全评估

层次分析法与神经网络结合的电网安全评估过程是：采用层次分析法构建电网层次结构，基于该结构对影响电网安全评估的因素赋予权重，并通过层次分析软件获取电网安全的影响因素以及权重，按照权重大小选择对电网安全干扰最高的因素，并将该因素当成神经网络的输入并塑造神经网络模型，通过历史评估数据对神经网络模型进行训练后，对电网安全进行评估。在塑造的神经网络模型中，本文将影响因素数据当成神经元输入层的输入，运算结果看成网络的输出。

1.1 塑造电网层次结构和电网安全评估指标体系

1.1.1 电网层次结构

层次分析法（Analytical Hierarchy Process，AHP）是一种将定性和定量相结合的，系统化、层次化的多方案分析方法。本文通过层次分析法分析干扰电网安全的因素，获取各因素的权值，并采集对电网安全干扰最高的因素。

塑造电网的层次结构，如图1所示。假设构建目标为电网的安全与否，第1层包括全部影响电网安全的主因素，子因素则列于下一层。

1.1.2 电网安全影响因素及其权重的选择

在上述电网层次结构的基础上，设置电网安全性指标体系如图2所示，包括安全输电能力、静态电压安全性、拓扑结构脆弱性、暂态安全性和风险指标等五方面。

由图2可知，影响电网安全状态的因素很多。在获得电网安全性评估指标体系之后，通过层次分析法对影响电网安全评估的因素赋予权重，使用层次分析软件获取电网安全的影响因素以及权重，获取结果如表1所示。

分析表1，从电网安全影响因素的权重值可以看出，电压裕度和负荷裕度对电网安全影响重大，选择表1中7个权重较大的因素，也就是表1中被标注“*”的因素作为神经网络的输入，并通过历史评估数据对神经网络模型进行训练后，实现电网安全评估。

1.2 基于层次分析法和神经网络的电网安全评估

1.2.1 BP神经网络原理

BP神经网络是目前使用最广泛的一种网络，包括输入层、若干隐含层以及输出层。BP算法是一种监督式的学习算法，其通过梯度检索方法对已知的学习样本进行分析，进而确保网络的实际输出值与期望输出值的均方值误差最小。BP神经网络的结构见图3。图3 中的[x1，x2，…，xm]为输入特征向量，[y1，y2，…，yn]为输出特征向量。

1.2.2 基于BP神经网络的电网安全评估

神经网络的拓扑结构是由网络的层数、各层的节点数以及节点之间的连接方式组成的。本文研究采用层次分析法结合BP神经网络对输电网的安全运行过程进行建模评价。BP神经网络可以有一个或多个隐含层，而三层的BP神经网络能够完成任意的[n]维到[m]维的映射，即一个隐含层已经完全能够模拟任意的非线性关系。

通过基于层次分析后的电网安全评估指标体系，塑造3层神经网络。将表1中7个权重较大的因素作为神经网络的输入。在BP神经网络模型中采用三层网络，输入节点是层次分析法中的7个影响因素，输出节点是1，隐层的节点数为6。学习方式是BP神经网络算法。

实现电网安全评估的过程如下：

2 实验分析

为了验证本文方法的有效性需要进行相关的实验分析，实验采用的对比方法为文献[8]提出的基于模糊聚类的电网安全评估模型。实验采用层次分析法，从国家电网公司某分电网评估历史数据中采集5组电网安全评估重要因素权重样本数据，如表2所示。并将这些样本数据当成神经网络的输入值，将各组数据的评估结果作为期望输出值对神经网络进行训练，神经网络的输入量是评估数据指标通过归一化处理后的值。并将这些权重作为神经网络的7个输入节点，设置隐含层节点数为6，输出节点数为1，该节点用来表示综合评价结果。

将表2中的样本数据列入神经网络模型，以得到预期的输出结果，对神经网络进行测试训练，设置学习速率为0.02，学习精度为0.001，通过训练2次后，神经网络的误差曲线斜率接近于零，满足精度要求。

然后对5组检验样本进行安全评价，输出验证结果如表3所示。分析表3可得，神经网络预测输出值同期望输出结果间的误差达到了0.001，输出电网安全等级同期望输出结果相匹配，说明本文提出的基于层次分析法和神经网络的电网安全评估方法是有效的，可用于实际电网安全等级的评价。

为了进一步验证本文方法的准确性，对比分析本文方法和文献[8]方法的评估精度，两种方法的输出结果和期望的输出结果对比情况如图4和图5所示。

对比分析图4和图5可得，相比文献[8]方法，本文方法的预测值同实际值间具有较高的匹配度，误差较低，本文方法对电网安全的评估精度较高。实验结果说明，通过本文提出的层次分析法分析出的输入因素越重要，风险评估的结果越佳，并且降低了神经网络结构的复杂性，提高了学习效率，大大增强了电网安全评估精度。

3 结 论

本文提出一种基于层次分析法和神经网络的电网安全评估方法，将层次分析法和神经网络相结合，用于评估电网的安全。采用层次分析法塑造电网层次结构，对全部干扰电网安全的因素进行分析，获取各影响因素的权重，按照权重大小选择对电网安全干扰较高的影响因素，并将这些影响因素当成神经网络的输入，同时塑造神经网络模型，通过历史评估数据对神经网络模型进行训练后，完成电网的安全评估。实验结果说明，所提方法可对电网安全进行准确评比，并且评估精度也较高。

参考文献

[1] 张东霞，姚良忠，马文媛.中外智能电网发展战略[J].中国电机工程学报，2013，33（31）：1?14.

[2] 孙玉娇，周勤勇，申洪.未来中国输电网发展模式的分析与展望[J].电网技术，2013，37（7）：1929?1935.

[3] 田洪迅，袁蓉，赵渊.含分布式电源的配网可靠性概率计算[J].电网技术，2013，37（6）：1562?1569.

[4] 牛东晓，魏亚楠.基于FHNN相似日聚类自适应权重的短期电力负荷组合预测[J].电力系统自动化，2013，37（3）：54?57.

[5] 尚文，王维民，齐鹏逸，等.基于条件规则与故障树法的燃气轮机故障诊断[J].机电工程，2013，30（7）：798?802.

[6] 李志铿，汪隆君，王钢，等.计及故障重构的含分布式电源配电网可靠性评估[J].电力系统自动化，2013，37（4）：35?40.

[7] 郭创新，陆海波，俞斌，等.电力二次系统安全风险评估综述[J].电网技术，2013，37（1）：112?118.

[8] 吴旭，张建华，赵天阳，等.基于模糊聚类和模糊推理的电网连锁故障预警方法[J].电网技术，2013，37（6）：1659?1665.

篇5

Abstract: An artificial neural network (ANN) model about thermodynamic parameters evaluation of blasting agent was set up.After being trained by a train-set containing 6 compositions, the BP model was used to predict the thermodynamic parameters of blasting agent, and the predicted values were compared with that of experiments.The results showed that the most prediction is 2.05%, and the ANN model was capable of making accurate predictions of explosion parameters of blasting agent.

关键词: 人工神经网络;膨胀石墨;燃爆剂;预测

Key words: artificial neural network;expanded graphite;blasting agent;prediction

中图分类号:E91文献标识码:A文章编号:1006-4311(2010)31-0176-02

0引言

膨胀石墨用燃爆剂的配方设计直接关系到膨胀石墨成烟效果及干扰效能[1]。近年来,国内有关膨胀石墨的研究多针对于其自身的性能,而有关燃爆剂配方的研究很少,且多停留于重复试验上,研究周期长且耗时耗力。因此寻找一种科学合理且操作方便的方法来预测和指导膨胀石墨用燃爆剂配方,是本领域关注的一个问题。

人工神经网络(ANN)是一种模拟人脑功能的数据和知识等信息的处理加工系统,目前已在函数逼近、模式识别、智能控制、组合优化和仿真预测等领域取得成功应用,成为人工智能的重要发展方向[2]。神经网络技术通过模拟人类认知的微结构,把输入矢量和输出矢量训练成网络并以此逼近一个函数,避开了燃烧理论的建模与运算,有利于指导烟火药剂的合成和燃烧性能预测[3]。

本文采用一种改进的反向传播学习算法:选用多层前馈型神经网络结构,采用改进的BP算法建立网络构架,确定网络学习方式并进行训练仿真,模拟燃爆剂燃爆反应并预测燃烧体系产物的特性参数,并对仿真结果与试验结果进行对比研究。

1配方选择

膨胀石墨用燃爆剂是一种以高热值可燃物与强氧化剂为基本成分,根据实际需要加入某种添加剂的多组分混合物,在文献[4]中作者已对相关配方利用正交试验进行了优化,得到了较好的结果。本文采用该文献中已有的燃爆剂配方组分(NaNO3、KClO4、Mg和C49H78O20)和9组数据来验证神经网络在配方预测中应用的可行性。在燃爆剂配方中,KClO4作为氧化剂,具有分解时吸热较少,熔点适中,在反应界面易产生液-气组分,有利于反应的自发进行及反应的持续;Mg作为可燃剂,具有燃烧热大、燃烧温度高,能够提供可膨胀石墨膨化所需的能量及高温,且蒸汽压大,能使燃爆剂燃烧反应进行得更迅速、完全,更容易引起NaNO3烟火药的爆炸分解;C49H78O20作为粘结剂,具有较高的燃烧热(5038kJ/kg),可提高燃爆剂的热能释放量,还具有耐酸性好、与可膨胀石墨相容性好等特点。

2神经网络算法实现

在配方设计中,神经网络算法所要解决的问题是在分析已有的燃爆剂配方组成及其性能参数基础上,对其他配比不同的燃爆剂进行性能预测。由于已知的配方为9组,未来保证训练的精度和测试的完整性,所以选择其中6组配方为训练样本,剩余3组为测试样本。

2.1 神经网络构建依据所要解决问题的特点,BP网络的构架由一个输入层、一个隐含层及一个输出层组成。其中输入层为6×4的矩阵,表示6组配方中四种成分(NaNO3,KClO4,Mg,C49H78O20)的质量分数,每组配方的试验测试值设为期望输出矩阵;隐含层的神经元个数为20,神经元传递函数选定为tansigmoid函数(tansig());设定输出层的神经元个数为2,分别代表体系的绝热燃烧温度和产物中固体质量分数。神经元传递函数为纯线性函数(purelin()),据此可以得到用于仿燃爆剂燃爆反应特征输出的BP网络结构(见图1)。图中Pl表示输入矩阵,w1,1表示输入到神经元的连接权值矩阵,wL2,1表示神经元到输出的连接权值矩阵,θ1、θ2表示神经元的阈值,n1、n2表示神经元的加权求和,y=tansigw1,1P+θ1表示神经元的输出,y2=purelinwL2,1y+θ2表示输出层的模拟计算结果[5]。

对于上述BP网络,假设神经元输入节点xi,隐含层节点yj,输出节点zl,输入节点和隐含层节点的权值为wji,隐含层节点和输出节点间的权值为vlj,当输出节点的期望值为时El(l=1,2),模型的计算式如下。

传递函数 f(x)=tansig(x)= (1)

隐层节点的输出y=fw-θj(2)

输出节点的计算输出 zl=fw-θl (3)

权值修正 w(k+1)=w(k)+w=w(k)+x (4)

v(k+1)=v(k)+v=v(k)+y(5)

式中:为学习速度;隐层节点误差=yv,v表示输出节点zl的误差通过权值vj向节点yj反向传播成为隐层节点误差;输出节点误差=-(El-zl)z。

收敛性判定H=(E-z)=E-fvy-θ=E-fvfwx-θ-θ(6)

当H小于设定误差时,网络训练完成,从而建立了输入到输出的定量数学模型,利用训练好的网络可对未知样本进行预测。

2.2 神经网络训练网络输入为6组NaNO3、KClO4、Mg和C49H78O20的不同配比的配方组成,期望函数为体系绝热燃烧温度和产物中固体质量分数的试验测试值(见表1)。

采用Levenberg―Marquardt方法[6]训练网络,当计算量达到100次时,仿真结果与实验值的相对误差接近10-4,据此认为算法的精度和计算速度满足使用要求。

3结果与讨论

为了评价网络模型预测结果和试验结果的一致性,抽取已测定绝热燃烧温度和产物中固体的质量分数的3组配方并对其进行网络计算(见表2)。3组配方的仿真计算结果及其与试验结果的误差对比如图2、图3所示。

从图2、图3可以看出,利用人工神经网络算法建立的自适应非线性数学模型能较好地模拟燃爆剂燃爆热力学参数,模拟值与试验值非常接近,绝热燃烧温度和产物中固体质量分数的最大模拟误差分别为2.05%和1.03%,精度较高,较好地模拟了燃爆剂燃爆热力学性能。

4结论

利用6组燃爆剂配方的配比作为输入矩阵和期望输出矩阵,建立了预测其燃爆热力学参数的BP神经网络定量模型,通过3组配方的预测结果和相应的试验测试值进行了对比分析,结果表明:

①人工神经网络算法对燃爆剂燃爆热力学参数的预测,有效地避开了热力学模型的假设和参数的设置,结合Matlab神经网络工具箱对目标函数的连续输出,实现了对期望函数(试验数据)的无限逼近;

②仿真结果与试验结果的误差最大为2.05%,预测精度较高,神经网络可作为燃爆剂配方设计和热力学参数预测的工具。

参考文献:

[1]伍士国.可膨胀石墨瞬时膨化及衰减8毫米波的动态性能研究[D].南京:南京理工大学,2004:12-17.

[2]Hagan M T,Demuth H B.Neural network design[M].Boston:PWS Publishing Company,1996:1-36.

[3]Conkling J A.Chemistry of pyrotechnics[M].NewYork:Marcel Dekker,Inc.,1985:238-287.

[4]张倩,张勇,闫军,焦清介.膨胀石墨用燃爆剂的配方优化设计[J].火工品,2008,5:28-30.

篇6

关键词：卷积神经网络；深度学习；图像处理；训练时间

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）33-0167-04

如今在机器学习领域中，深度学习方法已经占据了相当重要的地位，通过模仿人X学习方式构造模型，在图像、文本、语音处理方面取得了显著成果[1]。目前应用较为广泛的深度学习模型包含多层感知器模型（MLP）[2]，卷积神经网络模型和限制性玻尔兹曼机模型等[4]。多层感知器[2]网络结构的神经节点一般分层排列，主要由输入层，输出层和一些隐层组成，同层之间的神经元节点无连接，相邻的两层神经元进行全连接，前一层的神经元的输出作为后一层神经元的输入，但本身此种算法存在着一些问题，那就是它的学习速度非常慢，其中一个原因就是由于层与层之间进行全连接，所以它所需要训练的参数的规模是非常大的，所以对其进行改进，产生了卷积神经网络模型。卷积神经网络模型在图像识别方面的应用十分广泛[5，8，9]。从它的结构上来看，层与层之间的神经元节点采用局部连接模式，而并非MLP的全连接模型，这样就降低了需要训练的参数的规模。而在它卷积层中，它的每一个滤波器作为卷积核重复作用于整个输入图像中，对其进行卷积，而得出的结果作为输入图像的特征图[6]，这样就提取出了图像的局部特征。而由于每一个卷积滤波器共享相同的参数，这样也就大大降低了训练参数的时间成本。而本文，以卷积神经网络为研究对象，在其模型的基础上通过对其结构中卷积核也就是滤波器的大小进行调整并结合卷积核个数调整和gpu加速等已有的训练提速方法，达到降低训练时间并且对识别结果并无太大影响的目的。

1 卷积神经网络

卷积神经网络在MLP的基础上，已经对结构进行了优化，通过层与层之间的局部连接以及权值共享等方式对要训练的参数的进行了大幅减低。

1.1局部连接

BP神经网络中，神经元在本层中呈线性排列状态，层与层之间进行全连接，而在卷积神经网络中，为了减少每层之间的可训练参数数量，对连接方式进行了修改，相对于BP神经网络的全连接，卷积神经网络采取了局部连接的连接方式[7]，也就是说按照某种关联因素，本层的神经元只会与上层的部分神经元进行连接。

2.2 权值共享

在CNN中，卷积层中的卷积核也就是滤波器，重复作用在输入图像上，对其进行卷积，最后的输出作为他的特征图，由于每个滤波器共享相同的参数，所以说他们的权重矩阵以及偏置项是相同的。

我们从上图看出，相同箭头连线的权值是共享的，这样在原有的局部连接的基础上我们又降低了每层需要训练的参数的数量。

2.3卷积过程

特征图是通过滤波器按照特定的步长，对输入图像进行滤波，也就是说我们用一个线性的卷积核对输入图像进行卷积然后附加一个偏置项，最后对神经元进行激活。如果我们设第k层的特征图记为[hk]，权重矩阵记为[Wk]，偏置项记为[bk]，那么卷积过程的公式如下所示（双曲函数tanh作为神经元的激活函数）：

2.4 最大池采样

通过了局部连接与权值共享等减少连接参数的方式卷积神经网络中还有另外一个重要的概念那就是最大池采样方法，它是一种非线性的采样方法。最大池采样法在对减少训练参数数量的作用体现在两个方面：

1 ）它减小了来自m-1层的计算复杂度。

2 ）池化的单元具有平移不变性，所以即使图像在滤波后有小的位移，经过池化的特征依然会保持不变。

3卷积神经网络整体构造以及减少训练时间的方法

3.1使用GPU加速

本次论文实验中，使用了theano库在python环境下实现卷积神经网络模型，在lenet手写数字识别模型上进行改进，由于theano库本身支持GPU加速，所以在训练速度上实现了大幅度的提高。

3.2 数据集的预处理

本次实验使用的两个数据集是mnist手写数字库以及cifar_10库

Mnist手写数字库具有60000张训练集以及10000张测试集，图片的像素都为28*28，而cifar_10库是一个用于普适物体识别的数据集，它由60000张32*32像素的RGB彩色图片构成，50000张图片组成训练集，10000张组成测试集。而对于cifar_10数据集来说，由于图片都是RGB的，所以我们在进行实验的时候，先把其转换为灰度图在进行存储。由于实验是在python环境下运行，theano函数库进行算法支持，所以我们把数据集进行处理，此处我们对使用的数据集进行了格式化。格式化的文件包括三个list，分别是训练数据，验证数据和测试数据。而list中每个元素都是由图像本身和它的相对应的标签组成的。以mnist数据集为例，我们包含train_set，valid_set，test_set三个list，每个list中包含两个元素，以训练集为例，第一个元素为一个784*60000的二维矩阵，第二个元素为一个包含60000个元素的列向量，第一个元素的每一行代表一张图片的每个像素，一共60000行，第二个元素就存储了对相应的标签。而我们取训练样本的10%作为验证样本，进行相同的格式化，而测试样本为没有经过训练的10000张图片。在以cifar_10数据集为实验对象时，把其进行灰度化后，进行相同的格式化处理方式。

3.3实验模型结构

本次实验是在python环境下基于theano函数库搭建好的lenet模型进行参数的调整，以达到在实验准确度可接受情况下减少训练时间的目的。

上图为实验中的基础模型举例说明实验过程，首先以mnist数据集为例，我们的输入图像为一个28*28像素的手写数字图像，在第一层中我们进行了卷积处理，四个滤波器在s1层中我们得到了四张特征图。在这里要特别的说明一下滤波器的大小问题，滤波器的大小可根据图像像素大小和卷积神经网络整体结构进行设置，举例说明，假如说我们的输入图像为28*28像素的图像，我们把第一层卷积层滤波器大小设置为5*5，也就是说我们用一个大小为5*5的局部滑动窗，以步长为一对整张图像进行滑动滤波，则滑动窗会有24个不同的位置，也就是说经过卷积处理后的C1层特征图的大小为24*24。此处的滤波器大小可进行调整，本论文希望通过对滤波器大小的调整，已达到减少训练时间的目的，并寻找调整的理论依据。C1层的特征图个数与卷积过程中滤波器数量相同。S1层是C1经过降采样处理后得到的，也就是说四点经过降采样后变为一个点，我们使用的是最大池方法，所以取这四个点的最大值，也就是说S1层图像大小为12*12像素，具有4张特征图。而同理S1层经过卷积处理得到C2层，此时我们滤波器的大小和个数也可以自行设置，得到的C2层有6张特征图，C2到S2层进行降采样处理，最后面的层由于节点个数较少，我们就用MLP方法进行全连接。

3.4实验参数改进分析

由此可见，我们对滤波器的大小以及个数的改变，可以直接影响到卷积训练参数的个数，从而达到减少训练时间的目的。

从另一种角度来看，增大滤波器的大小，实际效果应该相似于缩小输入图像的像素大小，所以这样我们可以预测增大滤波器的大小会减少样本的训练时间，但是这样也可能会降低训练后的分类的准确率，而滤波器的大小是如何影响训练时间以及分类准确率的，我们通过对两种图片库的实验来进行分析。

4 实验结果与分析

4.1以mnist手写数字数据集作为实验数据

我们知道卷积层可训练参数的数字与滤波器的大小和数字有关，所以我们通过对卷积层滤波器大小的变化来寻找较为普遍的可减少训练参数从而达到减少训练时间的目的。在实验记录中，我们表格纵列记录两层卷积层滤波器大小，横列分别为对已经过训练图像识别和对未经过训练的验证图像进行识别的错误率，最后记录每种滤波器大小搭配的使用时间。我们设定每次试验都进行100次重复训练，每次对权重矩阵进行优化。

此处我们记录两层滤波器大小之和作为横坐标，比较滤波器大小与实验之间的关系。两层滤波器大小相加后相同的元素我们把其对应时间做平均。

4.2以cifar_10数据集作为实验数据

同样是以100次循环训练进行测试，通过改变两层中滤波器的大小来寻找减少训练时间的设定。

此处以同样的方法，记录两层滤波器大小之和作为横坐标，比较滤波器大小与实验之间的关系。

4.3实验结果分析

从两组试验中，在不同的数据集下，我们得到了滤波器的大小与训练时间成反比的关系，而在减少了训练时间的同时确实增大了训练的错误率。

5 总结

通过实验结果分析表明，增大卷积层滤波器大小的方法，在此两种数据库的情况下，是有效减小训练时间的方式，而在不同的数据库对分类准确率的影响程度不同，mnist手写数字数据库中图像之间的相似度非常高，所以滤波器的增大对准确率产生的负面影响较小，而ifar_10数据集中图像之间的相似度较小，所以增大滤波器的大小对其分类结果的准确率的负面影响较大。

参考文献：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

篇7

（广东外语外贸大学 金融学院，广东 广州 510006）

摘 要：作为一个具有巨大应用前景研究方向，深度学习无论是在算法研究，还是在实际应用（如语音识别，自然语言处理、计算机视觉）中都表现出其强大的潜力和功能.本文主要介绍这种深度学习算法，并介绍其在金融领域的领用.

关键词 ：深度学习；受限波兹曼机；堆栈自编码神经网络；稀疏编码；特征学习

中图分类号：TP181 文献标识码：A 文章编号：1673-260X（2015）01-0037-03

1 深度学习的研究意义

深度学习是一类新兴的多层神经网络学习算法，因其缓解了传统训练算法的局部最小性，引起机器学习领域的广泛关注.深度学习的特点是，通过一系列逻辑回归的堆栈作为运算单元，对低层数据特征进行无监督的再表示（该过程称为预学习），形成更加抽象的高层表示(属性类别或特征)，以发现数据的分布式特征表示.深度学习的这种特性由于与脑神经科学理论相一致，因此被广泛应用于语音识别、自然语言处理和计算机视觉等领域.

生物学研究表明[1]：在生物神经元突触的输出变化与输入脉冲的持续时间有关，即依赖于持续一定时间的输入过程，输出信号既依赖于输入信号的空间效应和阈值作用，也依赖于时间总和效应.

传统的深度学习方法虽然较好地模拟了生物神经元的一个重要特性——空间总和效应上的深度，却忽视了生物神经元的另一个重要特性——时间总和效应上的宽度[2].因此，对于连续的时间变量问题（如语音识别），传统深度学习方法只能将连续的时间函数关系转化为空间关系，即离散化为时间序列进行处理.这样做有几个弊端：

（1）可能造成深度学习算法对时间采样频率的十分敏感，鲁棒性较差.这使得，不同时间尺度下，需要使用不同的数据和算法.这无疑是十分不方便的；

（2）导致深度网络规模过大，使得计算开销增大、学习效果变差、泛化性能降低；

（3）难以满足实际应用对算法的实时性的要求，更难以体现连续输入信息的累积效应，大大降低深度学习算法的实用性.

因此，对传统的深度学习算法进行改进，使其不但具有“深度”，亦能具有“宽度”，能够对连续时变数据进行更好的特征提取、提高算法效率和实用性，显得势在必行.基于这个切入点，本项目借鉴时频分析与小波分析中的方法，结合数学分析领域中的泛函分析技术，与堆栈自编码神经网络相结合，提出一种新的深度学习算法——深度泛函网络.为了验证算法的有效性及优越性，本项目将把新算法应用于金融时间序列的领域.

在目前国内外对于深度学习的研究中，几乎没有任何将深度学习技术运用于金融数据的研究.通过提出并运用得当的深度序列学习方法，我们期望从金融数据中抽取更高级的、具有经济学意义或预测性意义的高级特征（与人工设计的“技术指标”相对应），并开发相应的量化交易策略，并与其它传统算法进行对比，以说明所提算法的可行性和优越性.

2 国内外研究现状

人类感知系统具有的层次结构，能够提取高级感官特征来识别物体（声音），因而大大降低了视觉系统处理的数据量，并保留了物体有用的结构信息.对于要提取具有潜在复杂结构规则的自然图像、视频、语音和音乐等结构丰富数据，人脑独有的结构能够获取其本质特征[3].受大脑结构分层次启发，神经网络研究人员一直致力于多层神经网络的研究.训练多层网络的算法以BP算法为代表，其由于局部极值、权重衰减等问题，对于多于2个隐含层的网络的训练就已较为困难[4]，这使得实际应用中多以使用单隐含层神经网络居多.

该问题由Hinton[5]所引入的逐层无监督训练方法所解决.具体地，该法对深度神经网络中的每一层贪婪地分别进行训练：当前一层被训练完毕后，下一层网络的权值通过对该层的输入（即前一层的输出）进行编码（Encoding，详见下文）而得到.当所有隐含层都训练完毕后，最后将使用有监督的方法对整个神经网络的权值再进行精确微调.在Hinton的原始论文中，逐层贪婪训练是通过受限波兹曼机（Restricted Boltzmann Machine,RBM）以及相对应的对比散度方法（Contrastive Divergence）完成的.与通常的神经元不同，RBM是一种概率生成模型，通常被设计为具有二元输入-输出（称为Bernoulli-Bernoulli RBM）.通过对每一层的受限波兹曼机进行自底向上的堆栈（如图1），可以得到深度信念网（Deep Belief Network,DBN）.

除了生成式的RBM，还有其他的深度学习结构被广泛使用和研究.如堆栈自编码神经网络（Stacked Auto-Encoder Network,SAEN）[6],以及深度卷积神经网络（Deep Convolutional Network）[7]等.前者的优势在于可以简单地采用通常的BP算法进行逐层预训练，并且引入随机化过程的抗噪声自编码网络（Denoising SAEN）泛化性能甚至超过DBN[8]；而后者则通过权值共享结构减少了权值的数量，使图像可以直接作为输入，对平移、伸缩、倾斜等的变形具有高度不变性，因此在图像识别领域有着广泛应用.

近年来，稀疏编码（Sparse Encoding）和特征学习（Feature Learning）成为了深度学习领域较为热门的研究方向.B.A.Olshausen[9]等针对人脑的视觉感知特性，提出稀疏编码的概念.稀疏编码算法是一种无监督学习方法，它用来寻找一组“过完备”的基向量来更高效地表示输入数据的特征，更有效地挖掘隐含在输入数据内部的特征与模式.针对稀疏编码的求解问题，H.Lee等在2007年提出了一种高效的求解算法[10]，该算法通过迭代地求解两个不同的凸规划问题以提高效率.同年，H.Lee等发现，当训练样本为图像时，对DBN的训练进行稀疏性的约束有利于算法学习到更高级的特征[11].例如，对手写识别数据集进行训练时，稀疏性约束下的DBN算法自主学习到了“笔画”的概念.

基于[10,11]的研究成果，R.Raina等[12]提出了“自导师学习（Self-Taught Learning）”的概念.与无监督学习（Unsupervised Learning）和半监督学习（Semi-supervised Learning）不同，自导师学习利用大量易获得的无标签数据（可以来自不同类别甚至是未知类别），通过稀疏编码算法来构建特征的高级结构，并通过支持向量机（Support Vector Machine,SVM）作为最终层分类器对少数有标签数据进行分类.这种更接近人类学习方式的模式极大提高了有标签数据的分类准确度.与之类似，H.Lee,R.Grosse等[13]提出了一种具有层次结构的特征学习算法.该算法将卷积神经网络与DBN结合，并通过稀疏正则化（Sparsity Regularization）的手段无监督地学习层次化的特征表征.图像识别实验表明，该算法能够自主学习得出“物体（Object Parts）”的概念，较好体现了人脑视觉感知的层次性和抽象性.

3 发展趋势

由于信号处理、语音识别、金融时间序列分析、视频分析等领域的实时应用需求，研究能够处理连续时变变量、自然体现时间联系结构的深度学习算法（即深度序列学习，Deep Sequence Learning）成为了新的研究热点.G.W.Taylor,G.E.Hinton等[14]提出时间受限波兹曼机（Temporal RBM,TRBM）.该模型使用二值隐含元和实值可视元，并且其隐含元和可视元可以与过去一段历史的可视元之间可以有向地被相连.同时，该模型被用于人类动作识别，并展现出了优秀的性能.针对TRBM的一些不足，一些改进算法也不断涌现，如[15,16].然而，该类深度学习模型虽然考虑了动态的时间变量之间的联系，但依然只能处理离散时间问题，本质上还是属于转化为空间变量的化归法.同时，在自编码网络框架下，依然缺乏较好解决时间过程（序列）问题的方案.

4 金融时序数据中的应用

传统金融理论认为，金融市场中的证券价格满足伊藤过程，投资者无法通过对历史数据的分析获得超额利润.然而，大量实证研究却表明，中国股票价格波动具有长期记忆性，拒绝随机性假设，在各种时间尺度上都存在的可以预测的空间.因此，如何建立预测模型，对于揭示金融市场的内在规律，这无论是对于理论研究，还是对于国家的经济发展和广大投资者，都具有重要的意义.

股票市场是一个高度复杂的非线性系统，其变化既有内在的规律性，同时也受到市场，宏观经济环境，以及非经济原因等诸多因素的影响.目前国内外对证券价格进行预测的模型大致分为两类：一是以时间序列为代表的统计预测模型；该类方法具有坚实的统计学基础，但由于金融价格数据存在高噪声、波动大、高度非线性等特征，使得该类传统方法无法提供有效的工具.另一类是以神经网络、支持向量机等模型为代表的数据挖掘模型.该类模型能够处理高度非线性的数据，基本上从拟合的角度建模.虽然拟合精度较高，但拟合精度的微小误差往往和市场波动互相抵消，导致无法捕捉获利空间甚至导致损失，外推预测效果无法令人满意.因此，建立即能够处理非线性价格数据，又有良好泛化能力的预测模型势在必行.

——————————

参考文献：

〔1〕Zhang L I, Tao H W, Holt C E, et al. A critical window for cooperation and competition among developing retinotectal synapses[J]. Nature, 1998, 395(6697).

〔2〕37-44.欧阳楷,邹睿.基于生物的神经网络的理论框架——神经元模型[J].北京生物医学工程,1997,16(2):93-101.

〔3〕Rossi A F, Desimone R, Ungerleider L G. Contextual modulation in primary visual cortex of macaques[J]. the Journal of Neuroscience, 2001, 21(5): 1698-1709.

〔4〕Bengio Y. Learning deep architectures for AI[J]. Foundations and trends? in Machine Learning, 2009, 2(1):1-127.

〔5〕Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006, 18(7): 1527-1554.

〔6〕Vincent P, Larochelle H, Bengio Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 1096-1103.

〔7〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔8〕Vincent P, Larochelle H, Lajoie I, et al. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research, 2010, 9999: 3371-3408.

〔9〕Olshausen B A, Field D J. Sparse coding with an overcomplete basis set: A strategy employed by V1?[J]. Vision research, 1997, 37(23): 3311-3325.

〔10〕Lee H, Battle A, Raina R, et al. Efficient sparse coding algorithms[J]. Advances in neural information processing systems, 2007, 19: 801.

〔11〕Lee H, Ekanadham C, Ng A Y. Sparse deep belief net model for visual area V2[C]//NIPS. 2007, 7: 873-880.

〔12〕Raina R, Battle A, Lee H, et al. Self-taught learning: transfer learning from unlabeled data[C]//Proceedings of the 24th international conference on Machine learning. ACM, 2007: 759-766.

〔13〕Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations[C]//Proceedings of the 26th Annual International Conference on Machine Learning. ACM, 2009: 609-616.

〔14〕Taylor G W, Hinton G E, Roweis S T. Modeling human motion using binary latent variables[J]. Advances in neural information processing systems, 2007, 19: 1345.

篇8

关键词：人工神经网络；SOM；城市分类

一、引言

城市分类不仅便于我们对各个城市的发展进行评估，并且为我们制定城市的发展决策提供了依据。然而，如何能够进行科学的城市分类一直备受关注。而基于近些年来人工神经网络的飞速发展，它帮助我们解决了许多棘手的难题，其中的自组织特征映射网络（SOM）具有强大的聚类功能，利用它可以帮助我们根据各个城市的特点从而进行科学分类，为加速我国城市的发展和城镇化建设有着重要的意义。2005年吴聘奇、黄民生利用SOM网络对福建省城市进行了职能分类，同年，刘耀彬、宋学锋又基于SOM人工神经网络对长江三角洲地区城市职能分类做了研究。从而可见，基于人工神经网络的自组织特征映射网络（SOM）在城市的分类问题确实可以发挥强大的作用。

评价一个城市的各个行业的发展，有许多指标。其中行业就业人口是评价一个城市该行业的发展的基础指标。本文对山东地区城市的分类实证分析中，对各个城市的各行业就业人口数量进行了采集，其中包括农林牧渔业，采矿业，制造业，电力、煤气及水的生产和供应业，建筑业，交通运输、仓储和邮政业，信息传输、计算机服务和软件业，批发和零售业，房地产业，住宿和餐饮业，金融业，租赁和商务服务业，水利、环境和公共设施管理业，居民服务和其他服务业，教育，科学研究、技术服务和地质勘查业，卫生、社会保障和社会福利业，文化、体育和娱乐业，公共管理和社会组织等19个行业的从业人员数。然后，通过MATLAB软件进行编程构建，成功地将山东省的17个城市进行了分类，从而说明了SOM网络在城市分类方面的确有优于其他传统方法的优点。

二、SOM网络的基本原理

（一）SOM网络简介

自组织特征映射网络也称Kohonen 网络，或者称为Self - Orgnizing Feature Map（ SOM） 网络，它是由芬兰学者Teuvo Kohonen于1981年提出的。该网络是一个由全连接的神经元阵列组成的无教师自组织、自学习网络。Kohonen认为，处于空间中不同区域的神经元有不同的分工，当一个神经网络接受外界输入模式时，将会分成不同的反应区域，各区域对输入模式具有不同的响应特征。

SOM网络的一个典型特征就是可以在一维或二维的处理单元阵列上，形成输入信号的特征拓扑分布，因此SOM网络具有抽取输入信号模式特征的能力。SOM网络一般只包含有一维阵列和二维阵列，但也可以推广到多维处理单元阵列中去。

（二）SOM网络学习算法

1、初始化。对N个输入神经元到输出神经元的连接权值赋予较小的权值。选取输出神经元j个“邻接神经元”的集合Sj。其中Sj(0)，表示时刻t=0的神经元j的“邻接神经元”的集合，Sj(t)表示时刻t的“邻接神经元”的集合。区域Sj(t)随着时间的增长而不断缩小。

2、提供新的输入模式X。

4、给出一个周围的邻域Sk(t)。

7、提供新的学习样本来重复上述学习过程。

三、基于SOM网络的城市分类实证分析

城市分类可以便于我们了解各个城市的发展状况，从而为我们制订城市的发展决策提供依据。现在人工神经网络已经得到了很大的发展，它为我们研究此类问题提供了一种新的工具和思路。所以基于这个问题，我们尝试利用SOM网络来进行城市分类。SOM网络是一种具有聚类功能的神经网络，并且它是无教师训练方式，我们只需要采集输入样本，而不必如入目标值就可以得到我们想要的结果，可见SOM网络使用也十分方便。

（一）网络样本设计

从山东省统计局网站，我们得到了山东省17个地级市城市的样本。从中我们看出，原始指标数据波动较大，而一般来说，神经元的输出函数在0-1之间最为灵敏，为了提高训练的效率，所以要把数据进行归一化处理。归一化处理方法为：找出每个指标数据中的最大和最小值，利用（x-min）/（max-min）公式把所有数据归一化为0到1之间的数。

（二）网络设计

本文利用MATLAB R2008进行编程构建。确定网络的输入模式为：

Pk=(P1k,P2k,…pkn) ，k=1,2,…17,n=19

即一共有17组城市样本向量，每个样本中包括19个元素。

1、首先利用函数newsom创建一个SOM网络。根据实际情况本文创建网络的竞争层分别选用3、4、5、6层的结构。然后经过实验，分别观察其性能，从而选取分类效果最好的一组。

2、利用函数train和仿真函数sim对网络进行训练并仿真。仿真的步数大小同样影响网络的聚类性能，这里我们设置步数为1000。

最后经过分类结果如表1所示。

（三）实验结果分析

最后经过分析筛选，发现当这17个城市被划分为6类时和现实情况较为符合。分类情况如表2所示。

第一类：从表中看出，济南和青岛被归为了一类，并且在分类数为3、4、5、6时，济南和青岛都被列为了一类。从表中我们可以看到济南、青岛在各方面都优于其他城市，尤其是制造业、教育、以及公共管理和社会组织方面。济南是山东省省会，是全省、文化、经济，金融，教育中心，也是国家批准的沿海开放城市和十五个副省级城市之一。青岛是全国70个大中城市之一，全国五个计划单列市之一。工业有纺织、机车车辆、机械、化学、石油化工、钢铁、橡胶、家用电器、啤酒、卷烟等。有驰名中外的青岛啤酒、海尔集团、海信集团等大企业集团。并且，二者都有丰富的教育资源，全省大多高校均聚集在此。

第二类：淄博、泰安、德州、聊城在发展方面，各个方面较为均衡，没有特别显著的特点。四者的制造业、建筑业和教育大约位于全省中间地位。

第三类：枣庄、东营属特殊职能类型城市。两个城市相对其他城市来说，采矿业较为发达。枣庄境内已探明地下矿藏36种：煤、铁、铜、铝、金、银、锶（天青石）、石膏、萤石、水泥原料灰岩等。其中煤、石膏地质储量为15.4亿吨和4.1亿吨。而东营又称“石油之城”，丰富的石油、天然气资源。但是，两个城市的制造业相对薄弱，其他产业大约处于平均水平。

第四类：烟台在此被单独分成了一类，其具有自身的特色，并且发展潜力巨大。烟台的制造业和交通运输业位于全省前列。烟台的工业主要以造船、轻纺、机械、建材、电子、冶金、医药等行业为主，并且还有张裕葡萄酒、三环锁等烟台的传统产品。近年来，锦纶、白卡纸、电子网目板等技术水平较高的项目相继投产。烟台在地理位置上东连，西接潍坊，西南与毗邻，北濒、，与对峙，并与隔海相望，共同形成拱卫首都的海上门户。所以，烟台的交通运输业较为发达。另外，烟台的招远金矿为烟台采矿业也提供了大量了就业机会。

第五类：潍坊、临沂、济宁和菏泽在教育和公共管理和社会组织方面处于全省前列地位，其他方面稍稍逊色一些。

第六类：威海、日照、莱芜、滨州这四个城市各个方面表现均不太突出，但是，这些城市的发展潜力很大。威海、日照属沿海城市，交通便利，可以重点发展交通运输业。莱芜、滨州虽地处内陆，但也可依附内陆的经济中心――济南来发挥特色经济。

四、结论

通过本文的研究，可以看出利用SOM网络基本可以完成城市的分类研究，并且可以调整分类类别，来满足不同的需要。但是，SOM的分类还不够精确，这主要是采集数据的不完备性。因为信息的不完全，使SOM的聚类功能并未发挥极致。但是，利用SOM网络，操作过程较传统方法方便很多，只需收集数据，将其输入网络，网络就能自行进行学习、训练，并且是无教师学习方式，不必输入目标值，这些优点都是许多其他方法不能比拟的，相信随着采集数据的完备性和精确性，这种方法在城市分类方面可以得到广泛的应用和推广。

参考文献：

1、神经网络理论与MATLAB R2007实现[M].电子工业出版社,2008.

2、吴聘奇,黄民生.SOM网络在福建省城市职能分类中的应用[J].经济地理,2005(1).

3、刘耀彬,宋学锋.基于SOM人工神经网络的长江三角洲地区城市职能分类[J].云南地理环境研究,2005(11).

篇9

    论文摘要：随着信息量以爆炸般的速度在急剧增长，当前在信息管理方面所面临的最严峻的挑战不再是信息匾乏，而是缺少时间和精力来对如此众多的信息进行分析、归类与操作。本文探讨了在内容管理系统中内容分类的实现方法。 

0 引言 

 

随着信息量以爆炸般的速度在急剧增长，当前在信息管理方面所面临的最严峻的挑战不再是信息匾乏，而是缺少时间和精力来对如此众多的信息进行分析、归类与操作。因此内容的分类不仅有利于更快捷地实现内容的查询，而且有效的分类方法同样有助于对纷杂的信息进行组织与归类，有助于人们缩小查询的范围，节省时间和精力。可见内容管理对内容分类的要求是十分必要的。 

现在分类的方法大体上分为人工分类、自动化分类以及人机结合的混和方法三种。显而易见，人工分类是最容易被想到的。但是这种方法显而易见的过多的依赖于个人，且成本太高。并且当内容量过大的时候，单单依靠手工方法进行分类也不太现实，很容易成为系统的瓶颈。因此，人们更加关注于自动化分类方法。现在主要应用的自动化分类方法主要有以下几种方法。 

 

1 自动化分类方法 

 

1.1 基于规则的分类方法：这种方法需要由对相关内容极为了解的专家创建与维护一套规则用于将某篇文档划分到某个类中。专家使用if-then的规则形式组织归类的相关概念。规则能够支持复杂的操作，而且建立在规则之上的决策树也相当准确。规则衡量了一个给定的文档是否符合某个主题的判断标准。显然，建立这样一种规则并不容易，并且专家对相关内容知识的了解程度也相当重要。 

1.2 基于自然语言的学习算法：该方法利用神经网络的方法，通过分析文档的内容区分文档并将文档进行分类。由于这种方法具有较高的容错能力及语言独立的操作性等特点，正在成为一种相对稳定的分类方法。这种方法通过选择文档的表示方式或可能的格式，利用神经网络实现对内容的分类，可以被应用到文本文档或文本片断的分类中去。 

1.3 语义分析：这是以从文档中提取关键的概念作为分类与检索的基础。语义分析过程共分为两个阶段，第一个阶段的工作主要集中于一系列的语言算法以及语言独立的统计技术的实现。当用户对系统中收集的信息进行查询时则触发该过程的第二阶段，系统可以根据用户的查询需求以及可视化的分类结构呈现给用户个性化的、相关的查询结果。 

1.4 模式匹配：这种方法是指寻找经常聚在一起的一组词或词组的过程。一个主题可能通过语义分析进行处理。其他的识别模式还包括词在文档当中的出现频率、词的位置、词与词之间的亲近程度以及相关词的聚类。模式匹配方法具有语言独立的特点。 

1.5 聚类分析：这是通过识别内容中的共性元素将内容划分为相似内容子集。每篇文档可以看作一些内容的合集，聚类本质上就是将每一袋中的相似内容聚为一组。 

以上每一种分类方法都有其自身的优点与不足，没有哪一种单一的分类方法是十全十的。每种方法都有其适用的方面。所以，现在人们往往采用混合的分类方法。下面我们着重分析一种基于神经网络的分类方法。 

 

2 基于聚类分析的分类方法 

 

聚类分析是一种解决分类问题的探测性的数据分析方法。它的目标是把人、事务、事件等聚为组或类，每一类描述它的对象所属的类。该方法是通过建立一个对象间的相似性度量，使得类间的相似性尽量小，而类内的相似性尽量大，从而得到在某种判别准则之下的最佳分类，这种分类的结果未必使用简单的概念就可以描述的。换言之，其分类的标准并不是显而易见的。 

假设特征向量由n个特征参数x，x，…，x组成聚类分析按照一定的准则，将这些特征向量点划分为若干个群。聚类也用于将一个内容的集合划分为子集，也就是类。每一类内的对象之间都比该类对象与属于其它类的对象之间具有更大的相似性。 

芬兰学者t.kohonen提出一种可以使得输入信号映射到低维空间，且保持相同特征的输入信号在空间上对应邻近区域的学习方式，称为kohonen自组织特征映射(self-organizing feature maps, sofm)也称kohonen自组织神经网络。 

kohonen自组织神经网络是一种前馈型网络。在这种类型的神经网络中各神经元接受前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入单元和计算单元，每一计算单元可有任意多个输入，但只有一个输出。前馈网络可分为不同的层，第i层的输入只与第i-1层的输出相连，输入和输出节点与外界相连，而其它中间层则称为隐层。 

前馈型网络，由于kohonen自组织特征映射网络除了具备以下主要性能，因此采用kohonen自组织神经网络来实现内容的聚类。①对输入数据有聚类作用，并可用聚类中心代表原输入，起到数据压缩作用。②保持拓扑有序性，输入性相似的点映射后在空间上是邻近的。③分布密度匹配，原数据中分布密的区域在映射图上对应较大的区域，分布稀的则对应的区域也较小。 

自组织网络采用没有指导的学习过程，不必给定应有的输出，训练数据只有输入而没有输出，网络只靠输入模式本身的特征，根据一定的判断标准自行修改单元连接的强度，使权矢量在输入向量空间中的分布近似于样本的分布。这也就是为什么采用自组织神经网络来解决内容的分类问题的原因和依据，因为在对内容进行聚类前，可以分成什么样的类以及不同的内容归属的类别本来就是未知的。 

 

3 实现的步骤及方法 

 

在此研究一种利用智能技术得到内容的分类结构的方法。该方法通过人或统计工具对文本内容进行预处理，将文本内容以标准化的特征向量表示，然后利用kohonen自组织特征映射网络实现内容的自动聚类。现将对文本内容进行聚类的方法与步骤简单描述如下： 

3.1 用标准的矢量形式表示文本内容。要实现内容的自动聚类，首先要把待聚类的内容集用标准的矢量形式表示出来。由于给不同的文本内容建立关键字是可行的，而且关键字又是最易于代表文本内容语义的，因此可以通过文本内容的关键字作为中间桥梁将内容表示成标准的矢量形式。用标准的矢量形式表示文本内容，这是利用神经网络实现内容的自动聚类的基础。 

3.2 选择样本文档。kohonen网络采用的是无监督学习算法，因此在通过该网络对内容进行聚类前需要选择样本内容作为训练集，使自组织网络学习如何对内容进行聚类。样本的选择应当具有代表性与广泛性。 

3.3 初始化网络的输入节点、输出节点以及连接权值。将以n个关键字或文本特征表示文本内容的n维矢量作为输入向量，同时生成含有m个输出节点的二维映射。 

3.4 将代表文本内容的特征向量输入到网络中。 

3.5 在输出节点中选择最佳匹配节点。计算输入节点与所有的输出节点权值的接近程度，选择距离最小，即输出节 点权值与输入值最接近的节点作为获胜节点。 

3.6 调整权值。调整获胜节点及其邻域的节点的权值，从而使这些输出节点的权值与输入值更接近。 

3.7 标注代表不同类的输出节点。不断重复以上过程，学习算法结束后，各输出节点的权值显示了聚类中心，将不同的类加以标注，以示区分。经过训练的网络可以用上述同样的方法对新的文本内容进行聚类。 

3.8 对分类结果中包含大量输入样本的类别，递归应用以上步骤，继续在大类下划分更小的类。 

经过以上过程便可以得到文本内容的分类结构，该分类结构可能是类与类之间相互独立的结构，也可能是层次结构。基于这种由智能聚类得到的分类结构，我们便可以利用经过训练的网络用同样的方法实现对不同文本内容的分类。 

 

参考文献： 

篇10

【关键词】地下水源热泵；智能控制；具体应用；节能控制

在城市的建设中，供热系统的应用一直是讨论的热点话题，因为这不仅仅关乎民生，还关系着自然能源的合理化利用。在过去几十年的经济快速发展中，我国的煤等不可再生能源物质已经供应紧缺，为了实现经济和能源的可持续建设，必须要进行新能源的开发与利用。地源热泵的应用实现了地热能的综合使用，其中地下水源热泵系统的开放式系统应用比较广泛，通过对低位能向高位能的转变，提供了建筑物所必须的热量的供应。

一、地下水源热泵的应用原理

地下水源热泵系统的应用原理是将地下水中所含有的地热能进行能量的转换，地下水中的能量属于低位能，需要通过电能的施加将低位能转换成高位能，所以在地下水源热泵系统中会有压缩机、蒸发器和冷凝器的使用，而压缩机的使用就是能量转换的关键。当提供的电压出现谐波作用时，机组就会检测并识别，停止机械的运行，当电压稳定会智能化系统会自动恢复运行状态，延长了机械设备的使用寿命，节约了资源利用中的工程开支。另外，在缺水或过冷的水温环境中，此种保护措施也会有响应。

二、地下水源热泵系统节能控制分析

1、以保护控制为基础加强节能控制。地下水源热泵在实际的工作环境中，会由于环境的复杂变化引起机器的异常反应，这就需要通过智能化的节能控制实施，保护机械不受突发事故的破坏，节约企业在设备上的投资使用。这种保护措施主要是通过报警系统和检测系统的建立，进行报警通知或终止机械运行。

2、能量的智能化节能控制。在地下水源热泵的应用中，是通过循环水的使用实现热源的能量控制的。当抽水系统持续抽水时，地下水位就会下降，在供水循环系统中就会形成较大的压力差，提供井水循环的水泵就要相应的增大功率。智能化节能应用主要是针对水位的下降进行功率的设定，减少过多电能的浪费，同时避免了因回灌压力过高造成的机械开关频繁，保护了机组的使用寿命，减少了不必要电能的浪费使用。

三、智能控制技术的具体应用

随着计算机技术水平的提高，人们能够在实际的工作中进行智能化的控制，这种智能化主要是你通过对机械进行数学、语言和知识的编程等，实现机械的检测、识别和控制技能，即使是在无人的环境中，也能通过自我识别完成准确化控制。现阶段，应用最广泛的智能控制系统有模糊控制、专家控制和神经网络控制等。其中这些控制系统也是实现地下水泵热源系统控制的主要内容。

1、模糊控制。模糊控制是基于模糊集合论模拟人的模糊推理和决策过程的一种实用的控制方法。模糊控制系统是以模糊数学、模糊语言形式的知识表示和模糊逻辑的规则推理为理论基础采用计算机控制技术构成的一种具有反馈通道的闭环结构和数字控制系统。它的组成核心是具有智能性的模糊控制器。在地下水源热泵的应用中，应用模糊控制可以实现高控制精度，能够及时的发现测量数据与期望数据的偏差，便于技术人员对具体参数的输入调节，这种调节机制应该是闭环结构形式，将在传感器中收到的观测值反馈到系统的输入端，并与理想的输入量相比较，从而构成闭环结构的反馈调节通道。

2、神经网络预测控制。预测控制是工业过程控制领域发展起来的一种计算机控制算法，它包括模型预测、反馈校正、参考输入轨迹和滚动优化4个部分这种算法的基本思想是先预测后控制，其控制动作具有较强的预见性从而明显优于经典反馈控制系统。人工神经网络作为一种非线性建模和预测方法具有良好的非线性品质、极高的拟合精度‘灵活而有效的学习方式、完全分布式的存储结构和模型结构的层次性，已被广泛应用于预测并取得了良好的效果。对于地下水源热泵空调这种大惯性、大滞后系统的控制，采用常规的控制策略将难以取得理想的效果而神经网络具有非线性逼近能力等优点在建模方面具有较强的优势，因此采用神经网络可以实现预测控制。

3、专家控制系统。专家控制系统是具有模拟或延伸扩展专家智能的功能采用人工智能专家系统技术与控制理论相结合而设计的系统。其实质是。基于控制对象的控制规律以智能的方式利用求得控制系统尽可能地优化和实用化它反映出智能控制的许多重要特征和功能。在中央空调控制系统的应用中，专家系统主要用于系统建模它的关键点在于系统集成一以及“技术集成“从系统的观点出发综合考虑各个方面的因素应用优化的控制算法和智能控制技术构造智能专家控制系统最大限度地挖掘其节能潜力。

四、地下水源热泵智能控制技术发展趋势

地下水源热泵系统的应用已经在工程中有所体现，实现了地热能的有效利用。地热能主要是地表和湖水中吸收的太阳能，其吸收的数量几乎达到40%，若能够通过技术的革新进行高效的利用，这种绿色能源将会促进社会的又一次变革。在现阶段的地下水源热泵智能系统的应用中，虽然能够通过压缩机和水泵的智能化控制，但是其控制体系还不够完善，针对同一台空调机组通过专家控制系统、模糊控制系统和神经网络控制系统的应用，能够实现智能化的应用，但是在多台空调机组的配合使用中却存在不协调的特点，每台空调机组之间缺少设备的沟通，不能够在统一控制体系中同步进行。因此，在未来的地下水源热泵的智能化和节能化的控制中。应不断加强多台机组联合使用的研究，将控制范围从单台机械向网络化发展，利用集成与智能的技术实践，提高地下水源热泵系统的综合调节，真正实现智能化的应用，同时也减少了单台机组的智能设备的繁复应用，降低了工程施工成本。

结语

随着信息技术的提高，以及计算机技术的广泛应用，智能化控制已经成为了未来经济建设的发展方向，在城市供热系统的应用中，通过地下水源热泵系统的建立，实现了可再生资源的利用，但是在实际的应用中，需要借助高新技术的支持，将节能性和智能性充分的结合起来，提供高效率的地热能的使用，保证社会建设和能源使用的平衡发展，同时也将节能的概念渗透到社会生活中，促进社会的科学建设。

参考文献