神经网络过拟合的表现范文

导语：如何才能写好一篇神经网络过拟合的表现，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

【关键词】GPS；高程异常；BP神经网络；拟合模型

Research on the Models of GPS Height Fitting Based on BP Neural Network

Li Yongquan

【Abstract】International and domestic multifarious control nets in use of GPS’s positioning techniques are only to solve the horizontal coordinates, but the height still follow to use the geometric leveling.Therefore, The basic theory of neural network and algorithm of BP are described, Discuss the problem of GPS height fitting based on BP neural network by trials. BP neural network is a kind of nonlinear mapping for its inputs and outputs，BP neural network is a high precise method for translating height.

【Key words】GPS；height anomaly；back propagation neural networks； fitting models

1. 引言

GPS平面定位的精度目前已经可以达到毫米级，但相对于平面定位精度，GPS在高程方面的定位精度较低。 神经网络是一种高度自适应的非线性动力系统，神经网络的数学理论本质上是非线性数学理论，通过BP神经网络学习可以得到输入和输出之间的高度非线性映射，因此，使用神经网络可以建立起输入和输出之间的非线性关系。BP神经网络本身也是一种高精度的高程转换方法。

2. 神经网络的模型及BP算法

2.1 神经网络的模型

（1）生物神经元模型。神经元模型是基于生物神经元的特点提出的，人脑由大量的生物神经元组成，神经元之间互相有连接，从而构成一个庞大而复杂的神经元网络。神经元是大脑处理信息的基本单元，结构如图1。神经元由细胞体、树突和轴突三部分组成，其中突触是神经元之间的连接。细胞体是由很多分子形成的综合体，内部含有细胞核、细胞质和细胞膜。细胞体的作用是接受和处理信息。树突是细胞体向外延伸的纤维体，是接受从其他神经元传入信息的入口。轴突是神经元的信息通道，是细胞体向外延伸最长、最粗的树枝纤维体，也叫神经纤维。（2）神经元模型。神经元一般表现为一个多输入（多个树突和细胞体与其他多个神经元轴突末梢突触连接）、单输出（每个神经元只有一个轴突作为输出通道）的非线性器件，通用的结构模型如图2所示。

(3）神经网络模型。神经网络的神经元之间的互连模式有前向网络、有反馈的前向网络、层内有相互结合的前向网络和相互结合型网络四种。

前向网络神经元分层排列，组成输入层、中间层（隐含层）和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺序传播，最后在输出层上得到输出。目前对前向网络得出的一致的结论是：甚至是单中间层网络，只要隐节点数目足够多，前向网络就可以通过训练学习样本，以任意精度逼近(或表达)期望目标。

2.2 神经网络BP算法

(1）BP（Back Propagation）网络模型结构。BP网络的结构如图4所示，BP网络具有三层或三层以上神经元的神经网络，包括输入层、中间层（隐层）和输出层。上下层之间实现全连接，而每层神经元之间没有连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。接下来，按照减少目标输出和实际输出之间的方向，从输出层反向经过各中间层回到输入层，从而逐层修正各连接权值，这种算法称为“误差反向传播算法”，即BP算法。

（2）BP算法的数学描述。BP算法基本原理是利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。

BP网络学习规则的指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向――负梯度方向。

xk+1=xk-akgk(1)

其中xk是当前的权值和阈值矩阵，gk是当前表现函数的梯度，ak是学习速率。

三层BP网络，输入节点xi，中间层节点yi，输出节点zl。输入节点与中间层节点间的网络权值为wji，中间层节点与输出节点间的网络权值为vlj。当输出节点的期望值为tl时，模型计算公式如下。

中间层节点的输出：

yi=f(∑iwjixi-θj)=f(netj)(2)

输出节点的计算输出：

zl=f(∑jvljyj-θl)=f(netl)(3)

3. BP神经网络用于GPS高程拟合

3.1 山区高程异常拟合实例:以本溪GPS和水准资料作为样本来源，进行BP高程异常拟合。

通过山区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在1/4之间时网络稳定性较好。高程拟合的精度与学习样本数量有关，学习样本数越多，拟合精度就越高。

3.2 平原地区高程异常拟合实例:以某市D级GPS部分数据进行实验研究

通过平原地区高程异常拟合实例，对数据分析可以得到如下结论，学习样本数与测试样本数之比在 1/3 之间时网络稳定性较好。学习样本数对测试对象的精度也有着重要的影响，一般随着学习样本数的增多，中误差会有所改善。这主要是更多的学习样本就更能表述出所研究问题的一些基本特征，进而仿真的效果就能更好。

4. 结束语

重点研究基于BP神经网络的GPS高程异常拟合算法，详细介绍了人工神经网络基本理论，重点讨论了基于BP神经网络的GPS高程拟合，包括BP神经网络的基本原理、主要特点。分析了神经网络的BP算法，包括其数学模型、网络结构。构造了基于BP神经网络的GPS高程拟合模型，结合具体工程数据进行了神经网络性能分析。

参考文献

[1] 国家测绘局测绘发展研究中心.测绘发展研究动态[R].北京：国家测绘局，2008，8：1-7

[2] 李征航、黄劲松.GPS测量与数据处理[M].武汉：武汉大学出版社，2005，277-278

[3] 曹先革.基于人工神经网络的GPS高程异常拟合方法研究[D]，北京：中国地质大学，2008

[4] 徐绍铨．GPS高程拟合系统的研究[J]，武汉：武汉测绘科技大学学报，1999，24(4),11-15

[5] 阎平凡.人工神经网络与模拟进化计算[M]，北京:清华大学出版社，2000，5-6

[6] 徐丽娜.神经网络控制[M].哈尔滨：哈尔滨工业大学出版社，1999，1-40

篇2

【关键词】神经网络技术 应用分析 智能系统

一、引言

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。当常规方法解决不了或效果不佳时神经网络方法往往显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统，如故障诊断、特征提取和预测控制管理等问题，神经网络往往是很好的工具。另一方面， 神经网络对处理大量原始数据而不能用规则或公式描述的问题， 表现出极大的灵活性和自适应性。

二、神经网络应用分析

（一）样本数据

1.数据采集和分组

采用神经网络技术建模的首要和前提条件是有足够多典型和高精度的样本。为监控学习过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力，必须将收集到的样本数据随机分成训练样本、检验样本（10%以上）和测试样本（10%以上）三部分。同时数据分组时还应尽可能考虑样本模式间的平衡。

2. 数据预处理

神经网络的输入变量一般根据专业知识确定。若输入变量较多，可通过主成份分析方法减少输入变量，也可根据剔除某一变量引起的系统误差与原系统误差的比值的大小来减少输入变量。输出变量即为系统待分析的外生变量，可以是一个，也可以是多个。一般将一个具有多个输出的网络模型转化为多个具有一个输出的网络模型效果会更好，训练也更方便。

预处理的方法有多种多样，各文献采用的公式也不尽相同。但必须注意的是，预处理的数据训练完成后，网络输出的结果要进行反变换才能得到实际值。为保证建立的模型具有一定的外推能力，数据预处理后的值在0.2～0.8之间比较合适。

（二）拓扑结构确定

1. 隐层数

增加隐层数可以降低网络误差，提高精度，但也使网络复杂化，从而增加了网络的训练时间。在设计神经网络时，应优先考虑3层BP网络。一般地，靠增加隐层节点数来获得较低的误差，其训练效果要比增加隐层数更容易实现。

2. 隐层节点数

在神经网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前还没有一种科学的和普遍的确定方法。为尽可能避免训练时出现“过拟合”现象，保证足够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐层节点数不仅与输入和输出层的节点数有关，也与需解决的问题的复杂程度和转换函数的形式以及样本数据的特性等因素有关。

3.神经网络训练

神经网络的训练是通过应用误差反传原理不断调整网络权值使网络模型输出值与已知的训练样本输出值之间的误差平方和达到最小或小于某一期望值。如何设计一个合理的网络模型并通过向所给的有限个样本的学习来地逼近样本所蕴含的规律的问题，目前在很大程度上还需要依靠经验知识和设计者的经验。因此，通过训练样本的学习建立合理的神经网络模型的过程，是一个复杂和困难的过程。例如BP网络采用误差反传算法，其实质是一个无约束的非线性最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点以致得不到最优结果。

4. 初始连接权值确定

BP算法决定了误差函数一般存在多个局部极小点，不同的网络初始权值直接决定了BP算法收敛于哪个局部极小点或是全局极小点。因此，要求计算程序必须能够自由改变网络初始连接权值。根据Sigmoid转换函数的特性，一般要求初始权值分布在-0.5～0.5之间是合适的。

5.模型参数确定

传统的误差反向传递BP算法较为成熟，并且应用广泛，因此提高该方法的学习速度具有很高的实用价值。BP算法中有几个常用的参数，包括学习率η，动量因子α，形状因子λ及收敛误差界值E等，这些参数对训练速度的影响最为关键。在实际应用中，需根据实际问题确定这些参数。

三、小结

神经网络具有自学习、自适应能力及非线性问题处理能力，在智能控制管理领域得到广泛应用。基于神经网络的智能系统设计是软件和硬件相结合的复杂过程。本文详细的阐述了神经网络方法的应用过程，对实际问题中应用神经方法解决问题具有一定指导作用。

基金项目：2014年广东科技学院院级项目

参考文献：

[1]王建军，马树才，张春梅.基于忆阻神经网络的锂电池检测技术研究[J]，电源技术，2014年11期.

篇3

关键词：RBF神经网络；数据挖掘；遗传算法

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）07-0151-03

Research on Data Mining Method Based on RBF Neural Network

CAO Jia-jie， YANG Meng， XU Xin-yu

（Beijing Satellite Manufacturing Plant， Beijing 100000， China）

Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.

Key words： RBF neural network； data mining； genetic algorithm

数据挖掘是从大量数据中挖掘有价值的信息和知识，以便为管理决策和战略部署提供数据支撑。数据挖掘作为信息技术发展的结果，其应用前景相当广泛。数据库技术主要研究数据的组织、存储、获取和处理，而信息技术主要经历以下发展历程：数据的简单收集和数据库的初期建设数据的存储与检索、数据库的事务处理数据的分析与理解，此时便出现数据挖掘技术。基于上述研究背景，下文首先分别介绍数据挖掘与RBF神经网络的相关理论知识，并在此基础上，讨论基于RBF神经网络的数据挖掘方法，目的是为了研究数据挖掘所用到的分类算法。关于神经网络，作为一种人工智能技术，其一方面可以省去繁琐的数学建模和数学推理，另一方面在处理含噪声的非线性数据时表现出无与伦比的优越性。

1 数据挖掘

数据挖掘是非平凡的数据处理过程，即识别数据集中具有潜在价值、新颖有效且最终可被理解的模式，其中潜在价值指的是挖掘出的知识具有实际效用；新颖是指识别出的模式新颖；有效是指识别出的模式在一定程度上是正确的；最终可被理解是指识别出的数据可被用户理解。图1所示为数据挖掘的工作流程。

如图1所示，数据挖掘主要经历数据准备、模式提取、结果解释与评估等阶段，其中数据准备的步骤为：数据清洗数据选取数据预处理数据表示；数据提取阶段又称数据挖掘阶段，其实现步骤为：确定数据挖掘的目标或任务选取适宜的数据挖掘工具或算法进行数据挖掘操作；结果解释与评估阶段主要对所识别的数据进行评估、筛除。一般来讲，数据挖掘质量主要与以下影响因素有关：数据挖掘技术的可靠性与有效性；目标数据的数量与质量。总之，数据挖掘是一个反复反馈的过程，而可视化贯穿在数据挖掘的全过程。

数据挖掘的方法一般分为统计型、机械学习型两大类，而较为常用的算法包括遗传算法、神经网络等。遗传算法是一种以生物进化理论为基础的优化空间搜寻法，其在数据挖掘中，通常以搜索问题的形式来表述具体的任务，并通过选择、交叉、变异遗传等操作寻得最优解。神经网络是一种与人类大脑重复学习类似的方法，即通过学习和训练一些事先给出的样本，产生与样品有所区别的特征和模式，其中样本集应具有代表性。研究表明，神经网络具有准确预测复杂的问题、有效处理存在噪声的数据等优点。神经网络一般分为自组织、反馈式和前馈式神经网络，目前正被广泛应用于商业领域。

2 RBF神经网络

RBF网络结构是一种由输入层、隐含层和输出层组成的三层前向网络，其中输入层包含信号源结点；隐含层主要由节点数目描述的具体问题而定；输出层主要响应输入模式的具体作用。图2所示为RBF神经网络的拓扑结构模型。

如图2所示，RBF网络由输入层向隐含层变换的过程具有非线性的特征，而由隐含层向输入层变化的过程具有线性的特征。据此可知，RBF神经网络是一种基于前馈网络的拓扑结构。研究发现，RBF神经网络拓扑结构会对自身的性能产生影响，而以下因素又会对RBF网络拓扑结构产生影响：RBF的隐节点数目、中心矢量、径向基函数宽度和隐含层与输出层的权值矩阵。

RBF网络具有较强的非线性逼近性能。得益于此，其目前主要用来实现非线性系统的建模与数据挖掘、贝叶斯规则和连续输入/出数据对的映射建模。与其他前向神经网络相比，RBF神经网络具有以下优点：

1）RBF神经网络能逼近任意非线性映射，也能处理系统内部的规律性问题。就无噪声数据而言，RBF神经网络模型的预测精度高且拟合能力强；而就存在噪声的数据来讲，RBF神经网络模型的预测误差和拟合误差均偏低，且收敛速度相当快。得益于此，RBF神经网络在时序建模和分析中的应用十分广泛。

2）RBF神经网络的拓扑结构加快了学习速度和规避了局部极小的问题。RBF神经网络采用核函数，特别是高斯函数的使用使得核函数的优点更为突出：表示简单、光滑性好和解释性好等。

3）RBF神经网络的可解释性好。目前，以下理论均可用于RBF网络参数和拓扑结构的解释中：RBF网络能够对输入层转向输出层进行映射；核回归能够逼近存在噪声的函数噪声数据插值能够逼近输入缺少函数；规则化可以通过在一般化与精确匹配中寻求平衡；贝叶斯规则可以根据前概率计算出后概率。

3 基于RBF神经网络的分类数据挖掘

关于RBF神经网络的研究，其主要表现在以下两个方面： RBF网络结构模型； RBF神经网络学习算法。

3.1 RBF网络结构模型

在实际应用中，RBF模型的应用范围更广，其核函数使用的是高斯函数。但研究发现，在上述结构模型中，训练算法的优劣会对模型的应用效果和RBF网络性能的高低产生决定作用。鉴于此，研究人员提出一些具有新特点和新性能的网络模型，具体包括：

1）高斯型核函数一般化。当隐含层RBF采用以下高斯条函数时，将大大改善RBFN的综合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。对于普通高斯函数，其拥有半径相同的变量轴和超球面状的函数曲面。但与此相比，高斯条核函数拥有超椭球面状的函数曲面和半径不同的变量轴，因此它具有更强的样本点逼近能力和更大的网络训练工作量。

2）WNN（小波神经网络）。WNN是一种基于小波函数的函数连接型网络，因此在一定程度上应被看作RBFN的推广形式。WNN的激活函数为小波函数，具体以仿射变换的方式创建网络参数与小波变换之间的联系，因此所表现出的特点与RBFN有所差异。此外，WNN具有极佳的时频特征，因此被广泛应用于图像处理和模式识别等领域。

3）RBPNN（径向基概率神经网络）。RBPNN作为RBFNN与PNN综合发展的结果，其学习收敛速度比RBFN更快，同时也将模式之间的交错影响考虑其中。关于RBPNN，其结构主要由2个隐含层、1个输入层、2个输出层组成，其中第一个隐含层为非线处理层，具体包括隐中心矢量，此乃网络结构优化的核心对象；在输出层得出输入样本概率密度的估算值，可降低计算的复杂度。

4）GRNN（广义回归网络）。GRNN使用的也是高斯型径向基函数，一般被看作RBFN的变换形式。GRNN的结构主要由模式层、输入层、加和层、输出层组成，其中核函数所包含的平滑因子需采用优化或经验方法来选定。

3.2 RBF神经网络学习算法

在RBF网络设计中，最为核心的问题是如何合理确定中心点的位置、数目和训练网络权值。通常情况下，中心点的确定与权值的训练既可分开实现，又可同时进行。鉴于此，RBF网络可以采用以下两类学习算法：

3.2.1 静态学习算法

静态学习算法是一种离线学习算法，即在离线设计RBF网络时，中心点的确定与权值的训练分开进行。

1）随机确定RBF中心点，即随机从训练数据集中选取RBF中心点。当RBF选取以下高斯函数：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心点；[m]――中心数；[dmax]――相邻中心点最大的间隔距离，因此高斯径向基函数的宽度[σ=dmax/2m]。利用上述算法，可以避免RBF的形状出现过平或过陡两种极端现象。如此一来，便可通过计算线性方程组的方式来确定输出层与隐含层的连接权值。

2）自组织学习确定RBF中心点。混合学习过程主要包括自组织学习阶段、监督学习阶段，其中自组织学习阶段的任务是采用聚类算法来估计隐含层RBF的中心点；监督学习阶段主要通过对输出层线性权重进行估计来设计网络，具体采用最小二乘法。输出层节点的LMS算法与隐含层节点的K-均值聚类同时进行，以加速学习过程。

3）有监督学习确定RBF中心点，即通过有监督学习解得RBF的中心点和自有参数，具体使用牛顿法或梯度下降法等。如果使用梯度下降法，则应从参数空间的某一有效区域开始进行搜索，即先利用RBF网络得到高斯分类算法，再以分类结果为搜索点，以免学习程收敛至局部极小。

3.2.2 动态学习算法

动态学习算法是一种在线学习算法，其主要在在线数据挖掘环境中使用。由于在在线数据挖掘环境中，通常不会全部给定训练样本，因此如果隐含层中心点与单元数目的确定采用静态学习算法，则解算结果不一定最优，而在线学习算法支持动态删除或加入隐含层节点，且隐含层中心点的确定和权值的训练同时进行，因此可以动态构造网络。

1）以分组优化策略为基础的在线学习法。训练神经网络是约束优化的过程，则需对特定的神经网络类型进行深入探讨。以下内容为在线隐含层单元的确定策略：当输入的训练样本同时满足以下条件时，则为之分配相应的隐含层但愿你：网络输出误差比误差的设定阀值大；输入样本与隐层中心点之间的距离比距离的设计阀值大。如果在RBF神经网络在线训练方式中引入分组优化策略，则网络输出与网络权值之间存在线性关系，同时与隐含层单元的宽度、中心点之间存在非线性关系，表明尽量采取不同的优化方法来处理两部分的参数。

2）最近邻聚类算法。最近邻居类算法作为动态自适应聚类学习算法，由其聚类得出的RBF网络不仅最优，且支持在线学习。最近邻聚类算法的实现过程为：

① 设定高斯函数宽度为r，定义矢量A（l）存放输出矢量的总和，定义计数器B（l）统计样本数量，其中类别数目为l。

② 对于数据对[（x1，y1）]，于[x1]上创建1个聚类中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF网络中便仅存在1个中心为[c1]的隐含层单元，且隐含层单元与输出层的权矢量[w1=A（1）/B（1）]。

③ 对于数据对[（x2，y2）]，解得[x2]与[c1]之间的距离[x2-c1]。假设[x2-c1≤r]，那么[x2]的最近邻聚类为[c1]，假设[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假设[x2-c1>r]，那么以[x2]为新的聚类中心，同时假设[c2=x2]，[A（2）=y2]，[B（2）=1]。根据上述要求创建的RBF网络，再在其中加入一个隐含层单元，其与输出层之间的权矢量[w2=A（2）/B（2）]。

④ 假设第k个数据对[（xk，yk）（k=3，4，...，n）]的聚类中心数为M，相应的中心点为[c1，c2，...，cm]，则由此创建的RBF网络中便存在M个隐含层单元。据此，解得[xk]与M个聚类中心的间距为[xk-ci，i=1，2，...，M]，假设两者的减小间距为[xk-ci]，那么[xk]的最近邻聚类为[ci]。根据第一、二数据对的计算步骤，解得当[xk-ci>r]时，第M个隐含层单元与输出层之间的权矢量[wM=A（M）/B（M）]；当[xk-ci≤r]时，隐含层单元与输出层之间的权矢量[wi=A（i）/B（i），i=1，2，...，M]。研究发现，动态自适应RBF网络的难易程度由r所决定，即聚类数目与r呈负相关，即r越小，聚类数目越多，则计算量越大和精度越高，反之亦然。总之，最近邻聚类法具有性能优点、计算量小河学习时间短等优点，不仅可以通过确定隐含层来建立RBF神经网络，还可以在动态输入模式在线学习中得到有效应用。

综上，RBF网络是一种具有最佳拟合和全局逼近性能的前向型神经网络，其无疑具有广阔的应用前景，但在实际应用中，应当考虑到局部极小问题的存在，进而保障其应用效果。

参考文献：

[1] 储兵，吴陈，杨习贝，等.基于RBF神经网络与粗糙集的数据挖掘算法[J].计算机技术与发展，2013，23（7）：87-91.

[2] 宫晓曼，滕荣华.基于神经网络的数据挖掘在煤矿选煤中的应用[J].煤炭技术，2013（9）：127-128.

[3] 魏文轩.改进型RBF神经网络在股票市场预测中的应用[J].统计与决策，2013（15）：70-72.

[4] 曹东方，王玉恒.数据挖掘在员工考评管理信息系统中的应用[J].河北工业科技，2012，29（5）：323-326.

[5] 姚应水，叶明全.RBF神经网络与logistic回归模型的对比研究[J].中国卫生统计，2011，28（4）：397-399.

[6] 张会敏，叶明全，罗永钱等.基于RBF神经网络的老年痴呆症智能诊断研究[J].中国数字医学，2015（6）：38-41.

[7] 习勤，米帅军.指标筛选技术在神经网络数据挖掘模型中的应用[J].统计与决策，2011（10）：163-165.

[8] 林涛，葛玉敏，安玳宁等.基于 RBF 神经网络的钢构件质量追溯系统研究[J].计算技术与自动化，2015（1）：20-24.

篇4

关键词：卷积神经网络；图像分类；空间变换；可变形卷积

DOIDOI：10.11907/rjdk.171863

中图分类号：TP317.4

文献标识码：A 文章编号：1672-7800（2017）006-0198-04

0 引言

图像分类一直是计算机视觉领域的一个基础而重要的核心问题，具有大量的实际应用场景和案例。很多典型的计算机视觉问题（如物体检测、图像分割）都可以演化为图像分类问题。图像分类问题有很多难点需要解决，观测角度、光照条件的变化、物体自身形变、部分遮挡、背景杂波影响、类内差异等问题都会导致被观测物体的计算机表示（二维或三维数值数组）发生剧烈变化。一个良好的图像分类模型应当对上述情况（以及不同情况的组合）不敏感。使用深度学习尤其是深度卷积神经网络，用大量图像数据进行训练后可以处理十分复杂的分类问题。

卷积神经网络是为识别二维形状而专门设计的一个多层感知器，这种网络结构对平移、缩放、倾斜等扰动具有高度不变性，并且具有强大的特征学习与抽象表达能力，可以通过网络训练获得图像特征，避免了复杂的特征提取与数据重建过程。通过网络层的堆叠，集成了低、中、高层特征表示。AlexNet等网络模型的出F，也推动了卷积网络在海量图像分类领域的蓬勃发展。

1 卷积神经网络

卷积神经网络是人工神经网络的一种，其“局部感知”“权值共享”[1]等特性使之更类似于生物神经网络，网络模型复杂度大大降低，网络训练更容易，多层的网络结构有更好的抽象表达能力，可以直接将图像作为网络输入，通过网络训练自动学习图像特征，从而避免了复杂的特征提取过程。

Yann LeCun等[2]设计的LeNet-5是当前广泛使用的卷积网络结构原型，它包含了卷积层、下采样层（池化层）、全连接层以及输出层，构成了现代卷积神经网络的基本组件，后续复杂的模型都离不开这些基本组件。LeNet-5对手写数字识别率较高，但在大数据量、复杂的物体图片分类方面不足，过拟合也导致其泛化能力较弱。网络训练开销大且受制于计算机性能。

2012年，在ILSVRC竞赛中AlexNet模型[3]赢得冠军，将错误率降低了10个百分点。拥有5层卷积结构的AlexNet模型证明了卷积神经网络在复杂模型下的有效性，并将GPU训练引入研究领域，使得大数据训练时间缩短，具有里程碑意义。AlexNet还有如下创新点：①采用局部响应归一化算法（Local Response Normalization，LRN），增强了模型的泛化能力，有效降低了分类错误率；②使用Dropout技术，降低了神经元复杂的互适应关系，有效避免了过拟合；③为了获得更快的收敛速度，AlexNet使用非线性激活函数ReLU（Rectified Linear Units）来代替传统的Sigmoid激活函数。

Karen等[4]在AlexNet的基础上使用更小尺寸的卷积核级联替代大卷积核，提出了VGG网络。虽然VGG网络层数和参数都比AlexNet多，但得益于更深的网络和较小的卷积核尺寸，使之具有隐式规则作用，只需很少的迭代次数就能达到收敛目的。

复杂的网络结构能表达更高维的抽象特征。然而，随着网络层数增加，参数量也急剧增加，导致过拟合及计算量大增，解决这两个缺陷的根本办法是将全连接甚至一般的卷积转化为稀疏连接。为此，Google团队提出了Inception结构[5]，以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能。以Inception结构构造的22层网络GoogLeNet，用均值池化代替后端的全连接层，使得参数量只有7M，极大增强了泛化能力，并增加了两个辅助的Softmax用于向前传导梯度，避免梯度消失。GoogLeNet在2014年的ILSVRC竞赛中以Top-5错误率仅6.66%的成绩摘得桂冠。

网络层数的增加并非永无止境。随着网络层数的增加，将导致训练误差增大等所谓退化问题。为此，微软提出了一种深度残差学习框架[6]，利用多层网络拟合一个残差映射，成功构造出152层的ResNet-152，并在2015年的ILSVRC分类问题竞赛中取得Top-5错误率仅5.71%的成绩。随后，对现有的瓶颈式残差结构进行改进，提出了一种直通结构[7]，并基于此搭建出惊人的1001层网络，在CIFAR-10分类错误率仅4.92%。至此，卷积神经网络在越来越“深”的道路上一往直前。

2 可变形的卷积神经网络

2.1 空间变换网络

空间变换网络（Spatial Transformer Network，STN）[8]主要由定位网络（Localisation net）、网格生成器（Grid generator）和可微图像采样（Differentiable Image Sampling）3部分构成，如图1所示。

定位网络将输入的特征图U放入一个子网络（由卷积、全连接等构成的若干层子网络），生成空间变换参数θ。θ的形式可以多样，如需要实现2D仿射变换，那么θ就是一个2×3的向量。

2.3 本文模型

本文以自建的3层卷积网络C3K5（如图6所示）和VGG-16作为基准网络，分别引入空间变换网络、可变形卷积和可变形池化，构造出8个卷积神经网络，用以验证可变形模块对浅层网络和深层网络的影响，如表1所示。

图6中C3K5网络模型包含3个带有ReLU层、LRN层和池化层的卷积模块，卷积层采用步长为1的5×5卷积核，输出保持原大小，池化层采用步长为2核为2×2的最大值池化，即每经过一个卷积模块，特征图缩小为原来的一半。

3 实验与分析

3.1 实验设置

本文实验环境：CPU为Intel i5-7400，8G内存，显卡为GTX1060，采用Cuda8+CuDNN6.0加速。

实验数据集包括公共图像数据集mnist、cifar-10、cifar-100和自建图像数据集pen-7。公共数据集分别有50 000张训练样本图像和10 000张测试样本图像。自建数据集pen-7为京东商城的七类笔图像库，每类有600张图片，图像分辨率为200×200，总计训练样本数3 360，测试样本数840， 图7为其中的14个样本。

3.2 结果与分析

分别将表1中的10个卷积网络应用到mnist、cifar-10、cifar-100和pen-7四个数据集进行训练，batch-size设置100，即每次传入100张图片进行训练，每训练100次测试一次（记为一次迭代），总共迭代100次，取最后10次迭代的准确率计算平均值，得各网络应用在不同数据集的分类结果，如表2所示。

实验结果表明，在卷积网络中引入空间变换网络、用可变形的卷积层和可变形的池化层替换传统的卷积层和池化层，不管是在浅层网络还是在深层网络，都能获得更高的分类准确率，这验证了空间变换网络和可变形卷积（池化）结构，丰富了卷积神经网络的空间特征表达能力，提升了卷积网络对样本的空间多样性变化的鲁棒性。包含3种模块的网络获得了最高的分类精度，使空间变换网络、可变形卷积层和可变形池化层在更多应用场景中并驾齐驱成为可能。

4 结语

通过在现有卷积神经网络中引入空间变换网络、可变形的卷积层和可变形的池化层，使得卷积网络在mnist、cifar-10、cifar-100及自建的pen-7数据集中获得了更高的分类精度，包含3种模块的网络获得了最高分类精度，证明了空间变换网络、可变形的卷积层和可变形池化层都能丰富网络的空间特征表达能力，协同应用于图像分类工作，这为后续研究打下了坚实的基础。

参考文献：

[1]BOUVRIE J. Notes on convolutional neural networks[J].Neural Nets，2006（1）：159-164.

[2]Y LECUN，L BOTTOU，Y BENGIO，et al.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[3]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc，2012：1097-1105.

[4]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science， 2014（6）：1211-1220.

[5]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[J]. CVPR， 2015（3）：1-9.

[6]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Computer Vision and Pattern Recognition. IEEE， 2015：770-778.

[7]HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks[J]. arXiv，2016（1603）：5-27.

[8]JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks[J].Computer Science， 2015（5）：1041-1050.

[9]DAI J， QI H， XIONG Y， et al. Deformable convolutional networks[J]. arXiv： 2017（1703）：62-111.

篇5

建筑工程的系统性和复杂性提升了工程造价估算的难度，基于神经网络的工程造价估算方法能够提升工程造价估算的准确性。本文从传统的工程造价估算方法入手，对基于神经网络的工程造价估算方法及其Excel实现进行研究。

【关键词】神经网络 工程造价 估算方法 Excel实现

在建筑行业不断发展的背景中，建筑企业面临的竞争压力越来越大。对于建筑企业而言，通过建筑工程成本的有效控制，实现所获经济效益的提升能够对自身市场竞争力的提升产生相应的促进作用。选择合理的工程造价估算方法具有一定的必要性。

1 传统的工程造价估算方法

应用传统工程造价估算方法进行估算，要求建筑工程的成本函数是一个具有确定性特点的数学形式，并且这个成本函数应该是对可利用历史数据的最佳拟合。这些要求对传统工程造价估算方法的精确度产生了不良影响，进而对该方法的实际应用产生相应的限制。

2 基于神经网络的工程造价控制估算方法及其Excel实现

2.1 神经网络的优点和应用

神经网络是由一定数量的并行处理单元组成的系统，不同处理单元的实际处理方式和连接强度是影响神经网络功能的主要因素。在神经网络中，不同神元之间的相互作用可以实现处理信息的目的。神经网络具有时间连续性、高度非线性以及规模大的特点，神经网络包含优化计算、处理知识以及联想记忆等多种功能。神经网络在电子科技领域中的应用主要集中在图像和信号处理以及模式识别中。以某个500字符的代码段为例，该代码段可能是Python、Java或者C++。当需要通过程序的构造对该代码段进行识别编写时，构造神经网络的方法更加有效。

2.2 基于神经网络工程造价控制估算方法的合理性

神经网络的优势在于，它可以近似实现任意空间的数学映射。神经网络的这种特点使得它在需要辨识数据模式的困难任务中得到了广泛应用。神经网络可以分别对实时数据和历史资料进行训练，这种特点为神经网络在工程造价估算中的应用提供了可能。

2.3 神经网络电子表格模拟程序

神经网络电子表格模拟程序主要包括以下几个步骤：

2.3.1 输入输出信息模块

在该模型中，主要包含基础基础类型、结构类型、建造年份、工期、建址、层高、层数、内、外装修门窗共9个输入单元，还包含每平方米造价这一输出单元，以及4个测试样本和6个训练样本。为了将输入单元、输出单元的数据更好地展示出来，可以在Excel中建立一个表格。

2.3.2 输入数据初始化

当表格构建完成之后，可以将相关数据输入进行，为了便于神经网络对数据进行合理处理，需要将表格中第一个模块中的输入数据调整至[-1，1]范围中。当第一个模块构造完成之后，为了简化第二个模块的构造时间和步骤，可以利用线性公式对第一个模块的参数值进行合理调整，这个过程中使用的线性公式如下所示。

2.3.3 构建权重模块I

就输出节点、输入节点以及隐层节点之间的数目关系而言，输出节点与输入节点数量之和的一般是隐层节点的实际设置数目。在权重模块中，需要将所有的数值初始化为1.0。

2.3.4 当权重模块I构建完成之后

需要考虑隐层节点的输出模块。这个步骤主要需要根据神经网络的操作模型进行。

2.3.5 构建权重模块II

该模块的构建步骤与第三步中的做法相同，但在这个模块中，需要在单一的输出节点和隐层节点之间建立连接。

2.3.6 神经网络的最终输出

这个步骤与第四步类似。

2.3.7 对神经网络的输出值进行反调整，并对误差进行有效计算

神经网络输出值的反调整范围集中在初始赋值范围中。

2.4 神经网络的训练过程

当神经网络电子表格模拟完成之后，需要对神经网络进行训练，也可以将这个过程看成是权值的优化过程。由于权值优化过程具有一定的复杂性特点，因此可以将Excel中的Solver程序应用到这种预测方法中，与其他算法相比，这种算法的优势表现为可以直接在表格中运行，简化了操作步骤，实现该预测方法掌握难度的有效降低。运用这种预测方法进行操作可以发现，网络运行结果满意，应用这种预测方法的预测误差小于0.4%。

2.5 分析参数变化对模型预测结果的敏感性

用户通常无法确定能够对特定工程进行精确描述的特征因素是什么，因此，为了保证模型的实用性，需要对参数变化对模型预测结果的敏感性进行有效测定。测定参数变化对模型预测结果敏感性的较为复杂，首先，用户需要将工程中无法肯定的某一特征因素或几个特征因素的组合选择出来，然后使用户选取的参数在初始值周围逐渐变动，并将参数变动范围控制在25%之内，为了更好地对参数对模型预测结果的敏感性进行分析，需要对样本资料的数量进行合理控制。分析参数对模型预测结果名感性的界面如图1所示。在实际分析过程中，需要将第一个模块公式变为分别对多个分析资料进行计算，结合计算结果得出计算结果的标准差和平均值，并将估计成本与标准差和平均值进行比较。就平均值而言，在选定参数发生变化的情况下，可以通过敏感性分析对模块中输入参数的实际重要性进行有效判断，通过不同参数的分别变化，分别对其进行敏感性分析，将所得标准差和平均值与最初估计进行比较，进而得出模块中输入参数的实际重要性判断结果。

3 结论

随着建筑企业面临竞争压力的不断增大，建筑企业对建筑工程成本控制越来越重视。有效工程造价估算方法的使用可以帮助建筑企业获得更多的经济效益，传统的工程造价估算方法精确度较低，基于神经网络的工程造价估算方法可以保证工程造价估算结果的准确性。

参考文献

[1]孙金丽，郑立群，张世英.基于神经网络的工程造价估算方法及其Excel实现[J].基建优化，2003（01）：38-40.

[2]吴子燕.基于人工神经网络的高校建筑工程造价预测系统的研究与应用[D].西安：西北工业大学，2006.

[3]赵欣.基于BP神经网络的地铁土建工程造价估算方法研究[D].北京：北京交通大学，2008.

篇6

随着4G时代的到来，电信行业的得到了空前的发展，用户数量快速增长，同时，电信各运营企业之间的竞争也日益激烈。面对激烈的电信市场竞争环境，以及日趋饱和的电信市场，获取新客户的成本比保持在网客户要昂贵得多。加之电信技术、法律法规、携号转网以及竞争对手等动态市场的变化，使客户流失到对手运营企业也更加容易。数据挖掘，作为一种新兴技术手段，可以高效、低成本的实现客户的流失预测，现已在电信、金融等行业得到了广泛应用。

【关键词】

数据挖掘;客户流失;算法

1、引言

流失客户，即是不想或不再使用其服务的企业原有客户。根据流失程度可分为两类:离网流失和业务流失，或称为显性流失和隐性流失。在我国，电信行业竞争日益激烈，市场容量逐渐饱和，在终端产品以及通信资费相对平稳的情况下，用户成为电信运营商激烈竞争的焦点。如何有效地防止用户流失、降低流失率成为各个运营商急需解决的难题。客户流失给运营商带来了巨大损失，而成功挽留一个即将流失的客户比重新发展一个客户节约大量成本。因此，利用数据挖掘技术，预测客户流失、减少客户流失的发生成为当下电信行业研究的重点。

2、客户流失预测常用算法及比较

客户流失预测常用算法。目前，常用的挖掘算法有很多，但客户流失分析较为常用的有三种算法，分别是决策树算法、支持向量机算法、神经网络算法。

(1)决策树算法当前最有影响的决策树算法是Quinlan于1986年提出的ID3和1993年提出的C4．5。ID3只能处理离散型属性，它选择信息增益最大的属性对训练样本进行划分，目的是进行分枝时，使系统的熵最小，从而提高算法的精确度。C4．5是ID3算法的改进算法，不仅可处理离散型属性，还能处理连续性属性。C4．5采用信息增益比作为选择分枝属性的标准，弥补了ID3算法的不足。决策树的优点在于，它可以生成可以理解的规则，计算量相对较小，可以处理连续和种类字段，并且可以清晰地显示哪些字段比较重要。但决策树对连续性的字段比较难预测，这是决策树的一个不足。

(2)支持向量机算法支持向量机(SupportVectorMachine，SVM)由Vapnik领导的AT＆TBell实验室研究小组于1963年提出，当时的研究尚不十分完善。直到90年代，统计学习理论的实现和由于神经网络等较新的机器学习方法的研究在如何确定网络结构、过学习与欠学习、局部极小点等问题时遇到一些重要困难，这个阶段SVM的理论技术得到迅速发展与完善，它在解决小样本、非线性以及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等问题中，是一项有潜力的分类与回归技术。SVM也存在自身不足，SVM算法对大规模训练样本难以实施，同时，对于多分类问题存在困难。

(3)神经网络算法人工神经网络(ArtificialNeuralNetworks，ANN)，也简称神经网络，它是由大量简单处理单元以某种方式互相连接而成，通过调整内部这些大量处理单元之间相互连接的关系，从而达到处理信息的目的。神经网络中，神经元处理单元可表示为特征、字母、概念或某些有意义的抽象模式等不同的对象。神经网络中处理单元类型可以分为三类:输入层单元、输出层单元和隐藏层单元。输入层单元负责接受外部世界的数据或信号;输出层单元实现网络处理结果的输出;隐藏层单元处于输入层和输出层单元之间，不能由系统外部观察的单元。神经元间的连接权值反映单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中，可对连续的或非连续的输入做出状态相应，能实现复杂的逻辑操作和非线性关系信息的动态处理，因而神经网络具有很强的逻辑运算和数值运算能力。神经元网络的优点在于有无指导的情况下都能够进行学习;缺点是神经网络很难解释而且会学习过度，另外神经网络建模通常较费时，需要的准备工作量很大。神经网络的著名算法是基于误差学习的后向传播算法，即BP算法。

3、电信客户流失预测研究展望

以下几方面在未来的研究中值得考虑:(1)对现有指标体系还需要进一步研究与完善，尤其是随着4G业务的发展，指标应该进一步调整。(2)现在国内的流失预测分析，大都以“月”为单位，如果能以“周”或者“日”为单位，可以更加及时的发现流失客户。(3)用于流失预测的算法各有利弊，找出一个在各方面性能都很好的分类算法仍然需要进一步研究。

【参考文献】

［1］肖水清．基于CRM探讨电信业的客户流失问题［J］．现代计算机，2006(1)

［2］陈晋苏，郑惠莉．电信行业流失客户挽留价值综合评价研究［D］．南京邮电大学，2005

［3］仲继．电信企业客户流失预测模型研究［D］．西安科技大学，2014

篇7

关键词：神经网络；BP算法；网络模型

中图分类号：TP183

1 BP网络的定义

误差反向传播算法（Error Back Propagation，EBP，简称BP）在于利用输出层的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差。如此下去，就获得了所有其他各层的误差估计。这样就形成了将输出表现出的误差沿着与输入信号传送相反的方向逐级向网络的输入端传递的过程。因此，人们就又将此算法称为向后传播算法，简称BP算法。使用BP算法进行学习的多层前向网络称为BP网络。虽然这种误差估计本身的精度会随着误差本身的“向后传播”而不断降低，但它还是给多层网络的训练提供了十分有效的办法。所以，多年来该算法受到了广泛的关注。BP网络应用广泛，学习采用最小均方差，由输入层、若干隐层和输出层构成，它是一种典型的前馈网络。

图1 三层神经网络模型

常用的BP网络是三层前向网络（如图1所示），即：输入层、中间层和输出层。它的学习分为以下几个过程：由每个神经元网络的输入节点经中间层向输出层的一个正向传播，若网络的实际输出与期望输出有误差，将这个误差经输出层到中间层再传给输入层调整权值再学习的一个逆传播。通过不断的学习，最后的输出要在误差范围之内。

2 BP算法的基本思想

BP算法的基本思想归结如下：BP网络对于输入信号，通过输入层传播到隐含层，经过激励函数的作用，再将隐含层的输出作为输出层的输入传播到输出层，最后输出结果。对于每一个输入样本，神经网络的实际输出与目标输出不可能完全一样，两者之间必然会有一定的误差，定义均方差为：

3 BP算法的学习过程及两种改进算法的思想

学习是人工神经网络最重要的一个特点，学习的目的在于能对任何一个样本的输入通过调整相关参数输出期望的结果。学习的方法可以从以下几步阐述：第一步，向神经网络模型输入一系列样本，每一个样本都有包含输入和期待的输出两部分，把采集到的样本向神经网络输入后，先由第一个隐层进行相关计算然后逐层向下一层传递，直到传至输出层。第二步，将输出的结果与期望输出的结果做比较，如果误差不能满足要求，就按原来的路径逐层返回，神经网络的自学习能力这时候就要发挥作用了，它要根据误差的结果对权值、阀值做适当修改，再从第一个隐层开始重复的计算传递，直到输出的结果满足要求。

本文论述的算法都是以三层网络结构出发进行讨论的。

BP算法的改进主要集中在两个方面：其一是避免陷入局部极小值，一旦陷入要想办法逃出；其二是改进迭代算法，加快收敛速度，较常用的方法是共轭梯度法、Levenberg-Marquardt法等。

BP网络学习过程收敛速度慢的因素有两方面：（1）学习率s和势态因子α在训练中值不变。BP网络实际就是优化计算中的梯度下降法，利用输出的误差作为对权值、阀值调整的参考，目的是确保最终的输出误差最小。考虑到算法的收敛性，学习率s必须小于某一固定上界。BP网络中的学习率s和惯性因子α在训练过程中为一固定值。这一限制决定了BP网络的收敛速度不可能很快。（2）学习过程中出现“假饱和”。实际输出和期望输出的误差产生以后，通过调整网络训练的权值，不断学习后这种误差应该越来越小，如果多次学习后误差没有减小，经过一段时间后，误差才下降，称这种现象为学习过程中的“假饱和”。在BP网络中，初始权值、阈值一般是在一个范围内人为确定的。若作为网络输入的神经元的个数与阈值差别较大，考虑到神经元具有饱和非线性特征，那么神经元的实际输出只有两种结果：极大值或极小值。当输出层接收到的神经元的总输入进入到饱和区，且实际输出与目标输出相互矛盾，就是“假饱和”。这时对权值作大的修改才行，而实际上，由于此时导数值趋近于零，导数权值修改量很小。导致学习速度下降。对中间层的神经元也是一样。学习一旦进入“假饱和”状态，很难退出这种“假饱和”状态，可能需要一定的时间，有时可能会陷入僵局，要重新开始网络训练。

传统的BP算法主要的优点是简单、易于实现。但是BP算法有两个不可克服的缺陷：（1）BP算法很可能陷入局部极小值；（2）收敛速度慢。

像热导气体分析仪这类的仪器经常会用于一些恶劣而又危险的环境中，且要求其测量周期短暂，所以系统需要较强的抗震荡学习网络。基于热导传感器测量的主要因素，提出一种新的BP网络学习算法，对学习因子进行模糊自适应调节，这样系统能够快速、准确地将干扰因素与热导传感器的原始测量值进行拟合，有效减小测量误差。这种模糊自适应算法思想一样可用于发电机匝间短路故障的在线检测。

4 结束语

通过以上对BP算法的学习与分析总结如下：（1）传统的BP算法采用最小均方差的学习方式，是使用最广泛的网络，可用于语言综合、语言识别、自适应控制等，它是一种典型的前馈网络，优点是简单、易于实现，缺点是可能陷入局部极小值、收敛速度慢。（2）BP算法的改进主要集中在两个方面：其一是避免陷入局部极小值，一旦陷入要想办法逃出；其二是改进迭代算法，加快收敛速度。（3）多层前馈神经网络学习过程中，对学习因子进行模糊自适应调节，自动调节步长、势态因子、可以明显地提高收敛速度和误差精度。在一些特殊领域的应用取得较好的效果。从目前已有的研究成果来看，设计的模糊自适应算法有良好的研究方向。

参考文献：

[1]黄丽.BP神经网络算法改进及应用研究[D].重庆师范大学图书馆，2007.

[2]刘彩红.BP神经网络学习算法的研究[D].重庆师范大学图书馆，2006.

[3]王建梅，覃文忠.基于L-M算法的BP神经网络分类器[J].武汉大学学报，2005（10）：928-931.

篇8

关键词：船舶辐射噪声 RBF神经网络 相空间重构 预测

中图分类号：U66文献标识码：A文章编号：1006-4311（2011）14-0062-02

To Predict the Radiation Noise of Ship Based on RBF Neural Network

Zhang Xiaozai；Yang Hongchao

（Aviation Military Representative Office of Navy in Pingba Area，Pingba 561102，China）

Abstract: According to the chaotic characteristic of ship radiation noise signal, based on the reconstruction evolutionary regularity of reconstruction phase space, this paper constructs a rapid RBF neural network to predict the radiation noise on the ship. Experiments have proved that using the RBF neural network to predict the ship's radiation noise is higher than that of Volterra adaptive prediction filter, and has faster convergence.

Key words: radiated noise of ship；RBF neural network；phase space reconstruction；forecast

0引言

混沌时间序列是由确定性的非线性系统产生的一维时间变量，它描述的是该非线性系统过去的状态和特性，通过对混沌时间序列进行准确的预测，可以预知系统将来的状态，有着重大的意义。但是由于非线性系统对初始状态极为敏感，微小的初始状态变化将导致输出的巨大差异，因此对混沌时间序列做长期的预测是很难实现的。目前，对混沌时间序列的预测方法主要有两大类：局部预测法和全局预测法。本文采用的RBF神经网络预测法是一种全局预测方法。船舶辐射噪声信号是一种具有混沌特性的一维时间序列[1，2]，表征的是系统的外部特性，如要了解系统的内部特性，则必须给出系统的状态描述方程，而船舶辐射噪声由于其复杂的产生机理，所以给出准确的解析表达式往往是不可实现的。Takens和Parkard[3，4]的工作表明，将一维的时间序列通过相空间（也称为状态空间）重构映射到高维空间，可以保留系统的一部分信息。运用相空间重构进行水下信号处理和雷达信号处理也取得了一定的成效。本文将运用相空间重构和RBF神经网络对船舶辐射噪声信号进行建模和预测。

1船舶辐射噪声的相相间重构

相空间重构是分析系统运动特征的重要手段之一，其原理是：将一维的观测变量时间序列映射到高维的状态空间，使时间序列中未观测到的状态变量显现出来，从而得到更多的关于系统状态变化规律的信息，更利于揭示整个系统的运动规律。混沌时间序列的相空间轨迹点在高维空间表现为奇怪吸引子，是具有某种复杂规律的流形。对于一个观测时间序列{s（i）}：i=0，1，2，…，N-1，以嵌入维数m和时延τ为参数重构状态空间P，其中任一轨迹点的坐标为p（t）={s（t），s（t+τ），…，s[t+（m-1）τ]}T，则状态空间中有M=（N-（m-1）τ）个轨迹点，P可表示为：

P=[p■，p■，…，P■]T=S■S■ … S■S■S■…S■ … …… …S■S■…S■（1）

P称为状态空间的轨迹矢量矩阵，如果选择合适的m和τ可使相空间中的轨迹点既可以充分展开又可以保持它们之间的相关性，因而揭示非线性系统的内部运动规律。

用输入时间序列的自相关函数第一次过零点的值来确定τ，而m的选择我们采用关联维曲线确定，即对于一个确定性的系统，当嵌入维增大到一定程度时，关联维曲线的斜率变化速度将逐渐减小，并收敛于某个值。如果关联维曲线斜率不随嵌入维的增大而增大，并且不收敛于一个值，则该系统可被认为是随机系统。其主要步骤如下：①如（1）式重构相空间，取m为一个较小的值；②计算关联函数：C（r）=■■■θ（r-p■-p■）其中：?Z・?Z算子为欧氏泛数，θ（x）=0x?燮01x>0是Heaviside单位函数，C（r）描述的是相空间中轨迹点之间距离小于r的概率；③计算关联维系数d（m）=ln C（r）/ln r。④增加m，重复步骤②和③，直到d（m）在一定容差泛围内不变化为止，此时所得到的嵌入维为最佳嵌入维数。如果关联维不随着m的增大而收敛于一个值，则认为该系统为随机系统。

2径向基函数神经网络设计

径向基神经网络是一种前向网络，隐含层是非线性的，输入层和输出层是简单的线性函数，本文中输入层节点数由嵌入维m确定，输出层为单节点，隐含层节点数根据经验取为，径向基函数选为高斯核函数，其拓扑结构如图1所示。

图中C=[c1，c2，…，cm]为输入样本，K=[k1，k2，…，kn]为径向基函数的中心，W=[w1，w2，…，wn]为隐层到输出层的系数矩阵。输入层到隐层只考虑信号传递，故取连接权值均为1，y为神经网络的输出。则输出层第i个节点的输出为：y=■w■exp-■（2）

其中，・为欧几里德范数运算符，w■为隐层到输出层的权值，kj为第j个隐层节点的径向基函数中心，σ■■为径向基函数的宽度，这里我们采用k邻近点算法推导σ■■：

σ■=（1k）∑■■k■-k■■■（3）

本文中k取为2。RBF中心k■由K均值聚类算法获得，即由从训练集中随机选取初始化中心，对于每个输入C，寻找最近的RBF中心，并使中心向输入调整：k■■=k■■+αC-k■■（4）

k■■为时刻第j个RBF中心，调整步长为α=0.1。输出层的权值调整采用LMS算法。

由于输入层只作为信号传递，所以RBF神经网络的学习过程可分为两个阶段，即输出层的LMS学习以及隐层的k邻近点学习算法和K均距类学习算法，这有别于目前应用广泛的多层线性感知器网络的BP算法。而分为两阶段的学习过程也使得RBF网络更适用于解决非线性函数逼近问题。

3实验数据仿真

我们采用二组不同的船舶辐射噪声数据作为RBF网络的训练和预测样本，其采样率为50kHz。取每组数据重构相空间后的M个样本，用前N个样本作为训练样本，后M-N个样本用于预测。我们采用一个量来评价该网络对船舶辐射噪声的训练拟合能力和预测能力，定义为：E=10log■（5）

其中，■■为y■的预测值，单位为dB。E是一个相对量，E越小，则说明RBF神经网络的预测效果越好。

图2、图3分别是船舶A、船舶B的辐射噪声信号的关联维曲线图。在图中，C为相空间中轨迹点之间相距小于r的累积分布概率，当r的取值在一定范围时，ln（C）和ln（r）满足线性关系，我们将这段线段的斜率作为关联维曲线的斜率。当嵌入维m?叟5时，船舶A、船舶B的关联维曲线的斜率都是为一个固定值，而不是随着嵌入维的增大而增大，因此可确定嵌入维均为5。分别以嵌入维为5重构相空间，运用RBF神经网络对相空间中的点进行建模预测。

选取的样本个数为3000，前2500个样本用于网络的建模训练，后500个样本用于预测。图4、图5给出了网络对船舶辐射噪声信号的预测值与实际船舶辐射噪声信号的对比。

为比较RBF神经网络预测船舶辐射噪声信号的性能，我们用常用于非线性系统建模的Volterra自适应滤波器[6，7]的预测效果与之相对比。采用2维2阶截断Volterra自适应滤波器，训练样本个数与RBF神经网络的训练样本个数相同。

表1给出了RBF神经网络和Volterra预测滤波器对二种船舶幅射噪声信号的预测精度，总体上，RBF神经网络的对船舶辐射噪声的预测性能优于Volterra自适应滤波器。

篇9

关键词：BP神经网络；新乡车务段；全员劳动生产率

中图分类号：G976.7 文献标志码：A 文章编号：1000—8772（2012）13—0121—02

全员劳动生产率的概念是基于劳动生产率发展而来的，其根据产品的价值量指标计算的平均每一个从业人员在单位时间内的产品生产量，是企业考察企业整体或者单个生产部门的重要参数指标。其计算公式为：全员劳动生产率=■。

在本文当中，笔者在对新乡车务段编组、区段站运转人员劳动生产率进行计算时，是按照郑州铁路局给定的统计计算公式计算得出的换算工作量/新乡车务段编组、区段站运转从业人员得出的2006年至2011年运转人员全员劳动生产率。

新乡车务段是郑州铁路局下属的豫北地区重要的运输生产单位，担负着豫北及山东6市14县的铁路运输生产任务。而运转工作又是车务段工作中的重头戏，其换算工作量占了全段换算工作量中的绝大部分。所以对新乡车务段编组、区段站运转人员劳动生产率进行有效的分析、预测有助于企业转变管理模式、优化人员配置，提高全段精益化管理程度。

BP （Back Propagation）神经网络，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入—输出模式映射关系，而无须事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层（hide layer）和输出层（output layer）。

本文采用3层网络模式对新乡车务段编组、区段站运转人员全员劳动生产率进行模拟预测，其网络结构如图1：

BP网络学习过程及步骤如下：

（1）初始化。给每个连接权值wij、vjt、阈值θj、γt赋予区间（—1，1）内的随机值。

（2）随机选取一组输入和目标样本■、■给网络。

（3）用输入样本■、连接wij和θj阈值计算中间层各单元的输入sj，然后用sj通过传递函数计算中间层各单元的输出bj。

■，■；■，■

（4）利用中间层的输出bj、连接权vjt和γt阈值计算输出层各单元的输出Lt，然后通过传递函数计算输出层各单元的响应Ct。

■，■；■，■

（5）利用网络目标向量■，网络实际输出Ct，计算输出层的各单元一般化误差dkt。

■

（6）利用连接权vjt、输出层的一般化误差dkt和中间层的输出bj计算中间层各单元的一般化误差■

（7）利用输出层各单元的一般化误差dkt与中间层各单元输出bj来修正连接权vjt和阈值γt。

■

（8）利用中间层各单元的一般化误差ekj，输入层各单元的输入■来修正连接权wij和阈值θj。

■

（9）随机选取下一个学习样本向量提供给网络，返回到步骤（3），直到m个训练样本训练完毕。

（10）重新从m各学习样本中随机选取一组输入和目标样本，返回步骤（3），直到网络全局误差E小于预先设定的一个极小值，即网络收敛。如果学习次数大于预先设定的值，网络就无法收敛，学习结束。

可以看出，在以上的学习步骤中，（7）—（8）步为网络误差的“逆传播过程”，（1）—（10）步则用于完成训练和收敛过程。

基于以上，依据2006年到2011年的新乡车务段编组、区段站运转人员全员劳动生产率的历史数据（如表1所示），对新乡车务段编组、区段站2012年到2016年的运转人员全员劳动生产率进行预测。神经网络的输入节点数选取三个，即运转人员全员劳动生产率连续三年值，神经网络的目标输出值是第四年的运转人员全员劳动生产率，每三年作为一个样本，依次进行，并对训练好的网络进行测试，检验预测精度。

资料来源：郑州铁路局铁路运输站段劳动生产率统计表2006—2011年

在基于时间序列的BP神经网络中最佳的隐层神经元个数比较难确定，也没有一个特定的标准。当前的理论可以证明，在隐层节点数足够的情况下，三层BP网络具有模拟任何非线性映射的能力。本文采用三层BP神经网络，隐层节点数采用经验公式与试算法确定为3到6个。

Matlab程序代码如下：对建立的神经网络进行训练，得到的误差如图2：

s=3：6

res=1：4； %

for i=1：4； %

net=newff（minmax（P），[s（i），3]，

{'tansig'，'purelin'}，'trainlm'）； %

net.trainparam.epochs=1000； %

net.trainparam.goal=0.001； %

lp.lr=1；

net=train（net，P，T）； %

y=sim（net，P）；

error=y—T；

res（i）=norm（error）；

end %

对训练好的网络，将处理后的运转人员全员劳动生产率的数据样本作为网络输入进行测试，得到拟合误差数据表见表2：

篇10

关键词：分类识别；模式识别；图像分类

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）32-7731-03

1 概述

图像分类识别根据图像的不同特征对图像进行分类，有相同特征的对象归为一类。图像分类识别方法随着数学算法的不断进步而不断发展。目前，图像分类识别的主要方法主要有六种：模糊集识别、统计识别、神经网络识别、结构识别、模版匹配和支持向量机。这几种方法各有优缺点，根据具体情况来具体分析和应用，也可以多种方法相结合使用。

图像分类识别系统包括几个步奏[1]，如图 1所示，一是获取原图像的信息，二是对图像预处理，三是图像分割，四是图像特征提取，五是图像分类识别。

1） 统计识别法

统计识别的理论基础是数学的决策理论，在决策理论基础上建立统计识别模型，统计识别模型对要分类的图像进行统计分析，统计出图像的各类特征，找出准确反映图像类别的特征，最后进行分类。其主要的技术有聚类分析法、统计法、KNN等。但是，统计识别法不能识别图像空间相互关系（即结构关系）。如要分类图像的结构特征是主要特征，用统计识别就不能识别图像。

在进行分类时需要大量图像样本，先统计图像样本特征，设定图像识别的一系列参数（即统计学习）。

统计识别法流程如图2[1]，输入的图像信息是原始图片；图像处理是对样本图像滤波、分割和特征提取；最后是图像分类，输出结果。

2） 结构识别法

结构识别法即是句法识别，是对统计识别法不能识别图像结构特征的补充，因为统计算法不能统计图像的结构信息，只能统计图像的数字特征。结构识别法用符号表现图像的特征。结构识别采用的结构是层次结构，把复杂图像分解成单子图像，而子图像又可以分解为更简单的子模式，一直分解下去，直到分解为最简单的子模式，即模式基元。通过对模式基元的识别，进而识别子模式，最终识别该复杂的模式。结构识别法流程如图3所示。

3） 神经网络法

神经网络法是通过我们学习的神经网络算法对图像进行分类。神经网络方法与统计识别方法在很多方面是有联系的，都利用样本数据完成图像的分类识别，并且在有的算法上还可以看作是一定的等价关系。神经网络算法的结构由一个输入层、若干个中间隐含层和一个输出层组成。神经网络法通过学习，能够从原始图像的复杂数据中找到相识的图像特征，对图像进行正确的分类。神经网络法克服了统计识别算法过程中的复杂性，以及模型选择的一些困难，是一种非线性建模过程，不需要分清图像中存在的非线性关系，给图像分类带来的极大方便。

神经网络算法有不同的网络结构，所以构造神经网络时首先要选择合适的网络结构。神经网法图像分类时首先要输入图像的文理特征和结构特征等一系类参数；中间经过图像的预处理和特征提取，最后输出的是图像类别。神经网络分类识别的流程图如图4所示。

4） 模糊集识别法

模糊集识别法在模式识别、医学图像识别，车牌识别等方面的应用比较广泛。在图像分类时，有一些图像的特征不是很明显，不能准确的确定图像属于哪一类别时，模糊集识别法能很好地解决这一问题。先模糊地对图像进行判别，这时图像可能属于两个或多个类别，等到再找到另外的特征时再进行精确的判别。模糊数学是模糊集识别法的理论基础，模糊数学在判别事物时一般不是准确的去判断这事物到底属于什么，而是用不太精确的方式来判别事物，用更适合人的思维方式去判别。

模糊集识别法是在模式识别方法的基础上采用模糊逻辑的方法。在图像分类时，采用模糊理论对图像特征模糊化和模糊分类。

模糊集识别法根据一定的模糊化规则将图像的纹理或形状等特征分成多个模糊变量，虽然每个模糊变量不能准确的判别图像，只能判断原图像的一部分特征，但是这能更进一步地判别图像。我们用先前判别出的部分特征去替代原来的特征再进行图像判别，这样我们又能精确的判别图像类别。虽然模糊集识别法识别时图像的特征变多了，但是却使得判别更加，也使分类器设计趋于简单。

5） 支持向量机

支持向量机（SVM）是一种新的人工智能学习算法，现在已经成为模式识别领域新的研究热点[3] 。支持向量机有学习效率高、抗噪声性能强和推广性好等优点。支持向量机是在原先统计学习理论的基础上，解决传统统计学习理论不能解决的一些问题（如神经网络结构选择问题，局部极小点问题等）而形成的一种新的学习方法。在图像识别时，支持向量机将图像特征向量映射到一个更高维的空间，在新的空间中重新建立一个最大图想参数阈值。首先判断图像的大类别，在阈值的两边再建立重新建立新的阈值，再进行分类，对图像不断判别。最后相差最大的就是图像属于不同类别。

6） 模板匹配法

模板匹配法是对要识别的图像做出一个典型的标准模板，作为将要判别其他图像的标准，然后将要分类的图像与标准模板相比较，从而判断出图像属于哪一类别。其实模版匹配法是一种比较算法，将要识别的图像与标准模版放在一个分类器中做相关运算，根据我们学习的相关运算知识可以知道，如果两个信号出现自相关，就表示出现了主峰值（即阈值），这就表示模版图像和要识别的图像匹配，将这个阈值作为分类器的一个判决规则，即可实现图像的匹配。所以模版匹配法的首要任务就是先进行模版的创建，如果创建的模板很正确精确，那么我们在匹配的时候也会更加的精确。

模版匹配法的流程图如图5所示。

3 图像分类识别算法的优缺点

统计识别法的优点是以数学上的决策理论为基础的，能够比较快的建立出统计识别模型。通过建立出的模型，对图像进行大量的统计分析，能够准确的判断出图像的类别，并且统计出的特征都是数字特征，对计算机的性能要求较小。缺点是统计识别法不能统计图像在空间上的相互关系（即结构关系）。如果图像的结构特征为主要特征时，用统计方法不能进行准确的判别。

结构识别法：对统计识别识别方法的补充，统计识别法不能统计图像的结构信息，统计方法一般统计出来的图像特征都是以数值表示，结构识别法描述图像的特征时则是用符号来表示。

神经网络法优点是神经网络非线性拟合能力很好，可以映射图像的非线性关系；而且神经网络的学习能力强，也方便计算机实现；神经网络还具有很强的非线性映射能力，记忆能力以及自我学习能力。神经网络法的缺点是不能解释自己的推理过程和推理依据；神经网络需要大量的模板数据，并且个模板特征数据要近似相等，当数据不充分或各类别差别很大的时候，神经网络的识别就不太准确；神经网络的输入也是图像的数字特征，不能表示识别图像的结构关系，和统计识别法一样，当结构特征为主要特征时，图象的识别就不准确。

模糊集识别法的优点是模糊识别法虽表现为图像的不确定分类，但是随着更高可靠性的特征能使图像分类越来越准确；采用多级分类，能为下级分类提供分类信息。缺点是模糊识别不能准确确定图像的类别，如果不能找到跟准确的特征，图像的分类将不准确。

支持向量机（SVM）优点：1.对模板样本要求低，如果模板数量少，得到的分类结果是在现有模板信息下的最优解；2.支持向量机通过非线性变换将图像的特征转换到高维的特征空间，然后在高维空间构造线性函数替代原图像的非线性关系，更利于计算机去判别。缺点： SVM是通过二次规划来求解特征向量，里面涉及到m阶矩阵运算，对计算机要求高，并且运算时间长。

模版匹配法的优点是如果模板做的比较准确，匹配不正确的概率就会很小，并且模板不匹配的情况也很少。缺点是因为图像上的每一个点都要进行匹配计算，对计算机配置要求高，并且对噪声比较敏感，如果识别时有很大的噪声，将不利于图像的识别。

4 总结

本文深入分析了统计法、句法识别法、神经网络法、模糊集识别法、支持向量机法和模版匹配法等几种主要图像分类识别方法，并对各种分类识别方法的优势与缺陷做了深入的总结。通过分析各类图像分类识别方法，明确各类识别方法的优势与缺陷，为图像分类识别方法的具体应用奠定基础。

参考文献：

[1] 常俊.基于特征提取及神经网络的图像分类识别与目标跟踪[D].西安：西安电子科技大学，2008.