神经网络的复杂度范文

导语：如何才能写好一篇神经网络的复杂度，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：虚拟焊接；焊缝形状预测；神经网络；Matlab

中图分类号：TP391.9 文献标识码：A 文章编号：1009-3044（2013）31-7096-04

1 概述

焊接对工业发展有重要贡献，工业上为了提高焊接操作者的焊接技艺，需要对焊接操作者进行焊接培训，传统的培训方式多是操作者实际操作焊接设备进行培训，受限于培训环境，操作者不能及时地获得培训老师的指导和规范性控制，且操作环境对新手来说具有一定的危险性；虚拟焊接为焊接操作者的培训提供了一种新的方式，使得受训操作者能够在较为逼真的虚拟焊接环境中进行焊接培训并脱离真实焊接环境的危险性[1]，好的虚拟焊接系统还能够记录下焊接操作者的操作过程、对焊接操作者的焊接进行评价并给出排名，以利于焊接操作者能够及时掌握自己焊接情况，根据系统反馈结果调整自己的焊接操作。

焊缝形状预测算法在虚拟焊接系统中扮演关键角色，直接决定了焊缝的预测效果并影响受训操作者的焊接体验。传统的焊缝形状预测算法多从焊缝形成的物理过程着手去预测焊缝的形状，主要有如下两种[2]：

1）对焊缝周围温度场进行模拟并使用有限元分析法预测焊缝形状

2）对焊接过程中的物理过程如融化、凝固、金属熔滴形状变化、保护气体扩散动力等因素进行模拟来预测焊缝形状

而实际的焊接过程涉及多重复杂的物理变化，如电子学、流体力学、材料学、热学等，要想精确地模拟焊接的物理过程是复杂而有难度的，所以这些算法都面临同样问题：焊缝形状的预测不够精确和算法时间复杂度大。

本文提出了将神经网络模型用于虚拟焊接焊缝形状的预测当中，能够避免对复杂物理变化过程的建模，并在焊缝形状预测精度上有大幅调高，也间接降低了算法的时间复杂度。

2 神经网络概述

3 焊缝形状预测算法

3.1 焊接过程分析

3.2 焊缝形状的描述

5 结论

本文提出了基于神经网络的焊缝预测算法，能够避免对焊接过程中复杂的物理变化过程的分析，这简化了建模的难度，也间接降低了算法的时间复杂度。神经网络通过大量的已有数据来训练，用训练好的神经网络预测得到的焊缝形状数据是建立在真实焊接数据基础之上的，具有较高的精确性。通过实验对比预测的焊缝形状和真实的焊缝形状，验证了本算法的有效性和可靠性。

参考文献：

[1] 黄俊，小平，徐少平.虚拟焊接仿真系统研究进展[J]. 计算机与现代化，2011（6）：1-2.

[2] 焦立新.焊接仿真技术应用与未来发展[J]. 航空制造技术，2008（5）.

[3] 王鸿斌，张立毅，胡志军.人工神经网络理论及其应用[J]. 山西电子技术，2006（2）.

[4] 唐万梅. BP神经网络网络结构优化问题的研究[J].系统工程理论与实践，2005（7）.

篇2

关键词：神经网络；医院预算；全面预算管理

全面预算管理主要是指全员参与、财务及经营收支全额纳入预算、预算全过程的管理。它最早产生于企业，先后在美国通用电器、通用汽车公司提出并应用，并随着企业的发展而日益完善。近几年在国内医院也得到了应用，全面预算管理的实施，促进了医院内部人与人、部门与部门间的了解与合作，使医院战略目标与预算得到落实。

一、国内外医院预算管理的对比

医院的预算管理，国内外差别较为明显。以澳大利亚为例，该国每年对公立医院实行全额预算补贴，支付形式是按病种结算。医院必须按照就诊人次和诊断的疾病种类来计算收费金额，而后同政府部门或保险公司结算，这一方式与医院为患者提供的实际服务项目及成本无关。因此，医院对医疗成本的控制十分重视，在保证医疗质量的前提下，想方设法减少药品、检查、检验及材料的成本，严格禁止患者进行重复检查。项目的预算要求非常具体，数据精确度也非常高。而国内，医院的收费是按服务项目收取，每项医疗服务由物价部门统一确定收费标准，这种收费模式，导致医院把主要精力集中在“创收”上。但随着我国医疗体制改革的推进，特别是目前已经试点的单病种、临床路径管理，很多项目也逐步向国外先进管理模式靠拢。从新《医院财务制度》中可以看出，医院独立性越来越强，对预算管理要求也会越来越高，医院内部预算管理将更加全面，这就需要医院预算管理要在精、细、准上下功夫。

二、对现有医院预算管理方法的分析

现行医院预算管理方法不够科学，很难达到精、准要求。为了求得预算值，实际工作中一般采用平均值法，表示公式为：项目预算=其中，i为拆分的某个子项目；x为上期预算；y为上期决算；n为项目拆分后的子项目总数；k为调整系数。该方法是以上期预决算作为基础参照，求得一个参考值。值得注意的是，上期预算和上期决算的合理性并不能得到保证，因此这个参考值是不准确量。为使参考值趋于合理，并符合一般项目预算变化率，通常需要经专家组综合评价后，进行部分校正，确定相对合理的调整系数，最终将预算参考值与调整系数的乘积作为本期预算。而确定的系数合理到什么程度，很难判断，只能靠经验，很容易出现预算偏差。传统预算编制方法主要有固定预算、增量预算、零基预算、确定性预算和概率预算。所有这些预算方法都是按照线性思维考虑，各有利弊，在医院部分预算项目管理中，也可能综合运用，但很难考虑到医院整体的综合性、复杂性，以及项目之间的相互影响力。因此，单靠人为估算不是科学的办法，在实际执行中存在许多不确定性，不能保证预算目标得以实现，无法满足医院精细化和全面管理的需要。而新型的神经网络预算方法基于非线性，有较高的复杂度，而且考虑了误差反馈校验。该方法应用到医院全面预算管理全过程，可以满足医院全面预算的精细化需求。

三、神经网络的特点

神经网络（NeuralNetworks）是20世纪80年代兴起的一种实用的多学科交叉处理技术，是模仿人脑行为特征、进行分布式并行信息处理的数学算法模型。它具有非线性和自适应的动态系统特征，这一处理方法依靠系统的复杂程度，通过调整内部大量节点之间相互连接的权重，从而达到处理信息的目的。神经网络有两大智能特性，即具有自学习和自适应调控的能力，可以通过预先提供的一组相互对应的输入——输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出目标结果，这种学习分析的过程通常被称为“训练”，就像人类一样，通过学习和训练，学习新技术、新方法，用于解决实际工作中的新问题。神经网络已经成为一种智能控制方法，广泛应用于生产、企业管理等多种社会实践中，进行预测、控制。

四、神经网络应用于医院预算管理的可行性

医院信息化建设的普及，给精细化管理提供了基础数据元，为全面预算的精准控制打下了基础。特别是部分医院建立了大数据中心、信息系统平台，可以直接通过接口采集各类原始数据。将相关数据进行模型化处理，采用神经网络算法，即可应用于预算管理的全过程。使用神经网络算法，仿人脑思考，使得预算计算方法更加科学，由过去的一般线性计算发展到非线性，增加了复杂度，与实际更趋一致。以人员工资支出为例，过去只作正常增资额，作线性处理，而现在可以把员工工资分成三部分，一是人员变动情况；二是基本工资正常增资，可使用人事信息，采用分段函数准确计算出下一预算周期的基础工资额；三是绩效工资，它处于比较复杂的非线性变化，因为要参考每月的实际工作量及医院收支变化，还要引入各种医疗因素的反馈信息，再加上医院上期数据对下期发展的影响因素等等。面对这种诸多因素的复杂影响时，一般算法很难进行合理处理，而采用神经网络算法，却可以解决。这只是列举了一个较为简单的例子，相对于人员工资支出，医院新建项目、新技术应用等的预算精确管理则更为复杂，需要考虑的因素也更多。针对医院全面预算中出现的一些不确定性和高度非线性因素的影响，神经网络的独特优点有了用武之地，它能够充分接近复杂的非线性映射关系，可以学习和适应不确定因素的动态特质，具有较强的容错性，此外，由于神经网络采用矩阵算法，可以进行快速的海量数据运算。

五、神经网络在医院全面预算管理中的应用

（一）神经网络的构成

神经网络一般包括三层：输入层、隐含层和输出层。针对医院全面预算，输入层可以是各种医院基本元数据以及医院综合运行指标，越细化越好。隐含层是神经网络的算法核心，是复杂的智能化处理的中间态，这对神经网络使用者来说是不可见的。输入层参数主要包括：科室基本情况，包括床位、科室人员、影响力等；患者基本情况，指本科室患者信息，如年龄、性别、职业等；疾病情况，包括ICD10疾病诊断、病程及入出院情况等；患者医保类型；检查、检验、治疗、手术等情况；科室请领的相关物耗等信息；科室设备使用情况；科室消耗的水、电、氧气等；门诊诊疗情况；输液用药情况；医院运行指标，如门诊人次、住院床日等；按账单类别分类的门诊、住院费用；人员工资成本；患者满意情况；其它各类指标（整个医院相关运行指标近百种）。输出层：包含单项目预算、患者医保预算、科室预算等各种收入预算、支出预算，涵盖医院全面预算涉及的各方面内容。

（二）神经网络的建设

决定神经网络拓扑结构的是隐含层（隐含层可能是多层）及其所含节点数，以及节点与节点之间的连接方式。要从零开始建设一个神经网络，首先要做的是确定隐含层和节点数，对应的活动函数的形式以及权重限制等。如果采用成熟的工具软件箱，将会大大节约调整时间，减少建设适应周期。数据从输入层到输出层的过程是一个从前向后的传播过程，后面节点的数值通过它前面相连的节点传递过来，然后把这个值按照各个连接权重的大小加权，输入活动函数再得到新的数值，继续传播到下面的节点。当节点的输出值与我们预期的值不同，也就是发生误差时，神经网络就要“学习”。学习过程如下：如果一个节点输出发生较大误差，那么就需要看这一误差是受哪些输入节点的影响而造成的，是不是受到了权重最高的节点的影响，如果是，则要降低这一节点的权重，同时升高其它节点的权重值。对那些降低权重的节点来说，也需要用同样的方法来进一步降低它前面的节点的权重。按照这样的做法把权重值进行调整，一步步向前传播，直到权重调整到输入节点为止。对训练的每一条记录都要重复这个步骤，用向前传播得到输出值，如果发生较大误差，则用此方法进行学习。当把训练的每一条记录都运行过一遍之后，便完成了一个训练周期。结合医院实际运作方式，一般一个训练周期定为一个月，要完成神经网络的训练可能需要很多个训练周期，至少要几十次，经常要经过上百次学习。神经网络学习次数越多，误差越小，未来的医院预算执行越准确。训练学习完成之后得到的神经网络就是相对完善的模型，描述了全面预算受医院基础变量影响的变化规律。

（三）误差校正

对于单输入、单输出神经网络模型，非线性系统可用如下差分方程表示：y(t+1)=f[y(t),y(t-1),…,y(t-k+1);x(t),x(t-1),…,x(t-k+1)]其中，y(t)、x(t)分别表示在t时刻的输出、输入变量，f()为未知的非线性映射，k为输入输出的系统阶次。针对医院预算实际情况，我们按上图中所示的神经网络模型，有n个医院基础信息和运行指标输入变量，m个预算种类输出变量，此非线性系统可用差分方程表示为：通常有两种方法，可以预测神经网络未来的输出，一是递推法，二是非递推法。由于神经网络结构相当复杂，建模难度极大，一般不采用非递推法。在此我们利用递推法，来预测神经网络未来d步的预算输出。

六、结束语

篇3

关键词：神经网络 应用 经济预测 改进

神经网络作为新时展最快的人工智能领域研究成果之一，在科学计算、自动控制等方面得到了成功的运用。近年来，我国学者们将神经网络运用于经济预测领域，并且不断地改进应用方法，使基于神经网络的经济预测系统更具效益。本文在此背景下，对神经网络经济预测的应用进行了研究，围绕经济预测的方法应用提出相应的改进建议，从而丰富了经济增长预测理论与实践。

一、神经网络经济预测的方法的概述

1.概念

神经网络，是对人脑或自然神经网络若干基本特征的抽象和模拟。从解剖学和生理学的角度来看，人脑是一个复杂的并行系统，他是由大量的细胞组合而成，这些细胞相互连接。神经细胞与人体中的其他细胞的关键区别在于，神经细胞具有产生、处理和传递信号的能力。在人工神经网络的发展过程中，对生物神经系统进行了不同模拟，提出了各种各样的神经网络模型，其中具有代表的网络模型有感知器神经网络、线性神经网络、BP网络、径向基函数网络、自组织网络。

2.特征

神经网络经济预测的方法不同传统的预测方法，它对经济系统里的多种因素进行分析，进行有效地多输入、多输出的经济预测数据。可以说神经网络经济预测的方法具有以下几种特征：其一，由于神经网络是由复杂的因素构成的，它的输入向量维数比较多。其二，经济系统数据具有很强的非线性，使得输入的向量各分量之间存在着复杂的耦合关系。其三，经济系统处在一个“黑箱”模型下，导致数据之间的相互影响不存在明确表达式的关系。神经网络也会随着时间的增长，数据呈现出增长的趋势。

3.优势

用神经网络进行经济预测相对来说比较准确。因为这种神经网络在计算量允许的范围内，可以很好地拟合任意多对多的映射关系，数据拟合的结果表明，系统拟合相对误差在0%—0.75%，比采取回归分析逼近效果好。此外，神经网络各层节点之间的联结权数及阈值恰好可以表达经济系统中各个因素之间相互交织、相互影响的强耦合关系.而采取多元回归模型。

往往只能引入少量耦合项以避免模型过于复杂而无法求解.因此，神经网络比传统的多元回归预测方法有更好的拟合能力和准确度。神经网络的方法是比较适合对经济预测的，因为它只需要少量训练样本就可以确定网络的权值和阈值从而预测出宏观经济发展趋势，计算简单、快捷、可靠。总而言之，神经网络经济预测方法具有显著的优势，是比较适合经济预测的应用过程的。

二、神经网络经济预测方法应用的改进

由于商业、政府和工业所产生的预测间题，其复杂程度越来越高，以致于现有的预测系统难于解决，这就要求我们的预测系统能够处理复杂度增加的问题，进一步扩展传统神经网络预测方法的能力，使得神经网络系统理论的不断发展和完善、新的神经网络预测方法的不断产生，使得神经网络预测模型更加实用化、现代化，会给商贸和工农业生产带来巨大的经济效益。以下是本人对神经网络经济预测方法应用改进的建议：

首先，我们要改进神经网络经济预测的过程。确定预测的目的，制定预测的计划。经济预测首先要确定预测的目的，从决策和管理的需求出发，紧密联系实际需要与可能，确定预测要解决的问题。预测计划是根据预测目的而制定的预测方案，包括预测的内容、项目，预测所需要的资料，准备选用的预测方法，预测的进程和完成的时间以及预测的预算、组织实施等。只有目的明确、计划科学的预测，才可保证预测的顺利进行。

其次，建立新的神经网络经济预测模型。经过求增长率再进行归一化的处理，在给出的以往的数据的增长率范围内，网络就可能不再陷入训练“盲区”。.当采用了足够年限的已知数据并将其增长率归一化以后，“被预测年”数据的增长率可能不再会大于那些“已知年”数据的增长率.则外延问题可以得到基本解决。

最后，对神经网络经济预测结果进行检验，减小误差。经济预测是立足于过去及现在的已知推测未来的未知，而过去和现在终归不是未来，预测结果和未来实际值不可能绝对相符，存在的差异就是预测误差。为了使预测误差最小化，检验结果通过试探性的反复试验来确定，预测准确度应尽可能进行外推检验。

三、总结

神经网络经济预测的方法相对于其他的经济预测方法，具有独特的、显著的优势，我们可以利用好其优势，从而有助于我们更好的对经济发展进行预测分析，从而把握好经济发展动向，为经济决策提供依据。因此，我们应当根据社会发展需要，不断改进神经网络经济预测方法的应用，使其效能最优化，为我国经济发展助力。

参考文献：

[1]陈健，游玮，田金信.应用神经网络进行经济预测方法的改进[J].哈尔滨工业大学学报，2006（06）

篇4

关键词：图像分类；深度学习；Caffe框架；卷积神经网络

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2016）35-0209-03

Research and Implementation of Image Classification Based on Convolution Neural Network

WANG Chao

（Information Engineering Institute，East China University of Technology， Nanchang 330013， China）

Abstract： The problem of image classification has been the core problem in computer vision. A good solution is developed by further study which can solve the problem of extracting image features in image classification. In order to learn image features efficiently， constructing the machine learning model with hidden layer as well as training a large number of image data will eventually promote the accuracy of image classification or prediction. This paper is intended as an in-depth Caffe learning framework to construct a small image data-base. The convolutional neural network provided by Caffe framework will make a training analysis of the data set and then extract the information of target image features. These can be used for the final prediction of the target image. Compared with the traditional image classification algorithm， the accuracy of the prediction will be greatly improved.

Key words： image classification； deep learning； Caffe framework； Convolutional Neural Network

S着计算机与互联网技术的快速发展，我们已经进入了一个以图像构建的世界。但是面临有海量图像信息却找不到所需要的数据的困境，因而图像分类技术应运而生。通过各种机器学习算法使计算机自动将各类图像进行有效管理和分类，但是由于图像内容包含着大量复杂且难以描述的信息，图像特征提取和相识度匹配技术也存在一定的难题，要使得计算机能够像人类一样进行分类还是有很大的困难。

深度学习是近十年来人工智能领域取得的重要突破，在图像识别中的应用取得了巨大的进步，传统的机器学习模型属于神经网络模型，神经网络有大量的参数，经常会出现过拟合问题，因而对目标检测准确率上比较低。本文采用卷积神经网络框架，图像特征是从大数据中自动学习得到，而且神经网络的结构深由很多层组成，通过重复利用中间层的计算单元来减少参数，在特征汇聚阶段引入图像中目标的显著信信息，增强了图像的特征表达能力。通过在图像层次稀疏表示中引入图像显著信息，加强了图像特征的语义信息，得到图像显著特征表示，通过实验测试，效果比传统的图像分类算法预测的准确度有明显的提升。

1 基于卷积神经网络的图像分类方法

1.1 人工神经网络

人工神经网络（Artificial Neural Network， ANN）是描述生物神经网络运行机理和工作过程的抽象和简化了的数学物理模型，使用路径权值的有向图来表示模型中的人工神经元节点和神经元之间的连接关系，之后通过硬件或软件程序实现上述有向图的运行[1]。目前最典型的人工神经网络算法包括：目前最典型的人工神经网络有BP网络 [2]Hopfield网络[3]Boltzmann机[4]SOFM网络[5]以及ART网络人工神经网络[6]，算法流程图如图1所示[7]。

1.2 卷积神经网络框架的架构

Caffe是Convolutional Architecture for Fast Feature Embedding的缩写[8]，意为快速特征嵌入的卷积结构，包含最先进的深度学习算法以及一系列的参考模型，图2表示的是卷积神经网络结构图。Caffe深度学习框架主要依赖CUDA，IntelMKL，OpenCV，glog软件以及caffe文件。本文使用的各个软件版本说明，如表1所示。

Caffe深度学习框架提供了多个经典的卷积神经网络模型，卷积神经网络是一种多层的监督学习神经网络，利用隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能，卷积神经网络模型通过采取梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练来提高网络的精度。卷积神经网络使用权值共享，这一结构类似于生物神经网络，从而使网络的复杂程度明显降低，并且权值的数量也有大幅度的减少，本文使用这些模型直接进行训练，和传统的图像分类算法对比，性能有很大的提升，框架系统训练识别基本流程如图3表示。

1.3 图像分类特征提取

卷积神经网络的结构层次相比传统的浅层的神经网络来说，要复杂得多，每两层的神经元使用了局部连接的方式进行连接、神经元共享连接权重以及时间或空间上使用降采样充分利用数据本身的特征，因此决定了卷积神经网络与传统神经网络相比维度大幅度降低，从而降低计算时间的复杂度。卷积神经网络主要分为两个过程，分为卷积和采样，分别的对上层数据进行提取抽象和对数据进行降维的作用。

本文以Caffe深度学习框架中的 CIFAR-10数据集的猫的网络模型为例，如图4所示，对卷积神经网络模型进行训练。CIFAR-10是一个标准图像图像训练集，由六万张图像组成，共有10类（分为飞机，小汽车，鸟，猫，鹿，狗，青蛙，马，船，卡车），每个图片都是32×32像素的RGB彩色图像。通过对数据进行提取和降维的方法来提取图像数据的特征。

2 实验分析

将猫的图像训练集放在train的文件夹下，并统一修改成256×256像素大小，并对猫的图像训练集进行标记，标签为1，运行选择cpu进行训练，每进行10次迭代进行一次测试，测试间隔为10次，初始化学习率为0.001，每20次迭代显示一次信息，最大迭代次数为200次，网络训练的动量为0.9，权重衰退为0.0005，5000次进行一次当前状态的记录，记录显示如下图5所示，预测的准度在98%以上。而相比传统的图像分类算法BP神经网络网络的收敛性慢，训练时间长的，网络的学习和记忆具有不稳定性，因而卷e神经网络框架在训练时间和预测准度上具有非常大的优势。

3 结束语

本文使用Caffe深度学习框架，以CIFAR-10数据集中猫的网络模型为例，构建小型猫的数据集，提取猫的图象特征信息，最后和目标猫图像进行预测，并和传统的图像分类算法进行对比，预测的准确率有很大的提升。

参考文献：

[1] 杨铮， 吴陈沭， 刘云浩. 位置计算： 无线网络定位与可定位性[M]. 北京： 清华大学出版社， 2014.

[2] 丁士折. 人工神经网络基础[M]. 哈尔滨： 哈尔滨工程大学出版社， 2008.

[3] McClelland J L， Rumelhart D E， PDP Research Group. Parallel distributedprocessing[J]. Explorations in the microstructure of cognition， 1986， 2.

[4] Hopfield J J. Neural networks and physical systems with emergent collectivecomputational abilities[J]. Proceedings of the national academy of sciences， 1982， 79（8）： 2554-2558.

[5] Ackley D H， Hinton G E， Sejnowski T J. A learning algorithm for boltzmannmachines[J]. Cognitive science， 1985， 9（1）： 147-169.

[6] Kohonenmaps T. Self-Organized Formation of Topologically Correct Feature Maps[J]. Biological Cybernetics，1982， 43（1）： 59-69.

篇5

关键词:RBF神经网络;训练方法;函数逼近

中图分类号:TP183文献标识码:A

1引言

RBF神经网络是近几年提出的一种新型的前向网络｡与应用广泛的BP网络相比,RBF神经网络不仅具有在任意精度下逼近任意非线性映射的能力,而且可以达到最佳逼近精度[1][2]｡RBF神经网络结构上具有输出-权值线性关系,训练速度快,这些优点给RBF神经网络的应用奠定了良好的基础｡但是,由于RBF神经网络本质上是一种局部网络,要得到良好的逼近性能,一般要增加隐节点数目,这无疑是以牺牲网络的计算速度作为代价｡本文提出了一种新型的广义RBF神经网络模型,将径向基输出权值改为权函数,采用高次函数取代了线性加权,从而大大改善了网络性能｡

2广义RBF神经网络模型

不失一般性,考虑多输入单输出归一化形式的广义模糊RBF神经网络,广义RBF神经网络结构如图1所示｡网络共分四层｡定义以下参数:式中,Ψk为径向基函数,一般取高斯函数｡

第二层:对基函数输出值进行加权｡

第三层:归一化处理｡

第四层:计算总输出｡

当fk(x)时,其作用类似于常规RBF神经网络的输出层权值｡随着fk(x)的不同,输出将不单纯是各基函数节点输出的超平面,也可能是超曲面｡与一般的RBF神经网络比较,这种结构主要是将径向基输出权值改为权函数,可采用高次函数取代线性加权,从而改善网络性能｡详细的分析见后文的实例仿真｡

如果基函数具有相同的指数和宽度,也就是说当lk1=lk2=…=lkn=2且σk1=σk2=…=σkn=σk时,广义RBF神经网络退化为常规的RBF神经网络,可见常规的RBF神经网络是广义RBF神经网络的特例｡计算技术与自动化2007年3月第26卷第1期党开放等:一种新型的广义RBF神经网络及其训练方法

3广义RBF神经网络的学习算法

广义RBF神经网络比单纯的RBF神经网络具有更多的参数,其学习相对来说就会更为复杂｡总的说来,学习方法有两种:第1种方法是全调节的,类似于BP网络的反向递推,也就是说按照使得代价函数(通常取误差平方和)最小的原则,调整所有的参数,本质上是一个非线性优化问题｡第2种方法,采用模糊聚类和专家知识预先优化网络前几层的参数,包括隐节点数目N､中心向量Ck､宽度σk,指数lk等,而以最小二乘方法在线优化fk(x),k=1,2,…,N｡第一种方法收敛速度慢,可能存在局部极值,只能够离线进行,可以应用于模式识别等领域;第二种方法计算量小,可以在线调节,适合于控制系统等对于实时性要求高的场合,但是一般需要系统的专家知识｡本文介绍第2种方法｡

广义RBF神经网络按照如下步骤进行学习:

1) 确定合适的网络隐节点数｡增加网络的隐节点数目,可以提高网络逼近精度,但同时增加了网络的学习时间｡一般初始时选取比较少的网络隐节点数目｡

2) 根据网络隐节点数选取合理的φk(x)参数,包括中心参数ck和宽度参数σk｡

3) 取vk=1,确定fk(x)的参数｡在下文中,给出了2维输入网络fk(x)参数的计算方法,多维参数的推导类似｡

4) 考核误差,如果小于设定误差,则训练结束;否则回到1) 增加网络隐节点数目,重复上 述步骤｡

在以上步骤中,最关键的是网络输出层权函数参数的调整,下文着重讨论｡

4广义RBF神经网络输出层权函数参数的调整

以x为二维向量(x1,x2)的情况进行分析｡

权值调整的目的是使得网络的输出能够满足误差平方和

最小,即E=min,下面分为三种情况进行讨论｡

a.fk(x)为常数项的情况

此时,fk(x)=wk,相应的误差平方和为

对权值求偏导数,可以得到以下N元一次方程组

b.fk(x)为网络输入1次幂函数的情况

此时,fk(x)=wk0+wk1x1+w k2,x2,相应的误差平方和为

若使上式最小,可以得到以下3N组方程

c.fk(x为网络输入2次幂函数的情况

此时,,相应的误差平方和为

推导过程与前类似,此处从略｡

由以上可以看出,fk(x)取为网络输入的高 次多项式,使得网络具有更加优良的 逼近性能的同时,保留了输出层权值的线性性质,从而可以采用最小二乘等方法优化权值｡

5参数选取对网络性能的影响

取期望函数为yd=sin(πx1)cos(πx2)x1∈[-1,1],x2∈[-1,1](15)考查广义RBF神经网络的函数逼近能力｡1) φk(x)函数参数σ对仿真结果的影响设φk(x)中心在参数空间内均匀分布｡由于参数空间的范围相同(都为2),且训练点取n2个(n=2,3,4),因此φk(x)中心的间隔在区间[x1,x2]也都相同,为Δx=2/(n-1)｡记相对宽度为ne,则有ne=σ/Δx｡图2给出了ne对系统输出误差的影响曲线,误差都采用441组非训练点进行计算｡从图中可以看出ne取值范围为0.6~1.8(即σ取0.6Δx~1.8Δx)时,网络输出误差比较小｡

2)fk(x)幂次对仿真结果的影响

图3为采用隐节点数目为9的网络,121组训练数据,φk(x)函数中心均匀分布,σ=1.2时得到的网络输出 曲面和误差曲面,其中误差曲面采用441组非训练点计算｡从图中可以看出,在网络隐节点数目相同的情况下,随着fk(x)幂次的升高,网络的逼近性能越好｡

图2参数σ对误差的影响

表1为采用不同幂次和不同隐节点数目时的网络训练时间和网络输出误差对比｡网络隐节点数为N,网络训练时间复杂度为O(N3)｡从表中可以看出,在隐节点数目相同时,随fk(x)幂次的增高,训练时间略有增加｡在fk(x)为2次幂函数时,网络取9个隐节点时的网络输出误差和fk(x)为1次幂函数时,网络取16个隐节点时的网络输出误差以及fk(x)为0次幂函数时,网络取64个隐节点时的网络输出误差相当,但是计算时间大大减少｡可见,提高fk(x)幂次,可减少网络隐节点数,缩短网络训练时间｡表1不同幂次和隐节点数时的网络输出误差幂次隐节点数目计算时间(ms)

6结论

篇6

在当前我国电信市场激烈的竞争环境中，客户成了电信企业争夺的资源，客户关系管理（Customer Relationship Management，简称CRM）由于其能够帮助企业更好地了解客户并增加盈利，在电信企业中广泛应用。客户细分作为CRM的核心问题日益受到人们的关注。客户细分是指将市场分为具有不同需求、特征或行为的不同购买者的过程。客户细分的主要目的[1]是：①预测客户行为，为企业和客户之间交流提供了基础，使得企业客户为客户提供更好的服务、防止客户流失；②通过对客户合理的类别划分，分析出当前以及预期客户群的区段，判断不同区段的突出特点，准确认识客户的总体构成，对客户的服务和营销更具针对性。

树形算法是最常用的CRM客户细分技术，研究分析各树形算法在对电信客户数据进行细分挖掘时的不同表现，找到客户数据细分效果相对最好的算法，对于提高CRM客户细分技术有推动意义。

1.3 平衡随机森林BRF算法

平衡随机森林是在随机森林的倾斜数据处理问题上，Chen （2004）[7]提出的一种改进算法。BRF是在随机采样输入数据时，使多数类和少数类的数据量相当，在处理大型数据时较为有效。

1.4 BP神经网络

BP神经网络[8]的拓扑结构（见图1）由一个输入层、一个输出层、一个或多个隐藏层组成，单元之间由权重w相连接，每个单元有一个相关的偏倚。网络的训练过程为数据从输入层通过隐藏层到输出层前向传播，在输出层进行评估后将错误反馈回输入层，在此过程中调节网络节点连接权重和偏倚，使得网络的误差平方和最小。最终训练完成的神经网络模型用作树形模型的对照组。

2.2.1 决策树

⑴ Gini指标计算优化

在决策树[9]CART的生成中，Gini指标因为需考虑所有子集划分，所以其计算量随着特征值集的增加呈指数量上升。显然，缩小值集空间能显著降低运算复杂度，但当特征的值个数较少时（如<10），去除前1/3会影响到最优子集的选择，但随着值个数的增加，这种影响会越来越不明显。另外，当每个值出现的次数相对平均时，缩小值集空间会明显影响到最优子集的选择，而当次数差异较大时，去除出现次数非常小的值几乎不会影响到最优子集。因此，为优化Gini指标的计算，对值集空间进行缩减，方法：对于值个数小于10的特征，仅去除分布小于1%的值；而对值个数大于10的特征，去除值分布排名前1/3或其分布小于1%的值。

⑵ 树剪枝

由于前期的数据处理已经对数据中存在的噪声进行了平滑，所以不再采用决策树剪枝。

2.2.2 平衡随机森林

平衡随机森林BRF算法中主要有两个参数需要确定，一为森林规模，即森林中树的数量；二为树节点生成时随机特征集的大小。

⑴ 森林规模

通过对于BRF在不同的数据量和森林规模下的性能评估如图2所示，得出本次BRF算法效果最优值在森林规模scale=610时取到，因此将森林规模设定为610。

⑵ 树节点生成时随机特征集的大小

通过对不同的随机特征集数量设置对BRF挖掘分类效果的影响分析，N代表随机特征集个数，得出：随着随机特征集设置数量的增大，BRF效能也稍有提高，但相应地，森林的生成时间也被明显延长。另外，当随机属性集较大时，算法挖掘效果提升不明显，但森林生成时间却被极大地延长。因此，为了平衡时间与算法挖掘效果，将随机森林中的树节点生成属性集个数设定为5。

学习率的设定对神经网络的建立非常重要，如果学习率太大，可能会在不适当的解之间摆动；反之如果学习率太小，学习将进行得过于缓慢。经验法则是利用训练集迭代次数t，将学习效率置为1/t大小。图3为在均衡样本下学习率分别为1.0和1/t时神经网络收敛比较。4.5是多叉分裂树，而CART为二叉分裂树）不同而带来的性能影响外，还可能由于文本为平衡CART在Gini指标的计算中的时间复杂度问题而进行的算法优化，造成了CART分类效果的降低。神经网络性能最低，这可能是由于其训练周期不够造成的。神经网络在数据量巨大时其训练缓慢是一个不容忽视的问题。

3 结束语

篇7

关键词 小波分析 神经网络 模拟电路 故障诊断

中图分类号：TN710 文献标识码：A

0 引言

模拟电路故障诊断是近代电路理论的一个前沿领域，模拟电路中具有很多的非线性元件，输入输出响应不像数字电路，都是连续量，电路元器件的参数具有离散性，这些客观条件都给故障诊断带来了很大的困难。

随着科技的进步，神经网络以其良好的学习和泛化能力成了研究者注意的重点，越来越多地被利用到故障诊断中。文献①提出了对故障信号进行小波变换预处理的单故障诊断方法。现有软故障诊断研究中，大多数是单故障诊断，针对电路中的多故障诊断所做的研究并不多见，而现在大规模的集成电路的出现，要求我们的改进方法越来越全面，本文提出了一种可以用于单软故障和多故障诊断的改进方法。我们首先对电路的各元器件进行灵敏度分析，②然后对所得到的响应数据进行小波分析，提取各频带信号的能量特征和系数序列的绝对值之和作为所研究的电路的特征信号，经归一化处理和向量关联后输入神经网络进行训练，然后进行性能测试，从实验反映的结果来看，该方法具有有效性和可行性。

1 小波理论与小波函数

2 故障特征提取和处理

2.1 多分辨分析故障特征提取

多分辨分析的基本原理就是构造一组函数空间，并且其闭包则逼近，其中所有的函数都是所构造空间的标准化正交基，形象点说，应用到特征提取中，就像人眼看待事物一样，如果距离物体比较远，即尺度较大，则视野宽、分辨能力低，只能观察事物的概貌而看不清局部细节；若距离物体较近，即尺度较小，那么视野就窄而分辨能力高，可以观察到事物的局部细节却无法概览全貌。利用多分辨分析的优点，我们用Mallat算法提取各频带的故障信息，由于在模拟电路中，软故障信号的变化是十分微小的，而我们要很细致的反映信号的变化，我们就只能依靠高频分解的部分所得反馈信息，所以我们将故障信号的各层系数序列进行绝对值求和，将所得到的值按尺度顺序排列，构成一组反映电路故障的特征向量。④

2.2 能量分布特征提取

（1）信号采集与提取特征。根据所选电路，利用Pspice10.5仿真软件，对电路进行模拟仿真，选择最佳的测试点（本文案例选取输出节点为测试点），针对各种故障，提取数据，尔后对所得数据进行小波分析，用上一章所述方法，得到我们所需的特征向量。

（3）故障诊断。对于有故障的电路，我们用实际测量的信号，经特征提取-归一化处理-特征关联系列处理之后，输入我们已经训练好的神经网络，根据所对应的故障状态，我们就可以定位故障元件。

4 故障诊断实例

为了验证本文方法在诊断时的有效性和收敛速度的快慢，我们选取图2所示电路进行仿真实验。各元件的值如图标示，由于元件都具有容差，在本电路中我们选取电容容差为10%，电阻值容差为5%。对电路先进行灵敏度分析，选取对电路性能影响较大的元件为研究对象。

5 结束语

本文采用了基于小波变换各频带的系数序列的绝对值之和和能量特征归一化预处理的小波神经网络信息融合的新方法对模拟电路故障进行了诊断。从诊断实例我们可以看出，样本信号经过这种预处理后，剔除了信号中的冗余信号，有效减少神经网络的输入节点和隐层节点的个数，从网络的规模上有所减小，降低计算的复杂度，实验结果表明该方法具有诊断速度快，诊断准确率高的特点，并提高了辨识故障类别的能力。

注释

① 陈炜，冯玉光.一种基于小波神经网络的故障诊断方法[J].电子工程师，2005.31（8）：67-70.

② 刘美华，彭良玉.基于小波分析和信息融合技术的故障诊断[J].微电子学与计算机，2009.26（1）：166-168.

③ 禹旺兵，彭良玉，禹恒州.基于小波分析和神经网络的模拟电路故障诊断方法[J].微电子学与计算机，2007.24（7）：43-46.

④ 姚俊华，李迅波.模拟电路软故障诊断方法的研究[D].西安：电子科技大学，2010.

⑤ 秦志强，黄继达，王晨宇，郑标. MATLAB结合PSPICE 在模拟电路故障特征提取中的应用[D].江苏：中国矿业大学，2009.

⑥ 贾新章，郝跃，OrCAD/PSPICE实用教程[M].西安：西安电子科技大学出版社，1999：118-128.

篇8

【关键词】信用风险 专家方法 信用风险评估模型 神经网络模型

一、前言

在全球金融危机、国内政策支持力度加大的背景下，河北省小额贷款公司如雨后春笋般快速发展。小额贷款公司在其发展和运营过程中，不容忽视的信用风险也开始不同程度的显现，在“区域化运作”、“只贷不存”的市场定位和政策约束的影响下，小额贷款公司面临的信用风险必然高于其他金融机构，而小额贷款公司目前的信用风险评估[1]缺乏科学性、合理性以及针对性，还没有形成与自身运营特征相适应的信用风险预警及控制方法。以实现股东的预期收益和政府政策为目标，结合小额贷款公司实际的运营特点，运用科学、有效的预警方法，降低违约风险，控制信用风险成为现阶段小额贷款公司面临的问题。加强小额贷款公司信用风险管理，对于集合民间资本、有效配置金融资源、完善河北省金融市场结构、细化金融市场、促进金融改革深化均具有积极意义。

二、神经网络算法

神经网络[2]最早是由心理学家和神经生物学家提出的，旨在寻求开发和测试神经的计算模拟。神经网络是一组连接的输入/输出单元，其中每个连接都与一个权值相关联。在学习阶段，通过调整神经网络的权值，使得神经网络模型可以预测输入样本的正确性来学习。神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。

三、实证研究

（一）样本数据

选取大连市36家上市企业的2012年底的公告数据作为样本来源，主要因为上市公司的透明度较高，数据容易获得，并且能够保证实验的客观和真实性。

按照小贷公司提供的企业信贷偿还状况， 将这36家企业分为正常和违约（即不能如期偿还贷款的企业）两类，设定信用等级0.1～1即为正常，小于0.1即为违约。选择28企业作为训练集， 其中正常和违约企业各为14家， 剩下8家企业， 除了留2家作为应用实例外， 全部作为测试集， 测试集中的正常和违约企业各3家。

（二）模型修正

1.初始输入的确定。由于输入初始值对学习是否达到局部最小和能否收敛关系很大，有必要对输入的初始值进行预处理，即归一化处理。

2.网络层次的选定。网络层次的增加可减少各隐含层单元总个数，同时使学习过程变得更容易，但是也必然会增加网络的学习时间，因而三层神经网络就能构成所需要的复杂判别函数的学习和应用。

3.隐含层节点数确定。

4.算法的改进。选用附加动量法，使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。

该方法是反向传播方法的基础上在每一个权值（或阀值）的变化上加一项正比于前次权值（或阀值）变化量的值，并根据反向传播法来产生新的权值（或阀值）变化。

运用BP神经网络模型进行训练时，误差梯度的变化刚开始变化较大，随着训练次数的增加误差的梯度变化逐渐趋于平稳且较小，并且学习速率不断的增大了，也即随着学习次数的不断增加，模型的系统误差值越来越快的接近期望误差值。

四、结果及分析

通过得到训练集的仿真学习结果，误差值已经很接近于设定的误差值。需要进行下一步的模型测试，加强模型的准确性。

为了测试BP神经网络模型训练所得学习仿真结果，运用测试集，对测试集数据进行拟合运算，对拟合度结果进行分析，实际输出的误差值很接近于期望误差了。也说明了根据训练集学习得到的BP神经网络模型是适用于信用风险评估的，说明建立的BP网络模型能够达到一个较为准确的预测功能。输出结果符合本次模型对信用评估的正常和违约的区间设定，足够判断企业的信用实际情况，也充分说明了模型对实际应用信用风险评估的可行性。

五、结论

本文通过建立采用的三层BP网络结构，选用网络结构输入层节点数×隐含层节点数×输出层节点数为5×5×1，学习算法上采用取学习因子为0.10方法改进评估模型的训练效率，使得模型的误差较近的趋于设定的期望误差。通过这种模型进行信用风险评估，弱化了信用指标权值确定的人为因素，提高了评估过程的科学性和评估结果的准确性。充分说明了神经网络模型应用于构建小贷公司信用风险评估的极大适用性。

参考文献：

[1]黄晓梅，小额贷款公司信用风险的控制与防范，企业经济，2012年第11期

[2]张滨等，商业银行小额贷款风险评估模型研究，市场纵横，2011年5月

[3]牛润盛，区域性金融风险预警的神经网络模型研究，吉林金融研究，2013年05期

基金项目：

1.河北省科技厅 《基于数据挖掘技术的河北省小额贷款风险预警研究》（13210329）

2.保定市科技局 《基于数据挖掘的银行贷款风险预警系统研究》（13ZG004）

篇9

【关键词】故障预测 准确度 智能预测算法 支持向量机

1 引言

故障预测是比故障诊断更高级的维修保障形式，它以当前设备为起点，对设备将来可能出现的故障状态或故障时间进行预测并预先消除故障，这对于减少工作量和维护费用具有重要的意义。而如何提高故障预测准确度就成为故障预测技术向前发展的关键问题。

提高故障预测准确的方法有很多，从故障预测整个流程来说，就可以从数据的准确度、数据的预处理、故障特征提取方法的改进以及智能预测算法的选择这四个方面来进行提高。这四个方面中，预测方法的优劣对故障预测效果的提升具有重要的作用。因此，本文主要从智能预测算法方面进行分析和研究，介绍了一些常见的智能预测算法及其应用情况，并重点介绍了比较有前景的支持向量机算法的一些基本问题和改进的方向。

2 常见的智能预测算法及其应用

2.1 专家系统及其应用

专家系统主要用于那些没有精确数学模型或很难建立数学模型的复杂系统，特别在菲线性领域被认为是一种很有前景的方法。李茂林、张晶等在充分分析某自行火炮的电气系统的失效模式与故障机理的基础上，开发了电气系统故障综合诊断专家系统，提高了保障人员解决复杂电气系统问题的能力。但专家系统的开发需要大量原始积累，其标准没有一个统一的规范，这可能导致在综合各个专家知识时存在偏差和失误。专家系统的应用较早，在近几年这方面的成果不多。

2.2 神经网络及其应用

神经网络主要以两种方式实现预测功能：一是以神经网络作为函数逼近器，对设备工况及其参数进行拟合预测；二是考虑输入输出间的动态关系，用带馈连接的动态神经网络对国产或工况参数建立动态模型进行故障预测。神经网络具有较强的非线性映射能力，能逼近任意非线性函数。在故障预测方面得到了广泛的应用，利用递归神经网络对半导体蚀刻设备进行了故障预测，预测结果的准确度达到了90%。利用RBF的非线性建模能力，在某鱼雷保障设备的关键点建立网络预测模型，得到了较好的预测效果。但神经网络同样也有一些缺点，如网络结构大多需要靠经验确定；容易出现过学习和易限于局部最小点；训练样本需求量大等。

2.3 支持向量机及其应用

支持向量机（SVM）是根据统计学理论提出的一种机器学习算法。它具有强小样本学习能力和强泛化能力，可以很好的克服局部极小点、维数灾难等过学习问题。现在的设备越来越复杂，导致样本的获取变得更加困难，和神经网络相比，支持向量机的小样本学习能力就显得更加突出。由于支持向量机具有上述的优点，其相应的算法和改进的算法得到了广泛的应用。田干等将支持向量机和最小二乘支持向量机都运用到液体火箭发动机参数预测问题，预测精度都很高，通过对比两种方法的预测结果，发现前者的预测结果好于后者，但后者的训练时间远远小于前者。利用支持向量回归机分为两个步骤对轴承的剩余寿命（URL）进行预测，预测结果和轴承的实际剩余寿命基本一致，具有很好的预测效果。

3 支持向量机预测算法基本问题及改进方向

3.1 支持向量机预测的主要问题

支持向量机在使用的过程中主要，对其性能有重要影响的参数包括惩罚参数C，核函数及核参数的选取。C用于控制模型复杂度和逼近误差的折中，C越大则对数据的拟合程度越高，学习机器的复杂度就越高，容易出现“过学习”的现象。而C取值过小，则对经验误差的惩罚小，学习机器的复杂度低，就会出现“欠学习”的现象。当C的取值大到一定程度时，SVM模型的复杂度将超过空间复杂度的最大范围，那么当C继续增大时将几乎不在对SVM的性能产生影响。针对上面支持向量机预测的主要问题，很多学者也进行了深入细致的研究，很多模型参数选取的方法被提出，并应用到实例中，并且都提高了预测的准确度。主要有穷举法、交叉验证法、梯度下降法、网格搜索法、遗传算法优化、粒子群算法优化（PSO）。上述方法中，穷举法、交叉验证法因其操作简单被广泛应用，但是对于参数较多的情况来说，它们都有着计算量大，速度慢，效果不好等缺点。梯度下降法比前两种方法在速度上有了很大改善，对其初始点要求较高，而且是一种线性搜索法，因此极易陷入局部最优。网格算法的优点在于可以并行处理，而其缺点为计算量巨大。遗传算法具有鲁棒性强不容易陷入局部最优，但是其操作比较复杂。粒子群算法则存在易于陷入局部最优导致的收敛精度低和不易收敛等缺点。

3.2 支持向量机预测方法的改进

前面也提到了支持向量机预测精度提高面临的主要问题，针对这些问题本身，可以得到其改进的一些方向。主要可以分为四个方面：一是对现有模型参数选择方法的改进；二是针对现有模型参数选择方法的缺点，将其进行组合；是针对具体问题建立新的核函数或者将现有的核函数进行组合；三四是制定一套通用性比较好的标准化的模型参数确定方法。

现有模型参数的选择方法中，都有相应的缺点，克服其缺点，提出相应的改进方法。这对于提高模型的预测准确度定会有所帮助。由于参数的选择范围较大，在多个参数中进行盲目搜索最优参数的时间代价较大，且很难得到最优参数。为此，田海雷等提出一种基于改进人工鱼群算法（AFSA）的支持向量机（SVM）预测算法。对AFSA进行改进，并使用改进算法优化 SVM。实验结果表明，与遗传算法、粒子群优化算法和基本 AFSA 优化的支持向量机相比，预测精度得到了很大的提高；李文元等将粒子群算法和最小二乘支持向量机算法相结合，采用PSO算法优化LS-SVM的参数，克服了人为参数选择的盲目性，在全局优化与收敛速度方面具有较大优势。经PSO算法优化后的LS-SVM应用到通信设备的故障预测中，预测精度和运算速度都得到了提高，具有较好的有效性和可行性。

组合模型参数选择方法，充分发挥每种方法的优点，克服其不足。这对提高模型的预测准确度肯定也会有很大的提高。如AFS-ABC算法，用于组合优化LS-SVM的参数。该算法将鱼群算法AFS简化模型中人工鱼的寻优更新方法引入到蜂群算法中，以互补优势、互克不足，以某航空电子系统电源模块的故障预测为例验证了AFS-ABC算法较好地改善了LS-SVM的预测精度。

针对不同问题，选择不同的核函数对于预测结果肯定会有所不同，可以根据实际的需求，建立新的满足核函数要求的核函数。通过查阅数据库，组合核函数或建立新的核函数进行设备故障预测的相关文献很少，但在故障诊断方面已经得到了相关的应用。从故障诊断到故障预测是一个连续的过程，在故障诊断方面的应用也预示着在故障预测方面也会有所突破。

4 结束语

本文主要介绍了几种常见的智能预测算法及其应用情况，重点介绍了支持向量机预测算法的一些基本问题，针对其预测算法的基本问题，提出了一些改进的方向。支持向量机作为智能预测算法中的一种，具有明显的优势，因此，对其理论上进行分析，应用上加以拓展，这对于提高设备的预测准确度具有重要的作用。总的来说，在提高预测准确度方面，支持向量机是一种比较有前景的智能预测算法。

参考文献

[1]Liu C S，Hu S S，Intelligent Nonlinear Fault Diagnosis based on State Estimator[J].Control and Decision，2005，20（05）：557-561.

篇10

基金项目:甘肃省自然科学基金资助项目（1014RJZA009）；甘肃省教育厅硕士生导师基金资助项目（0803-07）。

作者简介:王燕（1971-），女，甘肃兰州人，副教授，硕士，主要研究方向：模式识别、图像处理、智能信息处理； 公维军（1987-）,男，甘肃张掖人，硕士研究生，主要研究方向：模式识别。

文章编号:1001-9081（2011）07-1822-03doi:10.3724/SP.J.1087.2011.01822

（兰州理工大学 计算机与通信学院， 兰州 730050）

（）

摘 要:提出了一种基于双阈值的两级级联分类器的人脸检测加速方法。该方法首先应用Gabor滤波器提取经模板匹配保留的似人脸样本特征，经主成分分析（PCA）降维后的特征作为第一级BP神经网络输入进行检测，在输出端应用双阈值对人脸/非人脸进行粗检测，然后把介于双阈值之间的人脸/非人脸模块作为第二级AdaBoost算法设计的输入并再次进行精检测，从而在提高检测速度的同时达到提高检测率和降低误检率的目的。实验表明，应用双阈值进行级联分类加速检测后，该方法的检测精度要优于基于简单阈值的分类器。

关键词:人脸检测；双阈值；分类器；级联；加速

中图分类号:TP391.4文献标志码:A

Accelerated algorithm of face detection based on

dual-threshold cascade classifiers

WANG Yan，GONG Wei-jun

（School of Computer and Communication, Lanzhou University of Technology, Lanzhou Gansu 730050, China）

Abstract: The paper proposed an accelerating way of face detection based on dual-threshold cascade classifiers. First, it applied Gabor filter to extract the face-like features that were retained by template matching, then put eigenvectors extracted by the way of Principal Component Analysis （PCA） into the BP neural network as first classifier, then used dual-threshold to decide face or non-face on output end, and put the face or non-face of midway between up and down threshold into the AdaBoost classifier as the second classifier to decide. In this way, it can improve the detection rate and reduce the false rate while speeding up the detection speed. The experimental results prove that the precision of cascade classifier of face detection based on dual-threshold is superior to the classifier of single threshold.

Key words: face detection; dual-threshold; classifier; cascade; acceleration

0 引言

人脸作为人类视觉中常见而复杂的模式，它所表现的信息在人与人的交流及人机交互领域都有着重要的意义。对人脸进行检测在安保视频监控，目标身份检测、门禁系统、智能人机接口和侦查犯罪等诸多领域都有着广泛的应用背景。人脸检测可描述为对一幅给定的图像（静态或者视频），采用一定的方法和策略对其进行搜索以确定其中是否含有人脸以及人脸在图像中出现的位置。

人脸是一类非刚性的自然形体,虽然具有很强的共性,但由于个体表情、光照、遮掩以及成像角度等因素的影响,使得人脸具有比较复杂而细致的模式变化。如果能够很好地提取关键特征及设计良好的分类器，将为解决后续跟踪识别及相似的复杂模式检测问题提供有益的指导,所以人脸检测是当前模式识别领域的一个热点研究课题。

之前不少学者提出了各种综合算法以及一些改进算法，Rowley等人［1］提出了使用神经网络算法设计的人脸检测模型，Viola等人［2］等人提出了用简单特征训练级联人脸检测器的AdaBoost方法，这之后又有学者在此基础上提出了改进算法，如Lienhart等人提出的扩展特征的旋转人脸检测［3］、支持向量机［4］等。还有学者提出各种模型算法，如肤色模型的人脸检测［5-6］等。上述基于单一分类器的人脸检测在一定程度上提高了检测精度，但是由于自身特点的局限性，并且分类阈值的单一性等造成了进一步提升精度和降低报警率的困难。本文通过级联分类这种粗细检测的原则，提出了一种基于双阈值的级联分类器的加速人脸检测方法。与以往级联的方法不同，本方法结合基于知识与统计的方法［7］，先应用模板匹配将大量背景去除，只将其中很少的似人脸送入第一级BP神经网络构成的分类器进行双阈值初检，将介于上下阈值的人脸/非人脸送入应用Haar特征的AdaBoost算法的第二级分类器进行精确判别。实验证明该方法能够有效提高检测率，降低误检率并提高检测速度。

1 两级分类器的构建

1.1 基于Gabor小波的BP神经网络分类器

1.1.1 Gabor小波特征提取

Gabor小波变换（加窗傅里叶变换）由于其小波核函数具有和人脑大脑皮层简单细胞的二维反射区相类似的特性，使其在空间频率、方向选择及空间位置的局部信息上有着良好的采集和分辨能力，因此在以生物学和视觉特性为背景的图像学和人脸检测等多方面得到了广泛的应用。

二维Gabor滤波器函数形式为：

Gj（w）exp（－）［exp（ikjw）－exp（－）］（1）

其中：kj,φuu・,w（x,y）；δ为高斯窗口的尺度因子，控制滤波器的带宽和尺度；φu与ωv控制滤波器的调制方向和频率。只要选择合适的δ、φu和ωv，就可以使Gabor小波滤波器构成Gabor滤波器组来一同作用于图像，从而实现目标图像的Gabor小波分解，得到我们所要的特征。在本文中通过检测窗口与Gabor滤波器组卷积即可得到我们所要提取的特征。

1.1.2 BP神经网络

BP神经网络是一种基于误差修正学习规则的网络，它实现一种由输入到输出的非线性空间的一种映射，它的模型一般由输入层、隐层、输出层组成，隐层可以由一层或多层组成。该算法学习的目的是对网络的连接权值进行调整，使得对任意输入都能得到所谓期望的输出［8］，它采用了优化的梯度下降算法，直到调整的误差满足需求为止。

1.2 基于AdaBoost算法的人脸检测分类器

1.2.1 Haar特征模板和积分图像

应用AdaBoost学习算法的特征级联人脸检测方法是由Viola和Jones提出来的，该方法采用一种“积分图像”的表示方法，能快速从人脸中计算出所用到的人脸特征。

Haar型特征是Viola等人提出的一种简单的矩形矩阵。Haar型特征的值是指图像上两个或者多个形状大小相同的矩形内部所有像素灰度值之和的差值。这些以图像灰度值为自变量的矩形特征在边缘检测方面有着很好的表现能力，对人脸脸部的各种特征有很好的提取和编码能力,检测速度很快。

Haar型特征的计算是通过引入积分图像实现的，见图1。对于一个灰度图像I，它的积分图像i的定义为图像中（x,y）点左上部分所有像素点的累加：

I（x,y）∑x′≤x,y′≤yi（x′,y′）（2）

图1 积分图像

这时，1、2、3、4的积分图的值分别为A、A+B、A+C、A+B+C+D,D点的矩形特征可以通过4+1-（2+3）计算得出，这样，只要对图像遍历一次，就可以得到积分图，就可以在恒定的时间内得到任意尺度下的图像的特征。

1.2.2 AdaBoost学习算法

AdaBoost学习算法选择少量而又非常重要的矩形特征来构造一系列弱分类器，然后将这些弱分类器级联起来构成一个强分类器。算法通过选择最能区分正负样本的矩形特征。对于每一个特征，弱分类器给定一个最优的分类函数的阈值，使得最少的样本被错误分类。一个弱分类器hj（x）包含矩形特征fj，阈值θj和用于控制不等式方向的pj：

hj（x）1, pjfj（x）≤pjθj

0, 其他 （3）

具体学习算法如下：

设（X1,Y1）、（X2,Y2）、…、（Xn,Yn）为具体输入的图像，用Yj0,1来标记正负样本，T为循环次数。

1）初始化权值w1，对正样本（Yj1）和负样本（Yj0）有I1/（2m），1/（2n）。

2）当t1,2,…,T时:

①标准化权值，wt,i

②对每一个特征j,训练相应的分类器hj使该分类器对该特征进行分类，误差为εj∑Tt1wt|hj（x）－yi|。

③选择最小误差分类的分类器。

④更新权值wt+1,twt,jβ1－eit，若Xi被正确地分类，则ei0；反之，ei1,βt（1－ei）/t。

⑤最终的强分类器为：

h（x）1, ∑Tt1αtht（x）≥∑Tt1αt

0， 其他 （4）

其中αtlb （1/βt）。

2 基于双阈值的级联分类器的加速算法

2.1 系统构造框架

为了解决基于传统的检测方法中无论是单分类器还是级联分类器均由单一阈值造成漏检与误检之间的矛盾，本文在兼顾速度的同时通过利用双阈值设置检测缓冲区，达到提高检测率与降低误检率和漏检率的目的。具体流程如图2所示。

图2 人脸检测系统框架

2.2 样本选取和图像预处理

该系统所用的人脸训练样本来自MIT、ORL训练图库。为了便于训练，统一将其裁剪为21×18的样本图像进行相应的分类器训练，在训练当中可以根据后期检测结果适时添加一些非人脸样本，减少一定的盲目性。

无论在训练还是在检测前，为了减少图像由于光照、背景以及采集设备等造成的影响，都将进行一定的预处理。在本系统中，我们采用了连续性能更好的Gamma光照补偿，这样当原始图像分布不均匀，并且主要集中在较低范围灰度级时，经过均衡处理后，图像的灰度动态范围变大，对比度增强，人脸特征更加突出。这样可以进一步减少光照等因素带来的影响，从而更有利于提取人脸特征。

2.3 系统加速算法设计

传统基于滑动窗的检测方法在待测图像中依次滑动，通过将每一个窗口送入训练好的神经网络分类器进行判别，而经实验测试一张21×18的图片在本文所训练的神经网络分类器中运行时间为0.07s左右，若进行全部窗口测试，计算量相当大，这也是时间复杂度相对较高的原因之一。基于此，本文对基于欧氏距离的模板匹配算法［9］进行模板改进，去除眼睛模板，在应用多尺度压缩的图像金字塔方法的测试图片上进行整体模板匹配［10］，通过保留与人脸相似度大的窗口位置进行神经网络分类器测试进而将大量背景去除，通过这种加速处理方法来提高前期算法的效率。

2.4 双阈值级联分类器

第一级分类器我们采用神经网络的方法［11-12］。它是通过主成分分析（Principal Component Analysis,PCA）降维［13］后进行BP神经网络训练得到的分类器，由于传统BP神经网络在应用时存在一些问题，如容易形成局部最小问题、收敛速度问题而不能保证全局最小结果［14］，因此本文在训练BP神经网络时采用具有自适应能力的动量项对BP神经网络进行优化设计。对隐层的神经元来说：

Δwji（n）αΔwji（n－1）+ηδj（n）yj（n）（5）

对于输出层来说：

Δwji（n）αΔwji（n－1）+ηδk（n）yj（n）（6）

在式（5）和式（6）中，α为动量因子，调节范围在（0,1），其中式中第二项相当于ηδ（n）y（n）－η，可以根据这一项来判断误差曲面的趋势以进行自适应调整，从而不至于过大造成过冲或过小造成收敛速度慢,从而起到一定的稳定作用。根据具体实验效果，得出了以下自适应因子数据参照表，见表1。

表1 自适应因子参照表

通过自适应因子来调节学习速度进而控制反馈回路。通过应用优化设计的BP网络，其收敛速度和鲁棒性得到了很大的提高。

将达到一定程度的匹配模块经过Gabor特征提取输入第一级分类器，在应用神经网络进行粗检测时，如果高于双阈值中的上阈值则直接判别为人脸，不再送入细检测分类器；而低于下阈值的直接判别为非人脸，直接剔除；而由于训练集范围的有限性及光照，遮掩等各种原因，在介于高阈值和低阈值之间的范畴中，有存在人脸的可能性。因此，把介于这两个阈值之间的人脸与部分非人脸图像块再输入基于Haar特征的AdaBoost分类算法的第二级分类器进行再次判别，由于只检测第一级分类器输出介于双阈值之间的人脸或非人脸的小尺寸图像，所以在此进一步进行加速检测。

由于第二级分类器采用灰度级上的积分特征提取，所以能够快速地对介于双阈值中的人脸/非人脸从灰度级上进行确认。最后通过这两级级联分类器的最终确认并合并人脸中心位置以确定最终位置，从而得到检测后最终的人脸图像。

2.5 算法描述

根据粗细检测的原则，对检测图片进行分类器级联检测，由第一级神经网络分类器进行粗检测，在与第二级分类器级联时，通过设置双阈值接口算法来进行细检测从而达到既降低计算复杂度又提高精度的目的。具体算法描述如下：

1）初始化分类器，预处理测试集图片

2）FOR i1:n//n为测试集图片数

Input classifier_gabor&bp（ ）//进入第一级分类器

FOR j1:m //m为第一级分类器初检图像块数

IF wj>Threshold_up

yj+1 accept//加入到人脸集

ELSE IF

（wjThreshold_down）

Input classifier_adaboost（ ）//进入第二级分类器

IF （wj>Threshold_adaboost）

yj+1 accept//再次确认加入到人脸集

ELSE discard

ELSE discard

END

END

Threshold_up与Threshold_down为系统第一级分类器的上下阈值。

3 系统测试结果与分析

为了验证该算法的加速性能与检测率，采用2组实验进行检测，第一组采用一张320×240的标准视频的一帧静态多人脸图像进行速度检测，验证本文算法的加速性能；第二组进行识别率检测，首先对CMU实验室的CMU_PIE中的gallery图库中的68张简单背景正面人脸进行检测，由于背景单一且为单人脸，检测率最高达到了100%，同时为了进一步验证算法设计的有效性，我们对部分MIT+CMU的测试图片以及室外收集的部分图片进行了测试（包含120张图片，235个人脸，其中包括部分不超过±20°的侧面人脸），并对单一使用AdaBoost算法检测人脸与BP神经网络、Gabor+BP神经网络人脸检测方法做了对比实验，实验1和实验2的结果如下所示，图4为应用双阈值级联分类器的对比效果。

表2 不同算法检测速度和检测率

图3 部分测试图片检测效果

图4 双阈值级联分类效果对比

通过以上实验结果表明，本文提出的算法在精确度和鲁棒性上有了明显的提高，从表2的检测速度上来看，虽然本文提出的算法相比AdaBoost算法较慢，但比传统算法有很大幅度的提高，有进一步提升的潜力；同时从图4中可以清晰地看出，应用双阈值粗细检测方法能进一步降低误检率，精度有相对较大的提升。

4 结语

本文提出了一种基于双阈值的两级级联分类器的人脸加速检测方法，通过模板匹配方法来降低在分类器中的计算时间，同时在两级级联分类器之间设置双阈值接口进行级联检测，并在第一级分类器的收敛性上做了一定的改进，在加速的同时更加提高了精度。通过应用双阈值级联分类器的加速算法判断人脸/非人脸，解决了基于传统阈值分类器在检测当中的矛盾问题，速度也有相应的提高，误检率进一步降低，系统整体性能得到了提升。

参考文献:

［1］ ROWLEY H A, BALUJA S, KANADA T. Neural network-based face detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20（1）:23-38.

［2］ VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features［C］// Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2001:511-518.

［3］ LIENHART R, MAYDT J. An extended set of haar-like features for rapid object detection［C］// Proceedings of the International Conference in Image Processing. New York:IEEE, 2002:900-903.

［4］ HEISELE B, SERRE T, POGGIO T. A component-based framework for face detection and identification［J］. International Journal of Computer Vision, 2007, 74（2）:167-181.

［5］ HSU R L, ABDEL-MOTTALEB M, JAIN A K. Face detection in color images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24（5）:696-706.

［6］ 月书仁,梁昔明,叶吉祥,等.基于脸部信息和支持向量机的人脸检测［J］.计算机应用,2006,26（5）:1032-1034.

［7］ 梁路宏,艾海舟,徐光佑,等.人脸检测研究综述［J］.计算机学报,2002,25（5） :449-458.

［8］ 王志良,孟秀艳.人脸工程学［M］.北京:机械工业出版社,2008.

［9］ 梁路宏,艾海舟,徐光佑,等.基于模板匹配与人工神经网确认的人脸检测［J］.电子学报,2001,29（6）:744-747.

［10］ 林宇生,杨静宇. 基于Gabor滤波特征和支持向量机的人脸检测［J］. 计算机工程与应用, 2007, 43（1）:33-34.

［11］ 聂祥飞,郭军.基于Gabor小波的人脸检测［J］.计算机工程,2006,32（21）:44-46.

［12］ 顼改燕,徐华,翟忠武,等.基于Gabor滤波器和BP神经网络的人脸皮肤皱纹区域自动识别［J］.计算机应用,2010,30（2）:430-432.