神经网络学习方法范文

导语：如何才能写好一篇神经网络学习方法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

Columbia, Canada

Machine Learning Methods

in the Environmental

Sciences

2009, 349pp.

Hardcover

ISBN: 9780521791922

William W. Hsieh著

机器学习是计算机智能(也叫人工智能)的一个主要的子领域。它的主要目标就是利用计算的方法从数据中提取信息。神经网络方法,一般被认为是机器学习研究中的第一次突破,它自上世纪80年代以来开始流行,而核方法是在上世纪90年代后半期作为机器学习研究的第二波而到来的。本书对于机器学习方法和它在环境科学中的应用给出了统一的处理。

机器学习方法进入环境科学是在上世纪90年代。已经大量地应用于卫星数据的处理、大气环流模型、天气和气象预报、空气质量预报、环境数据的分析和建模、海洋和水文预报、生态建模、以及雪灾冰川和森林监测等领域。

书中第1-3章主要是为学生们而写的背景性资料,包括在环境科学中应用的标准统计方法。1.主要介绍了概率分布的基本意义、随机变量的平均值与方差、分析两变量关系的相关与回归分析方法等基本统计概念;2.回顾了主成份分析的方法和它的一些变化,以及经典相关分析方法;3.引入了基于时间序列数据的分析方法,如奇异谱分析(SSA)、主振荡型分析(POP)等。

第4-12章为那些标准的线性统计方法提供了有力的非线性转化。4.关于前馈神经网络模型及其最普遍的代表――多层感知哭模型(MLP模型),介绍了MLP模型的一些历史发展知识;5.为MLP神经网络模型所需要的非线性优化的内容;6.探索了几种能够使神经网络模型正确的学习并泛化的方法;7.是关于核方法内容。主要讨论了核方法的数据基础、主要思想以及它的一些缺点,并介绍了从神经网络到核方法的过渡;8.介绍了处理离散型数据的方法――非线性分类;9.介绍了两种核方法(支撑微量回归、SVR 和高斯过程、GP)和一种树方法(分类和回归树方法CART);10.关于非线性主成份分析的方法及相关的一些研究方法;11.系统地阐述了MLP和非线性经典相关分析(NLCCA)方法,并以热带太平洋气候变异性数据及它同中纬度气候变异的相关性为例加以说明;12.给出了大量机器学习方法在环境科学众多研究领域中的应用实例如遥感、海洋学、大气科学、水文学及生态学等。

作者William W. Hsieh是英属哥伦比亚大学地球与海洋科学系及物理与天文学系的教授,主持大气科学项目。作者在环境科学中发展和应用机器学习方法中所做的先驱性工作在国际上享有很高的知名度。已在天气变化、机器学习、海洋学、大气科学和水文学等领域80多篇。

本书主要适用于研究生初期阶段或者高年级的本科生,而且对于那些致力于在各自的研究领域应用这些新方法的研究者和参与者们也是十分有价值的。

朱立峰,

博士后

(中国科学院动物学研究所)

篇2

关键词：物联网；LS-SVM；数据模型

中图分类号：TP393

文献标识码：A

文章编号：1009-3044（2017）10-0145-02

1.引言

前神经网络（feedforwardneuralnetwork），简称前馈网络，是人工神经网络的一种。

2.概念相关概述

2.1前馈人工神经网络现实基础模型

首先，生物神经元模型。人的大脑中有众多神经元，而神经元之间需要神经突触连接，进而构成了复杂有序的神经网络。而神经元主要由树突、轴突和细胞体组成。一个神经元有一个细胞体和轴突，但是却有很多树突。树突是神经元的输入端，用于接受信息，并向细胞体财团对信息。而细胞体是神经元的信息处理中心，能够对信号进行处理。轴突相当于信息输出端口，负责向下一个神经元传递信息；其次，人工神经元。人工神经元的信息处理能力十分有限，但是，由众多人工神经元构成的神经网络系统庞大，具有巨大的潜力，能够解决复杂问题。人工神经网络与生物神经网络具有相似之处，人工神经网络能够从环境中获取知识，并存储信息。前馈人工神经网络主要包括隐含层、输入层和输出层。在前馈人工神经网络中，神经元将信号进行非线性转换之后，将信号传递给下一层，信息传播是单向的。并且，前馈人工神经网络是人们应用最多的网络模型，常见的有BP神经网络、单层感知器、RBF神经网络等模型。

2.2 LS-SVM相关概述

支撑向量机是一种基于统计学习理论的机器学习方法，能够根据样本信息进行非现象映射，解回归问题的高度非现象问题。并且，支撑向量机在解决非线性、局部极小点方问题上有很大的优势。LS-SVM也叫最小二乘支撑向量机，是支撑向量机的一种，遵循支撑向量机算法的结构风险最小化的原则，能够将支撑向量机算法中的不等式约束改为等式约束，进而将二次问题转换为线性方程问题，大大降低了计算的复杂性。并且，LS-SVM在运算速度上远远高于支持向量机。但是，LS-SVM也存在一定的缺点，在计算的过程中，LS-SVM的忽视了全局最优，只能实现局部最优。并且，LS-SVM在处理噪声污染严重的样本时，会将所有的干扰信息都拟合到模型系统中，导致模型的鲁棒性降低。另外，LS-SVM的在线建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改进。

2.3物联网下人工神经网络前馈LS-SVM研究的意义

物联网是互联网技术的发展趋势，为前馈人工神经网络的发展与LS-SVM研究提供了技术保障，在物联网背景下，研究人工神经网络前馈LS-SVM不仅能够创新人工神经网络的计算方法，完善人工神经网络在现实生活中的应用，而且对人们生活的自动化和智能化发展有着重要意义。另外，物联网为人们对LS-SVM的研究提供了条件，在物联网环境下，人们能够运用信息技术深化最小二乘支撑向量机研究，不断提高LS-SVM回归模型的鲁棒性，改进LS-SVM的特征提取方法和在线建模算法，完善计算机学习方法，提升计算机的运算速度。3基于LS―SVM的丢包数据模型

在选择的参数的基础上，运用IS-SVM方法，建立评估模型。本文选用LS-SVM回归方法的原因，SVM优于神经网络的方法主要是以下几点：

首先，了解数据挖掘，数据挖掘前景广阔，SVM是数据挖掘中的新方法。其次，选择合适的数据分析方法根据数据集的大小和特征。小样本训练适合SVM，样本大情况的训练适宜神经网络，这里用SVM。

然后，就是文献使用SVM和PCA建立跨层的评估QOE，实验结果表明主观MOS评分和此评价结果具有很好的一致性。

最后，本文采用SVM基础上的进一步拔高，LS-SVM，比SVM运行快，精确度高。srcl3_hrcl_525.yuv实验素材的特征是具有高清性质。525序列60HZ，帧大小为1440x486字节/帧，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

时域复杂度的模型如下，视频的时域复杂度σ；编码量化参数是Q；编码速率为R；待定模型的参数为a和b。σ=Q（aR+b）。通过大量的实验和理论分析，得到模型的参数：a=l 260，b=0.003。其中，编码速率和帧率可以看作是视频的固有属性。高清视频编码速率R是512kb/s，最大帧速率为30000/1001=29.97幅，秒。量化参数是根据实验的具体情况确定的。计算σ的值如下所示：当量化参数为31时，σ=19998720.1，当量化参数为10时，σ=6451200.03，当量化参数为5时，σ=3225600.02，当量化参数为62时，σ=39997440.2，当量化参数为100时，σ=64512000.3，当量化参数为200时，σ=129024001，当量化参数为255时，σ=164505601。

对于srcl3网络环境建立考虑网络丢包的视频质量无参评估模型使用LS-SVM方法。

（1）输入x的值。XI是量化参数，X2封包遗失率，X3单工链路速度，X4双工链路速度，X5视频的时域复杂度。等权的参数。

LS-SVM要求调用的参数只有两个gam和sig2并且他们是LS-SVM的参数，其中决定适应误差的最小化和平滑程度的正则化参数是gam，RBF函数的参数是sig2。Type有两种类型，一种是elassfieation用于分类的，一种是function estimation用于函数回归的。

4.机器学习和物联网的结合

物联网中也用到人工智能，人工智能中有机器学习，机器学习中有神经网络。机器学习是人工智能研究的核心问题之一，也是当前人工智能研究的一个热门方向。

篇3

关键词：神经网络 计算机安全 入侵检测

中图分类号：TP393.08 文献标识码：A 文章编号：1674-098X（2012）12（c）-00-01

自从1960年Widrow等提出自适应线形神经元用于信号处理中的自适应滤波、预测和模型识别以来，神经网络技术便被用来解决现实生活中的问题。而在McCulloch等基于模仿人脑结构和功能建立起一种人工智能的信息处理系统后，人工神经网络在土木工程、农业、经济管理及企业管理等不同领域中被广泛应用[1-2]。该文介绍了神经网络的概念及特点，并分析神经网络在计算机安全尤其是在网络入侵检测中的应用。

1 神经网络的概念及特点

1.1 神经网络的概念

神经网络是一个并行、分布处理结构，是由神经元及称为联接的无向讯号通道互连而成。人工神经网络（Artificial Neural Network，ANN）指的则是模仿生理神经网络的结构和功能而设计的一种信息处理系统，即由多个非常简单的处理单元彼此按某种方式相互连接而形成的信息处理网络[3]。

1.2 神经网络的特点

在人工神经网络中，由于网络中的每一个单元都是独立的信息处理单元，因此其计算可独立进行，而整个网络系统却是并行计算的。这不同于传统的计算机的串行运算。由于神经网络是一个大规模互联的复杂网络系统，因而是大规模的并行处理，这在一定程度上提高了系统的处理速度，同时也为实时处理提供了重要条件。人工神经网络与人脑类似，具有学习的功能。通常只要给出所需的数据、实例，由网络去学习，而学习获得的知识都分布储存在整个网络的用权系数表示的连接线上。不同网络因学习方法及内容不同，可得到不同的功能和不同的应用。因而有可能解决传统人工智能目前最感困难的机器学习中知识获取、知识表示等问题。此外神经网络还对于输入数据的失真具有相当的弹性。

1.3 常用的神经网络算法

常用的神经网络算法包括ARTMAP模型、ART模型、概率模型PNN、模糊模型ART、模糊多层感知器、Kohonen特征映射网络、反馈多层感知器模型等[4-5]。其中，ART模型和Kohonen特征映射网络、模糊模型ART属于无监督训练算法，而反馈多层感知器模型是受限反馈，ARTMAP模型、ART模型属于反馈的网络拓扑

结构。

2 神经网络在网络入侵检测中的应用

2.1 神经网络应用于网络入侵检测的优势

由于神经网络对于数据训练获得预测能力的过程是通过完全抽象计算实现的，而不强调对于数据分布的假设前提，因此在建立神经网络模型过程中没有必要向神经网络解释知识的具体细节。同时，神经网络在网络入侵检测中，可以通过数据运算而形成异常的判别值，这样可以对于当前是否受到攻击行为影响做出判断，从而实现对检测对象是否存在异常情况的检测[6-8]。

2.2 神经网络在网络入侵检测中的应用

神经网络在网络安全尤其是入侵检测方面已有了相当的研究[9]。有研究者将组织聚类神经网络应用于计算机安全研究中，其采用了自适应谐振学习法进行数据的前期训练，对于无显著意义的平均误差减少时，采用遗传算法继续在前期基础上进行数据数据以得到最佳的权值。国内也在神经网络应用于网络入侵检测上做了大量工作。王勇等研究者在参考MIT Lincoln有关网络入侵检测方法基础上，提出了基于Linux主机的网络入侵检测方案，实现了对于多种网络攻击的特征进行抽取及检测的目的[10]。

神经网络在网络入侵检测中有广泛的应用空间[11-12]，今后应该扩大训练数据的数量和范围，并扩大操作系统的研究空间，通过模拟真实的计算机网络环境，将神经网络技术真正应用于计算机安全尤其是入侵检测工作中。

参考文献

[1] 李季，蒲彪.人工神经网络在食品微生物发酵中的应用[J].食品研究与开发，2009，30（4）：171-174.

[2] 李聪超，周铁军.人工神经网络在农业中的应用[J].农业网络信息，2008（1）：35-38.

[3] 李丽霞，张敏，郜艳晖，等.人工神经网络在医学研究中的应用[J].数理医药学杂志，2009，22（1）：80-82.

[4] 高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003：44-73.

[5] 杨行峻，郑君里.人工神经网络与盲信号处理[M].北京：清华大学出版社，2003：23-105.

[6] 程丽丽.基于模糊神经网络的入侵检测设计模型[D].哈尔滨：哈尔滨理工大学，2005.

[7] 周开利，康耀红.神经网络模型及其MATLAB仿真程序设计[M].北京：清华大学出版社，2005.

[8] 李家春，李之堂.神经模糊入侵检测系统的研究[J].计算机工程与应用，2001，23（17）：37-39，

[9] 王勇，杨辉华.一种基于进化神经网络的入侵检测实验系统[J].华东理工大学学报（自然科学版），2005（6）：362-366

[10] 乔瑞.基于优化自组织聚类神经网络的入侵检测方法研究[J].计算机与现代化，2005（1）：77-79.

篇4

（四川信息职业技术学院，四川广元628017）

摘要：考虑到传统BP神经网络在进行P2P流量识别时，具有系统识别速度慢、精度低，神经网络自身容易陷入局部最小值等问题，使用遗传算法对BP神经网络进行优化。遗传算法具有较强的自适应性和鲁棒性，因此使用遗传算法对BP神经网络的权值和阈值进行优化处理，能够有效提高神经网络的性能。建立基于遗传神经网络的识别系统，采集处理大量样本数据，对识别系统进行训练和测试。研究结果表明，基于遗传神经网络的P2P流量识别系统具有识别精度高、识别速度快等优点，相比传统BP神经网络，其识别性能有明显提高。

关键词 ：遗传算法；P2P；流量识别；BP神经网络

中图分类号：TN711?34；TP393 文献标识码：A 文章编号：1004?373X（2015）17?0117?04

随着计算机科学技术的不断发展与进步，P2P技术已经广泛应用于网络视频音频多媒体播放、网络文件共享以及数据传输等领域，P2P技术不断吸引了越来越多的网络用户、网络应用服务开发者以及提供商的目光，各种各样的基于P2P技术的网络应用和服务不断涌现，为人们在网络中提供了便利。然而，随着人们享受着P2P技术带来的各种便利的同时，P2P技术的各种负面效应也随之而来。目前P2P应用存在对网络流量消耗巨大，监管难度大，以及易于网络病毒传播，为网络带来安全隐患等问题。因此，对P2P流量的精确识别和监测成为了对P2P技术研究的重中之重[1?5]。

1 P2P 流量识别技术

1.1 典型P2P流量识别技术

典型的P2P流量识别技术主要有：基于端口的识别技术、基于深层数据包的识别技术以及基于流量变化特征的识别技术。

基于端口的识别技术是一种应用最早的识别技术，其主要根据早期P2P应用的固定端口进行识别，具有算法简便，易于实现等优点，但是对于现如今复杂的网络环境，此种技术已经不再适用[6?7]。

基于深层数据包的识别技术往往因为存在识别滞后、隐私保护以及算法复杂等缺点而得不到广泛普及应用。

基于流量变化特征的识别技术通过对P2P流量数据进行采集，通过处理数据得到数据流的统计特征，使用统计特征作为机器学习的训练样本，得到经过训练的识别系统。此识别技术具有算法简便、效率高等优点[8?9]。

1.2 基于神经网络的P2P流量识别技术

BP 神经网络是一种有督导的智能机器学习算法，已经在机械、计算机、通信等领域得到了广泛应用，其技术发展已经相对成熟。将BP神经网络用于对P2P流量的识别是一种可行有效的识别技术和手段。

然而将BP神经网络算法用于P2P流量识别虽然克服了传统识别方法存在的诸多问题，但是由于算法自身特性也随之带来了新的问题。

BP神经网络实际上是梯度下降算法的一种迭代学习方法。由于梯度下降算法要求具有较小的学习速度时才能进行稳定的学习，因此其收敛速度较慢。并且，由于BP神经网络在进行训练时，会在某点沿着误差斜面而渐进误差极值，不同的起点会得到不同的误差极值和不同的解。因此传统BP神经网络具有学习速度慢、抗干扰能力弱以及容易陷入局部最小值等缺点[10?11]。

2 BP 神经网络和遗传神经网络

2.1 BP神经网络

BP神经网络结构如图1所示。通常由输入层、输出层和隐含层组成。

4 结论

本文对P2P 流量识别技术进行了深入研究。P2P技术在网络中已经得到了广泛应用，其流量在网络总流量中占有重要地位，因此对其流量进行实时监测识别具有重要意义。本文对P2P流量识别技术进行了分析，对使用比较广泛的BP神经网络模型进行了深入研究，并针对其缺点，使用遗传算法进行优化，建立基于遗传神经网络的P2P流量识别模型。通过实验采集大量网络训练样本和测试样本，对建立的识别系统进行测试。测试结果表明，基于遗传算法的神经网络的识别速度和识别精度要高于BP神经网络，具有较高的工程应用价值。

参考文献

[1] 谭红春，杨松涛，阚红星.校园网P2P 流量综合检测技术研究[J].长沙大学学报，2015（2）：70?72.

[2] 刘兴光.一种混合式BT流量实时检测方法[J].网络安全技术与应用，2014（3）：53?55.

[3] 汤伟.基于数据流特征向量识别的P2P 僵尸网络检测方法研究[D].青岛：中国海洋大学，2014.

[4] 席鹏.基于距离判决算法的P2P流量识别模型研究[D].昆明：云南大学，2013.

[5] 邓力为.基于遗传神经网络的P2P流量检测研究[D].成都：电子科技大学，2013.

[6] 张龙璨.基于粒子群优化半监督学习的网络流量分类方法研究[D].武汉：华中科技大学，2013.

[7] 张瀚.基于DPI技术的P2P流量检测系统设计[D].北京：北京邮电大学，2013.

[8] 马容生.基于自适应神经网络的P2P流量检测研究[J].通信技术，2012（6）：113?116.

[9] 张瀚，朱洪亮，辛阳.基于DPI 技术的P2P 流量检测系统设计[J].信息网络安全，2012（10）：36?40.

[10] 张小敏.基于DPI的P2P流量识别方法研究[D].南京：南京邮电大学，2012.

[11] 周雪莲.P2P流量应用层实时检测技术研究[D].长春：吉林大学，2012.

[12] 贺毅朝，宋建民，张敬敏，等.利用遗传算法求解静态与动态背包问题的研究[J].计算机应用研究，2015（4）：1011?1015.

[13] 王晓瑜，原思聪，李曼.基于自适应蚁群遗传混合算法的PID参数优化[J].计算机应用研究，2015（5）：1376?1378.

[14] 刘奕君，赵强，郝文利.基于遗传算法优化BP 神经网络的瓦斯浓度预测研究[J].矿业安全与环保，2015，42（2）：56?60.

[15] 吴连平，杨晓翔.基于神经网络与遗传算法的关节轴承挤压模具优化[J].中国机械工程，2015，26（10）：1351?1355.

[16] 李麟青，杨哲，朱艳琴.一种混合式BitTorrent流量检测方法[J].计算机应用，2011，31（12）：3210?3214.

篇5

关键词： 灰色系统模型，神经网络，电信业务预测

中图分类号：TN92 文献标识码：B

1 引言

电信业务预测是通信网络分阶段建设规划的前提条件，同时也是规划期内电信业务量和投资预估的必要条件之一。预测方法的选择直接关系到预测结果的精确程度。传统的预测方法很多，如趋势外推法，成长曲线法等，但这些预测方法预测结果均为平滑的曲线，无法直观描述出电信业务随季节及其他外部环境引起的波动。因此，神经网络法便给传统预测方法进行了很好的补充。近年来神经网络算法逐渐得到预测科学工作者的重视，已经在预测领域中得到了广泛的应用，神经网络预测法是一种由多个神经元以某种规则连接而形成的层次网络结构，其基本原理是这些神经元之间“相互协作”，它有许多优点，对环境因素引起的波动性具有良好的适应性；对非线性输入输出关系的学习更具有优越性，其描述问题的能力很强。但是传统的神经网络算法（如BP神经网络）是一种基于误差函数梯度下降的学习方法，学习过程收敛速度较慢；其次，有些神经网络训练开始时初始权值是随机给定的，这对网络的训练效果也会有极大影响，甚至导致网络陷入局部最小点。

灰色系统理论是一种研究少数据，贫信息、不确定性问题的新方法，它以部分信息已知、部分信息未知的“小样本”、“贫信息”不确定系统为研究对象，通过对“部分”已知信息的生成、开发，提取有价值的信息，实现对系统运行行为、演化规律的正确描述和有效监控。

2 灰色神经网络模型结构及算法

3 数据来源及实证结果

对于移动通信运营商来说，VLR用户数（拜访位置寄存器）随节假日的波动很大，尤其是人口输入/输出城市，节假日大量外来人口的返乡/外出，会给当地运营商的核心网及无线载频处理能力带来较大的考验，因此，合理准确的预测出该地市未来VLR用户数可以很大程度上帮助运营商为用户数的变化做好系统的扩容准备工作。对于某个运营商的VLR用户数，影响其变化的因素很多，比如节假日，季节性因素，人均通信消费指数，当地的移动电话普及率，该运营商收费用户数、品牌影响力，终端价格，竞争对手、市场特征等，本人根据各因素对VLR用户数影响程度的大小，从中选取了该运营商收费用户数、节假日、当地移动电话普及率、品牌影响力、竞争对手5个最重要的因素来预测某地市移动运营商的VLR用户数。

该论文中，本人选取该地市的过去3年（36个月）的VLR用户数进行验证，首先取前30个月的数据作为训练样本，通过灰色神经网络学习100次后预测最后6个月的数据与实际VLR用户数做比较，如图4所示。

从上图可以看出，灰色系统模型预测结果与实际值相比，误差在10%以内，并很好的反应了VLR用户的波动性，因此可以说明灰色系统模型比较适合小样本预测问题，在实际预测中，若与传统预测方法相结合，并合理加权，预测准确度将更高。

4 结束语

本文为其他神经网络模型所存在易于陷入局部最优解等缺陷而提出了基于灰色基础模型的神经网络算法，并利用所设计的灰色系统模型神经网络算法，选择我国某地市的移动公司VLR用户数作为数据样本，对该公司的VLR用户数进行预测，并对比其他神经网络模型，实证结果表明，灰色系统模型神经网络算法，相对其他神经网络而言，其预测效率和准确率大大得到提高，在电信业务预测方面具有较好的应用前景。

参考文献：

[1]WANG Q， STOCKTON D J， BAGULEY P. Using neural networks in cost model development process [C].Proc of the 16th National Conf on Manufacturing Research， UK：Professional Engineering， 2000

[2]SMITH A E， MASON A K. Cost estimation predictive modeling： regression versus neural [J].Engineering Economist， 1997

[3]何 芳 陈 收：基于扩展卡尔曼滤波的神经网络学习算法在股票预测中的应用[J].系统工程，2003

[4]史峰：MATLAB 神经网络30个案例分析，北京航空航天大学出版社，2010.4

[5]Jatomder N D. Gupta， Sexton R S. Comparing back-propagation with a genetic algorithm for neural network training[J].Omega，1999，

篇6

关键词：粒子群 径向基 神经网络 语音识别

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2013）04-0109-02

近年来，语音识别作为一种便捷的人机交互方式被大量研究，并在日常生活中得到广泛应用。大体上讲，语音识别就是在给定的语料库中找出与待识别词语相同的语料，其识别方法的选择对识别效果至关重要。语音识别的方法主要有3种：基于语音特征和声道模型的方法、模板匹配的方法和人工神经网络[1]。第1种方法出现较早，但由于其模型过于复杂，并未得到实际应用。第2种方法较为成熟，主要通过动态时间规整（DTW）、隐马尔可夫模型（HMM）和矢量量化（VQ）技术实现[2]。第3种方法充分利用人工神经网络较强的分类能力和输入——输出映射能力，非常适合解决语音识别这类难以用算法描述而又有大量样本可供学习的问题[3]。

因此，本文将智能领域广泛使用的RBF神经网络运用到语音识别中，针对RBF神经网络隐层基函数的中心值和宽度随机确定的缺陷，运用具有全局寻优能力的粒子群算法（PSO）进行优化，来提高网络的泛化能力和收敛速度，从而提高识别率。实验结果表明，粒子群优化的RBF神经网络用于语音识别，能够显著提升识别性能。

1 粒子群优化RBF神经网络

1.1 RBF神经网络

1.2 粒子群优化RBF网络算法

因此，RBF神经网络隐层基函数中心值和宽度的优化过程就是PSO算法依据输入样本进行聚类的过程，其基本流程为：

（1）参数初始化，包括粒子速度、位置，个体最优位置和全局最优位置；

（2）据（5）式计算惯性权重；

（3）据（3）（4）式更新粒子的速度和位置；

（4）据（6）式计算各粒子适应度值，并更新个体最优位置和全局最优位置；

（5）用全局最优粒子代替本次迭代适应度差的粒子；

（6）反复迭代，直到最大迭代次数则停止，得聚类中心。

2 PSO优化RBF语音识别系统

语音识别过程主要包括信号预处理、特征提取、网络训练及识别[6]。预处理主要对语音进行分帧、预加重和加窗处理。特征提取用于提取语音中反映声学特征的相关参数，本文采用的是过零峰值幅度（ZCPA）。网络训练是在识别之前从语音样本中去除冗余信息，提取关键参数，再按照一定规则对数据加以聚类，形成模式库。网络识别是通过已训练好的网络，计算测试样本数据与模式库之间的相似度，判断出输入语音所属的类别。粒子群优化RBF神经网络的语音识别系统原理框图如图1所示。

PSO优化RBF神经网络进行语音识别的实验步骤如下：

第1步：提取特征。

首先对用于训练和识别的各种信噪比的语音文件进行ZCPA特征提取。语音信号的采样频率为11.025kHz，每帧为256个采样点，经过时间和幅度归一化处理后，得到256维特征矢量序列。

第2步：网络训练。

网络训练的过程就是调整RBF神经网络基函数的中心和宽度以及隐层到输出层之间的连接权值。实验中，类别数为待识别的词汇数，如对10个词进行识别，则隐层节点数、输出层节点数和聚类中心均为10，如对20个词进行识别，则隐层节点数、输出层节点数和聚类中心均为20，以此类推，本文对10词、20词、30词和40词分别进行训练识别。利用PSO优化算法通过聚类获取隐层基函数的中心值和宽度，网络输出权值使用伪逆法得到。在PSO算法中，种群大小为20，最大进化迭代次数为40。

第3步：网络识别。

RBF神经网络训练好后，将测试集中的样本输入网络进行识别测试。每输入一个单词的特征矢量，经过隐层、输出层的计算后可得一个单词分类号，将这个分类号与输入词自带的分类号进行对比，相等则认为识别正确，反之，识别错误。最后将识别正确的个数与所有待识别单词数的比值作为最终的识别率。

3 实验仿真分析

本文运用matlab在PC机上仿真实现了PSO优化RBF神经网络的孤立词语音识别系统，选用在不同高斯白噪声条件下（包含15dB、20dB、25dB和无噪声），18个人分别录制40词各三次，形成实验语音数据，实验时选其中10人的10词、20词、30词、40词语音数据分别作为训练样本，另外8个人对应的10词、20词、30词、40词语音数据分别作为测试样本进行实验，得到了不同噪声和词汇量下的粒子群优化RBF神经网络的语音识别结果。

表1所示为在不同词汇量和不同SNR下，分别基于PSO优化RBF神经网络和标准RBF神经网络采用ZCPA语音特征参数的语音识别结果。由表中识别率的变化可知，基于PSO优化的RBF神经网络的识别率在不同词汇量和不同信噪比下都比标准RBF神经网络的高，正确识别出的词汇量明显增多，这充分证明改进后的RBF神经网络具有自适应性和强大的分类能力，缩短网络训练时间的同时，提高了系统的识别性能，尤其在大词汇量的语音识别中表现出更加明显的优势。

4 结语

本文采用粒子群优化算法来聚类RBF神经网络隐层基函数中心值和宽度，并将PSO改进的RBF神经网络用于语音识别中。通过仿真实验，得出了其与标准RBF神经网络在不同词汇量和不同SNR下的语音识别结果。通过分析比较，证明了PSO优化后的RBF神经网络有较高的识别率，且训练时间明显缩短，表明神经网络方法非常适宜求解语音识别这类模式分类问题。

参考文献

[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.

[2]王凯.免疫粒子群改进LBG的孤立词语音识别算法研究[J].数字技术与应用，2013，（1）：111-113.

[3]夏妍妍，黄健，尹丽华.基于径向基函数神经网络的语音识别[J].大连海事大学学报，2007，（S1）：157-159.

[4]孟艳，潘宏侠.PSO聚类和梯度算法结合的RBF神经网络优化[J].自动化仪表，2011，（02）：6-8.

篇7

关键词：模糊神经网络；PID；控制系统；非线性

中图分类号：TP183 文献标识码：A文章编号：1007-9599 (2011) 20-0000-02

Design of Control System Based on FNN PID

Duan Zhengjun1,Zhao Ran1,Tian Wenxue2

(1.TISCO Stainless Steel Pipe company,Taiyuan030000,China;2. China Chemical Engineering Second Construction Corporation,Taiyuan030000,China)

Abstract:At present,many of intelligent algorithm apply to the non-linear control system,it is intelligent control systems,for example,neural network,fuzzy control.According to the neural networks and fuzzy control in this article,introduced design principles and implementation based on neural nerwork and PID algorithm.

Keywords:Fuzzy neural network;PID;Control System;Nonlinear

一、引言

模糊神经网络（FNN）是模糊逻辑控制和神经网络两者结合的产物。模糊逻辑控制和神经网络两者单独使用时候，都会有一定的缺陷。模糊逻辑在一定的论域上面有很好的收敛性，在进行模糊量的运算上有优势；而神经网络具有强的自学习、自适应、并行运算和精确计算的能力。因此，两者结合可以优势互补，从而很大提高综合能力。FNN-PID是将模糊神经网络融进PID算法中，实现二者结合。FNN-PID算法具有PID控制器优点、模糊控制的良好收敛性和对模糊量的运算优势，也有神经网络自学习、自适应的特性。

二、FNN系统结构

FNN具有很多种结构和算法，对于不同的控制对象，在综合考虑运算速度和精度的情况下，可以使模糊神经网络结构有所不同。本文模糊神经网络采用如图1的结构，两个输入变量是有 、 ，为误差E与误差变化量EC。输出变量为Y，为PID三要素中的一个。根据专家经验知识把每个输入因子分为（NM，NS，ZO，PS，PM）五个模糊状态记为T[ ]。

图1.模糊神经网络的结构

第一层至第三层是实现模糊控制规则，第四层去除模糊化并实现输出实际控制对象的值，每层的作用如下：

第一层为输入层，该层的节点直接与输入层相连，起着将输入向量X传送到下一层的作用，其节点个数等于输入变量个数。输入输出关系可表示为：

， i=1，2（1）

第二层为隶属函数层，其作用是计算输入量属于各语言变量值模糊集合的隶属函数值，节点个数 ，每个节点代表一个模糊集合，可表示为：

， j=1，2，3（2）

式中j―― 的模糊分割数， 、 ――高斯函数中第j个输入对第i个结点的中心和宽度。

第三层为模糊规则层，每个节点代表一条模糊规则。采用IF-THEN模糊规则，可表示为：

：If is and is and…is THEN Yis（3）

式中，1≤n≤2，1≤i≤3： （4）

第四层为输出层： （5）

三、FNN的学习算法及步骤

在学习方法上，我们选择在线学习，在线学习就是针对整个训练集的每一个输入和对应的输出要求，每学习一条规则，就进行一次连接权的调整；这样一轮一轮不断的自动的调整网络连接权，知道整个网络达到所有的要求的响应为止。学习目的是对产生样本规律的统计特性进行建模，从具体观测推测隐含的规律，输出结果与样本接近。为了提高测量的精度，要求 、 和 三个参数能够适应环境的变化，即可实时调节高斯隶属函数和连接第三、第四层的权重比。具体算法如下：

式（5）可以按下式表示：（6）

设 ， ， ，从而得到式（6）的简化形式为： ，由式子（6）和式子（7）得到（8）式：

（9）

（10）

定义输出误差为： （11），其中 ――k时刻的输出值， ――k时刻的输出期望值。

定义系统的性能指标为：（12）

采用反方向传播方法进行监督学习，使性能指标E值最小化。根据梯度下降方法有：

以上式子分别为（13），（14），（15）。其中 为学习速度，由于采用在线学习，那么 为一个定值。根据性能指标选取规则和专家经验知识，取终止条件为E≤0.005，具体的学习步骤如下：

步骤1： 、 、 及 的初始值在[0，1]之间随机选取， 的值为恒定值，根据经验决定。

步骤2：根据式子（11），（13），（14），（15）计算得出比较理想的 ， ， 值。

步骤3：根据式子（12）计算E，若E≤0.002，迭代结束。否则，令 ， ， 为初始值并返回步骤2。

四、PID-FNN系统的设计及实现

根据FNN结构可知，输入是误差和误差变化量，输出是PID控制参数中的一个，故我们设计PID-FNN系统时要使用3个FNN，选择这样的FNN结构是为了更加精确的得到PID所需要的修正值。当然，这里所用的FNN是已经结束学习过程的。PID-FNN控制系统的具体结构如图2所示。

PID-FNN系统具体实现过程如下：①根据FNN的学习算法，通过提供的样本对FNN-Kp、FNN-Ki和FNN-Kd进行训练，使其得到合适的权值，满足性能指标为止。②误差和误差变化量做归一化处理，作为FNN-Kp、FNN-Ki和FNN-Kd的输入。③根据式子（1）（2）（4）（5）计算FNN的各层的输出，FNN-Kp、FNN-Ki和FNN-Kd最后一层的输出就是PID控制参数Kp、Ki和Kd的修正值。④利用③中得到的修正值，对经典PID控制器所得出的Kp、Ki和Kd的值进行修正。⑤Kp、Ki和Kd的修正后的值传送给控制对象，并由图2中所示，控制结果反馈回到计算误差处进行误差计算。由此跳转到②步。

图2.FNN-PID系统结构

五、结束语

FNN融合了模糊控制和神经网络的特点，本文利用这一点设计了PID-FNN控制系统并予以实现。文章中介绍了FNN的系统结构和学习过程的算法以及步骤，然后设计了PID-FNN的系统结构，并且描述了具体的实现过程。

本文作者创新点：模糊神经网络（FNN）是模糊逻辑控制和神经网络两者结合的产物。两者结合可以优势互补，从而很大提高综合能力。从而能够更迅速、更精确的对PID参数进行修正，已达到最佳的控制状态。

参考文献：

[1]李士勇.模糊控制,神经控制和智能控制论[M].哈尔滨:哈尔滨工业大学出版社,1996

[2]曾黄麟.智能计算[M].重庆:重庆大学出版社,2004

[3]晁勤,傅成华.自动控制原理[M].重庆:重庆大学出版社,2005

[4]武嘉.辅助控制系统设计与仿真[M].北京:电子工业出版社,2005

篇8

关键词:室内定位;RSS; BP神经网络;IEEE 802.11b

中图分类号:TN911.23 文献标识码:A

1 引 言

目前,室内定位算法主要有以下几种｡

1)Time of arrival(TOA)

TOA定位的基本原理是通过测量节点间电波传播的时间来确定节点的位置｡

TOA算法要求参加定位的各个基站在时间上实现严格同步｡在室内环境中,由于已知点到待测点的距离通常不远,无线电波的传播速度太快,且存在严重的多径干扰,因此无法利用无线电波进行测距｡目前,基于TOA的室内定位技术通常是利用超声波传播速度较慢的特点(在20摄氏度时超声波的传播速度为343.38m/s),来测量出已知点和待测点间的距离,进而求出待测点的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美国开发的卫星导航定位系统,本质上它也是一个基于TOA的定位系统｡

GPS L1 Re-radiating是将GPS在L1频段上的信号,通过户外天线接收后,增益放大为室内可接收信号,进而基于GPS实现室内定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移动装置侦测所接收到的无线电波信号强弱,然后根据经验模型或RSS随距离衰减的模型来推断节点间的距离,进而实现定位[2]｡

该技术主要使用无线网络本身的无线电信号来定位,不需额外添加硬件,是一种低功率､廉价的定位技术[3]｡

基于信号强度的室内定位方法分为经验模型法和信号衰减模型法｡

(1)经验模型法

在经验模型法中,将RSSI数据转换为位置信息的方法主要有判定法和概率法两种｡

(2)信号衰减模型法

信号衰减模型法则无需实地测量位置和RSSI,而是依据信号强度和距离的特定关系,结合三角测量法,根据来自三个(或以上)AP的RSSI来计算出待测点的位置｡

基于TOA的定位模型在开放的室外环境中非常有效,但在室内环境却存在一些问题｡使用超声波虽可克服无线电波传输速度快的问题,但需构建专门的超声波系统｡GPS也主要是针对户外目标设计的定位系统,应用于室内存在定位精度不高等问题｡基于RSS的定位模型中,经验法需进行大量的实地测量,同时无法保护定位用户的隐私;而信号衰减法在室内受NLOS(非视距传播)等因素影响,也使得定位精度较低｡

因此,本文提出了一种基于BP神经网络的室内定位模型并借助MATLAB 7.0加以实现｡采用该方法进行室内定位,不需要WLAN以外的其他资源｡由于不需要知道定位节点和建筑物的详细特性,用户的隐私将随之得到完全的保护｡

2 基于BP神经网络的室内定位模型

BP神经网络通常是指基于误差反向传播算法(Backpropagation)的多层前向神经网络,目前,该算法已成为应用最为广泛的神经网络学习算法[4]｡

BP神经网络采用的是并行网络结构,包括输入层､隐含层和输出层,经作用函数后,再把隐节点的输出信号传递到输出节点,最后给出输出结果｡该算法的学习过程由信息的前向传播和误差的反向传播组成｡在前向传播的过程中,输入信息从输入层经隐含层逐层处理,并传向输出层｡第一层神经元的状态只影响下一层神经元的状态｡如果在输出层得不到期望的输出结果,则转入反向传播,将误差信号(目标值与网络输出之差)沿原来的连接通道返回,通过修改各层神经元权值,使得误差均方最小｡神经网络理论已经证明BP神经网络具有强大的非线性映射能力和泛化功能,任一连续函数或映射均可采用三层网络加以实现｡

计算技术与自动化2007年6月第26卷第2期李 瑛等:一种基于BP神经网络的室内定位模型2.1 样本数据的采集和处理

输入向量为待测点收到的来自至少三个不同位置AP的RSSI值,输出向量为待测点的坐标值(X,Y)｡

样本采集在一个10mX10m的室内场地中进行｡使用3个来自SMC公司的AP和1台配置了ORiNOCO PC CARD的笔记本电脑｡AP及无线网卡符合并工作在IEEE 802.11b标准下｡笔记本电脑所使用的操作系统为RedHat Linux 9.0｡样本均匀分布在6mx6m的中心区域中｡

2.2 网络结构的确定

Kolmogorov定理已经证明[5],任意一连续函数可由一个三层BP 网络来实现｡虽然研究表明三层以上的BP网络可以减少隐含层节点数,提高计算效率,但在缺乏理论指导的BP网络设计中这样做容易使问题趋向复杂化｡因此选择三层BP神经网络,即只有1个隐含层的BP神经网络｡

该网络输入层的节点数由输入向量的维数决定,输入向量的维数是3,所以输入层节点数确定为3个｡输出层节点数由输出向量的维数决定,这里输出节点数为2 ｡

隐含层节点数的选择在BP网络设计中是一个难点,目前还没有理论上的指导｡过多的网络节点会增加训练网络的时间,也会使网络的泛化能力减弱,网络的预测能力下降｡然而网络节点过少则不能反映后续值与前驱值的相关关系,建模不充分｡经反复试验,将隐含层节点数定为30,这样形成了一个3-30-2结构的BP神经网络,如图1所示｡

2.3 学习算法的选择

基本BP 算法采用梯度下降法使得误差均方(mse)趋向最小,直至达到误差要求｡但在实际应用中,存在收敛速度慢､局部极值等缺点｡Matlab 7.0神经网络工具箱中提供了十多种快速学习算法,一类是采用启发式学习方法,如引入动量因子的traingdm 算法､变速率学习算法traingda ､“弹性”学习算法trainrp等;另一类采用数值优化方法,如共轭梯度学习算法traincgf 等｡本研究选择traincgf 算法｡该算法在不增加算法复杂性的前提下,可以提高收敛速度,并且可沿共扼方向达到全局最小点,较好地解决了经典BP算法所存在的收敛速度慢和可能出现局部最优解的问题｡

2.4 BP神经网络的初始化､训练与仿真

1)建立网络

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()为建立BP 神经网络的函数;P3为6维矩阵,表示3维输入向量中每维输入的最小值和最大值之间的范围｡[30,2]表示隐层节点数是30,输出层节点数是2,{′tansig′,′purelin′}表示隐含层中的神经元采用tansig转换函数,输出层采用purelin函数,′traincgf′表示选择的学习算法｡

2)权重和阈值初始化

net==init(net)

给各连接权重LW{1,1}､LW{2,1}及阈值b{1}､b{2}赋予(-1,+1)间的随机值｡

3)训练

[net,tr]=train(net,P,T)

P为输入向量,T为目标向量,根据网络学习误差逆传递算法,利用阻尼最小二乘算法迭代,由前一次训练得到的网络权重及阈值训练得到新的网络权重及阈值｡

为了使生成的BP网络对输入向量有一定的容错能力,最好的方法是既使用理想的信号又使用带有噪声的信号对网络进行训练｡具体做法是先用理想的输入信号对网络进行训练,直到起平方和误差足够小;然后,使用20组理想信号和带有噪声的信号对网络进行训练｡经过上述训练后,网络对无误差的信号也可能会采用对付带有噪声信号的办法,这样会导致很大的代价,因此,需要采用理想的向量对网络再次训练,以保证网络能对理想信号作出最好的反应｡

使用函数traincgf对网络进行训练时,当网络平方和误差小于3时停止网络的训练｡训练过程中的误差变化情况如图2所示｡

根据训练后的网络及输入向量进行仿真输出｡

3 实验结果及分析

利用训练后的BP神经网络进行了36次定位,并统计了36次定位的平均误差,结果如图3所示｡

与利用信号衰减模型定位相比(如图4所示),利用BP神经网络定位具有更高的统计精度｡

与信号衰减模型相比,虽然BP神经网络的模型解释直观性略有不足,但却可获得更精确的定位结果｡

利用BP神经网络,虽然可解决传统处理方法所不能处理的非线性映射问题,但在实际应用中,对如何选择和确定一个合适的神经网络结构没有确切的理论指导,只能通过试验―调整―再试验的过程来确定一个合适的网络结构｡同时,BP神经网络的隐含层作用机理和隐含层节点个数的选择是BP神经网络的难点问题｡隐含层的节点个数的选择需反复进行试验,当多次输出结果在一定误差范围内时才可确定｡

4 结束语

本文提出了一种基于BP神经网络的室内定位模型,并在基于IEEE 802.11b标准的WLAN环境中对此模型进行了测试｡一个基于信号衰减模型的定位算法也在同样的环境中进行了测试｡对比结果表明,利用BP神经网络进行室内定位能取得更好的定位精度｡

篇9

关键词：多元支持向量机 离心式压缩机 故障诊断

The Application of Multi-Support Vector Machines in Fault Diagnosis for Compressors

Yu Huiyuan

（Well-Tech R&D Institutes， COSL， Yanjiao 065201， China）

Abstract： For solving the defect of traditional classificatory with many samples， a new classificatory recognizing faults based on Multi-Support Vector Machine （MSVM） is proposed for centrifugal compressors. SVM is a new machine study method which has excellent advantages in small-sample and multi-dimension binary classification. The new MSVM classificatory can be studied in a few samples rapidly to recognize several kinds of new faults. At the same time， the experiments showed that recognizing correct rate increased more greatly compared with traditional BP method.

Key words： MSVM； centrifugal compressor； fault diagnosis

一、引 言

压缩机在工业生产领域中具有非常重要的作用，由于故障原因造成的启停机一次所产生的经济损失是非常巨大的。如果能够事先准确诊断和预测出设备出现的各种故障，根据故障类型和实际情况采取相应的措施，就可以避免或减少经济损失。机械故障诊断学就是通过研究故障和征兆之间的关系来判断设备故障的。旋转机械的故障形式多种多样，故障产生的机理和原因也非常复杂[1]，加之实际因素的复杂性，故障和征兆之间表现出的关系也较为复杂，即各类故障所反映的特征参数并不完全相同，这种关系很难用精确的数学模型来表示，这就给现场诊断带来了极大的困难。虽然神经网络具有充分逼近任意复杂非线性关系的能力和分类能力，但存在局部极小值、算法收敛速度慢、受网络结构复杂性和样本复杂性的影响较大、容易出现“过学习”或泛化能力低等缺点[2，3]。

支持向量机是一种新的机器学习方法，它较好的解决了非线性数据的分类问题，在小样本和二元分类方面有非常突出的优点。本文在分析了支持向量机的特点后，提出一种基于多元支持向量机的离心式压缩机转子故障分类识别方法，可以在较少样本情况下完成对分类器的学习训练工作，从而达到提高故障诊断效率的目的。

二、支持向量机分类原理

支持向量机不同于神经网络基于经验的算法，它是实现结构风险最小化原则的一种学习算法，是利用核函数把特征样本映射到高维特征空间，然后在此空间中构造分类间隔最大的线性分类超平面，所以支持向量机比较适合于小样本数据的分类。其基本思想如图 1 所示，图中圆点和三角点分别表示两类训练样本，H 为把两类样本完全无误分开的分类线，H1、H2 分别为通过样本中离分类线最近的样本且平行于分类线的直线，它们之间的间隔为分类间隔，图中的样本点就是支持向量。该最优面不但可将两类样本无误的分开，而且还要使分类间隔最大。前者保证经验风险最小，后者使问题的真实风险最小[4]。

不同的核函数将导致不同的支持向量机算法，常见的核函数包括多项式内积函数、径向基函数、S型内积函数等[5]。

三、基于MSVM的故障识别分类器

（一）基于MSVM的故障识别分类模型

由于SVM是二元分类器，诊断过程中，故障通常有多种类型。要对多种故障模式进行识别，必须构造一种多元分类器才能进行这种多种模式的识别。通常通过组合多个两类分类器的方法来实现多值分类器的分类，目前此类方法主要有以下几类算法：一对一算法（one-against-one，简称1-v-1）、一对多算法（one -versus-rest，简称1-v-r）和决策导向无环图算法（Decision Directed Acyclic Graph，DDAG）等几种，可参见文献[5，6]。通过比较分析，笔者采用一对一方法构造多元分类器[5]，其基本思想是：对N元分类问题建立N（N-1）/2个SVM，每两类之间训练一个SVM将彼此分开。这种方法优点是单个SVM训练规模较小，分类器的推广能力强。

采用多元分类器训练数据样本后，在预测新样本时，使用成对的SVM进行比较，每次产生一个优胜者（即获得一个类别），然后在优胜者之间再次进行比较，直到最后仅剩一个优胜者。实际上，在预测新样本时，并不需要对每两类之间的优胜者再次进行竞争淘汰，只需比较两类之间获胜次数最多的类，即为新样本所属的故障类别。

（二）分类器的学习训练方法

本文的MSVM分类器训练程序采用的是LIBSVM开发函数库，在没有先验知识前提下使用径向基函数作为核函数。实验表明，通常情况下该核函数的分类效果略优于其他核函数。基于MSVM的故障分类识别分类器工作过程主要有学习训练和识别两个阶段，如图2所示。

图2 模分类器的工作过程

四、压缩机故障诊断实例

在离心式压缩机等旋转机械中，不平衡、不对中及油膜振荡是转子部件几种较常见的故障。目前人工智能方法在故障诊断领域已经得到较好的应用效果。但是，基于神经网络的诊断方法通常需要用大量的故障特征样本对模型进行训练，才能得到较为可靠的识别模型。然而，在机械设备实际故障样本的收集过程中，采集到的样本比较有限，尤其是某些故障样本的收集十分困难，这极大地限制了检测模型在模式分类过程中对训练样本的需求。而支持向量机在小样本和高维特征分类方面有突出优势，本文以离心式压缩机组转子故障为例，采用上述MSVM方法建立故障诊断模型。

（一）压缩机转子故障诊断模型设计

以转子不平衡、不对中及油膜振荡三种常见故障作为示例样本建立故障识别模型，将转子不平衡故障作为一类，转子不对中作为一类，油膜振荡作为一类。由于SVM是二元分类器，对于多种故障形式识别，必须构造一种多元分类器才能进行识别。由于本文采用一对一方法构造多元分类器建立故障识别模型，当需要对以上三种故障形式进行识别时，共需要构建3个SVM分类器。用SVM1来区分转子不平衡与不对中，SVM2识别转子不对中与油膜振荡，SVM3识别油膜振荡与转子不平衡。通过每两类样本分别对三个SVM分类器进行学习训练来寻求最优分类函数，以达到对建立识别模型的目的，模型如图3。

图3 多类故障识别模型

对于部件的有更多种故障模式存在的情况下，只需获取该部件对应故障状态下的特征样本，在原有模型基础上增加分类器即可，方法同上。不过对于多种故障模式下多元支持向量机模型的选择需要在速度、模型复杂度、识别效率等方面进行综合考虑。

（二）测试结果

为了考查模型的泛化能力，对诊断模型进行学习训练后，用训练后的分类器对45个测试样本进行分类试验。利用两类之间比较获胜次数最多的类，即为新样本所属的故障类别，如胜次相等，则为识别失败。表1为各类故障的分类识别结果。除3个待测故障的识别结果不太理想外，其余故障类型的识别结果都相当理想，本分类器的总体泛化能力为93.3%，结果令人满意。由此可见，该模型具有较好的泛化识别能力。

表1 识别结果

（三）与神经网络方法比较

为了与神经网络方法进行比较，同样利用故障样本对BP神经网络进行训练时发现，由于样本数量较少，网络训练陷入局部极值点，训练失败。因而表明MSVM能在较少样本情况下实现对分类器的学习训练。利用两组样本总和重新训练，在与BP神经网络同样的样本集均方误差情况下，发现其测试集均方误差一般比BP神经网络精度高；当训练样本集数目增加时，两者的泛化能力都有所提高，但BP神经网络提高速度要快于支持向量机；当样本集变化时，MSVM的测试集均方误差变化幅度小于BP神经网络，这些都说明了MSVM对训练样本数据的依赖程度比神经网络小。

取不同的收敛阈值对神经网络分类模型进行训练，并将它与MSVM方法的识别结果进行对比，如表2所示。从表中可以看到，支持向量机分类器的泛化识别能力明显优于神经网络分类器，可能是由于神经网络方法往往陷入过学习，即所谓的经验风险最小化，造成分类器推广能力泛化差于支持向量机。

表2 MSVM方法和BP神经网络方法识别结果对比

五、结论

由于支持向量机在小样本分类识别方面有独特优势，基于此设计了多元支持向量机的压缩机故障分类识别模型。试验证明，利用支持向量机对压缩机转子故障模式进行识别的方法是可靠和有效的，即使在小样本情况下，该方法仍可以有效地诊断出压缩机关键部件的工作状态和故障类型，解决故障诊断中少样本情形下模型训练不足和识别效率低的问题。因此，支持向量机在故障诊断领域是一种值得推广的方法。

参考文献

[1] 李小彭，罗跃纲，白秉三.模糊综合评判在机械故障诊断中的应用[J].沈阳工业大学学报.2002，24（5）：439-442

[2] 朱君，高宇，叶鑫锐. 基于BP神经网络的螺杆泵井故障诊断方法[J].石油机械. 2008， 36（1）：42-44

[3] 赵海洋，王金东，刘树林，等.基于神经网络和支持向量机的复合故障诊断技术[J].流体机械，2008，36（1）：39-42

[4] 张学工.关于统计学习理论与支持向量机[J].自动化学报.2000，26（1）：32-42

篇10

【关键词】股票预测 支持向量机 非线性回归 神经网络

一、股市预测方法

股票发展至今已有300多年的历史，现在已经成为国家经济的“晴雨表”。在股票市场中，无论对于机构投资者还是个人投资者来说，预测股票价格走势一直是人们关心的问题。

（一）国内外现有股票预测方法简介

目前，从金融角度来讲，对股票价格趋势预测有两种方法：基本面分析和技术分析。一般所讲的基本面分析是指对宏观经济面、公司主营业务所处行业、公司业务同行业竞争水平和公司内部管理水平包括对管理层的考察这诸多方面的分析。这种方法有非常系统的理论依据，然而，我国金融市场中广泛存在的炒作现象经常使股票的价格严重背离其基本价值，使基本面分析在实务中被认同的程度不高。股票技术分析，是以预测市场价格变化的未来趋势为目的，通过分析历史图表、技术指标对市场价格的运动进行分析的一种方法。其目的是预测短期内股价涨跌的趋势。然而，国内学者研究表明，中国股市存在非线性与混沌。股市是一个十分复杂的非线性高维动态系统，要对股市进行相关的预测分析是极具挑战性的。然而对股市的探索研究始终在取得新的突破。现在一些新型的技术理论的出现，例如数据挖掘技术、统计学习理论、机器学习、人工智能、数理统计、信息技术等空前的发展，极大的推动了相关领域的应用研究。

（二）机器学习在股票预测中的应用

求解非线性回归问题的方法有很多，如：局部线性模型、前馈神经网络模型、径向基函数模型等。结合上述股票预测方法，两种机器学习方法在实际运用中证明了其可行性。在其中神经网络模型在非线性映射中表现出其优越性，被广泛应用于股票市场预测中。然而，在实际应用中，神经网络学习算法表现出其不足，如隐含层数的选择、过你核问题、局部极小值以及泛化性能不强。20世纪90年代中期发展起来的基于统计学习的机器学习方法――支持向量机（SVM）具有良好的泛化能力。他通过寻求结构化风险最小化，而非传统的经验风险最小化，使风险只与输入样本数目有关，而与输入的维数无关，避免了“维灾数”的问题。而且，SVM的结构参数从样本学习中自动确定，从而克服传统神经网络结构不易确定的缺点。SVM最初应用于模式识别，随着Vapnik的ε不敏感损失函数的引入，SVM已经扩展为解决非线性回归问题，与神经网络方法相比，有显著的优越性且在非线性时间预测方面取得很好的效果。

二、支持向量机理论

SVM理论是在统计学习理论的基础上发展起来的。由于统计学习理论和SVM方法对优先样本情况下模式识别中的一些根本性的问题进行了系统的理论研究，很大程度上解决了以往的机器学习中模型的选择与过学习问题、非线性和维数灾难问题、局部极小值问题等等。因此，SVM理论越来越受到人们的重视。SVM是针对二类分类问题提出的。

SVM回归问题：设已知训练集│（x1，y1），…，（xn，yn）│，其中，x∈Z Rn，y∈│1，-1│，是类别标记符号。i=1，2，…，n。xi是输入数据，yi为对应的输出数据。样本数集中包含样本和噪声。目标是，根据对训练集所包含信息的学习，找到y对x的相关关系 y=f（x）。

回归问题分为线性回归和非线性回归两种。下面我们分别讨论线性支持向量回归和非线性支持向量回归。

（一）线性可分

其中，λ是超参数。在实验中针对不同训练值调整，表示前后两项的权重。λ越大，δi占有的优化权重越大。

求解过程类似线性可分，引入Lagrange函数，并将原问题转化为对偶问题求解。

三、支持向量机预测效果及与神经网络方法的比较

（一）与神经网络相比分类识别率更高

投资者在选取股票时，最关心的则是每股收益。因此每股收益在实证分析中通常被选为分类标准。选取每股净资产、股利支付率、每股股利、净资产收益率、留存盈利比例、流动比率、速动比率、负债比率、长期负债比率、应收帐款比率、存货周转率、销售报酬率、净利润率、投资报酬率、净值报酬率这15个影响每股收益的指标作为输入样本的属性。在张晨希等人的实证研究中，对巨灵证券数据库产品3.0产品中的上市公司数据进行整理分析后所得到的样本的基本情况，并利用支持向量机对样本进行了交叉训练测试。用其中9组进行学习，一组用来测试，循环交叉。SVM、BP、RBF三种方法的测试结果如下：分类测试得到以下结果：分类识别率为70.068%，训练时间为10.642s，测试时间约为0.4095s。

从测试结果中可以得出，在训练时间和测试时间与BP算法差不多的情况下，通过SVM取得的分类识别率明显高于BP和RBF。

为了进一步验证支持向量机在分类识别率上的优越性，试验者将原有样本属性类别由四类改成三类之后再次进行测试。结果显示：

（1）采用支持向量机进行股票预测的分类准确率在将属性类别分为四类时明显高于BP和RBF算法。在分类为三类时，尽管BP算法也表现出了较高的分类识别率，但支持向量机仍要比BP高出7%。因此，相比于传统的神经网络预测方法来说，支持向量机在预测效果上要明显提高。

（2）对比发现，支持向量机的分类识别率会随着决策属性类别的增加而降低。然而，始终由于同等情况的神经网络方法。

（3）相比于神经网络方法，支持向量机还克服了BP固有的缺陷，例如，学习过程收敛速度慢、网络性能差、局部极小值等等。

然而，该试验的局限性在于，尽管支持向量机能够在股票是否盈利的预测中取得良好效果，但是在预测每股收益具体数值方面非常有待提高。

（二）预测值误差更小

在对股票预测方法的研究中中，田静提出了一种支持向量机算法，使得输出结果为准确的输出值，而非判断盈利与否的简单分类。文章对上证指数和四川长虹公司的股价进行试验，同时，在文章中，他也用BP神经网络算法进行了同样的预测，并将两种方法的预测值分别与真实值进行比较，得出相对误差进行对比。

以四川长虹的预测结果为例，ε支持向量机算法的预测值与真实值之间的误差最大为1.28%，误差最小为0.007%，平均相对误差是0.00556.；BP算法的预测值与真实值之间的误差最大为2.46%，误差最小为0.022%。

因此，ε支持向量机方法无论对于大盘还是上市公司股价的预测都取得了比神经网络方法更优越的预测结果。原因可能是BP神经网络方法采用的梯度下降法得到的最优解是局部最优而非全局最优。

通过已有的对比研究发现，支持向量机方法在预测股票走势过程中体现出了更高的识别率和准确性。随着科学技术的发展以及人们对于股市预测的热情，在未来支持向量机的方法将在不断改进和完善的过程中得到更好地发展和更广泛的应用。

参考文献：

[1]徐绪松：古杂科学、资本市场、项目评价[M]。北京：科学出版社，2003.

[2]Burgers BC.A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining and Knowledge Discovery， 1998.

[3]财政部注册会计师考试委员会办公室。财务成本管理[M].北京：经济科学出版社，2003.

[4]张晨希.基于支持向量机的股票预测[J].计算机技术与发展，2006.