神经网络优化方法范文

导语：如何才能写好一篇神经网络优化方法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

为降低神经网络的冗余连接及不必要的计算代价，将量子免疫克隆算法应用于神经网络的优化过程，通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点，并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验，算法提高了目标分类概率，降低了误报率。

关键词：神经网络；量子免疫克隆算法；目标分类；冗余连接；网络优化

中图分类号： TP273

文献标志码：A

Quantum-inspired clonal algorithm based method for optimizing neural networks

Abstract：

In order to reduce the redundant connections and unnecessary computing cost， quantum-inspired clonal algorithm was applied to optimize neural networks. By generating neural network weights which have certain sparse ratio， the algorithm not only effectively removed redundant neural network connections and hidden layer nodes， but also improved the learning efficiency of neural network， the approximation of function accuracy and generalization ability. This method had been applied to wild relics security system of Emperor Qinshihuangs mausoleum site museum， and the results show that the method can raise the probability of target classification and reduce the false alarm rate.

Key words：

neural network； quantum-inspired clonal algorithm； target classification； redundant connection； network optimization

0 引言

神经网络已经被广泛地应用于模式分类、函数逼近、信号预测等各种领域，是近年来的研究热点之一[1-2]。在应用过程中，研究人员发现，当神经网络的规模过大会产生连接数量冗余大、计算代价过高的问题，降低了大规模神经网络的实用性。针对此问题，研究人员提出了多种方法在保持神经网络的前提下优化神经网络的结构和参数权值。Leung等[3-4]改进了传统的遗传算法（Genetic Algorithm， GA）并将其应用于神经网络的结构和权值优化过程，利用遗传算法的快速收敛性来提高神经网络的学习速度，其缺点在于当目标函数维数过大时容易陷入局部最优。Xiao等[5]使用混合优点（Hybrid Good Point， HGP）优化前向神经网络的参数和结构，避免权值陷入局部最优，但其对网络结构的优化没有达到最优。Shu等[6]提出正交模拟褪火（Orthogonal Simulated Annealing， OSA）算法， 使用褪火算法和正交算法的优点来同时优化神经网络结构和参数，其算法收敛速度快、鲁棒性好，缺点则在于计算代价较大。杜文莉等[7]提出了使用量子差分进化（Cooperative Quantum Differential Evolution， CQGADE）算法来优化神经网络权值，使用量子遗传算法优化网络结构和隐层节点数，算法综合了量子遗传算法和量子差分算法的优点，收敛速度快，但其缺点在于需要同时协同两种算法的优化结果，算法复杂度较高，且容易陷入局部最优。Tsai等[8]提出混合田口遗传算法（Hybrid Taguchi Genetic Algorithm， HTGA），将传统的GA与Taguchi方法结合起来，使得算法具有鲁棒性好、收敛性快等优点，但其缺点在于获得最优解的计算代价较大。

量子免疫克隆算法[9-12]（Quantum-inspired Immune Clonal Algorithm， QICA）也称为量子遗传算法（Quantum Genetic Algorithm， QGA），其将量子搜索机制和免疫算法克隆选择原理相结合，利用量子编码的叠加性和随机性构造抗体，利用遗传算法的克隆操作产生原始种群和克隆子群实现种群扩张，使搜索空间扩大，提高了局部搜索能力；同时借助全干扰交叉操作避免陷入局部最优。QICA采用了多状态量子比特编码方式和通用的量子旋转门操作， 引入动态调整旋转角机制和量子交叉[11]。QICA在组合优化问题中具有良好的表现。

针对上述问题，提出了使用量子克隆免疫算法对神经网络的结构和连接权值同时进行优化，通过产生具有一定稀疏度的连接权值对网络隐层数量和连接权值进行优化，提高了算法的效率和收敛速度，避免了算法陷入局部最优。

1 带开关权值的神经网络模型

在经典的神经网络理论中，网络结构在初始化后便不再变动，仅通过权值的变化来计算产生结果，这种算法增加了神经网络的结构复杂性，在实际应用中增加了计算结果的代价。Leung等[3-4]提出了带开关权值的神经网络，通过调整开关的通断就能调整神经网络的结构和连接数量，从而减少计算代价。带开关权值的神经网络模型如图1所示[7]。

2.2 权值计算及优化方法

根据量子克隆免疫理论，将神经网络权值计算及优化过程分为以下四个过程。

2.2.1 权值抗体初始化

量子克隆免疫算法是基于量子计算和遗传算法组成的，其抗体的编码方式采用量子比特编码。一个抗体中的量子位的状态是不确定的，可以为0或1，其状态表示为式（5）：

3.1 算法复杂度分析

量子克隆免疫算法的实质是通过量子理论的随机特性提供丰富的种群数量，并通过使用遗传算法对种群进行淘汰和进化，因此其算法的复杂度等于种群生成算法的复杂度：假设神经网络有x个输入，其隐层节点数量为N，输出为y，则网络中的输入与隐层节点间的连接权值ω的数量为：x*N，隐层节点与输出层的连接权值v的数量为：N*y。种群生成需要对所有节点进行权值初始化，并将随机位置的n（nN）个节点的权值设置为0， 其算法复杂度为O（n2）。而克隆免疫算法在种群克隆及抗体选择过程中使用遗传算法，因此其算法的复杂度与传统遗传算法相同，其算法复杂度也为O（n2）。因此，使用量子免疫克隆的神经网络优化算法的复杂度为O（n2）。

3.2 非线性函数逼近

选取复杂交互非线性函数（Complicated Interaction Function，CIF）：

其中0

选取样本700组，其中500组用于训练，其余200组用于检测性能。神经网络的初始隐层神经元设置为20个，初始网络结构为：2-20-1，初始连接权值为随机值。在此条件下验证不同稀疏度条件下对CIF的二维逼近效果如图3所示。

图3显示随着稀疏度的不断降低，神经网络的逼近能力有所减弱，逼近误差则逐渐增大。这主要是因为神经网络中的连接权值数量降低，造成神经网络的适应性差。具体逼近效果见表2。

从表2中可以看出，隐层节点数量直接影响着神经网络的性能。高稀疏度条件下的计算量大，但逼近精度高；低稀疏度条件下的计算量小，但逼近精度较差。实验表明当稀疏度大于0.6时，算法的逼近精度高于90%，优化后的网络具有较好的非线性逼近能力。当神经网络隐层节点数量低于12时逼近精度大幅下降，说明此时神经网络处理信息的能力也随之大幅减弱，隐层节点的最合适的数量为12～14个，这也符合文献[14]的实验结果。

图4为不同稀疏度下，算法适应度的收敛情况。可以看出量子克隆免疫算法具有很好的收敛特性，算法收敛速度很快，能够在很短的进化次数内收敛至极值，且稀疏度越低，神经网络的连接权值数量越少，算法收敛速度越低，最优适应度越差。

表3为相同条件下，不同算法的最优计算结果，包括目标分类的准确度、隐藏层节点数量等。可以看出，当稀疏度高于0.8时，本文算法收敛性和适应度均优于混沌粒子群（Chaotic Particle Swarm Optimization，CPSO）[15]、粒子群优化算法（Particle Swarm Optimization，PSO）[16]、混合田口遗传算法[Hybrid Taguchi-Genetic Algorithm，HTGA][8]等其他算法，说明算法具有很好的收敛速度、寻优精度和鲁棒性。

3.3 微地震信号目标分类

实验场地选择在秦始皇兵马俑博物馆内K9901号坑旁。所有传感器节点沿公路一侧直线部署，距离公路1m左右。可能产生地震波的活动物体包括人员行走、机动车和挖掘活动。将采集到的微地震信号进行滤波、分帧、特征提取等处理后输入至神经网络进行模式识别。

系统对传感器采集到的数据进行分帧，并使用功率谱二次分析[17]算法对其进行处理，最后将经过预处理的数据输入至神经网络对其进行分类。根据其活动特点，将输出目标分为三类：人员活动、挖掘活动以及机动车辆活动。传感器采集到的三类活动的经典波形如图5所示。

表6中给出了算法的最优计算结果，包括不同稀疏度条件下神经网络的隐藏层节点数量、最优适应度以及分类准确率等。可以看出，算法能够有效减少冗余的隐藏层节点数量，并降低节点连接数量。算法的稀疏度越高，其适应度越好，其分类的准确性越好，但稀疏度高带来的则是计算代价增大、计算复杂度增加。当稀疏度低于0.7时，算法的适应度变差，目标的识别率为90%，在实际应用过程中带来了误判率较高的问题，降低了实用性。因此在秦始皇帝陵博物院野外文物安防系统中使用了稀疏度为0.7的算法对模式识别的神经网络进行优化。

4 结语

本文提出了基于量子免疫克隆算法的神经网络优化算法，该算法在训练神经网络优化权值的同时删除了冗余连接和多余的隐层节点，实现了神经网络结构和网络权值的优化。通过经典非线性函数逼近和目标识别检验，算法能够有效地优化神经网络，提高神经网络的优化效率，减少计算复杂度。使用优化后的神经网络已经用于秦始皇帝陵博物院野外文物安防系统中。

参考文献：

[1] QIAO H， ZHOU Y，SHAO N， et al. Software reliability prediction based on learning vector quantization neutral network[J]. Journal of Computer Applications， 2012，32（05）：1436-1438.）（乔辉，周雁舟，邵楠，等.基于学习向量量化神经网络的软件可靠性预测[J].计算机应用，2012，32（5）：1436-1438.）

[2] PAN Y， DENG Y， ZHANG Q， et al. Deterministic prediction of wavelet neural network model and its application[J]. Journal of Computer Applications，2013， 33（4）：1001-1005.（潘玉民，邓永红，张全柱，等.小波神经网络模型的确定性预测及应用[J].计算机应用，2013，33（4）：1001-1005.）

[3] LEUNG H F，LAM H F， LING S F， et al. Tuning of the structure and parameters of neural network using an improved genetic algorithm[C]// Proceedings of the 27th Annual Conference of IEEE Industrial Electronics Society. Piscataway： IEEE，2001：25-30.

[4] LEUNG H F， LAM H F， LING S H， et al. Tuning of the structure and parameters of a neural network using an improved genetic algorithm[J]. IEEE Transactions on Neural Network，2003，14（1）：79-88.

[5] XIAO C， CAI Z， WANG Y， et al. Tuning of the structure and parameters of a neural network using a good points set evolutionary strategy[C]// Proceedings of the 9th International Conference for Young Computer Scientists. Piscataway： IEEE， 2008：1749-1754.

[6] SHU L， HO S Y， HO S J. Tuning the structure and parameters of a neural network using an orthogonal simulated annealing algorithm[C]// Proceedings of the 2009 Joint Conferences on Pervasive Computing. Piscataway： IEEE，2009：789-792.

[7] DU W， ZHOU R， ZHOU L， et al. Cooperative quantum differential evolution algorithm based method for optimizing neural networks[J].Journal of Tsinghua University： Science and Technology， 2012，52（3）：331-335.（杜文莉，周仁，赵亮，等. 基于量子差分进化算法的神经网络优化方法[J].清华大学学报：自然科学版，2012，52（3）：331-335.）

[8] TSAI J， CHOU J， LIU T. Tuning the structure and parameters of a neural network by using hybrid Taguchi-genetic algorithm[J]. IEEE Transactions on Neural Network， 2006，17（1）：69-80.

[9] LI Y， JIAO L. Quantum-inspired immune clonal algorithm and its application[C]// Proceedings of the 2007 International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway： IEEE， 2007：670-673.

[10] JIAO L， LI Y， GONG M，et al. Quantum-inspired immune clonal algorithm for global optimization[J]. IEEE Transactions on Systems， Man and Cybernetics， Part B： Cybernetics， 2008，38（5）：1234-1253.

[11] ZHOU C， QIAN F. Improvement of quantum genetic algorithm and its application[J]. Journal of Computer Applications， 2008，28（2）：286-288.（周传华，钱峰.改进量子遗传算法及其应用[J].计算机应用， 2008，28（2）：286-288）

[12] ZHOU Q， JIANG S， ZHAO X， et al. Improved quantum genetic algorithm and its application in test data generation[J]. Journal of Computer Applications，2012，32（2）：557-560.（周绮，姜淑娟，赵雪峰，等.改进的量子遗传算法及其在测试数据生成中的应用[J].计算机应用，2012，32（2）：557-560.）

[13] QIAO J，LEE Y G， SCOTT D S， et al. Self-organizing radial basis function network for real-time approximation of continuous-time dynamical systems[J]. IEEE Transactions on Neural Networks，2008，19（3）：460-474.

[14] HAN H， QIAO J， BO Y， et al. On structure design for RBF neural network based on information strength[J]. Acta Automatica Sinica， 2012，38（7）：1083-1090.（韩红桂，乔俊飞，薄迎春，等.基于信息强度的RBF神经网络结构设计研究[J].自动化学报， 2012，38（7）：1083-1090.）

[15] ZHAO L. Fuzzy identification and neural networks learning based on cooperative PSO algorithm[D]. Shanghai： Shanghai Jiao Tong University，2008.（赵亮.基于协同PSO算法的模糊辨识与神经网络学习[D].上海：上海交通大学，2008.）

篇2

【关键词】 遗传算法 BP神经网络 结构参数 优化

一、引 言

传统的滤波器设计需要大量繁琐计算和曲线查找，在商用电磁仿真软件出现后，微波滤波器的设计得到了很大的改善，但是在实际操作中对经验依赖性还是很强。如何快速准确的设计出符合要求的滤波器，是传统的滤波器设计方法和目前的商用电磁仿真软件难以有效解决的。针对以上问题，本文将遗传算法和BP神经网络结合[1]，在MATLAB环境下实现了对腔体滤波器结构参数的设计。

二、遗传神经网络优化

BP神经网络尤其适用在有大量实验数据，而数据间的内在关系很难用明确的表达式的非线性系统中，但在实际应用中神经网络存在学习时间长，容易陷入局部极小点等弊端。因为该算法从本质上来说属于局部寻优算法，为此利用遗传算法全局搜索能力强的特点，结合神经网络的局部寻优能力，可以更好的实现对非线性系统的预测，其基本思想是通过遗传算法得到更好的网络初始权重。

2.1算法实现过程

遗传神经网络分为BP神经网络结构确定、遗传算法优化和BP神经网络预测3个部分。本文是以三腔体滤波器为例，将滤波器的频率f和耦合系数c作为输入向量

其次，使用改进的遗传算法对网络初始权重进行优化，将初步得到的权重赋给尚未开始训练的BP神经网络。然后，设置训练参数，开始训练网络，将 90组数用于网络训练，10组作为测试样本。最后将预测结果反归一化，观察得到的误差值，其流程图如图1所示。

2.2 优化结果

采用上述遗传神经网络算法对腔体滤波器的结构参数进行优化，均方误差为5.0972×10-5， 时间为1.056s；BP网络的均方误差为2.8871×10-4，时间为2.103s，可以看出遗传神经网络优化值更加精确，速度快。

三、结论

本文针对遗传算法和神经网络的优缺点，将遗传算法与BP神经网络有机地结合在一起，应用在腔体滤波器结构参数的优化中，优化结果表明此方法可以在较短的时间内达到精度范围内的优化值，为腔体滤波器的结构参数优化设计提供了一种新方法。

篇3

【关键词】大学生身体素质评估 遗传算法 BP神经网络 MATLAB计算程序

在校大学生是国家重要的人才后备力量，大学生的身体素质培养和锻炼是学校体育教学中关注的重点。对大学生身体素质进行科学、切实的评价可制订更为有效的培养方案，帮助大学生提高其身体素质。身体素质评价就是将大学生的身体形态、生理机能及运动能力等方面的数据综合起来进行评价[1]。从以往的研究成果看，对大学生身体素质评价集中于采用概率统计、多元回归分析和神经网络[2]的方法。然而，概率统计仅得到整体评价结果，多元回归分析预测精度较低，且两者受样本空间影响较大。为此，本文利用遗传算法来训练初始网络模型，再用BP算法来进行精确求解，是对神经网络评估大学生身体素质的进一步优化应用。

基于遗传算法的BP神经网络理论

通过把神经网络和遗传算法合理、科学的结合，既能够利用神经网络较强的学习能力，又发挥了遗传算法全局寻优的搜索功能。首先利用遗传算法得到权值的较优初始取值，训练网络避免了局部极小，利用BP神经网络训练次数和最终权值也相对稳定，训练速度明显加快，从而既节约了时间，又提高了预测结果的准确性。

1.基于遗传算法的BP神经网络结构

BP网络的学习规则采用最速下降法，利用遗传算法根据训练目标函数对网络权值进行迭代，找到最佳初始网络权值。通过反向传播来不断调整网络权值，使网络误差平方和最小，该系统的网络结构，如图1所示。先对大学生身体素质的评估指标进行分类，抽取大学生身体素质的特征指标，并作为输入信息送入由输入层、中间层和输出层组成的三层网络模型进行评估。经过测试的网络，成为稳定的模式评估器，即可输出评估结果[3，4]。

该模型的输入层节点数为n，即大学生身体素质评价指标数，中间层节点数为 ，输出层节点数为1，即身体素质评估结果值，ωij和ωj为BP神经网络权值，初始化隐含层阈值为ɑ，输出层阈值为b，由此可给定学习速率和神经元激励函数。从图1可发现，BP神经网络可以看成一个非线性函数，网络输入值和输出值分别为该函数的自变量和因变量。当输入层节点数为n，输出层节点数为1时，BP神经网络就表达了从n个自变量到1个因变量的函数映射关系。

2.基于遗传算法的BP神经网络算法

遗传算法优化BP神经网络的核心是用遗传算法来优化BP神经网络的初始权值和阈值，使优化后的BP神经网络能够更好地预测函数输出，计算流程如图2所示。

1.背景资料

根据本校某班2011年大学生身体素质测评成绩，从中选取30名学生的测试结果作为神经网络的训练样本和校验样本。结合遗传算法和BP神经网络算法，在大型数学计算软件MATLAB中编程实现基于遗传算法的BP神经网络大学生身体素质评估[4]。

2.计算结果与分析

遗传算法优化过程中最优个体的适应度变化（如图3）。把最优初始权值、阈值赋给神经网络，用训练数据训练100次后，得到基于遗传算法的BP神经网络预测值。为了对比分析，也进行了BP神经网络预测分析（如图4）。

从图4可看出，采用BP神经网络及遗传算法优化的BP神经网络两种算法得到的预测结果，与专家判断（实际值）基本一致。但基于遗传算法的BP神经网络较BP神经网络预测精度高。特别在输入节点，即评价大学生身体素质的指标较多时，基于遗传算法的BP神经网络预测效果要好一些。

结 论

1.本文提出了基于遗传算法的BP神经网络大学生身体素质评价算法，并建立了相应的网络模型。

2.基于遗传算法的BP神经网络算法不但具有神经网络的函数逼近能力，而且应用遗传算法优化BP神经网络的权值、阈值，可使优化后的神经网络避免训练时间长、易陷入局部极值的缺点。

3.结合实例，将基于遗传算法的BP神经网络大学生身体素质评价算法，应用于本校学生身体素质评估。结果表明，该算法较BP神经网络预测精度及效率高，可作为今后大学生身体素质评价的一种新方法。

参考文献：

[1]范正森，张明如，周瑞琪.大学生身体素质综合评价数学模型[J].武汉工业大学学报，2001，4：92-94.

[2]陈海英，郭巧.短跑运动能力的神经网络评价方法[J].北京理工大学学报，2003，1：54-57.

[3]陈刚，何政伟，杨斌，杨洋.遗传BP神经网络在泥石流危险性评价中的应用[J].计算机工程与应用，2010，46（3）.

篇4

【关键词】计算机网络模型 神经网络算法

计算机网络在人们日常生活越来越重要，被广泛应用到各个行业。随着社会不断发展，人们需求不断加高，使计算机得到良好改善，目前，计算机网络运用集线式服务器来实现网络互连，促进网络发展。但是也有很大弊端，过多的联想信息虽然满足人们需求，但是对技术的要求也更加苛刻，现有的技术满足不了计算机网络运行，使人们日常操作不方便。为了解决这一问题，研究人员需要全面优化计算机网络，提高运行能力和性能，运用神经网络算法，使计算机更加适合现代社会发展，储存更多信息。

1 神经网络算法概论分析

1.1 神经网络算法整体概论

神经网络算法是按照人体大脑的思维方式进行模拟，根据逻辑思维进行推理，将信息概念化形成人们认知的符号，呈现在显示屏前。根据逻辑符号按照一定模式进行指令构造，使计算机执行。目前，神经网络被广泛使用，使直观性的思维方式分布式存储信息，建立理论模型。

优化网络的神经网络主要是Hopfield神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hopfield神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。

1.2 优化神经网络基本基础

Hopfield神经网络是通过能量函数分析系统，结合储存系统和二元系统的神经网络，Hopfield神经网络能收敛到稳定的平衡状态，并以其认为样本信息，具备联想记忆能力，使某种残缺信息进行回想还原，回忆成完整信息。但是Hopfield神经网络记忆储存量有限，而且大多数信息是不稳定的，合理优化计算机联想问题，使Hopfield神经网络能够建设模型。

1.3 神经网络算法优化步骤简述

人工神经网络是模拟思维，大多是根据逻辑思维进行简化，创造指令使计算机执行。神经网络算法是按照人体思维进行建设，通过反应问题的方法来表述神经思维的解；利用有效条件和能量参数来构造网络系统，使神经网络算法更加可靠；大多数动态信息需要神经网络来根据动态方程计算，得出数据参数来进行储存。

2 神经网络算法的特点与应用

2.1 神经网络主要特点

神经网络是根据不同组件来模拟生物体思维的功能，而神经网络算法是其中一种程序，⑿畔⒏拍罨，按照一定人们认知的符号来编程指令，使计算机执行，应用于不同研究和工程领域。

神经网络在结构上是由处理单元组成，模拟人体大脑神经单元，虽然每个单元处理问题比较简单，但是单元进行组合可以对复杂问题进行预知和处理的能力，还可以进行计算，解决问题能力突出，能够运用在计算机上，可以提高计算机运算准确度，从而保障计算机运行能力。而且一般神经网络有较强容错性，不同单元的微小损伤并不阻碍整体网络运行，如果有部分单元受到损伤，只会制约运算速度，并不妨碍准确度，神经网络在整体性能上能够正常工作。同时，神经网络主干部分受到损伤，部分单元会进行独立计算，依然能够正常工作。

2.2 神经网络信息记忆能力

神经网络信息存储能力非常强，整体单元组合进行分布式存储。目前，神经网络算法是单元互相连接，形成非线性动态系统，每个单元存储信息较少，大量单元互相结合存储信息大量增加。神经网络具备学习能力，通过学习可以得到神经网络连接结构，在进行日常图像识别时，神经网络会根据输入的识别功能进行自主学习，过后在输入相同图像，神经网络会自动识别。自主学习能力给神经网络带来重要意义，能够使神经网络不断成长，对人们未来日常工作能够很好预测，满足人们的需求。

2.3 神经网络的突出优点

近年来，人工神经网络得到越来越多人重视，使神经网络得到足够资源进行良好创新。人工神经网络是由大量基本元件构成，对人脑功能的部分特性进行模仿和简化，人工神经网络具备复杂线性关系，与一般计算机相比，在构成原理和功能特点更加先进，人工神经网络并不是按照程序来进行层次运算，而是能够适应环境，根据人们提供的数据进行模拟和分析，完成某种运算。

人工神经系统具备优良容错性，由于大量信息存储在神经单元中，进行分布式存储，当信息受到损害时，人工神经系统也可以正常运行。人工神经网络必须要有学习准则制约来能够自主学习，然后进行工作。目前，人工神经网络已经逐步具备自适应和自组织能力，在学习或训练过程中改变突触权重值，以适应周围环境的要求。通过一定学习方式和某些规则，人工神经网络可以自动发现环境特征和规律性，更贴近人脑某些特征。

采用并行分布处理方法，使得快速进行大量运算成为可能。神经网络的一个很大的优点是很容易在并行计算机上实现，可以把神经的节点分配到不同的CPU上并行计算。钱艺等提出了一种神经网络并行处理器的体系结构，能以较高的并行度实现典型的前馈网络如BP网络和典型的反馈网络（如Hopfield网络）的算法。该算法以SIMD（Single Instruction Multiple Data）为主要计算结构，结合这两种网络算法的特点设计了一维脉动阵列和全连通的互连网络，能够方便灵活地实现处理单元之间的数据共享。结合粒子群优化算法和个体网络的并行学习机制，提出了一种基于粒子群优化的并行学习神经网络集成构造方法。

3 结束语

全球化的发展，信息交流不断加快，促使各个行业相互融合。神经网络算法具备简单、稳定等不同优势，神经网络研究内容相当广泛，神经网络算法能够与其它算法相互结合，在一定程度提高计算机网络模型运算能力。但是计算机网络模型中神经网络算法学习能力比较低下，梯度下降法不准确，所以需要有关人员进行深度研究，探索神经网络算法，使其更加完善，从而保证计算机整体性能的提高。

参考文献

[1]陈竺.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2014（19）.

[2]史望聪.神经网络在计算机网络安全评价中的应用分析[J].自动化与仪器仪表，2016（06）.

篇5

关键词：电阻点焊；神经网络；消音锯片

0序言

电阻点焊过程是一个高度非线性，既有多变量静态叠加又有动态耦合，同时又具有大量随机不确定因素的复杂过程。这种复杂性使得传统方法确定最佳工艺参数存在操作复杂、精度低等缺陷。

本文通过深入研究提出了一种神经网络优化消音锯片电阻点焊工艺参数方法。以试验数据为样本，通过神经网络，建立焊接工艺参数与焊接性能之间的复杂模型，充分发挥神经网络的非线性映射能力。为准确预测点焊质量提高依据。在运用试验手段、神经网络高度非线性拟合能力结合的方式，能在很大程度上克服传统方法的缺陷，完成网络的训练、检验和最优评价，为电阻点焊过程的决策和控制提供可靠依据。

1原理

人工神经网络是用物理模型模拟生物神经网络的基本功能和结构，可以在未知被控对象和业务模型情况下达到学习的目的。建立神经网络是利用神经网络高度并行的信息处理能力，较强的非线性映射能力及自适应学习能力，同时为消除复杂系统的制约因素提供了手段。人工神经网络在足够多的样本数据的基础上，可以很好地比较任意复杂的非线性函数。另外，神经网络的并行结构可用硬件实现的方法进行开发。目前应用最成熟最广泛的一种神经网络是前馈多层神经网络（bp），通常称为bp神经网络。

神经网络方法的基本思想是：神经网络模型的网络输入与神经网络输出的数学关系用以表示系统的结构参数与系统动态参数之间的复杂的物理关系，即训练。我们发现利用经过训练的模型进行权值和阈值的再修改和优化（称之为学习）时，其计算速度要大大快于基于其他优化计算的速度。

bp神经网络一般由大量的非线性处理单元——神经元连接组成的。具有大规模并行处理信息能力和极强的的容错性。每个神经元有一个单一的输出，但可以把这个输出量与下一层的多个神经元相连，每个连接通路对应一个连接权系数。根据功能可以把神经网络分为输入层，隐含层（一或多层），输出层三个部分。设每层输入为ui(q)输出为vi(q)。同时，给定了p组输入和输出样本 ，dp（p=200）。

（6）

该网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而bp网络具有较好的泛化的能力。

我们主要是利用神经网络的非线性自适应能力，将它用于消音锯片的电阻点焊过程。训练过程是：通过点焊实验获得目标函数与各影响因素间的离散关系，用神经网络的隐式来表达输入输出的函数关系，即将实验数据作为样本输入网络进行训练，建立输入输出之间的非线性映射关系，并将知识信息储存在连接权上，从而利用网络的记忆功能形成一个函数。不断地迭代可以达到sse（误差平方和）最小。

我们这次做的消音金刚石锯片电焊机，通过实验发现可以通过采用双隐层bp神经网络就可以很好的反应输入输出参数的非线性关系。输入神经元为3，分别对应3个电阻点焊工艺参数。输出神经元为1，对应焊接质量指标参数。设第1隐含层神经元取为s1，第2隐含层神经元取为s2。输入层和隐含层以及隐层之间的激活函数都选取log-sigmoid型函数，输出层的激活函数选取pureline型函数。

2点焊样本的选取

影响点焊质量的参数有很多，我们选取点焊时的控制参数，即点焊时间，电极力和焊接电流，在固定式点焊机上进行实验。选用钢种为50mn2v，φ600m的消音型薄型圆锯片基体为进行实验。对需要优化的参数为点焊时间，电极力和焊接电流3个参数进行的训练。最后的结果为焊接质量，通常以锯片的抗拉剪载荷为指标。

建立bp神经网络时，选择样本非常重要。样本的选取关系到所建立的网络模型能否正确反映所选点焊参数和输出之间的关系。利用插值法，将输入变量在较理想的区间均匀分布取值，如果有m个输入量，每个输入量均匀取n个值（即每个输入量有m个水平数）, 则根据排列组合有nm个样本。对应于本例，有3个输入量，每个变量有5个水平数，这样训练样本的数目就为53=125个。

我们的实验，是以工人的经验为参考依据，发现点焊时间范围为2~8s，电极力范围为500~3000n，点焊电流范围为5~20ka时，焊接质量比较好。我们先取点焊电流，电极力为定量，在合理的范围内不断改变点焊时间，得到抗拉剪载荷。如此，可以得到不同点焊电流和电极力的抗拉剪载荷。根据点焊数据的情况，我们共选用200组数据。部分测试数据如表1：

神经网络建模的关键是训练，而训练时随着输入参数个数的增加样本的排列组合数也急剧增加，这就给神经网络建模带来了很大的工作量，甚至于无法达到训练目的。

3神经网络

我们用200组训练样本对进行神经网络训练，以err_goal=0.01为目标。调用matlab神经网络工具箱中的函数编程计算，实现对网络的训练，训练完成后便得到一个网络模型。

程序如下：

x1=[2.1 2.5 3 3.5 4……]； %点焊时间输入，取200组

x2=[1.3 1.5 1.9 2.1 2.3……]；%电极力输入，取200组

x3=[9 10 11 12 13……];%点焊电流输入，取200组

y=[2756 3167 3895 3264 2877……]； %输出量，取200组

net=newff([1 10;0.5 3;5 20],[10 10 1],{'tansig''tansig''purelin'});

%初始化网络

net.trainparam.goal = 0.01;%设定目标值

net=train(net,[x1;x2;x3],y);%训练网络

figure； %画出图像

选取不同的s1,s2，经过不断的神经网络训练，发现当s1=8,s2=6时，神经网络可以达到要求。工具箱示意图如下图1。

图 1工具箱示意图

工具箱示意图非常清晰地表示了本实验的神经网络的输入，输出以及训练的过程。

神经网络的训练结果，如图2所示:

图2神经网络的学习过程

图中可以看出双层网络训练的sse在训练100次时，已经接近0.0001，效果较理想。

为了验证经过训练的网络模型的泛化能力，在输入变量所允许的区域内又另选多个样本进行了计算。发现：利用bp神经网络模型计算的测试输出与期望输出值相符，误差小于2％。

在已经训练好的网络中找出最大值：

for i=2:10 %点焊时间选择

for j=0.5:0.1:3%电极力选择

fork=5:0.1:20%点焊电流选择

a=sim(net,[i,j,k])；%仿真

ifa>n %比较仿真结果与最大值，取最大值n=a；

i(1)=i；%最大值的时间

j(1)=j；%最大值的电极力

k(1)=k； %最大值的电流

end

end

end

end

将i（1）,j（1）,k（1）以及n输出，n为最大值。得到点焊时间为3.4s，电极力为12.7kn，点焊电流为11.8ka，此时的抗剪拉剪载荷为4381n，为训练结果的最大值。将点焊时间为3.4s，电极力为12.7kn，点焊电流为11.8ka在点焊机上进行实验，得到结果为4297n。并且通过与实际的结果相比较，发现误差也在2%以内。

4结论

1）本文采用了插值法作为选取bp神经网络训练样本的方法。并且在数据变化剧烈的地方多选取了75组数据，这样可以得到较高精度的网络模型，使点焊模型的可行性。

2）基于此方法建立了三个点焊参数的bp神经网络模型，而且所建的bp模型具有较高的精度，可以很好的描述了这三个点焊参数与点焊质量的映射关系。

3）由于神经网络模型将系统结构参数与传统动态特性参数之间的物理关系，反映为神经网络模型的网络输入与网络输出的数学关系，因此，在神经网络模型上进行结构修正与优化比在其他模型上更直接，简单与高效。

本文采用神经网络的方法优化复合消音锯片的点焊工艺参数，为分析点焊质量提供了很好的辅助手段。通过与以前工艺相比较，提高了点焊质量。

参考文献：

[1] 方平,熊丽云.点焊电流有效值神经网络实时计算方法研究.[j].机械工程学报,2004（11）.148-152.

篇6

欧阳亮(1984―)，女，湖南大学工商管理学院(长沙，410082)。研 究方向：金融工程与风险管理。

［关键词］汇率预测；汇率波动；神经网络

汇率作为一个重要的经济变量，其变动对国民收入的增减、工农业的发展、国内利率、就业 等各方面都有着重要的影响。因此，汇率预测受到广泛的关注，大量的计量经济模型和时间 序列模型被用于汇率预测。其中，人工神经网络(Artificial Neural Networks, ANN)作为 一种非参数的数据驱动型的方法，不需要对数据特征进行事先假设，通过合理的样本训练， 学习专家的经验、模拟专家的行为，并引入非线性转换函数来求解各种复杂的非线性问题， 具有很强的模式识别能力和高速信息处理能力，从而在时间序列数据预测方面有独特的优 势。[1]

利用神经网络方法预测汇率波动，国内外学者已经进行了比较广泛的研究。总结国内外学者 的研究成果，用神经网络预测汇率有3个层次。它们分别是同质神经网络模型、 异质神经网络模型和神经网络组合模型。

一、汇率预测的同质神经网络模型

同质神经网络预测模型是用神经网络根据历史汇率数据来预测未来汇率，这是作为一种汇 率预测的非参数方法提出来的。由于汇率波动具有非线性相关性和 长效记忆性，因此通过历史数据进行汇率预测是一种可行的方法。同质神经网络预测模型认 为；汇率有一个隐含的生成机制，历史汇率和未来的汇率都由这个机制生成，通过对历史数 据的观测，识别这个生成机 制，就可用这个生成机制预测未来的汇率。由于神经网络是一个数据驱动的自适应的非参数 方法，不基于假设，即使产生数据的过程是未知的，或者很复杂，神经网络也能识别。

用同质神经网络进行汇率预测，是根据汇率的历史数据加上输入延迟来预测汇率的变化或变 化趋势。用于汇率预测的神经网络模型很多，其中最常用的是多层后向神经网络模型，即BP 神经网络。BP神经网络一般采用三层结构：输入层、隐含层、输出层。BP神经网络的算法 和训练如图1。

以t时刻汇率种类R的预测为例，滞后期为n，预测长度为L。输入层的数据是从时刻t开始前n 期的历史汇率观测值序列，yt,…, yt-n，输入才由长度n的滑动窗口产生。输出层 依次输出从t时刻开始的L个汇率预测值，yt+1,…, yt+L。相邻汇率的时间间 隔是等长的。汇率预测的同质神经网络模型的结构如上图2。

用同质神经网络预测汇率的研究很多，1993年，Refenes等人采用神经网络方法预测汇率变 动，他们将数据分成训练组(Training Subsample)、测试组(Testing Subsample)和预测组( Forecasting Subsample),先用训练组和测试组数据训练神经网络，然后用预测组数据进行 预测，这种尝试以及随后的评议肯定了神经网络在一定的情况下比“标准”的预测方法表现 要好。[2]Kuan和Liu(1995)用神经网络对5个不同币种兑美元的汇率进行预测。这5 种货币包括英镑、加拿大元、德国马克、日元以及瑞士法郎。研究发现神经网络对日元和英 镑的预测的均方差(MSE)很低，但对其余3个币种的预测效果一般。[3]De Matos(19 94)通过对日元期货预测比较了多层后向神经网络(MLFN)和重复网络的预测效果。[4]Zhang和Hu(1998)用多层后向神经网络对英镑和美元的汇率进行预测，发现神经网络的预 测效果明显优于线性模型，尤其在预测期比较短的时候。[5]

虽然研究表明神经网络的预测效果比其他方法好，但是其预测精度和可靠性仍然不尽人意。 对此，学者们对神经网络进行了改进，提出了诸如聚类神经网络、重复神经网络、广义回归 神经网络、模糊神经网络等经改进的神经网络进行汇率预测，或者将其他方法与神经网络结 合，以改善神经网络的预测能力。例如，Shazly等(1999)用遗传算法训练神经网络的权值。 惠晓 峰和胡运权等(2002)结合遗传算法，提出了基于实数编码的GA-BP神经网络汇率预测人民币 兑美元汇率的模型。姚洪兴, 盛昭瀚和陈洪香(2002)提出了一种改进的小波神经网络结构。

这些研究在一定程度上提高了神经网络的预测效果，但是神经网络的结构、训练算法、阀值 函数的选择以及滞后期的确定等问题仍然难以解决。而且，汇率由历史汇率唯一决定这一 前提也缺乏足够的理论支持。

二、汇率预测的异质神经网络模型

用异质神经网络模型进行汇率预测，是指在预测过程中，考虑影响汇率的各种因素，如利率 、通货膨胀率、原油价格、货币供应、贸易收支差额、消费价格指数、消费信心指数等，根 据这些影响因素来预测汇率。Shazly(1997)选取一个月欧洲美元存款利率、一个月欧洲外币 存款利率、即期汇率 和一个月的远期汇率作为输入变量，预测一个月后的即期汇率。结果表明，神经网络的预测 效果比通过远期汇率进行的预测效果要好。[6]杨火斤 和马洪波(1999)选取GNP、CPI、工业股 票价格指数、短期利率、货币供应量、长期利率6个影响因素，将这些变量作为神经网络的 输入变量，训练神经网络根据这些变量预测汇率。[7]Hui Xiao-feng等(2005)也用 模糊神经网 络进行汇率预测，输入的变量包括两国的CPI和GDP、两国的利率差、货币供应比、净出口额 等。[8]

异质神经网络模型的网络结构和训练算法与同质神经网络相似。区别在于同质神经网络的输 入是一段时滞的历史汇率数据，是一维的数据，而异质神经网络的输入数据是多个变量的数 据，是二维的数据。令x1, x2,…, xn分别表示影响汇率变动的各个因素，异质神经 网络的结构如图3所示。

图3 异质神经网络模型

随着布雷顿森林体系的崩溃，各国纷纷采用浮动汇率制度，影响汇率变动的因素更加多样化 、复杂化，难以确定。因此，学者们开始用神经网络与其他预测方法结合使用。一种是与基 本因素分析模型如购买力平价模型、利率平价模型等相结合。根据这些模型确定的影响因素 作为神经网络的输入变量，通过神经网络训练优化变量的权值，从而进行汇率预测。例如， Qi和Wu(2003)用基于货币理论的神经网络对英镑和马克1个月、6个月、12个月的汇率进行预 测，输入变量为货币供应量M1，各个国家的实际工业生产收入、利率作为输入变量。Lee和W ong(2007)用微观结构理论和宏观经济的6个变量作为神经网络的输入，预测汇率波动。

另一种方法是用神经网络与协整方法结合。先通过协整分析确定影响汇率变动的因素，再用 神经网络确定各变量的权值。Inc和Trafalis(2006)构建了一个结合协整方法和人工神经网 络的汇率预测模型方法，先用协整方法确定对汇率有影响作用的变量，然后用ANN对这些变 量进行非线性组合，预测汇率。[9]

异质神经网络模型将汇率视为整体经济系统中的一个变量，汇率波动受众多因素的影响，因 此汇率的波动是根据这些影响因素的波动来预测的，与同质神经网络模型相比有更强的理论 支持。但是，它的预测效果取决于影响因素的选择，因此汇率的影响因素的选择是异质神经 网络预测模型的关键。

三、汇率预测的神经网络组合模型

神经网络进行汇率非线性组合预测是一个两步组合预测模型。Bates和Granger(1969)证明了 预测方法的线性组合比单模型能产生更小的误差。[10]此后，一些学者在这方面做 了很多研 究。在众多的组合方法中，神经网络非线性组合是最广泛使用的方法。Hu和Tsoukalas(1999 )用不同的GARCH模型预测条件波动，并对这些预测值分别进行线形和非线性组合，结果表明 用神经网络进行非线性组合的预测效果是最好的。[11]Tseng等(2002)用BP神经网 络和时间 序列模型――SARIMA模型进行组合，用SARMIA(Seasonal Autoregression Moving Integrat e Average)对汇率进行线性预测，再用神经网络处理SARMIA模型预测的残差，进行汇率预测 。[12]用同样的方法还有Zhang(2003)用ARIMA和ANN组和对英镑和美元汇率进行预 测。[13]Yu, Wang和Lai(2005)组合广义线性自回归模型(GLAR)和神经网络进行 汇率预测。[14]

用神经网络对汇率进行非线性组合预测时，是将汇率数据分解成线性部分和非线性部分。先 用基本因素模型或者参数模型对汇率进行第一步预测；然后用神经网络对第一步预测残差进 行非线性组合；再根据两步的预测结果进行汇率预测。或者用神经网络对不同的参数模型的 预测结果进行非线性组合。下面以神经网络和ARIMA模型的非线性组合为例，说明神经网络 组合模型的基本原理。

(3)用神经网络mode残差：[AKn^]t=f(et-1,et-2,…，et-n)[JY](4)

其中，f表示神经网络的预测的非线性函数，et是随机误差。

(4)组合ARIMA和神经网络：[AKy^]=[AKl^]+[AKn^]t[JY](5)

神经网络组合模型使用神经网络和线性方法进行非线性组合，考虑了汇率作为一个复杂系统 同时具有线性和非线性特征的实际，充分利用了参数方法和非参数方法的优势，并综合了各 种汇率理论的分析结果。大量的实际研究表明，组合预测的效果比单独用线性模型或单独用 神经网络预测的效果要好。

四、比较与结论

同质神经网络预测模型是根据历史数据进行汇率预测，是用一维的数据训练神经网络。它没 有 考虑汇率作为经济系统中的一个变量，受到众多因素的影响，而仅仅把汇率视为一系列没有 经济含义的无规则数据。而异质神经网络模型则把汇率视为复杂经济系统中的一个变量，认 为在统计上无规则的汇率数据是由众多因素共同决定的。异质神经网络模型用二维数据进行 训练，与同质神经网络模型相比，其预测有更充分的理论支持。但是，影响汇率的因素至今 没有定论也没有统一的选取法则。

同质神经网络预测模型和异质神经网络预测模型都将汇率视为单纯的非线性变化的时间序列 ，而实际汇率的波动不是单纯的线性或非线性的，而是同时包含线性和非线性模式，因此单 纯的线性模型和非线性模型都不能很好地预测汇率。而神经网络组合预测模型则与前两种方 法有本质的不同，它同时考虑了汇率的线性和非线性特征，在线性预测的基础上再进行非线 性组合，充分利用参数方法和非参数方法的优势。一方面，研究表明线性预测有很多效果很 好 的方法，如ARIMA，GARCH等参数模型；另一方面，这些模型都基于很强的假设条件，不同的 条 件下预测效果有很大差别。因此，在实际预测时候，很难确定某个模型比其他模型有更好的 样本外预测效果。最优模型的选择是件很困难的事情。用神经网络组合模型，避免了 最优模型选择的问题，又综合了不同的汇率理论的分析结果。

另外，同质神经网络预测模型和异质神经网络预测模型都是单模型的一步预测的方法，研究 表明单一的模型往往只能适应某一特定的情况或者反映一部分的信息，而实际汇率是一个复 杂的系统，组合不同的参数模型或者参数模型不同参数的预测结果，能够较大限度地利用各 种预测样本信息，比单个预测模型考虑的问题更系统、更全面，从而提高了预测的精度。

自2005年7月21日起，中国实行汇率改革以来，央行入市干预的力度明显减弱。由市场供求 关系决定的人 民币汇率受到众多因素的影响，波动幅度较以往明显加大。用神经网络组合模型对人民币汇 率进行预测，充分考虑了汇率波动的复杂性。结合线性方法和非线性方法的优势，能抓住汇 率波动的线性和非线性特征，并能全面挖掘和反映样本信息，有较好的样本外预测效果。因 此，神经网络组合模型是人民币汇率预测的最佳选择。

但是，用神经网络组合模型进行汇率预测也存在一些难以解决的问题。首先是神经网络自身 的优化问题，如隐藏层数及隐藏层结点数的确定、激活函数的确定、局部最优等，神经网络 的结构直接影响着预测效果。其次，在神经网络进行组合预测时，如何选择被组合的模型以 及模型的个数，是另外一个难以解决的问题。第三，神经网络可以根据残差最小的原则不断 地调整参数来改变预测效果，但是它不能改变输入数据，而汇率数据往往是剧烈波动，存在 噪音的。因此，如何对数据进行除噪，优化神经网络的输入数据是另一个值得研究的问题。

主要参考文献：

［1］Guoqiang Zhang, Eddy Patuwo, Michael Hu. Forecasting with artificialneural networks: The state of the art［J］. International Journal of Forecastin g, 1998, 14: 35-62.

［2］Refenes. Constructive learning and its application to currency excha nge rate forecasting. In: Neural networks in finance and investing: using artifi cial intelligence to improve real world performance, 1993, 465-493.

［3］CM Kuan, T Liu. Forecasting exchange rates using feedforward and rec urrent neural networks［J］. Journal of Applied Econometrics, 1995, 10(4): 347-6 4.

［4］De Matos. Neural networks for forecasting exchange rates: ［disserta tion n］. Canada: The University of Manitoba, 1994.

［5］Gioqinang Zhang, Michael Y. Hu. Neural Network Forecasting of the Br itish Pound/US Dollar Exchange Rate［J］. Omega, Int. J. Mgmt Sci, 1998, 26(4):495-506.

［6］Mona R. El Shazly, Hassan E. El Shazly. Comparing the forecasting pe rformance of neural networks and forward exchange rates［J］. Journal of Multina tional Financial Management, 1997(7): 345-356.

［7］杨 火斤, 马洪波. 人工神经网络在中长 期汇率预侧中的应用［J］. 系统工程, 1999, 17(1): 18-24.

［8］HUI Xiao-feng, LI Zhe, WEl Qing-quan. Using fuzzy neural networks fo r RMB/USD real exchange rate forecasting［J］. Journal of Harbin Institute of Te chnology (New Series), 2005, 12(2): 189-192.

［9］Huseyin Ince, Theodore B. Trafalis. A hybrid model for exchange rateprediction［J］. Decision Support Systems, 2006, 42(10): 1054-1062.

［10］Bates JM, Granger CWJ. The combination of forecasts［J］. Operation s Research Quarterly, 1969, 20: 451-68.

［11］Michael Y. Hu, Christos Tsoukalas. Combining conditional volatilityforecasts using neural networks: an application to the EMS exchange rates［J］.Journal of International Financial Markets, Institutions and Money, 1999, (9):407-422.

［12］Fang-Mei Tseng, Hsiao-Cheng Yub, Gwo-Hsiung Tzeng. Combining neuralnetwork model with seasonal time series ARIMA model［J］. Technological Forecas ting & Social Change, 2002, 69: 71-87.

［13］G peter Zhang. Time series forecasting using a hybrid ARIMA and neu ral network model［J］. Neuro computing, 2003, 50: 159-175.

［14］LeanYu, Shouyang Wang, K. K. Lai. A novel nonlinear ensemble foreca sting model incorporating GLAR and ANN for foreign exchange rates［J］. Computer s & Operations Research, 2005, 32: 2523-2541.

Forecasting Exchange Rate with ANN: A Comparative Anal ysis

Xie Chi1 Ouyang Liang2 Abstract:With the popularity of floating exchange rate system,a lot of methods with parameter and non-parameter are adopted to forecast the ex change rate, and ANN is one of them. There are three types of ANN for exchange r ate forecasting, namely the homogenous ANN model, the heterogeneous ANN model an d the hybrid ANN model. This paper researches on the three models, specificallytheir characteristics and limitations, and draw the conclusion that both ANN mod el give full consideration to the linearity and nonlinearity characters of the e xchange rate. The ANN model can offer better results in a more systematic and co mprehensive way, because it adopts the thoughts integrating the analysis of diff erent exchange rate theories, and broadly utilizes the forecast samples.

Key words:Exchange Rate Forecasting; Exchange Rate Fluctuation;ANN

篇7

【关键词】BP神经网络；预测；误差

1.引言

许多金融学家和计量学家对发达国家成熟市场的波动性进行了广泛的研究，但是在对股市的预测上，由于人们在知识、能力、经验上存在着较大的差异，加之问题本身又具有很大的随机性和高度的非线性，即使是一些金融专家、炒股高手对出现的同一复杂行情进行分析，往往也会得出不同的结论。此外，传统方法还要事先知道各种参数，以及这些参数在什么情况下应作怎样的修正。这都给预测股市带来一定的困难。

基于以上股市预测的困难性，本文提出了人工神经网络的预测方法。随着计算机、人工智能尤其是专家系统的发展，人工神经网络技术逐渐成熟并开始应用于各个领域。人工神经网络（ANN，简称神经网络）作为一种由大量简单神经元广泛相互联接而成的非线性映射或自适应动力系统，恰好能有效解决股市预测处理中常见的困难，因此它很快在股市预测分析与处理领域得到了广泛的应用。

2.BP神经网络介绍

2.1 BP 网络算法的基本原理

2.1.1 标准的BP 网络算法的基本原理

BP(Back Propagation)网络是反向传播的多层前馈式网络，是目前使用最为广泛的一种人工神经网络。它的核心是BP算法，一种对于多基本子系统构成的大系统进行微商计算的严格而有效的方法，采用最小均方差学习方式。BP 神经网络的原理说到底就是给它一些输入变量，然后就有一个输出，输出值的情况与实际的情况进行比较，差多少，然后再进行网络的内部调整，属于有导师的学习规则，使得网络输出与实际逼近。

神经网络能学习和存贮大量的输入―输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。人工神经网络由非线性函数组成，而由一系列不同权重的线性过滤器组合而成：

2.1.2 BP网络算法的优化

由于常用的BP算法主要缺点为收敛速度慢，局部极值，难以确定隐含层和隐含层的个数，使得在实际应用中BP算法很难应用，因此，出现了许多改进算法。BP算法的改进主要有两种途径，一种是采用启发式学习方法；另一种则是采用更有效的优化算法，本文采用了动量法和学习率自适应调整的策略，从而提高了学习速度并增加了算法的可靠性。动量法降低了网络对于误差曲面局部极值的敏感性，有效地抑制了网络陷于局部极小。

2.2 BP神经网络的模型识别及步骤

模式通常指对事物的一种定量描述或结构描述，“识别”是指对客观事物按其物理特征进行分类。模式识别的基本原理就是从待识别对象和理想标本之间若干特征的相似性推断它们之间总体的相似性。BP神经网络模式识别过程分为训练阶段和模式分类阶段，分为初始化、数据与处理、网络训练以及模式分类四个步骤。以下利用实证分析来进行着四个步骤。

3.实例分析

下面以上证的某股600个交易日的股票价格收盘指数作为原始样本数据，对上述神经网络模型进行求解，预测20天的收盘价，与实际收盘价进行比较，并求出其误差：

式中，表示第日的实际收盘指数，表示第日的预测值，表示误差。主要按照如下几部分来处理：（1）准备600个数据的时间序列，进行归一化。BP神经网络中每个神经元的输出值由传递函数Sigmoid函数来计算，其输出值的范围是（0，1）；（2）留出最后20个数据，作为预测检验使用；（3）绘制图像，包括实际值和预测值，能量函数；（4）分析实际和预测两曲线的趋势。

采用I-J-K学习模型，该模型是输入层I个神经元，隐层J 个神经元，输出层K个神经元。利用BP神经网络模型训练500次、800次、1000次的输出值和期望值以及能量函数（或者叫误差函数）E，结果见图1到图3。

通过上面的图示，可以看到用BP神经网络预测的效果比较明显，这说明该模型适用于短期预测吗，股市的波动在很多地区都是非常剧烈的，各种因素的综合作用也使得长期股指的变动具有极大的不确定性，使得预测变得很困难。而BP网络的算法原理和自学习的特点使其能够充分挖掘出隐含在样本数据中的规律性，实现从输入空间到输出空间的非线性映射，对样本数据进行精确的拟合。从而BP神经网络的方法对于股市上的一些很难看出规律的数据列的预测而言，无疑是一个比较精确的预测方法。

4.结论

本文介绍了股市的特点以及股市预测的困难性，提出了利用BP神经网络的方法来解决股市预测问题。文章介绍了BP神经网络算法的基本原理，BP神经网络算法的优化，BP神经网络模型识别及步骤，最后后以上海证券交易所每日股票价格收盘指数为分析对象，把原理应用于实际，利用BP神经网络对股票价格收盘指数进行了短期预测，并计算出预测值和实际值的误差。通过实验发现该模型收敛速度快，预测精度非常高，对预测短周期内股指波动具有较强的适用性。

参考文献

[1]高琴.人工神经网络在股市预测模型中的应用[J].微电子学与计算机,2007年第24卷第11期.

[2]周翠红,路迈西.线性回归与人工神经网络预测煤炭发热量[J].煤炭科学技术,第37卷第12期.

[3]尹庆双,奉莹.人工神经网络在第三产业就业分析中的应用[J].人口与经济,2009年第6期.

[4]邹文安,刘宝,姜波,杨春生.基于Excel 技术平台人工神经网络BP模型及应用[J].水文,第30卷第1期.

[5]康进,刘敬伟.非参数回归估计与人工神经网络方法的预测效果比较[J].统计与决策,2009年第23 期.

[6]杨本昭,田耕.基于人工神经网络的客户价值分类研究[J].科技管理研究,2007年第12期.

篇8

关键词：手势动作识别 PNN 传播率 识别率

中图分类号：TP183 文献标识码：A 文章编号：1672-3791（2013）07（a）-0217-01

表面肌电信号（sEMG）是从皮肤表面由电极引导记录下来的一种重要的生物电信号。表面肌电信号使用方便，对人体无损伤，被广大的手势动作识别研究中应用，同时也是智能假肢理想的控制信号源。目前，在手势动作识别方面国内外学者取得了有效的成果。例如K.Englehart等对四种手势动作进行识别，识别率为90%。2004年Kiguchi.K等人提出的识别方法大致可分为统计识别方法、句法识别、集成识别方法、神经网络识别方法等。本文采用改进的PNN神经网络方法进行识别，该方法结构简单、训练时间短且识别率较高不仅克服了传统BP神经网络识别率低、训练时间长的缺点同时也克服了传统PNN网络传播率系数需要手动设置的不足，较好的改善了识别率。本文采用改进的PNN神经网络对造型“C”、食指伸展、伸腕、向下曲腕、握拳、向侧曲腕、手掌伸展7种手势动作进行模式识别。

1 sEMG的特征提取与特征选择

表面肌电信号的特征提取对手势动作的识别率有直接影响。本文采用时域、频域及时频域的特征作为不同手势动作的特征。但是，特征太多会给计算带来困难，而且会造成分类效果的恶化。因此本文采用K-W检验的方法对时域、频域及时频域的单个特征进行评价，选择最具有分离度的特征。本文将提取的特征作为改进PNN神经网络的输入信息对7种手势动作识别分类，并与传统的神经网络进行识别率对比分析。

2 改进PNN神经网络模型

PNN神经网络是1990年由Specht提出的一种径向基函数（RBF）网络的重要变形。它的训练学习过程是一个完全正向的过程这一点与传统神经网络不同，大大减少了训练时间。不仅如此该网络不易陷入局部极小值点，非常适合模式识别研究。在进行仿真实验时，传播率的改变对识别结果的影响明显，总会有一个值能使识别率最高，但是在概率神经网络中该参数一般是手工设定，增加了训练时间，为了提高效率本文通过仿真实验，在多次试验中找使结果最好的取值。粒子群优化算法被广泛应用与优化数值的求解，本文采用该方法选取最优的传播率参数。

3 仿真实验及结果分析

将本文的改进算法统传统的算法进行比较分析，改进PNN神经网络算法记为P1算法，传统BP神经网络算法记为P2算法。对于P1算法：设计的PNN网络的结构为：输入层有4个神经元，输出层有7个神经元，中间层的传递函数为高斯函数，输出层的传递函数为线性函数。将第1通道均值、第2通道均值、第1通道功率谱密度、第2通道功率谱密度作为输入特征，进行仿真实验研究。

4 结论

传统的神经网络训练时间长且易陷入局部极小值，在手势动作识别研究中正确识别率也并不高，本文针对这些问题提出的改进PNN神经网络有效克服了这些不足，识别率提高到90%左右，并且训练时间也缩短了一半。有效的改善了手势动作识别效果。

改进PNN神经网络的提出为手势动作识别分类提供了理论基础，为智能假肢的研究提高的科学依据，但是，为了将手势动作的识别算法应用于智能假肢，改进的概率神经网络识别算法的识别率仍有待提高。因此，寻找更有效的识别算法，提高手势动作的识别准确率是今后的研究热点问题。

参考文献

[1] JIN D W，WANG R CH.Artificial lntelligent prosthesis[J].Chinese J. Clinical Rehabilitation，2002，5（20）：2994-2995.

[2] Paclik P，Novovicova J，Pudil P.Road sign classification using Laplace classifier[J].Pattern Recognition Letters，2000，21（13-14）：1165-1173.

[3] Sueteus P，Fua P， Hanson A putational strategies for object recognition[J].ACM Computing Surveys，1992，24（1）：5-61.

[4] Specht D.Probabilistic neural network[J].Neural Networks，1990，3（1）：109-118.

[5] McDuff R J，Simpson P K.An Investigation of Neural Networks for F-16 Fault Dignosis：II.System Performance[C]//SPIE 1294 Application of Artificial Neural Networks.1990：42-45.

篇9

【关键词】交通流量 遗传算法 BP神经网络

中图分类号：G4 文献标识码：A DOI：10.3969/j.issn.1672-0407.2015.04.003

一、引言

交通流量是反映交通路况的一个非常重要的信息，因此交通汽车流量的预测受到许多学者和科学工作者比较重视的方面。一些优秀的预测算法和手段也先后被人们发明和改进，但很少有人将两者结合在一起，这也正是该课题研究意义之所在。BP神经网络具有较强的非线性映射能力、高度的自学习自适应能力、也具有将学习成果应用于新知识的能力、还具有一定的容错能力。开展该课题的研究工作，不仅能有效地拓展神经网络算法和预测问题的研究角度，丰富学习内容，更可能在理论上有所突破和创新，对于培养自身自学意识和创新意识，提高本科生分析能力与运筹能力都是有所裨益的。

二、交通流量预测BP神经网络模型的构建

基本BP算法包括两个方面，信号的前向传播和误差的反向传播，计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。

如图所示，其中xj表示输入层第j个节点的输入，j=1，…，M；Wij表示隐含层第i个节点到输入层第j个节点之间的权值； 表示隐含层第i个节点的阈值； （x）表示隐含层的激励函数；Wki表示输出层第k个节点到隐含层第i个节点之间的权值，i=1，…，q；ak表示输出层第k个节点的阈值，k=1，…，L；ψ（x）表示输出层的激励函数；Ok表示输出层第k个节点的输出。BP神经网络的算法流程通过数据归一化、数据分类、神经网络设置、指定训练参数进行训练以及相应的测试进行。

三、利用遗传算法优化BP神经网络

利用遗传算法实现BP神经网络的参数优化的流程图如图2-1所示。从图中可知，遗传算法与BP神经网络沟通的桥梁即染色体与阈值、权值的等价，预测误差与适应度函数的等价，而两算法的其他部分则都为独立的。遗传算法每次产生新的种群后，将每个染色体解码成十进制的阈值与权值，然后代入构建的BP神经网络中，计算每条染色体对应的BP神经网络误差作为遗传算法的适应度函数，若误差越小则代表适应度越高，越容易被保留而不被淘汰。根据计算出的适应度函数，对种群中的染色体进行自适应交叉与变异，得到新的种群，然后不断循环直到满足算法迭代终止条件。

四、交通流程预测的Matlab仿真与分析

经研究表明，城市交通路网中交通路段上某时刻的交通流量与本路段前几个小时的交通流量有关，并且交通流量具有周期性，为24小时。本文利用交通流量的这些特性，将采集的五天的某路网同一路口的交通流量，每隔4分钟采集一次，每条共360个数据点，其中前四天的前276个数据作为神经网络输入训练数据，前四天的后84个数据点作为神经网络训练输入测试数据；第五天的前276个交通流量数据作为神经网络输出训练数据，后84个的数据点作为神经网络训练输出测试数据。也就是利用前四天的交通流量数据训练好神经网络后，在第五天的前276个交通流量已知的情况下，对第五天的后84个交通流量进行预测。

本文构造的神经网络为1-5-1BP神经网络，也就是单输入单输出，5隐含层的BP神经网络；对BP神经网络进行优化的遗传算法的参数为：种群数10、进化代数50，交叉概率0.6、变异概率0.1。BP神经网络优化前后对交通流量预测的结果如图2-1至图2-3所示。

通过仿真实验可以得到以下结论：

1.由图2-1可知，遗传算法在第27代即已收敛，说明利用遗传算法优化BP神经网络是可行的，并且效率很高。

2.由图2-2可知，BP神经网络优化前后都能实现对交通流量的预测，说明BP神经网络具有很好的非线性逼近能力，可以利用于交通流量的预测。

3.由图2-3可知，改进前，BP神经网络的预测误差区间为。-3.137%-5.042%；改进后BP神经网络的预测误差区间为-3.146%-3.831%。由此可知，利用遗传算法改进BP神经网络不仅是可行，而且预测精度也切实地得到了提高。

参考文献

[1]王万良、吴启迪等.基于Hopfield神经网络的作业车间生产调度方法[J].自动化学报.2002，28（5）：838一844.

[2]王小平，曹立明，遗传算法―理论、应用与软件实现M，西安：西安交通大学出版社，2002.

[3]陈永春.Matlab语言高级编程[M].北京：清华大学出版社，2004.

篇10

关键词：热舒适度；预测；反向传播神经网络；粒子群优化算法；模型

中图分类号： TP183

文献标志码：A

Abstract： Aiming at the problem that thermal comfort prediction， which is a complicated nonlinear process， can not be applied to realtime control of air conditioning directly， this paper proposed a thermal comfort prediction model based on the improved Particle Swarm OptimizationBack Propagation （PSOBP） neural network algorithm. By using PSO algorithm to optimize initial weights and thresholds of BP neural network， the problem that traditional BP algorithm converges slowly and is sensitive to the initial value of the network was improved in this prediction model. Meanwhile， for the standard PSO algorithm prone to premature convergence， weak local search capabilities and other shortcomings， this paper put forward some improvement strategies to further enhance the PSOBP neural network capabilities. The experimental results show that， the thermal comfort prediction model based on the improved PSOBP neural network algorithm has faster algorithm converges and higher prediction accuracy than the traditional BP model and standard PSOBP model.

Key words： thermal comfort； prediction； Back Propagation （BP） neural network； Particle Swarm Optimization （PSO） algorithm； model

0引言

近年来，单纯以室内温度为控制目标的空调系统已无法满足人们对舒适度的要求，而以人体热舒适度为控制目标的空调系统，不仅能提高室内人员的舒适度，还能减少建筑能耗[1-2]。在该空调控制系统中，准确预测空调房间内的热舒适度成为了关键部分。

随着智能优化算法的发展，近年来，学者们提出了不少热舒适度预测算法。文献[3-4]均提出了基于模糊聚类的室内热舒适预测方法，该方法尽管降低了算法训练的复杂度和过拟合度，但其预测误差较大。为提高预测精度，文献[5]提出了基于人工神经网络的热舒适度预测算法，该算法虽然达到了一定预测精度，但该神经网络的训练却很复杂。文献[6]提出的基于反向传播（Back Propagation， BP）神经网络的舒适度预测算法，降低了网络训练的复杂度和预测误差；但是，该算法对网络初始权值和偏置较敏感且易陷入局部最小。文献[7-8]提出采用粒子群优化（Particle Swarm Optimization， PSO）算法BP神经网络的算法，通过利用PSO算法的全局搜索能力，对网络的初始权值和偏置进行了优化，改善了传统BP算法收敛速度慢及对网络初始值敏感的问题，并在数控机床热补偿和股市预测方面取得了较好的应用效果。因此，本文提出将PSO优化BP神经网络的算法应用于热舒适度预测建模上，并针对标准PSO算法存在的局部寻优能力弱、易早熟收敛等缺点，对标准PSO算法的速度更新公式、惯性权值、加速因子进行了改进。本文采用改进的PSOBP神经网络算法，得到了一种新的热舒适度预测模型。该模型提高了PSO算法的收敛速度和寻优能力，解决了BP网络对初始值敏感以及收敛速度慢的问题，因此，既提高了模型的预测精度，又提高了算法的收敛速度。

1预测平均投票模型

Fanger教授提出的预测平均投票（Predicted Mean Vote， PMV）指标模型，表征了人体冷热感的评价指标，代表了大多数人在同一室内环境下的冷热感觉的平均。该指标是关于4个环境变量和2个人体参数的函数，变量分别是空气温度、空气相对湿度、空气流动速度、平均辐射温度、人体活动程度和衣服热阻。PMV指标的取值范围是-3～3，分别对应着人从冷到热的感觉，其中0代表冷热感适中状态。

3.3改进PSO优化BP神经网络预测算法

PSO优化BP神经网络的实质是利用PSO算法的全局搜索能力，优化BP网络的初始权值和阈值。具体过程就是BP神经网络通过PSO算法中的粒子，其位置向量代表神经网络的一组权值和阈值的潜在解，在构建好的神经网络中，以训练样本集的均方误差作为适应度函数，按PSO算法的步骤，经迭代寻优后，找到使适应度值即均方误差最小的全局最优解的过程，该全局最优解就是神经网络的最优初始权值和阈值。

改进的PSOBP神经网络预测算法主要包括以下部分：样本数据准备，构建BP神经网络，利用PSO优化网络的初始权值和阈值，训练优化后的网络。该算法的具体步骤如下：

步骤1收集和准备样本数据。根据传统的PMV数学模型的输入变量范围，以及热舒适度模型的实际应用情况，获取一定数量的样本数据，并经预处理后作为神经网络的训练样本和测试样本数据。

步骤2构建BP神经网络。根据传统模型及样本数据形式，确定神经网络层数，各层节点数，及隐含层、输出层的激活函数。

4.2BP网络构建及PSO参数设置

由于三层的BP神经网络能任意逼近任何非线性函数，因此，本文采用三层的BP神经网络建立舒适度预测模型。根据样本数据的输入输出向量可确定网络的输入层节点数为6，输出层节点数为1；通过反复仿真尝试，隐含层节点数确定为10，即BP网络的结构最终确定为6101结构。BP神经网络的其他参数设置如下：最大步数1000，学习率0.01，学习目标0.001。隐含层激活函数为S型函数，输出层激活函数为线性函数。

根据上述确定的BP网络结构，PSO算法搜索空间维数D=6×10+10×1+10+1=81；种群规模M为40；最大迭代次数为160；最小训练误差为0.001；学习因子c1、c2的初始值分别为2.75，0.5，最终值分别为1.25，2.25；惯性权重w初始值和最终值分别为0.9，0.4；粒子的最大速度为1。

4.3仿真结果及讨论

本文在Matlab 7.11版本下，采用Matlab语言编写算法程序，结合Matlab神经网络工具箱，利用上述的参数设置及样本数据构建了基于改进的PSOBP神经网络的热舒适度预测模型。为了证明本文算法预测模型性能的优越性，本文采用同样的样本数据与参数设置，对改进的PSOBP预测模型、PSOBP模型和BP模型均进行了仿真。图3中（a）、（b）、（c）分别给出了3种预测模型的训练误差随迭代次数变化的曲线。图4中（a）、（b）、（c）分别给出了3种预测模型对60组测试样本的预测值与期望值的相关曲线以及绝对误差曲线。表1给出了3种预测模型的迭代次数、均方误差和最大绝对误差对比。

从图3和表1中可看出，3种预测模型均经有限的迭代次数达到收敛状态，但改进的PSOBP预测模型的收敛速度比PSOBP模型和BP模型快。从图4和表1中可看出，改进的PSOBP预测模型的预测精度明显高于PSOBP模型和BP模型。

5结语

上述实验仿真说明，采用PSO算法优化BP神经网络的初始权值和阈值后，改善了传统BP算法收敛速度慢及对网络初始值敏感的问题，提高了模型的精度和算法的收敛速度；而且，改进的PSOBP模型比标准PSOBP模型的预测精度更高且收敛速度更快，由此可知，本文的改进策略通过改善标准PSO的早熟收敛和局部寻优能力弱等问题，进一步提高了PSO算法对BP神经网络的优化能力。

本文的热舒适度预测模型，是以传统的PMV数学模型为基础，以PSOBP神经网络算法建模来逼近传统的PMV数学模型而建立的。实验结果证明，本文热舒适度预测模型不仅解决了传统模型中计算复杂、不便于实时控制应用的难题，还提高了模型的预测精度和算法收敛速度。

参考文献：

[1]DUAN P， LIU C， DUAN C， et al. Indoor dynamic thermal comfort control method based on particle swarm optimization [J]. Information and Control， 2013， 42（1）： 100-110.（段培永，刘聪聪，段晨旭，等.基于粒子群优化的室内动态热舒适度控制方法[J].信息与控制，2013，42（1）：100-110.）

[2]YANG C， ZHANG Q， YANG J， et al. Analysis of comfort and energyconsumption on temperature control airconditioning system [J]. Journal of Hunan UniversIty， 2012， 39（5）： 18-22.（杨昌智，张清琳，杨菊菊，等.定温控制空调系统的舒适性及节能性分析[J].湖南大学学报，2012，39（5）：18-22.）

[3]XU Y， CHEN X， WANG L， et al. Forecast method based on fuzzy causation clustering for indoor thermal comfort [J]. Chinese Journal of Scientific Instrument， 2006， 27（6）： 850-852.（徐远清，陈祥光，王丽，等.一种基于模糊因果聚类的室内热舒适预测方法[J].仪器仪表学报，2006，27（6）：850-852.）

[4]XU W， CHEN X， PENG H， et al. PMV index forecasting system based on fuzzy Cmeans clustering and suport vector machine [J]. Systems Engineering――Theory and Practice， 2009， 29（7）： 119-124.（徐薇，陈祥光，彭红星，等.基于模糊C均值聚类与支持向量机的PMV指标预测系统[J].系统工程理论与实践，2009，29（7）：119-124.）

[5]CASTILLA M， ALVAREZ J D， ORTEGA M G， et al. Neural network and polynomial approximated thermal comfort models for HVAC systems [J]. Building and Environment， 2013， 59： 107-115.

[6]ATTHAJARIYAKUL S， LEEPHAKPREEDA T. Neural computing thermal comfort index for HVAC systems [J]. Energy Conversion and Management， 2005， 46（15）： 2553-2565.

[7]REN B， REN X， LI G. Thermal error compensation for CNC machine tools based on PSOBP neural network [J]. Machine Tool and Hydraulics， 2013， 41（3）： 59-61.（任兵，任小洪，李国志.基于PSO算法优化BP神经网络的数控机床热补偿[J].机床与液压，2013，41（3）：59-61.）

[8]AI Y， ZHU W， YAN D. Stock market forecast model based on PSOBP neural network [J]. Journal of Computer Applications， 2008， 28（12）： 105-108.（艾永冠，朱卫东，闫冬.基于PSOBP神经网络的股市预测模型[J].计算机应用，2008，28（12）：105-108.）

[9]LI S， LIU L， LIU Y. Prediction for chaotic time series of optimized BP neural network based on modified PSO [J]. Computer Engineering and Applications， 2013， 49（6）： 245-249.（李松，刘力军，刘颖鹏.改进PSO优化BP神经网络的混沌时间序列预测[J].计算机工程与应用，2013，49（6）：245-249.）

[10]LIAN Z， JIAO B. Particle swarm optimization algorithm with mixed search [J]. Control Theory and Applications， 2010， 27（10）： 1404-1410.（连志刚，焦斌.一种混合搜索的粒子群算法[J].控制理论与应用，2010，27（10）：1404-1410.）

[11]GUO W， CHEN G. Discrete particle swarm optimization algorithm and its application [M]. Beijing： Tsinghua University Press， 2012： 5-6.（郭文忠，陈国龙.离散粒子群优化算法及其应用[M].北京：清华大学出版社，2012：5-6.）