神经网络的优化方法范文

导语：如何才能写好一篇神经网络的优化方法，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键字：BP神经网络； 数据库； 查询；准确度

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）04-0001-03

神经网络系统是根据人体神经系统的基本原理构建的，其在一定程度上实现了记忆和训练过程[1-2]。此项功能体现了神经网络与传统计算机算法存在的根本差异，其具备在线学习、自调节以及自适应性，同时具备信息的分布式信息存储特性。正是由于神经网络的学习特性，使其在联想记忆、数据非线性映射、在线学习模型构建、数据信息分类与识别等领域具有了广泛的应用空间。

在云数据应用时代，存储系统的应用领域及使用者的范围不断扩大[6]，用户呈指数倍的增长使得数据的存储容量不断增长，用户访问数据库的频繁程度也将持续增加，这对存储系统数据库访问的吞吐量性能提出了更高的要求，也对数据查询的效率得出了更加严格的标准。

本文提出的基于神经网络的数据库优化查询方法主要通过对云存储数据的关键词进行相似度对比，利用神经网络算法对查询数据样本进行记忆训练，通过对查询关键字进行数据匹配，最终实现数据的准确查询。为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能，作者在完成了模型构建后，Matlab软件中构建实验场景，模拟数据库检索过程，完成了对查询方法进行测试验证。

1 神经网络模型的建立

1.1 BP神经网络处理单元模型

为了不失一般性，选取BP神经网络的任意两层介绍其处理单元的数学模型。BP神经网络处理单元的结果如图1所示，其中，L1层的[n]个神经元和L2层的[p]个神经元进行全连接，定义连接权向量为[W={wij}，i=1，2，…，n，j=1，2，…，p]；L1层的[n]个神经元的输出作为L2层各神经元的输入列向量[X=（x1，…，xi，…，xn）T]，L2层各个神经元的阈值设置为[θj，j=1，2，…，p]，因此，L2层各神经元接收的输入加权和如下式所示[3-4]：

L2层各神经元的输出结果利用转移函数进行计算。一般情况下，BP神经网络将Sigmoid函数作为转移函数。Sigmoid函数的数学表达式为：

因此，L2层各个处理单元的输出为：

由于Sigmoid函数的输出类似于本文设计的神经网络的信号输出形式，本文设计的模型采用Sigmoid函数作为系统的转移函数，其能蜃既访枋鍪据检索过程中的非线性特性水平[5-6]。

1.2 BP神经网络学习算法

本文的无线通信选择机制采用三层BP神经网络结果，具体学习算法如下所述：

输入模式向量设为[Xk=（x1k，…，xik，…，xnk）T]，[k=1，2，…，m]，其中[m]表示样本模式对个数，[n]表示输入层神经元数量；输入模式对应的期望输出向量为[Yk=（y1k，…，yik，…，yqk）T]，隐含层神经元的净输入向量设置为[Sk=（s1k，…，sik，…，spk）T]，输出向量设置为[Bk=（b1k，…，bik，…，bpk）T]，[q]表示输出层单元数量，[p]表示隐含层单元个数；输出层神经元净输入向量设置为[Lk=（l1k，…，lik，…，lqk）T]，实际输出向量设置为[Ck=（c1k，…，cik，…，cqk）T]；输入层神经元至隐含层神经元的连接权值设置为[W={wij}]，其中，[i=1，2，…，n，j=1，2，…，p]隐含层至输出层的连接权值设置为[V={vjt}]，隐含层神经元的阈值设置为[θ={θj}，j=1，2，…，p]，输出层各神经元的阈值设置为[γ={γt}，t=1，2，…，q]。

（1）初始化操作。将连接权值矩阵[W]、[V]及阈值[θ]、[γ]在[[-1，+1]]区间内进行随机取值。

（2）随机从训练集合中选取一个学习模式对[（Xk，Yk）]作为BP神经网络的输入。

（3）输入层的输出的计算。输入层的各神经元不对输入模式进行任何处理，而是直接将接收到的数据关键词直接输出到隐含层各神经元，不做任何的数据处理。

（4）根据下式求得隐含层各处理单元的净输入和净输出：

（5）根据下式求得各输出层神经元的净输入和实际输出：

（6）根据设定的期望输出，通过下式求得各输出层神经元的校正误差[dkt]，

（7）根据下式得出隐含层各神经处理单元的校正误差[ekj]，

（8）根据下式调整隐含层至输出层的连接权值[V]和输出层神经元阈值[γ]， [α]表示学习速率，[0

（9）根据下式调整输入层至隐含层神经元的连接权值[W]和输出层神经元阈值[θ]， [β]表示学习速率，[0

（10）为BP神经网络随机输入下一个学习模式对，返回（3）处，直至训练完成[m]个学习模式对。

（11）对系统的全局误差[E]进行判断，查看其是否满足神经网络设定的精度需求。如果 [E≤ε]，这说明满足结束条件，结束学习过程，如果未满足，则继续学习。

（12）更新神网络学习次数，如果未达到设定的学习次数，则返回Step2。

（13）BP神经网络学习过程结束。

在整个神经网络的学习阶段中，分别涵盖了输入模式的“顺传播过程”，全局误差的“逆传播过程”以及“学习记忆训练”过程，（11）至（12）表示是收敛过程。全局误差[E]的理想学习曲线如图2所示。

为了减小震荡，加快网络的记忆训练速度，作者在对连接权值进行调整时，在改变量基础上添加一定比例的权值改变值，称之为动量项。则附加动量项的连接权值调整方法如下式所示：

式中，[ηΔwij（n-1）]代表动量项，其中[n]为学习次数，[η]作为动量系数，[0

加入动量项的本质目的是使控制学习过程的学习速率[β]不仅仅是一个固定值，而是能够持续变化的。在引入动量项后，网络总是试图使连接权值的调整按照相同方向进行，即使前后两次连接权值的调整值方向相反，也能够降低震荡趋势，加快学习记忆速度，以及网络收敛速度[7]。

通常来说，动量系数的取值不宜过大。若动量系数过大，动量项所占比例过重，则本次误差修正项的作用会不太明显，以致完全没有作用，反而会减慢收敛速度，甚至导致整个网络震荡。一般情况下，动量系数的最大值在0.9作用，本文取值为0.6。

2 数据库查询方法测试

为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能，作者在完成了模型构建后，Matlab软件中构建实验场景，模拟数据库检索过程，完成了对查询方法进行测试验证。数据库查询学习样本使用的是加州大学标准数据集，通过选择中度数据规模的样本空间进行设计网络的学习训练，主要训练搜索关键字与查询结果直接的对应关系，并进行存储记忆。通过不同查询次数的响应延时进行统计分析，与未使用任何算法的随机检索方法的搜索结果进行对比分析。数据检索实验对比结果如图3所示。

从数据检索对比结果得知，当迭代次数达到200次时，本文提出的基于神经网络算法的数据库查询方法满足收敛条件[f（x）≤e-10]，此时可视为系统以及查询到最优数据结果。同时，较随机数据库检索方法，本设计的优化方法在响应延时方面平均降低了34.7%，同时搜索查询准确率高达99.3%。

3 总结

神经网络在联想记忆、数据非线性映射、在线学习模型构建、数据信息分类与识别等领域具有了广泛的应用空间。通过对云存储数据库查询过程的原理进行研究，本文提出的基于神经网络的数据库优化查询方法主要通过对云存储数据的关键词进行相似度对比，利用神经网络算法对查询数据样本进行记忆训练，通过对查询关键字进行数据匹配，最终实现数据的准确查询。为了测试本文设计的基于神经网络的数据库优化查询方法的可行性及准确性能，作者在完成了模型构建后，Matlab软件中构建实验场景，模拟数据库检索过程，完成了对查询方法进行测试验证。仿真结果表明，本文提出的基于神经网络的数据库优化查询方法的准确率高达98.3%，具有较高的检索精度及稳定性。

参考文献：

[1] 李中志.基于改进BP神经网络的水位流量关系拟合[J].中国农村水利水电， 2008（10）：30-32.

[2] 任雯，胥布工.基于标准神经网络模型的非线性系统分布式无线网络化控制[J]. 控制与决策， 2015，30（4）：691-697.

[3] 余开华.小波神经网络模型在河道流量水位预测中的应用[J].水资源与水工程学报， 2013， 24（2）：204-208.

[4] 潘道宏.RBF神经网络模型拟合电力抽水站水位流量关系研究[J].水利科技与经济， 2010，16（3）：300-301.

[5] 孔玉静，侯鑫，华尔天等.基于BP神经网络的无线传感器网络路由协议的研究[J].传感技术学报， 2013， 26（2）：246-251.

[6] 田晓青，刘松良.基于人工神经网络的过闸流量软测量研究[J].电子产品世界， 2013（10）：43-45.

篇2

关键词：短期负荷预测；神经网络；遗传算法

作者简介：黄国栋（1976-），男，广东阳江人，广东电网湛江供电局，工程师。（广东 湛江 524005）

中图分类号：TM714 文献标识码：A 文章编号：1007-0079（2014）06-0261-02

电力短期负荷预测是对未来一周以内（通常为一周或一天）的负荷进行预测。短期负荷预测在电网运行实时控制和发电规划中具有重要地位，短期负荷的预测结果是调度中心制定发电计划、电力系统运行安全评估、电力企业日常经营管理的重要依据。[1]在当前电力系统市场化形势下，提高负荷预测精度对于电力系统的经济运行、合理制定机组检修计划和进行电力需求管理等具有重要意义。

一、电力系统负荷变化的特点及预测方法

电力系统负荷变化受到很多因素的影响。一方面，负荷变化存在由未知不确定因素引起的随机波动；另一方面，具有周期变化的规律性，这也使得负荷曲线具有相似性；同时，由于受天气、节假日等特殊情况的影响，负荷变化又会体现出差异性。[2]整体上讲，负荷曲线是与很多因素相关而且难以用数学公式表达的非线性函数。

相对于早期的统计技术法和专家系统法，神经网络的优点在于它不依靠专家经验，只利用观察到的数据，可以在训练过程中通过学习来逼近任意的非线性输入/输出关系，因此，将神经网络方法应用于电力负荷预测有着明显的优势。但是，神经网络存在两个主要问题：收敛速度慢和容易陷入局部极小点。因此，本文采用遗传算法优化人工神经网络，建立电力短期负荷预测模型，并将结合广东省某城市的电力负荷的实际情况对预测方法进行探讨和研究。

二、人工神经网络模型

BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，神经网络模型中的所有神经元按照功能一般分成三层（输入层、隐含层和输出层），各层顺次连接。[3]其三层模型拓扑结构如图1所示。

BP算法的学习过程分为正向传播过程和反向传播过程两个阶段。

1.正向传播过程

输入信息从输入层经隐含层逐层计算各单元的实际输出值，各神经元的状态只对下一层神经元的状态产生影响。设BP网络的输入层有n1个节点，隐含层有n2个节点，输出层有n3个节点，输入为xi，输入层与隐含层之间的权值为wki，隐含层与输出层之间的权值为wjk；隐含层的阈值为bk，输出层的阈值为bj；隐含层的传递函数为f1（·），输出层的传递函数为f2（·）。则隐含层节点输出zk和输出层节点输出yj分别为：

k=1，2，……n2

（1）

j=1，2，……n3

（2）

2.反相传播过程

若网络实际输出值与期望值之差，即误差超出允许值，则逆向逐层修正连接权值。设BP网络有P个输入样本，采用平方型误差函数，于是得到全局误差为：

（3）

式中：为第p个样本的实际输出，为期望输出。

采用累计误差BP算法依次调整输出层权值wjk和隐含层权值wki误差使全局误差变小，即：

（4）

（5）

式中：η为学习率。

如此往复不断调整权值，直到使网络的误差满足要求。

三、遗传算法

1.遗传算法的基本原理

遗传算法（Genetic Algorithms，简称GA）是一种高度并行、自适应全局优化搜索方法。[4]它借鉴自然界遗传和选择机理，首先初始化一个种群，然后按照某种指标在每一代选取较优个体，利用遗传算子（选择、交叉和变异）对这些个体进行组合，产生新一代个体，重复此过程，直到满足优化准则为止。遗传算法是基于对生物遗传和进化过程的计算机模拟，它能使各种人工系统具有良好的自适应能力和优化能力。目前，遗传算法已经广泛应用于规划设计、组合优化、自适应控制、经济运行、模式识别、人工智能、分子生物学、故障诊断以及计算机技术等领域，并取得了很好的效果。

2.遗传算法的实现过程

（1）将问题的解以编码形式表示出来，并随机生成若干个体，即初始群体。

（2）译码，计算目标函数得出个体适应度值，判断是否满足停止条件。

（3）根据个体适应度值的高低，应用选择、交叉和突变算子进行遗传操作，产生下一代群体。

（4）返回步骤（2），反复执行，直到满足停止条件。最后，搜索到最优个体，即问题的最优解。[5]

3.遗传算法优化BP网络权值、阈值

由于遗传算法是以最大值作为优化目标，为适应神经网络算法的要求，将适应度函数取反，即变为以最小值为优化目标。遗传算法优化BP神经网络算法的步骤：

（1）构建BP网络，确定遗传算法个体长度。

（2）生成初始种群，确定种群规模。对遗传算法个体进行编码，编码由神经网络的输入层与隐含层的连接权值、隐含层阈值、隐含层与输出层的连接权值和输出层阈值四部分组成。

（3）根据个体得到BP网络的权值和阈值，应用训练数据训练，得到网络的输出。计算实际输出与期望输出的误差，并依据此误差计算个体适应度值。

（4）根据个体的适应度进行选优操作，选择若干适应度强的个体直接进入下一代，适应度差的个体被淘汰。

（5）进行交叉、变异操作，生成下一代群体，然后返回步骤（3），直到得到最优解。

四、实例分析

本试验分别采用单一神经网络预测法、遗传算法和神经网络的组合预测法，分别对广东省某城市某一日的时负荷进行预测与分析。以该市2010年6月2日～21日和2010年6月3日～22日（只选取工作日）的整点负荷训练样本集，根据6月23日各整点的时负荷数据和24日各整点的温度与天气，预测6月24日的时负荷。

1.数据预处理

根据神经网络的建模原理，训练样本的准确性对于模型的预测准确性至关重要。由于系统故障、线路停电检修、通信错误等原因，历史负荷数据中经常存在一些不良数据。这些不良数据具有很强的随机性，会对网络的预测精度和预测速度产生严重影响。因此，在建立电力短期负荷预测模型前，先对训练用的数据样本进行预处理。应用格拉布斯准则判别是否有不良数据，如果有要直接消除并以相应的插值代替，从而提高数据的准确度和可信度。经计算，本实例的样本数据正常，符合实际情况。

数据归一化方法是神经网络预测前对数据常做的一种处理方法。数据归一化处理把所有的数据都转化为[0，1]之间的数，其目的是取消数据间数量级差别，避免因为输入/输出数据数量级差别较大而造成网络预测误差较大。最后需要进行反归一化，得到最终预测结果。[6]数据归一化的方法主要有最大最小值法和平均数方差法。本文采用最大最小值法。

2.确定BP神经网络结构

考虑到该城市位于中国南端，纬度较低，影响电力负荷最主要的因素是温度等天气情况。采集预测日前一天每小时的负荷数据和预测日当天各小时的温度值（取平均值）、气象类型（晴、阴、雨）作为预测条件。由此确定BP神经网络模型的输入节点数为3；输出节点数为1；隐含层节点数取8。为方便计算，将气象类型数字化、归一化处理，温度值和负荷数据归一化处理。本文采用分散式建模方法，即为一天的24小时各建立一个模型，共建立24个。分散式建模方法相对于集中建模方法（24小时用一个模型），虽然模型多，但是预测准确度高。每个整点的时负荷采用相应的BP神经网络模型进行预测。建模工具选用matlab7.0。[7]

3.遗传算法优化神经网络

以整点负荷、温度数据和气象数据作为网络的训练样本集，应用遗传算法对基于单一神经网络建立的各个模型（每小时各建一个模型，共24个）进行优化，得到每个模型近似最优权值和阈值。应用优化的权值和阈值对BP神经网络进行训练，并保存训练好的网络。最后，应用训练好的网络对各整点时负荷进行预测。

表1 2010年6月24日负荷预测值与误差

时间 实际值 BP神经网络

方法预测 误差/% 遗传算法神经网络方法预测 误差/%

0：00 404.743 412.375 1.886 397.470 -1.797

1：00 382.280 376.397 -1.539 382.009 -0.071

2：00 359.937 369.208 2.576 352.735 -2.001

3：00 355.508 352.308 -0.900 357.115 0.452

4：00 347.836 341.504 -1.820 346.528 -0.376

5：00 347.545 342.354 -1.494 346.586 -0.276

6：00 354.184 356.650 0.696 360.655 1.827

7：00 364.504 363.920 -0.160 360.123 -1.202

8：00 395.881 392.358 -0.890 390.042 -1.475

9：00 462.394 471.572 1.985 464.239 0.399

10：00 500.344 502.904 0.512 494.610 -1.146

11：00 514.415 515.950 0.298 513.479 -0.182

12：00 477.935 489.898 2.503 485.792 1.644

13：00 479.680 473.516 -1.285 472.638 -1.468

14：00 470.148 477.403 1.543 462.066 -1.719

15：00 482.950 490.302 1.522 474.556 -1.738

16：00 487.295 483.800 -0.717 486.028 -0.260

17：00 501.225 503.265 0.407 505.465 0.846

18：00 470.361 462.391 -1.694 466.165 -0.892

19：00 455.995 443.791 -2.676 463.788 1.709

20：00 493.266 494.178 0.185 494.682 0.287

21：00 489.909 498.115 1.675 486.195 -0.758

22：00 474.146 486.493 2.604 480.348 1.308

23：00 446.201 436.293 -2.221 441.855 -0.974

单一神经网络方法和遗传算法优化神经网络方法得出的预测结果见表1和图3。从图3中3条曲线对比可以看出，应用遗传算法优化神经网络预测模型得到的预测结果比单一神经网络的更接近实际负荷曲线。单一神经网络预测的负荷最大误差为-2.676%，平均误差1.408%，而用基于遗传算法优化神经网络预测的负荷最大误差为-2.001%，平均误差为1.034%，精度显然大于单一神经网络。

五、结论

本文利用遗传算法优化了BP神经网络结构，并且应用此模型对实际电力短期负荷进行了预测试验分析。实证证明，遗传算法的全局优化搜索能力有效弥补了BP神经网络容易陷入局部极小值的缺陷，在此基础上建立的预测模型的可靠性、准确性都有所增强，证明了基于遗传算法优化的神经网络的短期负荷预测方法是可行的。

参考文献：

[1]牛东晓，曹树华，赵磊，等.电力负荷预测技术及其应用[M].北京：中国电力出版社，2002.

[2]陈金赛，张新波.基于改进BP人工神经网络的电力负荷预测[J].杭州电子科技大学学报，2011，34（4）：173-176.

[3]田景文，高美娟.人工神经网络算法研究及应用[M].北京：北京理工大学出版社，2006.

[4]王小平，曹立明.遗传算法[M].西安：西安交通大学出版社，

2002.

[5]李玲纯，田丽.基于遗传算法和BP神经网络的短期电力负荷预测[J].安徽工程科技学院学报，2009，24（3）：57-60.

篇3

【摘要】

人工神经网络模拟人脑生物神经网络系统处理信息的方式，是通过经验而不是通过设计好的程序进行学习、训练，这些构成了人工神经网络具有模式识别、预测、评价和优化决策等能力的基础。本文就神经网络近年来在药剂学的处方设计及优化、制备工艺及体内体外相关性评价等方面的应用做一综述。

【关键词】 人工神经网络；药物制剂

Abstract：Artificial neural networks simulating the process of human brains nerve systems to deal with information，which learning and training date according with the experience other than the designed programme，is the base of the ability that the artificial neural network could be used for pattern distinguish，prediction and optimization etc.This papertbriefly reviewed the application of neural networks in pharmaceutical fields，such as formulation optimization，preparation parameters optimization and in vitro-in vivo correlation evaluation.

Key words：artificial neural networks;pharmaceutic

药物制剂研究是一个复杂的过程，包括制剂处方，制剂制备工艺及制剂体内体外评价等，其中任何一个方面都属于多因素，多水平的复杂优化问题。例如处方设计过程中涉及不同质量不同用量的各种敷料配比及压力、温度、水分等，这些因素直接影响剂型的安全性和有效性；制剂设备工艺涉及众多纷繁复杂的工艺参数优化，制剂体内体外评价更是受生物系统的极端复杂性影响。过去人们通常依靠某一方面的专家来承担相应的工作，免不了受许多经验化主观因素的影响，效率较低，而基于人工智能的神经网络则很适于处理这类复杂的多变量非线性系统，并可通过网络的预测能力实现多因素的同步优化［1-3］。

1 神经网络理论

人工神经网络(artificial neural network)是一种由大量简单处理单元以某种方式相互连接而成，对连续的输入做出状态响应的动态信息处理系统。它模拟人脑生物神经网络系统处理信息的方式，通过经验而不是通过设计好的程序进行学习、训练。因此，人工神经网络具有人脑的某些重要特性，如联想记忆、并行处理、自学习、自组织、自适应和容错性等能力，这些构成了人工神经网络具有模式识别、预测评价和优化决策等能力的基础。

如图1所示，这是含有一个隐含层的神经网络示意图，其中空心圆圈表示神经元，神经元是神经网络（neural network）的基本单元，也称为节点。每层中可以包含多个节点，多层节点之间按一定的方式相互连接构成神经网络。神经网络的信息处理功能由神经元的输入和输出、网络的拓扑结构、连接权的大小（突触联系强度）以及神经元的阈值所决定的。输入层节点的输入变量为自变量（样本图1 神经网络结构示意图

Fig.1 Delineation of structure of artificial neural networks

参数），输出层节点的输出变量为应变量（目标函数），当多个输入进入神经元后，其加权求和值超过神经元的阈值后会形成输出，通过连接权连接，传递到下一层神经元，作为下一层神经元的输入值，这样按网络的拓扑结构依次传递。根据神经网络的计算原理，每一神经元的输入值将更新变化，最后到达输出层。将输出值与样本的期望输出值进行比较，计算出误差，按学习规律将误差反向传播到前一层神经元，调整连接权大小，重新计算，再输出。如此反复，直到训练集样本输出误差和达到期望值。至此得到固定的连接权值，就达到对未知样本进行预测和分析。其中网络的信息主要储存在连接权中［4］。

根据神经元之间的相互结合关系和作用方式，神经网络模型可以分为很多种，其中反向传播神经网络(back-propagation neural network)即BP［5］神经网络是目前药剂领域中应用最广泛、计算能力最强的人工神经网络模型之一。由于这种网络的权值和阈值调整采用了反向传播的学习算法，解决了感知器所不能解决的问题，可以实现从输入到输出的任意非线性映射。在确定了网络的结构后，利用输入样本集对其进行训练，即对网络的权值和阈值进行学习和调整。经过训练的BP网络，对于不是样本集中的输入样本也能给出合适的输出，利用这种方式可以使用该网络对未知样本进行预测。

2 人工神经网络在药剂中的应用

2.1 药物制剂处方设计及优化

制剂处方设计及优化是目前神经网络在药物制剂中应用最多［6-11］，也是比较有发展前景的方向之一，尤其是应用于缓控释制剂的处方优化和设计中。

梁文权［12］等将人工神经网络应用于优化HPMC缓释片处方。以药物的溶解度、含药量、HPMC的量、HPMC的固有黏度、辅料的量、黏合剂的浓度、溶出仪的转速为神经网络的输入，药物的累计释放量作为输出，采用BP网络对52个样本进行训练，建立BP神经网络模型。然后与优化算法相结合实现对乙酰氨基酚、甲氧苄氨嘧啶、米诺地尔、氧氟沙星等模型药物在不同的含药量、不同转速条件下的处方进行优化。试验结果发现利用神经网络预测药物的释放、训练处方和测试处方的实测值和预测值能很好吻合，得到的4个优化处方的释放值均和目标值很接近。魏晓红［13］等选取9种药物作为模型药物，按HPMC：糊精=5-0.2∶1配比制成不同释放度的缓释片，测定各个处方的释放度，以每个药物的溶解度和处方中HPMC∶糊精的配比值作为网络的输入，以释放度测量中每个给定取样时间点药物的累积释放量作为输出变量，得到含一个隐含层，迭代次数为25次的BP神经网络，通过优化，成功拟定了4个制剂处方，按此处方制备的缓释片的实测释放值与神经网络预测值相符。根据此法，可以从药物的溶解度设计符合一定释放度要求的缓释制剂处方。

骆快燕［14］等用干压包衣技术制备卡托普利延时起效延缓片时，用人工神经网络预测释药时滞。运用一个3层BP神经网络，以释放度作为输入层神经元，以对应时间点作为输出层神经元，得到一个含8个隐含层神经元的BP网络，其中变换函数为双曲正切函数，学习规则为归一化累积Delta规则，目标误差为0.001，学习速率为0.01。神经网络预测释药时滞结果为后面用SAS进行多元线性回归提供了可靠的数据，使预测优化处方很快达到设计要求。

吴涛等［15］在硫酸沙丁胺醇渗透泵控释片的处方筛选中采用反应曲面法和人工神经网络法优化法。选择包衣液中PEG 1 500含量与包衣膜的厚度为网络的输入因素，以各个处方1～8小时的积累释放度对实践的相关系数和各处方8小时的累积释放度为输出因素，在36个实验处方中随机抽取24个作为网络的训练数据，其余作为网络的测试数据检测网络预测性能，建立了含一个隐含层的BP神经网络建立模型，最后根据预测结果实现处方优化。比较结果证实神经网络方法较优。

2.2 药物制剂制备工艺方面的应用

药物剂型的制备工艺过程中，存在着诸如温度、压力、粘度、流速等诸多影响因素，这些工艺参数与制剂质量指标之间往往存在很强的非线性和耦合性，很难用传统的方法建立有效的质量控制模型。基于人工智能的人工神经网络具有辨识和逼近任意复杂非线性系统的能力，而且具有一定的容错能力，可以同步优化制备工艺中的多个工艺参数［16］。

张宇飞等［17］收集某大型中药企业滴丸制剂生产线的100多个生产批次，每个批次包含多个数据的样本作为神经网络训练集，设计了一个具有三个层的BP神经网络，输入层的5个节点分别为化料温度，化料时间，滴制温度，滴制速度及冷凝温度；输出层的结点为滴丸成品率，建立了某滴丸制剂过程工艺参数与滴丸成品率之间的神经网络映射模型。然后利用遗传算法对模型输入参数空间进行寻优，搜索使滴丸成品率达到最优时所对应的工艺参数值。经生产试制，利用优化后的工艺参数值进行生产，能使该制剂过程的成品率提高约2.6个百分点，表明利用神经网络与遗传算法对制剂过程进行建模与优化是合理的，该项目属于国家863高技术研究发展计划项目。

2.3 药物制剂体内－体外相关性评价的应用

建立体内外相关性评价方法对药物制剂研究非常重要。一个好的体内外相关性模型应能使预测值与实测值相互吻合，从而用体外的释药数据预测药物的体内过程，设计与已知制剂生物等效的制剂，或者制定药物制剂的质量标准及指导临床用药。但是生物系统是极其复杂的，药物在体内的代谢过程也是相当复杂的，使得判定药物疗效与生物学、药物动力学及药物分布等各因素之间的关系非常困难［18］。人工神经网络是模拟生物神经系统对外界系统的认知过程，它给我们提供了一个很好的研究体内外相关性的方法［19-20］。

李凌冰［21］等采用人工神经网络结合Wagner-Nelson法，研究氯氮平非pH依赖型缓释片的体内体外相关性。以处方中HPMC与琥珀酸的用量为神经网络输入变量，考虑到缓控释制剂的特点，以2h的血药浓度，12h的血药浓度一时间曲线下面积AUCl2，以及血药浓度的峰值(max数据为输出，建立了氯氮平非pH依赖型缓释制剂处方组成和血药浓度之间的关系模型。以此为基础，绘制输出三个输出变量的等高线图谱，分别在3个等高线图谱上标记最佳变量所取值的范围，将3个图中的最佳区域结合在一起从而求得生物利用度最佳的处方。李凌冰等［22］应用人工神经网络研究红霉素缓释微囊的体内外相关性。以明胶为囊材制备红霉素缓释胶囊，以体外释放度的数据作为网络输入，血药浓度数据作为网络输出，通过比较血药浓度实测值与预测值的差异考察了网络的可靠性，结果令人满意。

3 结语

人工神经网络技术作为一种新方法新技术虽然已在药剂研究领域取得了一定的进展，但仍然有许多问题需要进一步的研究。例如神经网络虽然可用于制剂制备工艺参数的优化，但能否利用神经网络实时监控工艺过程以控制质量还需要进一步探讨；人工神经网络通常需要大量的数据训练网络，但有时数据的获得比较困难，尤其是体内的试验数据；神经网络拓扑结构的选择规律、传递函数的选取，防止过拟合和陷入局部最优等问题也需要在模型的建立过程中考虑；在制剂分析中的方法适应性和重现性等基础工作也还需要深入的研究。

总之，神经网络是一个充满了活力的研究领域，通过以上的简述可以发现神经网络在药剂学研究领域具有广阔的应用前景，相信随着神经网络理论和技术的不断发展，神经网络以其独特的模拟、学习、预测能力必将在药剂学的各个方面得到更充分的应用。

参考文献

［1］Takayama K，Fujikawa M，Obata Y，et al.Morishita M，Neural Network Based Optimization of Drug Formulations［J］.Advanced Drug Delivery Reviews，2003，55(9):1 217-1 231.

［2］Agatonovic-Kustrin S，Beresford R.Basic Concepts of Artificial Neural Networks Modeling and Its Application in Pharmaceutical Research［J］.Journal of Pharmaceutical and Biomedical Analysis，2000，22(4):717-727.

［3］K Takayama，A Morva， M Fujikawa，et al.Formula Optimization of Theophylline Controlled-release Tablet Based on Artificial Neural Networks ［J］.Journal of Controlled Release，2000，68(2):175-186.

［4］Hassoun M.Fundamentals of Artificial Neural Networks［M］.The MIT Press，1995:25.

［5］R J Erb.Introduction to Backpropagation Neural Network Computation［J］.Pharmaceutical.Research，1993，10(2):165-170.

［6］P.C.Wu，Y.Obata，M.Fujikawa，et al.Simultaneous Optimization Based on Artificial Neural Networks in Ketoprofen Hydrogel Formula Containing O-enthyl-3-butylcyclohexanol as Percutaneous Absorption Enhancer［J］.Journal of Pharmaceutical Sciences，2001，90(7):1 004-1 014.

［7］A P Plumb，R C Rowe，P York，et al.The Effect of Experimental Design on the Modeling of a Tablet Coating Formulation Using Artificial Neural Networks［J］.European Journal of Pharmaceutical Sciences，2002，16(3):281-288.

［8］Onuki Y，Hoshi M，Okabe H，et al.Formulation Optimization of Photocrosslinked Polyacrylic Acid Modified with 2-hydroxyethyl Methacrylate Hydrogel as an Adhesive for a Dermatological Patch［J］.Journal of controlled release，2005，108(2-3):331-340.

［9］Fan T，Takayama K，Hattori Y，et al.Formulation Optimization of Paclitaxel Carried by PEGylated Emulsions Based on Artificial Nneural Network［J］.Pharmaceutical Research，2004，21(9):1 692-1 697.

［10］Lim CP，Quek SS，Peh KK.Prediction of Drug Release Profiles Using an Intelligent Learning System:an Experimental Study in Transdermal Iontophoresis［J］.J Pharm Biomed Anal，2003，31(1):159－168.

［11］Plumb AP，Rowe RC，York P，et al.Effect of Varying Optimization Parameters on Optimization by Guided Evolutionary Simulated Annealing(GESA)Using a Tablet Film Coat as an Example Formulation［J］.European Journal of Pharmaceutical Sciences，2003，18(3-4):259-266.

［12］范彩霞，梁文权.神经网络多目标同步优化HPMC缓释片处方［J］.中国药学杂志，2004，39（10）：768－771.

［13］魏晓红，吴建军，梁文权.神经网络用于口服缓释制剂的处方设计［J］.药学学报，2001，36（9）：690-694.

［14］骆快燕，姚彤炜，黄安琪.卡托普利延迟起释型缓释片的研制［J］.中国现代应用药学杂志，2005，22（3）：224－228.

［15］吴淘，潘卫三，陈济民，等.多目标同步优化法优化硫酸沙丁胺醇渗透泵控释片的制备工艺［J］.药学学报，2000，35（8）：617-621.

［17］张宇飞，邵秀丽，雷建军.基于神经网络和遗传算法的中药滴丸制剂过程建模与优化［J］.计算机工程与应用，2005，2（2）：191-194.

［18］James AD.Artificial Network Applied to the in Vitro-in Vivo Correlation of an Extended-release Formulation:Initial Trials and Experience［J］.Journal of pharmaceutical Science，1999，88(1):154－160.

［19］Fu XC，Chen CX，Wang GP，et al.Prediction of Human Intestinal Absorption Using an Artificial Neural Network［J］.Pharmazie，2005，60(9):674-676.

［20］Balan G，Timmins P，Greene D，et al.In Vivo-in Vitro Correlation Models for Metformin after Administration of Modified-release Oral Dosage Forms to Healthy Human Volunteers［J］.Journal of.Pharmaceutical Sciences，2001，90(8):1 176-1 185.

篇4

关键词：数据挖掘；数据库；遗传算法；神经网络

中图分类号：TP392文献标识码：A文章编号文章编号：1672-7800（2013）012-0129-02

基金项目：佛山科学技术学院重点项目（2010）

作者简介：刘晓莉（1961-），女，佛山科学技术学院副教授，研究方向为应用数学。

1遗传算法基本特征

遗传算法是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，是一种具有广泛适用性的通用优化搜索方法。遗传算法主要借用了生物遗传学的观点，通过自然选择、遗传和变异等作用机制来产生下一代种群，如此逐代进化，直至得到满足要求的后代即问题的解，是一种公认的全局搜索能力较强的算法。

遗传算法有良好智能性，易于并行，减少了陷于局部最优解的风险。遗传算法的处理对象不是参数本身，而是对参数集进行了编码的个体，可以直接对集合、队列、矩阵、图表等结构进行操作。同时，在标准的遗传算法中，基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，并在此基础上进行遗传操作； 遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导它的搜寻方向。正是这些特征和优点，使得遗传算法在数据挖掘技术中占有很重要的地位，既可以用来挖掘分类模式、聚类模式、依赖模式、层次模式，也可用于评估其它算法的适合度。

2神经网络基本特征

神经网络是人脑或自然神经网络若干基本特征的抽象和模拟，是以大量的、同时也是很简单的处理单元（神经元）广泛地互相连接形成的复杂非线性系统。人工神经网络本质上是一个分布式矩阵结构，它根据样本的输入输出对加权法进行自我调整，从而近似模拟出输入、输出内在隐含的映射关系。建模时，不必考虑各个因素之间的相互作用及各个因素对输出结果的影响机制，这恰好弥补了人们对各个因素及对输出结果的机制不清楚的缺陷，从而解决众多用以往方法很难解决的问题。

神经网络具有大规模的并行处理和分布式的信息存储，有良好的自适应、自组织性，学习能力很强，有较强的联想功能和容错功能，在解决机理比较复杂、无法用数学模型来刻画的问题，甚至对其机理一无所知的问题等，神经网络方法特别适用，是一种用于预测、评价、分类、模式识别、过程控制等各种数据处理场合的计算方法，其应用已经渗透到多个领域，在计算机视觉、模式识别、智能控制、非线性优化、信号处理、经济和机器人等方面取得了可喜的进展。

3遗传算法与神经网络混合算法在数据挖掘中的应用

作为一种有效的优化方法，遗传算法可以应用于规则挖掘，可以单独用于数据仓库中关联规则的挖掘，还可以和神经网络技术相结合，建立基于神经网络与遗传算法的数据挖掘体系，用于数据挖掘中的分类问题。

学习能力是神经网络中最引人瞩目的特征，学习算法的研究一直占据重要地位。可以将遗传算法应用于神经网络的学习过程中，这样可以避免传统的神经网络算法容易陷入局部极小的问题。有研究者提出了一种基于遗传算法的神经网络二次训练方法，可以提高神经网络的模糊处理能力，有效解决神经网络陷入局部极小的缺点，加快收敛速率，提高学习效率。也有研究者探究了基于基因重组的遗传算法优化神经网络的方法，通过训练权值来实现分类，可以提高神经网络数据分类的准确性。因此，采用遗传算法与神经网络模型相结合方法，可以解决多维非线性系统及模型未知系统的预测、评价与优化等问题，其成功案例有很多，下面是其中的几例。

一些研究者针对当前专家系统知识获取瓶颈的难题，提出了基于神经网络与遗传算法的汽轮机组数据挖掘方法。该方法首先将汽轮机组历史故障数据进行模糊化及离散化处理后，建立神经网络模型，然后再利用遗传算法对神经网络进行优化，实现了基于神经网络与遗传算法相结合的汽轮机组数据挖掘和故障诊断仿真系统，其诊断正确率达到了84%。

综合运用人工智能、计算智能（人工神经网、遗传算法） 、模式识别、数理统计等先进技术作为数据挖掘工具，可以建立可靠、高效的数据挖掘软件平台，已在很多工业控制和优化中得到应用和实验验证，并取得了满意的应用效果。例如，某铝厂根据以往不同原料成分和原料的不同配比与产品质量关系记录的数据库，应用数据挖掘软件平台，可以挖掘出适应不同原料成分的最佳配比规律，从而提高产品质量的稳定性。又如，以往在化工产品优化配方、催化剂配方优化或材料工艺优化等研究中，基本上都是采用试验改进的方式，需经过多次试验才能达到预期目的，但也有可能失败。为降低消耗， 少做试验就能达到预期目的，可采用神经网络对产品配方实验数据建模，在此基础上，再应用遗传算法对配方模型进行优化，得到优化配方。

正是遗传算法与神经网络等算法的支撑以及计算机技术的发展，目前，数据挖掘广泛地应用于天文、地理、生物信息学、金融、保险、商业、电信、网络、交通等众多领域。例如，应用在地理数据库上，主要挖掘地质、地貌特征，为寻找矿产或进行城市规划等提供参考依据；在电信Web服务器方面，可以挖掘Web日志，根据用户兴趣动态链接Web页面，统计页面链接及权威主页等，对检索页面进行聚类，方便用户找到需要的信息；在生物医学信息和DNA数据分析方面，进行遗传、疾病等数据特征的挖掘，为疾病诊断、治疗和预防研究提供科学依据；对金融数据进行挖掘，可以分析客户信用度；在CRM（客户关系模型）上使用数据挖掘，获得客户群体分类信息、交叉销售安排及开发新客户和保留老客户的策略；在电信业中使用挖掘技术，以预防网络欺诈等；应用在商业问题的研究包括：进行客户群体划分、背景分析、交叉销售等市场行为分析，以及客户流失性、信用度分析与欺诈发现；在电子商务方面，从服务器以及浏览器端的日志记录中发现隐藏在数据中的模式信息，了解系统的访问模式以及用户的行为模式，作出预测性分析等等。

4结语

神经网络和遗传算法作为数据挖掘技术，也有一些不足和缺陷。遗传算法除了要进一步改进基本理论和方法外，还要采用和神经网络、模拟退火、最近临规则等其它方法相结合的策略，提高遗传算法的局部搜索能力，从而进一步改善其收敛速度和解的品质，提高数据挖掘技术。特别是对于单调函数或单峰函数，遗传算法在初始时很快向最优值逼近，但是在最优值附近收敛较慢；而对于多峰函数的优化问题，它往往会出现“早熟”，即收敛于局部极值。因此，研究如何改进遗传算法，采用合适的算法加快寻优速度和改善寻优质量，无论在理论上还是在实践上都有重要意义。神经网络的神经计算基础理论框架以及生理层面的研究仍需深入与加强，如何提高神经网络的可理解性问题，以及研究遗传算法、神经网络技术与其它人工智能技术更好地结合，从而获得比单一方法更好的效果等问题，值得进一步探索。

虽然数据挖掘技术已得到了广泛应用，但现有的数据挖掘方法并不能完全适应所面临的具有多样性的海量数据分析的现实，急需解决的问题是：如何研究并行处理和抽样的方法，来处理大规模的数据以获得较高的计算效率；如何利用统计、模糊数学来确定隐含变量及依赖关系，开发容噪的挖掘方法，以解决异质数据集的数据挖掘问题；如何更好地进行文本数据挖掘、Web数据挖掘、分类系统、可视化系统、空间数据系统和分布式数据挖掘等新技术的应用。因此，未来数据挖掘的研究表现在数据挖掘功能、工具、方法（算法） 的拓展与理论创新，其应用的范围和深度会进一步加强。

参考文献参考文献：

[1]孟晓明.浅谈数据挖掘技术[J].计算机应用与软件，2004 （8）.

[2]李慧芳，姚跃华，陈一栋.改进的遗传算法对神经网络优化的分类[J].微计算机信息，2008（15）.

[3]王东龙，李茂青.基于遗传算法的数据挖掘技术应用[J].南昌大学学报， 2005（1）.

[4]宋仁国.铝合金工艺优化的遗传算法[J].材料科学与工程，1998（1）.

[5]韩力群.催化剂配方的神经网络建模与遗传算法优化[J].化工学报，1999（4）.

[6]郭崇慧，陆玉昌.预测型数据挖掘中的优化方法[J].工程数学学报，2005（1）.

[7]杨杰.用于建模、优化、故障诊断的数据挖掘技术[J].计算机集成制造系统，2000（10）.

篇5

关键词：风电功率 多种群遗传算法 单种群遗传算法 神经网络 优化

引言

近年来，风能作为一种新型的可再生能源，被应用到电力系统中，在解决能源问题的同时，又对电网的稳定安全运行带来了巨大的挑战。本文基于BP神经网络，提出了用单种群遗传算法和多种群遗传算法优化的组合预测方法。对历史数据建立模型，对未来短期风电功率分别用上述三种方法进行预测，并对结果进行比较。

1、BP神经网络

（1）BP算法的基本思想。BP神经网络是一种多层前馈神将网络，利用信号前向传递，误差反向传播的思想来进行网络学习。在前向传播中，将输入信号，从输入层经隐含层层层处理，直至输出层。利用输出层输出结果与预期输出之间的差异，反向传播，调整网络权值和阈值，从而使网络预测输出不断逼近期望输出。

（2）输入层与输出层神经元个数的确定。输入层神经元的个数与输入变量的维数相等，输出层神经元的个数与预期输出的维数相等。

（3）隐含层神经元个数的确定。BP神经网络的隐含层节点数对于BP神经网络的预测精度有较大的影响：节点数太少，网络不能很好地学习，需要增加训练次数，训练的精度也受到影响；节点数太多，训练时间增加，网络容易过拟和，泛化性能差。

（4）节点传递函数的确定。常用的转移函数有线性传递函数、指数S型、对数S型等，在网络的结构和权值、阈值相同的情况下，转移函数对BP神经网络预测误差具有较大的影响。一般隐含层节点转移函数选用对数或指数S型函数，输出层节点转移函数选用正切或线性传递函数。

（5）输入数据的预处理。为了提高神经网络训练速度和提高收敛性，一般情况下要对输入数据进行归一化处理，本文采用最大最小法。

2、单种群遗传算法

（1）遗传算法概述。遗传算法（GA）是一种进化算法，基本思想是“物竞天择，适者生存”的演化法则。把待解决的实际问题抽象，将其中参数编码为染色体，利用迭代的方式进行选择，交叉以及变异等运算从而交换种群中染色体的信息，最终生成符合优化目标的染色体。

（2）编码。将原始问题的解空间的数据映射到遗传空间的基因型串结构，其数据的不同组合构成了原始问题的不痛的解。本文采用二进制编码法。

（3）适应度函数。适应度函数表征染色体的适应度，其值越大表明该染色体越适应环境，越有可能为下一代提供其遗传信息。本文采用期望输出与实际输出的均方差作为适应度函数值。

（4）选择、交叉、变异算子。选择算子的主要目的是从种群中选出优良的个体，使其有机会作为父代为下一代提供遗传信息。选择的机制为适应度大的个体被选中的概率大。交叉算子实现了父代间的信息交换，是遗传算法的主要操作。变异算子体现了实际问题中的参数变化，从而使算法跳出局部最优，达到或接近全局最优。

3、多种群遗传算法

（1）单种群遗传算法的不足。单种群遗传算法在优化时不依赖于梯度，具有很强的鲁棒性和全局搜索能力，被广泛应用到机器学习，模式识别，数学规划等领域。但会出现早熟问题。

（2）多种群遗传算法概述。为了克服遗传算法的未成熟问题，学者们提出了自适应的交叉和变异，并得出了一些益的结论。但由于影响遗传算法未成熟问题的因素很多，一般方法仍有一定的局限性，为此本文采用多种群遗传算法代替遗传算法，并引入移民算子和人工选择算子，进行多种群的并行搜索。

（3）移民算子与人工选择算子。各个种群之间通过移民算子进行联系，实现多种群的协同进化；最优解的获取是多种群协同精华的结果。通过人工选择算子保存各个种群每个进化代中的最优个体，并作为判断算法收敛的依据。

4、单种群与多种群遗传算法优化BP神经网络

在神经网络的结构相同的情况下，每次运行神经网络进行预测和有可能会得出不同的结果，即网络初始权值与阈值对网络预测结果有很大的影响。本文使用遗传算法优化BP神经网络初始权值与阈值，从而确定最佳的初始权值与阈值，提高预测的准确度。算法流程如图所示。

5、算例分析

根据《国家能源局关于印发风电场电功率预测预报管理暂行办法》，风电场功率预测预报考核指标，利用2011年电工杯数学建模竞赛A题的数据进行验证。分别利用BP神经网络、单种群遗传算法优化的神经网络、多种群遗传算法优化的神经网络进行编程，预测结果如表1所示

预测结果显示，使用BP神经网络进行预测的结果已经达到了比较高的精确度，但单种群遗传算法优化的神经网络和多种群遗传算法优化的神经网络将预测精度进一步提高，其中多种群遗传算法优化的神经网络的预测效果最佳。

6、结论

本文提出基于遗传算法优化的神经网络预测模型，充分挖掘历史数据，采用多种群协调进化，提高网络预测精度与泛化性能，同时提高网络稳定性。实例证明多种群遗传算法优化的神经网络预测模型比单一种群遗传算法优化的神经网络预测模型具有更好的预测效果，为风电功率预测提供了一种新的思路。具有很好的应用前景。

参考文献：

[1]王素霞.国内外风力发电的情况及发展趋势[J].电力技术经济，2007，19（1）：29-31.

[2]时庆华，高山，陈昊.2种风电功率预测模型的比较[J].能源技术经济.2011，23（6）：31-35

[3]洪翠，林维明，温不瀛.风电场风速及风电功率预测方法研究综述[J].电网与清洁能源，2011，27（1）：20-66.

篇6

80年代初，在美国、日本、接着在我国国内都掀起了一股研究神经网络理论和神经计算机的热潮，并将神经网络原理应用于图象处理、模式识别、语音综合及机器人控制等领域。近年来，美国等先进国家又相继投入巨额资金，制定出强化研究计划，开展对脑功能和新型智能计算机的研究。

人脑是自生命诞生以来，生物经过数十亿年漫长岁月进化的结果，是具有高度智能的复杂系统，它不必采用繁复的数字计算和逻辑运算，却能灵活处理各种复杂的，不精确的和模糊的信息，善于理解语言、图象并具有直觉感知等功能。

人脑的信息处理机制极其复杂，从结构上看它是包含有140亿神经细胞的大规模网络。单个神经细胞的工作速度并不高（毫秒级），但它通过超并行处理使得整个系统实现处理的高速性和信息表现的多样性。

因此，从信息处理的角度对人脑进行研究，并由此研制出一种象人脑一样能够“思维”的智能计算机和智能信息处理方法，一直是人工智能追求的目标。

神经网络就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。本文介绍神经网络的特点以及近年来有关神经网络与混沌理论、模糊计算和遗传算法等相结合的混合神经网络研究的动态。

一．神经网络和联结主义

回顾认知科学的发展，有所谓符号主义和联结主义两大流派。符号主义从宏观层次上，撇开人脑的内部结构和机制，仅从人脑外在表现出来的智能现象出发进行研究。例如，将记忆、判断、推理、学习等心理活动总结成规律、甚至编制成规则，然后用计算机进行模拟，使计算机表现出各种智能。

符号主义认为，认识的基本元素是符号，认知过程是对符号表示的运算。人类的语言，文字的思维均可用符号来描述，而且思维过程只不过是这些符号的存储、变换和输入、输出而已。以这种方法实现的系统具有串行、线性、准确、简洁、易于表达的特点，体现了逻辑思维的基本特性。七十年代的专家系统和八十年代日本的第五代计算机研究计划就是其主要代表。

联接主义则与其不同，其特点是从微观出发。联接主义认为符号是不存在的，认知的基本元素就是神经细胞（神经元），认知过程是大量神经元的联接，以及这种联接所引起的神经元的不同兴奋状态和系统所表现出的总体行为。八十年代再度兴起的神经网络和神经计算机就是这种联接主义的代表。

神经网络的主要特征是：大规模的并行处理和分布式的信息存储，良好的自适应、自组织性，以及很强的学习功能、联想功能和容错功能。与当今的冯．诺依曼式计算机相比，更加接近人脑的信息处理模式。主要表现如下：

神经网络能够处理连续的模拟信号。例如连续灰度变化的图象信号。

能够处理混沌的、不完全的、模糊的信息。

传统的计算机能给出精确的解答，神经网络给出的是次最优的逼近解答。

神经网络并行分布工作，各组成部分同时参与运算，单个神经元的动作速度不高，但总体的处理速度极快。

神经网络信息存储分布于全网络各个权重变换之中，某些单元障碍并不影响信息的完整，具有鲁棒性。

传统计算机要求有准确的输入条件，才能给出精确解。神经网络只要求部分条件，甚至对于包含有部分错误的输入，也能得出较好的解答，具有容错性。

神经网络在处理自然语言理解、图象模式识别、景物理解、不完整信息的处理、智能机器人控制等方面有优势。

符号主义和联接主义两者各有特色，学术界目前有一种看法：认为基于符号主义得传统人工智能和基于联接主义得神经网络是分别描述人脑左、右半脑的功能，反映了人类智能的两重性：精确处理和非精确处理，分别面向认识的理性和感性两个方面，两者的关系应该是互补而非互相代替。理想的智能系统及其表现的智能行为应是两者相互结合的结果。

接下去的问题是，符号AI和联接AI具体如何结合，两者在智能系统中相互关系如何？分别扮演什么角色？目前这方面发表的文献很多，大致有如下几种类型：

1．松耦合模型：符号机制的专家系统与联接机制的神经网络通过一个中间媒介（例如数据文件）进行通讯。

2．紧耦合模型：与松耦合模型相比较，其通讯不是通过外部数据进行，而是直接通过内部数据完成，具有较高的效率。其主要类型有嵌入式系统和黑板结构等。

3．转换模型：将专家系统的知识转换成神经网络，或把神经网络转换成专家系统的知识，转换前的系统称为源系统，转换后的系统称为目标系统，由一种机制转成另一种机制。如果源系统是专家系统，目标系统是神经网络，则可获得学习能力及自适应性；反之，可获得单步推理能力、解释能力及知识的显式表示。当然，转换需要在两种的机制之间，确定结构上的一致性，目前主要问题是还没有一种完备而精确的转换方法实现两者的转换。有待进一步研究。

4．综合模型：综合模型共享数据结构和知识表示，这时联接机制和符号机制不再分开，两者相互结合成为一个整体，既具有符号机制的逻辑功能，又有联接机制的自适应和容错性的优点和特点。例如联接主义的专家系统等。

近年来神经网络研究的另一个趋势，是将它与模糊逻辑、混沌理论、遗传进化算法等相结合，即所谓“混合神经网络”方法。由于这些理论和算法都是属于仿效生物体信息处理的方法，人们希望通过她们之间的相互结合，能够获得具有有柔性信息处理功能的系统。下面分别介绍。

二．混沌理论与智能信息处理

混沌理论是对貌似无序而实际有序，表面上看来是杂乱无章的现象中，找出其规律，并予以处理的一门学科。早在七十年代，美国和欧洲的一些物理学家、生物学家、数学家就致力于寻求在许许多多不同种类的不规则性之间的联系。生物学家发现在人类的心脏中有混沌现象存在，血管在显微镜下交叉缠绕，其中也有惊人的有序性。在生物脑神经系统中从微观的神经膜电位到宏观的脑电波，都可以观察到混沌的性态，证明混沌也是神经系统的正常特性。

九十年代开始，则更进一步将混沌和神经网络结合起来，提出多种混沌神经网络模型，并探索应用混沌理论的各种信息处理方法。例如，在神经元模型中，引入神经膜的不应性，研究神经元模型的混沌响应，研究在神经网络的方程中，不应性项的定标参数，不定性时间衰减常数等参数的性质，以及这些参数于神经网络混沌响应的关系，并确定混沌---神经网络模型具有混沌解的参数空间。经过试验，由这种混沌神经网络模型所绘出的输出图形和脑电图极为相似。

现代脑科学把人脑的工作过程看成为复杂的多层次的混沌动力学系统。脑功能的物理基础是混沌性质的过程，脑的工作包含有混沌的性质。通过混沌动力学，研究、分析脑模型的信息处理能力，可进一步探索动态联想记忆、动态学习并应用到模式识别等工程领域。例如：

对混沌的随机不规则现象，可利用混沌理论进行非线性预测和决策。

对被噪声所掩盖的微弱信号，如果噪声是一种混沌现象，则可通过非线性辨识，有效进行滤波。

利用混沌现象对初始值的敏锐依赖性，构成模式识别系统。

研究基于混沌---神经网络自适应存储检索算法。该算法主要包括三个步骤，即：特征提取、自适应学习和检索。

模式特征提取采用从简单的吸引子到混沌的层次分支结构来描述，这种分支结构有可能通过少数几个系统参数的变化来加以控制，使复杂问题简单化。自适应学习采用神经网络的误差反传学习法。检索过程是通过一个具有稳定吸引子的动力学系统来完成，即利用输入的初始条件与某个吸引子（输出）之间的存在直接对应关系的方法进行检索。利用这种方法可应用于模式识别。例如黑白图象的人脸识别。

三．模糊集理论与模糊工程

八十年代以来在模糊集理论和应用方面，也有很大进展。1983年美国西海岸AI研究所发表了称为REVEAL的模糊辅助决策系统并投入市场，1986年美国将模糊逻辑导入OPS---5，并研究成功模糊专家系统外壳FLOPS，1987年英国发表采用模糊PROLOG的智能系统FRIL等。除此通用工具的研制以外，各国还开发一系列用于专用目的的智能信息处理系统并实际应用于智能控制、模式识别、医疗诊断、故障检测等方面。

模糊集理论和神经网络虽然都属于仿效生物体信息处理机制以获得柔性信息处理功能的理论，但两者所用的研究方法却大不相同，神经网络着眼于脑的微观网络结构，通过学习、自组织化和非线性动力学理论形成的并行分析方法，可处理无法语言化的模式信息。而模糊集理论则着眼于可用语言和概念作为代表的脑的宏观功能，按照人为引入的隶属度函数，逻辑的处理包含有模糊性的语言信息。

神经网络和模糊集理论目标相近而方法各异。因此如果两者相互结合，必能达到取长补短的作用。将模糊和神经网络相结合的研究，约在15年前便已在神经网络领域开始，为了描述神经细胞模型，开始采用模糊语言，把模糊集合及其运算用于神经元模型和描述神经网络系统。目前，有关模糊---神经网络模型的研究大体上可分为两类：一类是以神经网络为主，结合模糊集理论。例如，将神经网络参数模糊化，采用模糊集合进行模糊运算。另一类以模糊集、模糊逻辑为主，结合神经网络方法，利用神经网络的自组织特性，达到柔性信息处理的目的。

与神经网络相比，模糊集理论和模糊计算是更接近实用化的理论，特别近年来美国和日本的各大公司都纷纷推出各种模糊芯片，研制了型号繁多的模糊推理板，并实际应用于智能控制等各个应用领域，建立“模糊工程”这样一个新领域。日本更首先在模糊家电方面打开市场，带有模糊控制，甚至标以神经---模糊智能控制的洗衣机、电冰箱、空调器、摄象机等已成为新一代家电的时髦产品。我国目前市场上也有许多洗衣机，例如荣事达洗衣机就是采用模糊神经网络智能控制方式的洗衣机。

四．遗传算法

遗传算法（Genetic Algorithm ：GA）是模拟生物的进化现象（自然、淘汰、交叉、突然变异）的一种概率搜索和最优化方法。是模拟自然淘汰和遗传现象的工程模型。

GA的历史可追溯到1960年，明确提出遗传算法的是1975年美国Michigan大学的Holland博士，他根据生物进化过程的适应现象，提出如下的GA模型方案：

1．将多个生物的染色体（Chromosmoe）组成的符号集合，按文字进行编码，称为个体。

2．定义评价函数，表示个体对外部环境的适应性。其数值大的个体表示对外部环境的适应性高，它的生存（子孙的延续）的概率也高。

3．每个个体由多个“部分”组合而成，每个部分随机进行交叉及突然变异等变化，并由此产生子孙（遗传现象）。

4．个体的集合通过遗传，由选择淘汰产生下一代。

遗传算法提出之后，很快得到人工智能、计算机、生物学等领域科学家的高度重视，并在各方面广泛应用。1989年美国Goldberg博士发表一本专著：“Genetic Algorithms in Search，Optimization and Machine Learning”。出版后产生较大影响，该书对GA的数学基础理论，GA的基本定理、数理分析以及在搜索法、最优化、机器学习等GA应用方面进行了深入浅出的介绍，并附有Pascal模拟程序。

1985年7月在美国召开第一届“遗传算法国际会议”（ICGA）。以后每隔两年召开一次。近年来，遗传算法发展很快，并广泛应用于信息技术的各个领域，例如：

智能控制：机器人控制。机器人路径规划。

工程设计：微电子芯片的布局、布线；通信网络设计、滤波器设计、喷气发动机设计。

图象处理：图象恢复、图象识别、特征抽取。

调度规划：生产规划、调度问题、并行机任务分配。

优化理论：TSP问题、背包问题、图划分问题。

人工生命：生命的遗传进化以及自增殖、自适应；免疫系统、生态系统等方面的研究。

神经网络、模糊集理论和以遗传算法为代表的进化算法都是仿效生物信息处理模式以获得智能信息处理功能的理论。三者目标相近而方法各异；将它们相互结合，必能达到取长补短、各显优势的效果。例如，遗传算法与神经网络和模糊计算相结合方面就有：

神经网络连续权的进化。

传统神经网络如BP网络是通过学习，并按一定规则来改变数值分布。这种方法有训练时间过长和容易陷入局部优化的问题。采用遗传算法优化神经网络可以克服这个缺点。

神经网络结构的进化。

目前神经网络结构的设计全靠设计者的经验，由人事先确定，还没有一种系统的方法来确定网络结构，采用遗传算法可用来优化神经网络结构。

神经网络学习规则的进化。

采用遗传算法可使神经网络的学习过程能够适应不同问题和环境的要求。

基于遗传算法的模糊推理规则的优化，以及隶属度函数的自适应调整也都取得很好效果。

上述神经网络、模糊计算、遗传算法和混沌理论等都是智能信息处理的基本理论和方法。近年来学术界将它们统称为“计算智能”。有关这方面更详细的内容，可参阅我们编著的下列著作：

“神经网络与神经计算机”（1992年科学出版社出版）

篇7

关键词:暖通空调 控制系统 设计

由于暖通空调具有时滞和大惯性,当前的控制信号要等到很长时间才能在系统的输出中反映,而广义预测控制可以利用现在时刻的控制变量使未来时刻系统的输出快速准确的跟踪期望的输出。同时暖通空调的工况环境不断变化且有干扰作用,用神经网络的强学习能力使暖通空调控制系统有效的抑制工况变化和干扰带来的对控制效果不利的影响。因此本文把广义预测控制和神经网络结合对暖通空调进行控制。

本文选取的基于RBF模糊神经网络暖通空调广义预测控制系统结构如图1所示:

图1暖通空调广义预测控制结构图

如前面所描述暖通空调系统具有非线性,时变性、大滞后和大惯性等特点,还受到许多的干扰。图中1所示干扰1为冷热水干扰,主要有盘管中冷/热水流量、压力变化,这些干扰折合成冷/热水温度变化就会对系统造成一定的影响。干扰2为外界干扰,主要有日照、室外气温、外部空气侵入以及新风温度变化和风机转速变化,这些干扰可以看成空调的送风风量变化。干扰3为房间内部干扰,主要有人员的频繁进出、房间内部各种耗能发热设备的使用。

1、暖通空调控制器在线滚动优化

暖通空调广义预测控制的在线滚动优化是利用模型辨识部分提供的预测输出信息,根据优化的目标函数及选定的优化方法进行在线的滚动优化,从而得到合理的控制规律,考虑在线优化的计算量,本文用RBF模糊神经网络完成广义预测控制的在线滚动优化。实现在线滚动优化的RBF模糊神经网络结构如图2所示:

模糊神经网络广义预测控制器由图2所示的网络实现,则模糊神经网络广义预测控制器的出,即暖通空调冷冻水调节法电压可表示为:选择合理的参数Nl、N2、Nu、 。设控制目标函数为:式中: 为房间期望温度。

按性能指标,利用优化方法获得未来控制长度内的冷冻水调节阀电压,并取其首分量作为当前时刻的冷冻水调节阀电压。考虑降低在线计算的复杂性,采用了较常用的梯度下降法作为主要的优化算法。优化过程的关键是计算性能指标对RBF模糊神经网络控制器参数的导数。

RBF模糊神经网络广义预测控制器参数修正如下:

其中:对于的求取是通过暖通空调的预测模型获得:

式(12)中的c、、w是实现暖通空调预测模型的RBF模糊神经网络的参数。

在每一个周期内,通过上述RBF模糊神经网和修正方法,利用暖通空调预测模型提供的信息来完成给定目标函数的优化,进而准确的提供冷冻水调节阀电压,从而实现广义预测控制的在线滚动优化来得到暖通空调的合理控制规律。

2、暖通空调预测模型

在线滚动优化部分的房间温度预测值yr和式(12)的求取是通过广义预测中的模型预测所提供。

假定暖通空调输入输出特性由一般形式的离散方程描述:

式中:u,y一分别是调节阀的电压和被调房间的输出温度,m,n―暖通空调输入和输出的阶次,d一暖通空调系统的延迟。

用预测模型通过递推算法对k+P时刻的系统输出进行估计,递推算法如下:

式中:yr为预测房间温度

暖通空调的RBF模糊神经网络动态模型,在暖通空调的广义预测控制中,建立的暖通空调动态模型,通过反复迭代来完成对k+p时刻的暖通空调系统输出的估计,可知通过暖通空调动态模型的迭代计算,可以在各种工况变化和干扰作用下,为暖通空调广义预测控制系统提供准确的未来房间预测温度。

3、暖通空调广义预测控制反馈校正

预测控制算法在进行滚动优化时,优化的基点应与系统实际一致。但本文中,由于暖通空调系统受诸多干扰的影响,有可能导致辨识模型的失配。既基于不变RBF模糊神经网模型的预测不可能和实际空气处理单元完全相符。这就需要用附加的预测手段补充模型预测的不足,或者对基础模型进行在线修正。况且滚动优只有建立在反馈校正的基础上,才能体现出其优越性。本文选取的是根据目标函数对暖通空调预测模型进行参数修正。

对RBF模糊神经网络各隐单元的“中心”和“宽度”和隐层到输出层的权值采用梯度下降法进行调整;

设其中,yr为暖通空调预测模型输出,y为房间温度,Ep为平方误差函数。那么,学习过程中对实现暖通空调模型预测的RBF模糊神经网络的cij, ,wj的调整一下公式来进行:

在控制的每一步,都实时检测被控对象的实际输出与RBF模糊神经网络预测器输出之间的误差,若此误差大于预先设定的允许误差,则利用上述修正方法修正暖通空调预测模型的RBF模糊神经网络参数;否则,维持原有的RBF模糊神经网络预测模型。

(4)由上面对基于RBF模糊神经网预测控制的分析,我们可以将模糊神经网络广义预测对空气处理单元的控制算法归纳为以下的步骤:

1)通过暖通空调冷冻水调节阀电压和被调房间温度数据完成预测功能的模糊RBF神经网络的初始参数设置,同时初步建立在线优化控制器RBF模糊神经网的结构;

2)设置被调房间温度期望轨迹少(k)和被调房间实际温度y(k),然后计算温度误差e(k)、误差变化ec(k);

3)根据式(5.2)计算模糊神经网络广义预测控制器的输出,该输出同时送被控对象及模糊RBF神经网络预测器;

4)利用实现式(13)离散方程的RBF模糊辨识网络计算系统的预测输出,以式 (14)为目标函数,并采用式(15-20)修正模糊RBF神经网络预测器的参数;

5)由式(5.2)计u(k+N),以式(3)为目标函数,并按式(4-12)修改模糊神经网络广义预测在线优化控制器的参数;

6)返回计算步骤2)。

参考文献:

篇8

关键词：神经网络；网络结构优化；灰色关联度分析；剪枝算法

4 实例建模

4.1 分类实例――XOR问题

XOR问题就是如何用神经网络实现异或逻辑关系，即Y=A・XOR・B。对于这个问题用单个神经元模型无法解决，因为该问题是线性不可分的，对于两维输入空间，神经元的作用可以理解为对输入空间进行一条直线划分。

多层神经网络可以解决这个问题，因为多层网络引入了中间隐含层，每个隐含神经元可以按不同的方法来划分输入空间抽取输入空间中包含的某些特征，从而形成更为复杂的分类区域。理论上已经证明三层神经网络足以解决任意复杂分类问题。

我们考虑用BP神经网络实现XOR问题，初步建立一个隐含层为30个神经元的网络结构，再运用前文灰色关联度分析的方法进行网络剪枝，以实现最简网络的XOR问题。

XOR问题的样本有四个，即他们的输入为x=■；对应的输出为：y=[0101]；输入是2维向量，用2个神经元作为输入层，网络输出是1维向量，用1个神经元作为输出层，对于这个问题，在BP神经网络隐含层节点个数未知的情况下，先取30个节点，经过简单的训练后得到网络结构，再利用灰色关联分析优化网络结构。

初始结构：2-30-1，神经元的传递函数取tin sig函数，BP网络的训练函数取tan sig；设定网络的训练参数如下：目标误差为1e-4； 最大迭代步数为5000步；其余为系统默认值。

灰色关联计算时选取的分辨系数为？籽=0.4；额定灰色关联度为？着=0.55，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；

由表1-3可知，在程序运行过程中，原BP神经网络的结构首先调整为2-15-1，此时被删除的节点是E=2，5，6，7，9，10，16，17，20，21，

22，23，24，25，29共15个，在此基础上继续对网络进行训练学习，第二次删除的节点是E=14，26，27，28，30共4个，此时的网络结构调整为2-10-1，依次过程第五次网络达到稳定，得到BP网的最优化结构为2-3-1，具体每次调整过程对应的纵向节点和横向节点以及关联度如表1-2所示（省略前两次调整过程）。

每次剪枝完后网络的输出值是比较可观的，误差也是接近我们的目标误差，精度很高，足见虽然每次减少了隐含层神经节的个数，但网络训练不受影响，也证实了剪枝算法的合理性，如表3所示。

4.2 函数逼近实例――Y=sin（X）

我们考虑用BP神经网络实现函数逼近问题，初步建立一个隐含层为30个神经元的网络结构，进行网络剪枝运用前文灰色关联度分析的方法，以实现最简网络的Y=sin（X）函数逼近问题。

我们选取100个样本，隐含层节点数为30，输入和输出都是一维的。选取Y=sin（X）为逼近函数，输入从0.01？仔到0.02？仔，增长率为0.02？仔。最大训练次数为5000，学习速率为0.005，目标误差为1e-3。

灰色关联计算时选取的分辨系数为？籽=0.5；额定灰色关联度为？着=0.50，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；

通过调节权值和阈值，网络达到稳定后，进行剪枝操作，第一次剪枝节点为E=12，13，21，25，27第二次剪枝节点为E=2，5，6，7，11，

16，22，30第三次剪枝节点为E=10，14，26，28，最终隐层节点为7个。函数逼近结果如图1所示。由图可知，大体符合函数逼近的趋势，逼近效果较好。

5 结束语

文章通过分析了几类前馈神经网络纵向和横向信息的传输特点，采用灰色关联分析方法，通过剪枝和并枝过程来设计一种以BP算法为例的剪枝算法，数值试验结果表明这种方法非常有效，同时也对前馈神经网络的结构优化提供了一种新的学习算法。

参考文献

[1]冯知凡.基于图像处理及BP神经网络的车牌识别技术的研究[D].武汉科技大学，2011.

[2]杨晟院，高协平.基于面向对象BP算法的灰度位图图像处理[J].计算机工程与应用，2003，33：103-105.

[3]周凌翱.改进BP神经网络在模式识别中的应用及研究[D].南京理工大学，2010.

[4]张宇.基于BP神经网络汇率预测的智能交易系统[D].安徽大学，2011.

[5]李聪.基于BP神经网络的股票指数期货价格预测[D].青岛大学，2012.

[6]黄庆斌.BP算法的改进及其应用研究[D].西南交通大学，2010.

[7]李晓峰，徐玖平，王荫清，贺昌政.BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004，05：1-8.

[8]黄丽.BP神经网络算法改进及应用研究[D].重庆师范大学，2008.

[9]陈小前，罗世彬，王振国，陶玉静.BP神经网络应用中的前后处理过程研究[J].系统工程理论与实践，2002，1：65-70+88.

[10]熊焱，吴微，张超，亢喜岱.基于灰色关联分析的高阶神经网络剪枝算法[J].大连理工大学学报，2010，3：463-468.

篇9

关键词： BP算法； 入侵检测； 神经网络； 随机优化算子

中图分类号： TN915.08?34； TP393.08 文献标识码： A 文章编号： 1004?373X（2017）11?0091?04

Research on BP algorithm based on neural network and its application

in network intrusion detection

LUO Junsong

（College of Information Science and Technology， Chengdu University of Technology， Chengdu 610059， China）

Abstract： By analyzing the problems of BP neural network applied to the detection system， the automatic variable?rate learning method， forgetting factor and random optimization operator are introduced into the BP algorithm on the basis of traditional BP algorithm. The BP algorithm is applied to the network intrusion detection system. The simulation results show that the improved BP neural network algorithm applied to intrusion detection has the characteristics of fast speed and easy convergence， and can quickly obtain the target accuracy of 0.02. The detection rate， missed detection rate and false alarm rate of the improved BP neural network algorithm can reach up to 96.17%， 3.83% and 4.15% respectively， whose detection rate is 11.65% higher than that of the traditional BP algorithm， the missed detection rate is 10.66% lower than that of the traditional BP algorithm， and the false alarm rate is 4.07% lower than that of the traditional BP algorithm. The superiority of the algorithm is obvious.

Keywords： BP algorithm； intrusion detection； neural network； random optimization operator

0 引 言

随着通信技术和计算机技术的快速发展，计算机的网络规模越来越大，通信系统也越来越复杂，由于计算机网络本身具有漏洞，同时还有黑客对网络进行攻击，因此计算机网络受到的威胁和攻击日益增加[1?3]。网络安全形势越来越严峻。通过入侵检测技术可收集计算机网络中的若干关键点信息，同时对这些信息进行分析，并对网络是否遭到袭击、是否存在违反安全策略行为进行检查，并做出及时响应，对网络连接进行切断并报警等[4?6]。目前倾向于通过入侵检测技术结合人工智能算法进行相关研究，对于各种入侵行为，采用人工智能算法通过自学习、自适应能力进行识别、检测[7]。

作为一种重要的模式识别方法，人工神经网络具有自学习、自组织、推广能力强等特点[8]。在入侵检测系统中，应用人工神经网络方法可使系统能较好地识别已知攻击，同时还具有对未知攻击进行检测的能力[9]。但是在异常入侵检测系统中，应用标准BP算法存在收敛局部极小值、学习速度慢等缺点，这在很大程度上影响了入侵检测系统的性能[10]。本文在对原有BP神经网络算法进行改进的基础上，研究了优化的神经网络BP算法及其在网络入侵检测中的应用。

1 BP神经网络

BP神经网络是一种多层前馈神经网络，包括输入信号前向传递和误差反向传播两个过程，在结构上一般由输入层、隐含层、输出层三层构成，每一层的神经元状态只影响下一层神经元状态。它被广泛应用在BP神经网络预测模型中。网络结构一般只需单个隐含层就能以任意精度逼近任意有理函数。训练样本的输入、输出向量的维数分别决定了网络的输入、输出层神经节点个数，典型的只有单个隐含层、单个输出的BP神经网络结构如图1所示。

图1 BP神经网络拓扑结构

图1中，为BP神经网络的一组输入向量；为网络的目标输出值；为输入层与隐含层之间的连接权值；为隐含层c输出层之间的连接权值；分别为隐含层和输出层的节点阈值。若设隐含层节点个数为则在前向传递中，输入信号向量从输入层经隐含层逐层传输，最后到输出层，通过各层连接权值矢量、阈值矢量和每一层相应的激励函数进行计算。得到输出层的预测输出值若预测值与目标值之间有误差，则误差部分转入反向逐层传递，沿误差减小方向调整网络各层连接的权值、阈值。反复执行以上过程，使得BP神经网络的预测值不断逼近实际输出值。

2 入侵检测算法

网络入侵检测通过分析系统数据，一旦有网络攻击行为、非授权网络访问时，入侵检测系统就会报警，同时对入侵线路进行切断。入侵检测系统应具有监视系统、用户的活动，对系统、用户活动进行分析，对异常行为模式进行分析，对已知进攻模式进行识别，审计系统弱点、构造，跟踪管理系统审计，对系统、数据文件完整性进行评估，对用户违反安全策略行为进行识别。常见的攻击手段目前包括非授权获得权限、非授权访问、探测、拒绝服务等。在实际中，这些攻击手段变异很大，入侵检测难度较大。BP神经网络具有较强的自学习和自组织能力，经过训练后，对以前观察到的入侵检测行为模式，BP神经网络会进行归纳和总结，可识别出已观察到的攻击和已知攻击变异的新攻击，图2为网络的入侵检测过程。

3 改进的BP神经网络入侵检测

3.1 BP神经网络用于检测系统存在的问题

BP神经网络采用分布式存储，但传统的BP算法存在一些不足，包括极小的局部，较慢的学习收敛速度，缺乏理论隐含层节点的选取，已经学完样本会受到新加入样本的影响，每次样本的输入必须具有确定相同的特征数目。

在入侵检测中，BP神经网络的实现方式主要是与现有系统结合进行，BP神经网络与应用模式识别系统相结合使用，例如与专家系统结合。在这种方式中，BP神经网络可作为系统组成部分，通常是作为信息过滤模块或信息预处理模块，当信息输入系统后，神经网络会对信息做过滤处理。另外，神经网络可规则自动生成模块，进而更新入侵检测系统规则库、模式库。这种方式的优点是能将入侵检测系统的工作性能提高，缺点是这种方式神经网络的真正优势不能得到充分发挥。

3.2 改进的神经网络算法

在信号检测、非线性处理、模式识别等领域，人工神经网络应用较多，这是因为人工神经网络自组织性、自适应性非常好，同时其非线性特性明显，信息存储为分布式模式、可进行大规模的并行处理。实质上BP神经网络算法属于非线性优化的梯度算法，在收敛性上，该算法存在不足，也就是说该算法的学习结果有可能落入到均方误差全局最小点，也有可能落入到局部极小点，造成算法不收敛，使工作模式陷入错误。

入侵检测系统的主要功能是对入侵计算机网络的行为和计算机系统进行检测，包括数据聚类、数据采集、分析判断行为、对入侵行为进行响应、报警等。BP网络各层神经元仅连接相邻层神经元；在各层内部，神经元间无连接；同时各层神经元间也无反馈连接。在信号输入后，传播到隐节点经变换函数再将信息传播到输出节点，经过处理，输出结果。本文将改进的BP 神经网络用于入侵检测系统，其检测模型见图3。

3.2.1 采用自动变速率学习法

传统BP算法在梯度基础上，采用最陡下降法LMS学习问题，学习步长为一个较小值，并且这个值是固定不变的，对网络收敛无益处。因而选择基于梯度方向自动对学习速率进行调节。通过梯度对学习方向做最终确定，在梯度方向上，学习步长由速率决定。若相邻两次梯度方向是相同的，表明该方向的收敛有利；若相邻两次梯度方向是相反的，表明该方向的收敛不稳定。根据这个规律，通过两次相对梯度的变化确定学习步长。当两次梯度为相同方向时，学习步长增大，该方向上学习速度要加快；在两次梯度为相反方向时，学习步长减小，整个网络收敛速度要加快，自适应速率调节方法如下：

（1）

（2）

式中表示在时刻和时刻梯度的乘积。

3.2.2 引入遗忘因子

根据相邻两次梯度变化，通过自适应变速率学习法对学习步长算法进行确定。变化单纯学习速率，这时收敛速度不能完全保证，但不会有振荡产生，因此考虑变速率学习法，在权值调节量上，加一个量，这个量正比于前几次的加权，权值调节量采用式（3）计算：

（3）

式中：表示遗忘因子，引入遗忘因子项，在学习过程中可通过对学习速率进行等效微调的效果进行说明。遗忘因子的作用是缓冲平滑，并使调节的平均方向朝底部变化。

3.2.3 引入随机优化算子

BP神经网络算法在引入遗忘因子，采用自动变速率学习法后，虽然可微调学习速率，但BP神经网络的不足和限制仍存在，为了进一步对BP神经网络进行优化，本文引入随机优化算子，当网络权值误差迭代达到一定次数后，收敛不明显或连续几次发生系统误差函数梯度变化，这种情况表明网络进入疲乏状态，要借助外界推动力对网络进行激活。当出现这两种情况时，与权值维数相同的随机数就产生了，直接将权值和随机数相加，对系统误差变化进行判断，若误差未降低，继续产生随机数，进行权值修改，当误差出现减少时停止，然后再从新权值继续开始BP算法，随机优化算子可随机变化搜索方向，局部极小点就摆脱掉了，图4为改进的BP算法流程图。

4 仿真实验

本文的仿真实验在Matlab 7.0实验平台进行，以此来验证提出改进的BP神经网络算法是否能达到较好的效果，本文同时给出采用未改进的BP算法网络入侵检测和改进的BP神经网络算法网络入侵检测模型仿真实验结果。

图5为两种算法得到的训练精度。从两种算法的实验仿真结果可看出，将改进的BP神经网络算法用于入侵检测，速度快、易收敛，目标精度0.02很快达到。在规定周期内，未改进的BP算法不能达到规定的目标精度，易陷入局部极小，本文提出的改进的BP算法所用训练周期较短，学习时间缩短显著，效果良好。

评价检测模型的标准为漏报率、误报率、检测率，其定义分别如下：

表1为未改进的BP算法与改进的BP算法的比较结果，从表1中可看出，改进的BP神经网络算法的检测率、漏报率、误报率分别为96.17%，3.83%，4.15%，检测率比未改进的BP算法要高出11.65%，漏报率比未改进的BP算法要低10.66%，误报率比未改进的BP算法要低4.07%。

表1 两种算法的入侵检测结果

[算法 训练周期 /s 检测率 /% 漏报率 /% 误报率 /% 基本BP算法 480 84.52 14.49 8.22 改进的BP算法 480 96.17 3.83 4.15 ]

5 结 语

本文在对原有BP 神经网络算法进行改进的基础上，研究了改进优化的BP神经网络算法及其在网络入侵检测中的应用。通过分析BP神经网络用于检测系统存在的问题，在传统BP算法基础上，采用自动变速率学习法，引入遗忘因子、随机优化算子，并将其用于网络入侵检测系统。仿真实验表明，改进的BP神经网络算法用于入侵检测，速度快易收敛，目标精度0.02很快达到。本文算法具有明显的优越性，各种入侵行为检测率得到明显提高，系统误报率也降低了，入侵检测系统性能得到有效改进，本文算法优越性明显。

参考文献

[1] 宋玲，常磊.变异粒子群优化的BP神经网络在入侵检测中的应用[J].智能系统学报，2013，8（6）：558?563.

[2] 刘伉伉，谢福，郭雪雪.基于BP神经网络的云计算入侵检测技术研究[J].计算机与数字工程，2014（12）：2357?2361.

[3] 黄煜坤.基于BP神经网络算法的入侵检测技术[J].电子制作，2015（10）：60?62.

[4] 沈夏炯，王龙，韩道军.人工蜂群优化的BP 神经网络在入侵检测中的应用[J].计算机工程，2016，42（2）：190?194.

[5] 王玲.基于BP 算法的人工神经网络建模研究[J].装备制造技术，2014（1）：162?164.

[6] 王俊士，李江涛.一种改进的BP神经网络算法在入侵检测中的应用[J].电脑知识与技术，2014，10（3）：614?617.

[7] 颜谦和，颜珍.遗传算法优化的神经网络入侵检测系统[J].计算机仿真，2011，28（4）：141?144.

[8] 汪洁.基于神经网络的入侵z测系统的设计与实现[J].计算机应用与软件，2013（5）：320?322.

篇10

关键词 神经网络；空调；应用

中图分类号 TP387 文献标识码 A 文章编号 1673-9671-(2012)071-0184-02

中央空调系统是一个庞大复杂的系统，主要包括：空调冷热源系统、水或空气系统、控制系统等，空调系统能耗与影响因素之间是一种多变量、强耦合、严重非线性的关系，具有很强的动态性。而人工神经网络可以实现从输入到输出的任意非线性映射，能够模拟高度非线性系统，具有较强的学习能力、自适应能力、容错能力和联想能力，已成为复杂的非线性系统建模、仿真、预测的新型工具，人工神经网络自20世纪40年代初被首度提出来以后，经过几十年的发展，广泛运用于模式识别和图像处理、控制与优化、人工智能等方面。随着我国空调事业的快速发展及节能减排新形下，人工神经网络在空调系统中的运用越来越受到广大暖通空调研究者的关注。

1 神经网络

神经网络是对人脑或生物神经网络的抽象和建模，具有从环境学习的能力，以类似生物的交互方式适应环境。人工神经网络是一个由大量简单的神经元广泛联接组成的复合系统，当系统被训练达到平衡后，由各个神经元的权值组成的整个网络的分布状态，就是所求的结果。网络学习的过程也就是各神经元权值的调整过程。人工神经网络根据连接方式不同可以分为两大类：无反馈的前向神经网络和相互连接型网络（包括反馈网络），图1为BP神经网络系统结构简图，BP网络就是一种误差反向传播的前向网络，神经网络的学习算法总体来讲可分为有监督学习和无监督学习。人工神经网络的具有强容错性、冗余性、鲁棒性和信息分布式并行处理及快速进行大量计算能力特点， 能适应复杂环境和进行多目标控制。

图1 BP网络系统结构

2 人工神经网络在空调系统中的应用

2.1 空调风系统方面的应用

变风量系统（VAV系统）的基本思想是：当室内负荷发生变化时，改变送入室内风量，以满足室内人员的舒适性或工艺性要求，实现送风量的自动调节，最大限度地减少风机动力，节约运行能耗。目前对变风量空调控制方法传统方法主要有：定静压控制、变静压控制、总风量控制等，但多数局限于的PID控制理论，对变风量空调这种非线性系统的控制精度难以保证。朱为明等人在VAV系统中采用神经网络预测优化算法对变风量空调进行控制，神经网络预测优化算法控制过程的节能范围为：6％-13.5％，与PID控制方法相比，神经网络预测优化算法的控制量之和减少6%以上，具有较好的节能效果。

2.2 空调水系统方面的应用

中央空调水系统主要包括冷却水和冷冻水系统，对于大型系统，管道长，系统热容量大、惯性大，被控系统水温和流速变化速度较慢，滞后现象严重，是一种典型的大滞后系统，对于过程纯滞后非线性特性，目前过程控制传统算法不具备克服滞后影响的能力，在稳定性和响应速度上都难以达到较好的性能指标。周洪煜等人利用了神经网络的非线性逼近特性、自学习、自组织的能力以及预测控制的滚动优化和反馈校正的特性，建立起的中央空调水系统的动态模型，作为预测控制器的预测模型，不需要对被控对象进行精确的辨识， 提出的多变量神经网络预测控制系统具有优良的控制效果，实现了空调水系统的自适应控制。何厚键等人在中央空调水系统的建模与优化研究中，利用前馈型网络结合BP算法建立了冷却塔和制冷机的神经网络模型，解决的具有高度非线性的中央空调水系统设备的建模问题。

2.3 制冷系统方面的应用

神经网络在空调中的制冷系统应用，主要体现在制冷机组优化控制和制冷系统的故障诊断两方面。在中央空调系统中制冷机组是能耗最大的设备，对制冷机组进行优化控制，提高其运行效率，是空调系统节能的重要途径之一。赵健等人在分析了影响压缩机运行效率的主要因素基础上，建立了以压缩机入口制冷剂温度、压缩机出口制冷剂温度和负荷为输入量，最佳吸气压力输出为输出量的BP神经网络模型。通过在线修正制冷机的吸气压力工作点，解决变负荷下，制冷机优化控制问题，大幅度提高制冷性能参数COP的值，降低了制冷机的运行能耗，与采用额定工况相比，采用神经网络优化控制方法的制冷机节能量约为44.8%。

故障诊断是一种了解和掌握设备在使用过程中的技术，确定其整体或局部是否正常，早期发现故障及其原因并能预报故障发展趋势的技术。在制冷系统的故障诊断方面，神经网络也发挥着重要作用，随着我国空调制冷事的蓬勃发展，制冷系统越来越复杂，故障的潜在发生点也越来越多，制冷设备的故障检测与诊断越来越受到人们的重视。胡正定等人在分析制冷系统常见故障特征的基础上，建立以压缩机进口温度、蒸发器进口温度、冷媒水进口温度、冷媒水出口温度、压缩机排气压力、压缩机吸气压力、压缩机出口温度、冷凝器出口温度等8特征征参数作为输入量，故障模式作为输出量的补偿模糊神经网络模型。仿真结果表明，系统的诊断结果且有较高的准确率。李中领等人在空调系统故障诊断中利用神经网络建立了三层BP网络模型，输入层节点个数为4，对应于4种故障现象，隐含层单元个数为4，输出层节点个数为12，对应于12种故障原因，输出节点值的大小反映了故障出现的可能性。

2.4 负荷预测方面的应用

空调系统逐时负荷的准确预测是实现现代控制的前提之一，准确预测空调负荷对空调高效节能运行具有重大意义，影响空调负荷的因素有空气温度、湿度、太阳辐射强度、人员、设备运行情况等，空调负荷与影响因素之间是严重非线性的关系，具有动态性。

2.5 空调制冷系统的仿真设计方面的应用

制冷空调产品设计中，大量地依赖样机的反复制作与调试，使得产品的设计周期延长，并影响性能优化，用计算机仿真代替样机试验，在计算机上面实现优化设计，使得制冷空调装置仿真技术近年来得到了迅速发展 。

2.6 大型建筑运行能耗的评价方面的应用

大型公共建筑指非住宅的民用建筑，包括办公楼、商场、宾馆、医院、学校等，大型公共建筑用能特点是单位面积耗能非常高，为每年100 kW/m2-300 kW/m2，而且我国大型公共建筑能源系统效率较低，浪费严重，其电耗超过公共建筑节能设计标准规定指标的10倍以上。大型公共建筑中央空调系统运行能耗的科学评价是对大型公共建筑进行用能科学管理的重要基础，赵靖等人基于BP人工神经网络，将冷水机组、冷冻水泵、冷却水泵、冷却塔、其它设备月平均功率、运行时间和气象特征共七个作为预测因子，空调系统总能耗为输出量，建立了大型公共建筑系统运行能耗的预测评价模型，仿真结果表明，网络的平均预测误差输出值约为3.3E-014，可以满足实际应用的要求。

3 发展方向

人工神经网络基于较强的学习能力、自适应能力、容错能力和联想能力，在暖通空调领域中的应用已经取得了突破性的进展。今后的发展方向主要有两个方面，首先，不断改进神经网络性能，提高其预测和控制精确度；另外，逐步使神经网络的实现由软件实现过渡到硬件实现，扩大其在空调领域的应用范围，也是今后的研究方向之一。

参考文献

[1]胡守仁.神经网络导论[M].北京:国防科技大学出版社,1999.

[2]候媛彬,杜京义,汪梅.神经网络[M].西安电子科技大学出版社,2007.