神经网络提取特征范文
时间：2024-04-01 18:17:32
导语：如何才能写好一篇神经网络提取特征，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
篇1
关键词：胶合板； 声发射； 小波包变换； 神经网络
中图分类号：TN911.7-34; TB52+9文献标识码：A文章编号：1004-373X(2011)21-0096-04
Wavelet Feature Extraction and Neural Network Pattern
Recognition of Plywood Acoustic Emission Signals
XU Feng， ZHAO Ming-zhong, LIU Yun-fei
(College of Information Science and Technology, Nanjing Forestry University, Nanjing 210037, China)
Abstract：
To identify the different damage types of plywood, a feature extraction method of plywood acoustic emission signal based on time-frequency and proportion of energy is proposed by combining wavelet-packet time-frequency analysis with energy spectrum. The research indicates that dilatational wave and flexural wave are main modes of plywood matrix cracks signal with wide frequency spectrum, and the energy of signal is mainly concentrated in the first, second, third, fourth and seventh-band of the wavelet power spectrum. Delamination and fiber fracture signals of five-story plywood are mainly dominated by dilatational wave and flexural wave mode respectively, the former frequency is unitary and amplitude is higher, the latter energy mostly focus on the first, second band. Degumming signal waveform are composed of dilatational wave and flexural wave， and the flexural wave is dominant, whose signal energy focus on the first, second, third and fourth band of the wavelet power spectrum. An intelligent pattern classifier with BP neural network was used in recognition of those four kinds of AE signals, the recognition accuracy of flaws amounted to 92.6%.
Keywords： plywood； acoustic emission； wavelet package transform； neural network
0 引 言
声发射(Acoustic Emission,AE)是材料受外力或内力作用产生变形或断裂时，以弹性波的形式释放出应变能的现象［1］。目前声发射技术作为一种成熟的无损检测方法，已被广泛应用于石油化工工业、电力工业、材料试验等多个领域，但对胶合板的损伤监测，AE技术鲜有报道。
胶合板(也称夹板)是按相邻层木纹方向互相垂直的单板，经组坯胶合而成的板材，在我国已广泛应用于家具工业和建筑工业。胶合板的损伤模式主要包括基体开裂、纤维断裂、脱胶、分层等，每一种损伤都对应特定的声发射信号。然而，不同的损伤模式通常以组合形式出现，类别特征相互重叠［2］，同时由于传播介质的各向异性和多源性噪声的污染，加大了AE信号鉴别的难度。因此，提取各声源信号特征与识别其损伤模式是声发射应用的首要任务和核心技术。
由于小波分析同时具有时域和频域表征信号局部特征的能力，所以特别适合分析瞬态特性的声发射信号。文献［3］用小波变换的方法分析了薄板中的弹性波，指出在波的传播过程中，多模式和频散的特性、模式的分离有助于准确提取信号中的信息。文献［4］用Daubechies离散小波进行了多尺度分解，利用频率能量分析玻璃纤维增强复合材料的不同损伤模式。通过区分能量的大小和不同能量所处的频率范围揭示了材料的破损模式。同时，近年来的研究发现，人工神经网络可对数据量多、特征复杂的信号提供准确度较高的自动分类能力。因此，本文结合小波分析和人工神经网络技术对胶合板不同损失声发射信号进行特征提取和模式识别。
1 小波包能量特征提取算法
1.1 小波包定义［5］
给定正交尺度函数Е(t)和小波函数(t)，其中：
1.2 基于小波包分解的能量特征提取算法
小波包分解是在多分辨率基础上构成的一种更精细的正交分解方法。它根据被分析信号本身的特点，自适应地选择频带，确定信号在不同频段的分辨率。分解得到的各个频段分量既包含了信号的局部特征，也包含了不同的时间尺度信息，从而精确地给出信号能量随频率和时间的联合分布情况，即各频带能量的变化表征了各种信源的特征。因此，本文提取各尺度下各频段分量的能量占比作为各信号特征向量来识别声源类型。基于小波包分解的能量特征提取步骤如下：
(1) 对原始信号进行k层小波包分解，分别选择第k层从低频到高频包含主要信息的前n(n≤2k)个频段分量的信号特征；
(2) 对小波包分解系数重构(重构信号设为Ski)，提取各频段范围的信号；
(3) 求各频带信号的总能量Eki：
И
И
2 人工神经网络模式识别方法
2.1 神经网络的选择
人工神经网络是一个高度非线性的自适应并行分布处理信息系统，其信息处理由神经元之间的相互作用来实现。信息的存贮表现为神经元之间的物理联系。网络的学习取决于神经元连接权系的动态演化过程。神经网络的类型多种多样，但与模式识别的结合最成功的是多层前馈网络，也就是通常简称的BP(Back-propagation Network)网络［6］，本文即选其进行模式识别。
2.2 BP网络结构的设计
由BP定理可知, 一个带S型激活函数的三层BP网络，只要隐节点数足够多，能以任意精度逼近有界区域上的任意连续函数，即一个三层的BP网络就能完成任意的n维到m维的映射。BP神经网络最重要的是隐含层的确定。虽然隐层神经元数目的选择不存在一个理想的解析式，但隐单元数目与问题的要求、输入/输出单元的数目都有着直接关系。综合现有文献，隐含层元个数的计算公式为:
И
n1=n+m+a
(7)
И
式中:n1为隐单元数；m为输出神经元数；n为输入单元数；a是［0，10］之间的常数。
输入层节点数一般由一组特征值样本的数据量决定。在分类网络中输出层节点数可取类别数x或┆log x。П疚囊含层采用双曲正切S型激活函数，输出层采用对数S型激活函数。
2.3 训练函数的选择
采用不同的训练函数对网络的性能可能会有影响，比如收敛速度等。本文应用各种典型训练函数对网络进行训练，观察各种训练算法的收敛速度和误差，最后确定Levenberg-Marquardt算法为本识别的最优训练函数。
3 实验和分析
3.1 实验方法［7］
试验对普通胶合板的胶合强度进行测试研究。样品选用德华装饰有限公司的“兔宝宝”牌5层胶合板，其内部为杂木夹芯，外覆桃花芯面板，由环保脲醛胶粘合而成。试样(如图1所示)按GB9846.9定义的普通胶合板力学性能测试试件方法锯制，尺寸为250 mm×25 mm×5 mm。试验测试温度为25 ℃，样品为气干状态。加载系统为深圳新三思有限公司SANS-CMT6104台式万能试验机；采集系统选用美国PAC公司PCI-2声发射采集系统，用两个宽带传感器S9208组成线定位阵列方式，同时采集各个波击的波形。
试验中为保证传感器与材料表面良好耦合，选用真空脂作为耦合剂，传感器采用透明胶带固定在试样的表面。试样两端夹紧于试验机的一对活动夹具中，使其成一直线，试样中心通过活动夹具的轴线，拉伸沿试样长度方向进行，等速加荷，速度为3 mm/min，最大破坏荷重的读数精确到5 N，拉伸过程在准静态条件下进行，直到试样断裂为止。拉伸模型如图2所示。
图1 五层胶合板拉伸试样图(单位：mm)
3.2 胶合板加载声发射信号特征分析
对于厚度方向尺寸远小于其他两个方向的板而言，相应于一定的激励条件，在其中主要形成的是板波(Lamb波)。由文献［8-9］可知，受激励后，板中存在多种模式的板波，但当板厚远小于波长时，主要以两种模式的波为主，即最低阶的对称波S0和最低阶的反对称波A0。前者即是膨胀波，其传播速度是一个定值，没有频散效应；后者亦称弯曲波，它的传播速度与角频率的平方根成正比，有频散效应。一般情况下，板中的波是这两种波的组合，这两种波位移的相对幅度同激励方式有关。研究发现［8］，当激励力源作用方向与板平面垂直时，在板中主要产生的是弯曲波。相反，当力源作用方向沿板方向时，产生的主要是膨胀波。一般而言，膨胀波的高频成分要比弯曲波丰富。胶合板受载形变作为强声发射源，其声源有基体开裂、纤维断裂、脱胶、分层等。理想上，纤维断裂总在平面内完成，其类似于一个沿板平面方向的力源，因此，激发的声发射信号应以膨胀波为主，无频散效应；而分层损伤则明显沿板厚方向发生，类似于一个沿板平面垂直方向的力源，因此，所激发的声信号波形当以弯曲波为主，存在频散效应；基体开裂、脱胶产生的声发射信号，其特征介于两者之间，┮话阌ν时表现为膨胀波和弯曲波两种组合形式。
3.3 实验结果分析
本文选用db3小波［10-12］对采集的声发射信号做5层小波包分解，并进行第五层系数重构，计算各叶子能量占比，绘制时频、小波包谱和频谱图，比较各典型信号的特征差异。由实验结果得知，声发射源主要集中在主损伤区或断裂部位。考虑到声源的位置、材料物理特性及波的传播对类别特征的复杂影响［2］，将所有样本取自主损伤区宽20 mm范围内的事件。对比四种典型的声发射源波形、频谱和小波包谱图，筛选出四类样本数据集，并应用小波阈值法消噪，得到各类别信号的典型波形如图3～图6所示。观察图3～图6中信号的傅立叶频谱发现，胶合板破坏损伤多以低于300 kHz以下的频率信号为主，且难以区分其特征差别。为获取各损伤信号的特征，必须结合小波包时频和小波包谱图分析。
图2 五层胶合板拉伸模型示意图
基体开裂如图3所示，波形以低幅度较宽脉冲为主，频段较宽，膨胀波和弯曲波模式并举。FFT主峰频率位于40～180 kHz，小波时频图特征峰约集中在100 kHz以下和200 kHz处，发生的时间约在0.5～1.2 ms之间。小波包谱峰位于第一至第四和第七频段内，其中第一、第二频段的能量接近，总和约占总能量的60％，剩余40％几乎集中于第三、四、七段。
图3 胶合板基体开裂原始信号(去噪)
及其频谱、时频、小波包能量谱图
图4为五层胶合板纤维断裂图，由图中得出的信号主要以高幅度较宽脉冲形式出现，频率较低且单一，无频散现象。纤维断裂的FFT峰值主要集中在22～40 kHz，时频图特征峰位于40 kHz处，持续时间约为1 ms，小波谱峰值主要位于第二频段，能量占到总能量的70％以上，第一、四频段能量约占20％。结合样品断口纹理分析，断裂主要沿垂直于纤维方向扩展，呈剪切断裂方式，波形以膨胀波为主导，基本与第3.2节的信号分析一致。
五层胶合板脱胶信号如图5所示，信号以中低幅窄脉冲为主，波形为弯曲波模式和膨胀波模式的混合型，且弯曲波模式占主导。受膨胀波成分的影响，在200 kHz频率处也出现峰值，能量在大于100 kHz频域上有所分布，但主要集中在小于50 kHz的频域。从失效样品查看，明显存在分层和互相滑移现象，与上述分析基本一致。
图4 胶合板纤维断裂原始信号(去噪)
及其频谱、时频、小波包能量谱图
图5 胶合板脱胶原始信号(去噪)
及其频谱、时频、小波包能量谱图
观察图6发现，五层胶合板分层信号中傅里叶频谱的峰值主要位于11～55 kHz，小波时频图的特征峰主要集中在40 kHz处，持续时间约为1.2 ms，小波包谱能量主要集中在第一、二、三、四段，且第一、二段能量所占比重接近，总和占到了总能量的85％。信号多以中幅度宽脉冲形式为主，信号持续时间较长。分层是典型的垂直板平面方向的力源作用，信号明显存在频散现象，波形以弯曲波模式为主，能量主要集中在40 kHz以下。
图3～图6表明，信号的波形、频谱和小波包谱等类别特征均有不同程度的重叠，但对5种类别的信号均显示出一定的鉴别能力，尤其以小波包分析提取的特征更为明显，以该特征作为样本可为后续使用神经网络进行识别提供依据。
3.4 模式识别
按照第1.2所述方法对声发射信号进行5层小波包分解，将整个频段分成32个频带，考虑反应声源信号特征的能量主要集中在前10个频段，因此提取前10个叶子的能量分布为声发射信号特征，以此作为BP网络的训练样本。样本包含胶合板脱胶10组、纤维断裂10组、分层12组和基体开裂8组共计40组。网络在经过81次训练后达到设定的最小期望误差0.001(见┩7)。采用网络对训练数据进行识别，识别正确率达到 100%。证明该网络具有较强的学习能力，能够按照给定的输入/输出正确建模。
图6 胶合板分层原始信号(去噪)
及其频谱、时频、小波包能量谱图
为检验网络的推广应用性能，采用该网络对118组测试样本(脱胶30组、纤维断裂30组、分层28组和基体开裂30组)进行检验，识别正确率达到 92.6%。这表明该人工神经网络的范化能力较高，设计结构合理，达到自动识别声发射信号类别的目标，具有良好的推广价值。
4 结 论
(1) 针对声发射这种瞬间的突变信号，小波分析确实能很好地同时表现出时域和频域的局部特征;
(2) 综合各类模式信号的波形、频谱、小波包时频图和小波包能谱图分布等特征，可确定不同损伤机制所对应的声发射信号特征，为神经网络模式识别提供质量较高的模式样本;
(3) 设计的BP人工神经网络能准确度较高地识别出4种不同损伤机制造成的声发射信号。
由于木质胶合板的声发射研究国内开展的不多，对该类材料的声发射特征的分析及识别还待进一步研究，尤其对多层胶合板声发射特征的定量研究还有待于大量实验数据的积累和归纳。
参考文献
［1］袁振明，马羽宽，何泽云．声发射技术及其应用［M］．北京：机械工业出版社，1985.
［2］殷冬萌，王军，刘云飞．木塑复合材料缺陷及损伤的声发射信号特征分析及神经网络模式识别［J］．应用声学，2007，26(6)：352-356．
［3］JIAO Jing-pin， HE Cun-fu， WU Bin，et al．Application of wavelet transform on modal acoustic emission source location in thin plates with one sensor \[J\]. International Journal of Pressure Vessels and Piping, 2004, 81: 427-431.
［4］QI Gang. Wavelet-based AE characterization of composite materials \[J\]. NDT& E International, 2000, 3(3): 133-144.
［5］胡昌华，张军波，夏军，等．基于Matlab的系统分析与设计:小波分析［M］．西安：西安电子科技大学出版社，1999.
［6］毛汉颖，成建国，黄振峰．基于BP神经网络的金属裂纹声发射信号特征参数的提取［J］．机械设计，2010，27(2)：84-86．
［7］陆仁书．胶合板制造学［M］．2版.北京：中国林业出版社，1993.
［8］耿荣生，沈功田，刘时风．基于波形分析的声发射信号处理技术［J］．无损检测，2002，24(6):257-261．
［9］LOWE M J S， DILIGENT O． Low-frequency reflection characteristics of the s0 Lamb wave from a rectangular notch in a plate \[J\]. Acoustical Society of America, 2002, 111 (1): 64-74.
［10］徐长发，李国宽．实用小波方法［M］．2版.武汉：华中科技大学出版社，2004.
［11］杨晓楠，唐和生，陈荣，等．钢结构损伤识别中db族小波函数选择［J］．同济大学学报，2006，34(12):1568-1572．
［12］周小勇，叶银忠．故障信号检测的小波基选择方法［J］．控制工程，2003，10(4):308-311．
篇2
基于神经网路方法实现高考英语口语成绩的采集,实现口语成绩等级手写体的识别,提高在英语口语成绩处理的效率,实现口语成绩的自动采集。目前该方案应用于苏州市高考英语口语成绩采集。
关键词:
成绩采集；模式识别；神经网络；特征提取
对于未实行高考口语人机对话的省市,高考口语还是采用打分模式。然后人工采集,为解决这一问题,通过识别手写评分和OCR识别结果比对确保成绩采集的准确。而神经网络很适合用于解决字符识别问题。
1BP神经网络
人工神经网络是在人类对其大脑神经网络认识理解的基础上人工构造的能实现某种功能的神经网络,是一种典型的前馈神经网络,包含输入层、隐层及输出层。BP网络是典型的多层网络,分输入层、隐含层和输出层,算法由数据流的前向计算和误差信号的反向传播两个过程构成。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程[1]。
2基于神经网络的英语口语成绩采集的实现
为实现更好的采集,需要设计适应识别的评分表,其中定位点、考生条码用于定位到考生并采集成绩,等级手写的分区需要通过神经网络识别等级,OCR等级识别区用采集等级并通过神经网络采集的等级进行比较。
2.1采集过程
首先预处理图像获取样本进行训练,输入神经网络训练后输出看误差并调整各阶层的权值让输出同OCR值一致,正式识别两种模式结果不一致需要人工干预,有可能等级打错也有可能等级涂错,然后修正结果,确保等级信息准确无误。
2.2图像预处理
原始评分表的输入有可能产生污点等噪音。所以在识别之前必须对图像进行预处理。预处理一般包括图像分割、灰度、二值化、平滑、去噪音、归一化和细化等。不同识别方法对于处理要求不一样预处理后离散和噪声和归一化和细化处理,将图片形成一个40×40像素点阵(图1得分区图像预处理后图像)。
2.3神经网络的特征提取
在手写等级识别中,特征的选择是非常关键问题。将经过预处理后的等级数字图像中提取最能体现这个字符特点的特征向量,然后提取出训练样本中的特征向量代入BP网络之中就可以对网络进行训练,提取出待识别的等级样本中的特征向量代入训练好的BP网络中,就可以对等级得分字符进行识别。
2.3.1英语口语成绩采集中BP神经网络结构
将A、B、C、D等级图像的特征向量作为神经网路的输入,确定输入神经元。经过预处理的为40×40的矩阵,共1600各输入神经元。输出较为简单,只要识别A、B、C、D4个等级,输出节点数为4。为加快神经网络学习速度,3层BP网络最为恰当效率高。同时根据网络收敛性能的好坏来确定隐含层神经元个数。根据经验公式:s=51.035.077.054.212.043.02mnmnm其中,n为输入层神经元个数,m为输出层神经元个数[2]。计算可得隐含层神经元个数为79。
2.3.2BP神经网络的训练
手写字符归一化和细化后的图像为40×40的布尔矩阵,1600个元素组成一个手写字符的列矩阵,即字符的特征向量。由A、B、C、D这4个字符的特征列向量组成一个1600×4的输入矢量,训练次数达到最大值神经网络训练就结束。
2.3.3口语等级识别等分结果
字符识别的正确率和拒识率与字符识别的判断值有关,判断值越高,识别的正确率就高。为确保成绩录取100%正确,通过识别和OCR识别比较,不同再通过人工识别录入确保准确(图2成绩自动识别等分)。神经网络在口语成绩登分中的应用过程中大大减轻劳动强度,提高准确率,通过多重比对确保成绩录入准确,经过实践应用和比对成绩登分准确率100%,完全可以满足实际需要。
参考文献
[1]蒋宗礼.人工神经网络导论.高等教育出版社出版,2001(5):26-88.
篇3
关键词： 指纹识别系统；图像预处理；特征提取；BP神经网络
中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）10-2359-04
Abstract： In this paper， special fingerprint acquisition device is used to obtain the basic fingerprints， fingerprint preprocessing base on MATLAB ， including fingerprint enhancement， binary the fingerprint， segment as well as normalization. Extracting fingerprint types， coordinates and direction parameters， then the BP nerve network is used to train and identify fingerprint. The result of recognition is obvious， it has high recognition rate.
Key words： Fingerprint identification system； Fingerprint preprocessing； Fingerprint feature extraction； BP nerve network
由于每个人指纹纹线的起点、终点、结合点和分叉点的不同，指纹具有唯一性、终身不变性、方便性，被当作生物密码应用于生活中。随着计算机相关技术的发展，传统的证件验证身份存在证件伪造等问题，它已经给高速发展的社会带来不便，而且指纹扫描速度快，同时增加了可靠性。所以，指纹识别技术应用越来越广泛，你可以在指纹门禁、考勤机、银行柜员指纹身份认证系统、指纹汽车行驶记录仪、指纹电子印章等领域看到指纹识别系统的身影。随着社会的发展，指纹识别将会应用于各个领域。
1 指纹识别系统的构成
指纹识别系统是典型的模式识别系统，它包括指纹图像采集，指纹图像预处理，特征提取和比对。一般系统包括认证系统和识别系统两部分。该文首先采用指纹专用设备采集指纹图像，MATLAB进行图像预处理，然后特征提取，接下来是BP神经网络训练，最后用训练好的参数作为神经网络的输入，对指纹样本进行识别和匹配，输出识别结果。本系统主要包括以下五个部分组成，如下图所示[[1]]：
图像预处理是关键部分，目的是得到清晰的指纹图像，方面后续的指纹识别。该文主要采用MATLAB软件实现对指纹图像预处理，只需将选好的图像输入到已经完成的程序中即可。
1.1 指纹图像的获取
指纹图像的获取是通过一定的指纹采集设备采集样本。该文采集指纹主要利用光学式，根据光的反射原理（FTIR）。光线照到压有指纹的玻璃表面、反射光线有CCD相机获取，光线经玻璃射到谷的地方后在玻璃与空气的界面发生全反射，光线被反射到CCD，射向脊的光线不发生全反射，而是被脊与玻璃的接触面吸收或者漫反射到别的地方，这样在CCD上形成了指纹的图像。
1.2 指纹图像的预处理
系统采集到的原始图像由于未经过处理，存在噪声干扰，恶化了图像质量，给特征提取带来不便，所以在图像特征提取前要进行图像预处理。该文主要利用MATLAB编程实现指纹的一系列预处理[[2]]。MATLAB作为指纹图像的仿真平台，既减小了仿真难度，又提高识别的准确性。一般图像预处理包括图像增强、图像分割细化、二值化、归一化等。
① 图像增强
图像增强提高图像的清晰程度，改善图像质量，增大处理前后图像的对比度。该文采用的是中值滤波。将采集到的原图像输入到MATLAB中，如图2所示。
对图像的增强主要采用亮度变换函数imadjust，然后将0.5至0.75之间灰度级扩展到[0，1]范围之内，这种处理
突出的指纹脊线和谷线对比度。以下是对指纹原图像的MATLAB编程，如图3所示。
②指纹图像分割
分割处理指纹是将指纹前景区域与背景区域分割出来，分割后，系统会只对前景区域进行处理，这样可以减少预处理的复杂度。该文采用方差分割法的演变方法（即模块分割法）：
（a）首先选定一个门限阈值M（通常根据经验选择）。
（b）然后将高300，宽350的指纹图像划分为20×20块，计算出每一块的平均值N。
[N=1202x=x0x=x0-20y=y0y=y0-20fx0，y0] （1）
其中，[fx，y]为图像中点的灰度值，[x0，y0]为小模块的右上方的点。
（c）若均值N小于阈值M，则将该模块选作前景区域，否则，为背景区域。然后用MATLAB实现上述算法。
③指纹图像二值化
由于指纹识别是是对前景的处理，所以要对分割后的指纹图像进行二值化，二值化后的结果直接影响后续指纹的识别。图5为二值化后的图。
④归一化
实际用指纹采集设备采集到的指纹，大小是不同的，如果对大小不同的指纹进行识别，就必须修正图像的尺寸，这就增加了识别的工作量。归一化是必不可少的步骤，它分为两种：外轮廓的归一化和中心的归一化。由于特征点基本集中在指纹中心，所以，该文主要采用中心归一化。
1.3 特征值提取
从二值化和细化后的指纹图像中提取细节特征点，细节点有以下四个特征：类型[[1]]有（1）端点（2）分叉点（3）孤立点（4）环点（5）短纹；方向；曲率；位置。该文主要提取的是指纹坐标和方向。基于MATLAB特征提取，方便且准确率高。端点和分叉点是指纹提取的主要特征。定义个八邻域模型，以P点为交叉点，相邻点组成3×3模块[[3]]。
提取方法如下：[mp]为交叉点数，[np]为8邻域纹线数
[mp=12i=18pi-pi-12]，其中[p1=p9]
[np=i=18pi] （2）
当[mp=1]，[np=3]时为端点；
当[mp=3]，[np=3]时为分叉点。得到一系列的特征点坐标[pi=xi，yi，ti，θi]，其中[xi，yi]为特征点的横纵坐标，[ti]为特征点的类型，[θi]为特征点的角度。
1.4 指纹的分类
指纹的分类信息基本包含在中心部分和三角部分，根据指纹的三角点和中心点分类。根据指纹中心点下方的纹线走向分[[1]]：（1）左环型指纹；（2）右环型指纹；（3）漩涡型指纹；（4）拱形指纹。由于指纹的纹理性和方向性都很强，求出其方向图，方向图描绘了指纹图像中像素点所在的脊线在该点的切线方向。在指纹分类时，必须考虑分类算法和分类器的设计，传统的分类器，如通信信号指纹识别分类器，主要缺点是识别率低、稳健性差。该文采用神经网络分类器，它作为一种先进的自适应、非线性分类器，并且具有强大的模式识别分类和泛函逼近能力。实验时首先将指纹分成以上四类，存在指纹库中，将指纹的四个类型作为输入矢量，送人神经网络，对BP神经网络进行训练。实验证明，神经网络分类器能够用分类算法正确地对指纹进行分类，分类速度也较快，并达到一定的分类精度。但同样此算法也存在一定的缺陷，就是对指纹图像的质量要求较高。
1.5 指纹的识别
指纹识别就是确定采集的指纹样本的身份，若将指纹分类存库，会提高后序识别的效率，基于人工神经网络的指纹识别的应用，减小了识别的复杂性。前面已经将指纹分类，只需在同类中识别。
2 BP神经网络的指纹识别
2.1 BP神经网络的介绍
人工神经网络在当前的指纹识别领域应用最为广泛，该文主要介绍反向传播神经网络（BP神经网络），它通常由输入层、若干隐含层和输出层组成，BP神经网络是一种多层前馈网络，采用的误差后向传播学习算法，一般结构包括输入层，输出层，隐层，每层又由多个节点组成，表示神经元，同一层节点之间无耦合关系，输入信息从输入层传递至隐层，再由隐含层传递至输出层，传递时是单向向前传播的。通过输入层、隐层、输出层。这三层的划分也把BP分成正向和反向，首先通过输入层神经元输入至神经网络系统中，经过隐含层神经元处理，将结果传输至输出层，当样本的输出结果与预期结果存在较大差异时，那么求出的实际输出与预期输出的误差并反馈给隐层神经元，重新调整并训练网络的权值和参数，不断地拟合，减小误差，然后重新传至输出层，不断反复，直到满足输出条件为止。网络结构的设计是首要任务，包括输入、输出神经元个数，隐层个数。
2.2 BP神经网络指纹识别技术
本文把指纹特征点选择在指纹中心点周围的区域，特征点记为[（x，y，α）]，其中[x]和[y]分别是特征点的横纵坐标，[α]是特征点的方向，它是特征点纹线的切线方向。在指纹的匹配过程中，存在旋转、形变和平移的问题。由于指纹图像是呈放射状的非线性形变，而且非线性是向外扩张的，因而本文采取极坐标系，它能很好的描述指纹的非线性形变。为了抵消平移和抗旋转性，选取参照点（即中心点），转化为极坐标下的坐标，如下关系式：
[riθiαi=xi-x02+yi-y02arctanyi-y0xi-x0αi-α0] （3）
其中，[x0]，[y0]为中心点的坐标，[α0]为中心点的方向，[xi]，[yi]为指纹特征点的坐标，[αi]为指纹特征点的方向。
现将以上指纹分类得到的四种类型和指纹特征点的极坐标作为神经网络识别的特征值输入，它们分别是：细节特征点与参考点的距离，参考点与特征点之间的夹角，特征点的方向与参考点方向的差值。此训练得到的四个参数可以较准确的识别指纹。
3 实验结果和结论
将分类后四个数据库中100个指纹图像分成两部分，一部分作为测试，一部分作为训练。提取指纹特征点，以特征点的横坐标[x]，纵坐标[y]，方向场作为参数，对BP神经网络进行训练，步骤如下：
① 提取指纹特征点，求出特征点个数；
② 提取到的特征点经极坐标转换后[Q=Q1γ1，θ1，α1....Qnγn，θn，αn]将指纹所属个体作为神经网络的输出，选择四个输入节点（指纹类型，细节特征点与参考点的距离，参考点与特征点之间的夹角，特征点的方向与参考点方向的差值），按照隐含层神经元的选取公式，选择隐含层神经元个数3；
③ 得到训练完成的BP神经网络，输入分类器得到识别结果。
实验时，对指纹提取10个特征点，每个特征点包括四个数据，下图是对其中一个指纹提取特征值。
将特征值坐标，方向，指纹类型作为神经网络的输入，对四个库中的指纹进行训练识别，得到识别结果统计表如下表所示。
通过实验结果可以看出，该文对指纹特征点进行神经网络的训练，基本能将不同类型的指纹进行识别，而且识别迅速，识别率较高，有效提高了指纹识别系统的效率。由于识别结果对采集的指纹的完整性，指纹图像的预处理和特征提取要求较高，而且本样本容量较小，在一定程度上会影响识别准确性，识别精度还有待进一步提高。
参考文献：
[1] 杨静.基于神经网络的指纹识别[D].北京工业大学，2003.
[2] 冈萨雷斯.数字图像处理[M].北京：电子工业出版社，2005.
[3] 郭晶莹，吴晴，商庆瑞.基于MATLAB的指纹图像细节特征提取[J].计算机仿真，2007，24（1）：182-184.
[4] 孙航.基于BP神经网络的指纹识别[J].信息与电脑，2011（5）：32-33.
[5] 胡小璐.基于神经网络的指纹识别系统[D].电子科技大学，2003.
[6] 刘兴龙.自动指纹识别系统的研究与实现[D].贵州大学，2006.
[7] 薛亚许，李宁.基于MATLAB的指纹图像的二值化及细化[J].平顶上学院学报，2012，27（2）：74-76
篇4
【关键词】小波包变换 BP神经网络 EPS转矩传感器 故障诊断
1 引言
EPS是当前世界最发达的转向助力系统，它是电子控制单元（ECU）根据各传感器输出信号决定电动机的转动方向和最佳助力转矩的转向机构。EPS转矩传感器测定方向盘与转向器输出轴之间传递的转矩，并且将其转矩大小转化为电压值信号。
目前已形成了多种转矩传感器故障检测和诊断的方法，比如：故障树法、神经网络观测器以及基于小波分析的方法等等。小波分析是近年来发展起来的一个新的数学分支,非常适合于分析非平稳信号，对于EPS转矩传感器信号，可方便地剔除系统的噪声干扰和检测出故障信号。基于这一点，将信号进行若干次小波包分解，可以得到信号在各个频段上的分量，这样就实现了信号特征的分离。由于这些特征与故障之间是一种非常复杂的非线性关系，而BP神经网络又具有强大的综合分析能力，用构造的传感器的各种故障样本特征向量对BP神经网络进行分类训练，这样就能进行故障诊断。
2 故障诊断流程
信号获取信号消躁采样小波包变换提取各频带能量归一化处理BP神经网络诊断输出。
3 基于小波包预处理的故障特征提取方法
设EPS转矩传感器电压信号为f(x)，令 ψ(x)为小波母函数，则f(x)的二进小波变换为
（1）
其中，离散信号的小波包分解算法为
（2）
其中，ak，bk为小波包分解共轭滤波器系数。
小波包的重构算法为
（3）（4）
当能量较大时，可对特征向量进行归一化处理，令
（5）
（6）
有了信号基于小波包的能量特征向量，就可以利用BP神经网络的非线性和拟合特性进行故障的诊断识别了。
4 BP神经网络
BP神经网络的结构如图1所示，图中的节点是BP神经网络的神经元，它的作用函数为，式中y―神经元的输出，xi―神经元的输入，wi―神经元的连接权值，θ―神经元的阈值，f―神经元的激活函数，由于采用IWPT预处理的小波包分析方法，构建的神经网络为输入层5个神经元，即为故障的能量特征向量维数，输出层为5个神经元（四种故障和正常状态），即为故障的类型数，隐含层为6个神经元，隐层节点函数选用sigmoid函数。
具体的BP网络训练算法可以查阅参考文献。BP网络在设计时，必须规定隐层的数目、每层的节点数、激活函数和输入/输出样本对。这些参数将会影响BP网络的收敛速度和BP网络的有效性。
本文提出的基于IWPT预处理的神经网络故障诊断方法，预处理的目的是为了减少神经网络输入层和隐层节点的个数，从而加快神经网络训练和收敛速度，提高故障诊断的效率。
5 结束语
通过小波包算法对传感器故障信号的分析发现传感器故障几种典型信号在各个频带内的能量分布是不同的，因此可以提取故障信号的子频带能量信号作为特征向量，在提取特征向量的过程中，采用IWPT（不完全小波包变换）预处理方法，使网络的输入层和隐含层节点数目都减少了，能够显著的提高神经网络的学习和收敛速度。将提取的特征向量作为神经网络的输入量，结合样本数据（训练样本和测试样本），利用BP算法对网络进行学习训练，实验表明，训练后的网络能对EPS转矩传感器的典型故障进行有效的诊断。
参考文献
[1] 沈斌,陈敏.电动助力转向传感器故障研究[J].机电一体化,2012(5):59-63.
[2]A.Grossmann and J.Morlet, "Decomposition of hardyfunction into square integrable wavelets of constantshape,"SIAM J.Math.,vol.15, pp.723-736.
[3]Haykin S.Neural Networks A Comprehensive Foundation.Prentice Hall,2001
[4]Y.He,Y.Tan and Y.Sun,Wavelet neural network approach for fault diagnosis of analogue circuits.IEEE Proc.-Circuits Devices Syst.Vol 151(4), pp.379-384
[5]S.Mallat,"Multifrequency channel decompositions of images and wavelet models,"IEEE Trans.ASSP,vol.37, no.12,pp.2091-2110,1989.
篇5
【关键词】遗传算法；BP神经网络；柴油机；故障诊断
柴油机缸盖振动信号中包含着丰富的工作状态信息，在对其现代诊断技术中，基于振动信号分析的诊断方法显示出了其优越性，利用缸盖振动信号诊断柴油机故障是一种有效方法。故障特征的提取和故障类型的识别是利用振动信号分析法在对柴油机进行故障诊断过程中两个最为重要的过程。根据提取的故障特征识别柴油机的故障类型是一个典型的模式识别问题，对柴油机故障类型识别采用恰当的模式识别方法就尤为重要。神经网络作为一种自适应的模式识别技术，其通过自身的学习机制自动形成所要求的决策区域，而不需要预先给出有关模式的经验知识和判断函数；它可以充分利用状态信息，对来自于不同状态的信息逐一进行训练而获得某种映射关系。鉴于其自身特性，在故障模式识别领域中有着越来越广泛的应用。而据统计，有80%～90%的神经网络模型都是采用了BP网络或者是它的变形。BP网络是前向网络的核心部分，是神经网络中最精华、最完美的部分。但是它也存在一些缺陷，例如学习收敛速度、不能保证收敛到全局最小点、网络结构不易确定。遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。其基本操作是选择、交叉和变异，核心内容是参数编码、初始群体的设定、适应度函数的设计、遗传操作设计和控制参数的设定。遗传算法通过种群随机搜索，对数据进行并行处理，将结果收敛到全局最优解。因此，将遗传算法与BP神经网络结合应用于柴油机故障诊断中，可以提高网络的性能，避免网络陷入局部极小解，进而实现对设备故障的识别。
1 BP神经网络
1.1 BP神经元模型在柴油机故障诊断中的应用
BP神经网络是一种多层前馈型神经网络，其神经元的传递是S型函数，输出量为0至1之间的连续量，它可以实现从输入到输出的任意非线性映射。由于权值的调整采用反向传播学习算法，因此也称为其为BP网络。
图1 BP神经元模型
上图给出一个基本的BP神经元模型，它具有R个输入，每个输入都通过一个适当的权值和ω下一层相连，网络输入可表示为：
a=f（wp+b）
f就是表示输入/输出关系的传递函数。
BP神经网络的结构与所有影响齿轮故障的特征因素有关。柴油机运动部件多而复杂，激励源众多且其频率范围宽广，加之噪声的融入，使得柴油机表面振动信号极为复杂。基于这种特点，可以确定用于柴油机故障诊断的BP神经网络的输入层、输出层隐含层以及节点数等。由小波包提取各柴油机故障的特征值作为输入节点，输出节点数目与柴油机故障类别的数目有关。
1.2 BP神经网络与遗传算法
BP神经网络又称为反向传播算法，其算法数学意义明确、步骤分明，是神经网络中最为常用、最有效、最活跃的一种网络模型。常用方法梯度下降法和动量法，但是梯度下降法训练速度较慢，效率比较低，训练易陷入瘫痪，而且其实质是单点搜索算法，不具有全局搜索能力；动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中速度还是不够；BP神经网络学习训练开始时网络的结构参数是随机给定的，因此结果存在一定的随机性。
遗传算法（Genetic Algorithm，GA）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是由美国密歇根大学的J.Holland 教授于1975年首先提出来的，遗传算法具有很强的宏观搜索能力和良好的全局优化性能，因此将遗传算法与BP神经网络结合，训练时先用遗传算法对神经网络的权值进行寻找，将搜索范围缩小后，再利用BP网络来进行精确求解，可以达到全局寻找和快速高效的目的，并且可以避免局部极小点问题。该算法不仅具有全局搜索能力，而且提高了局部搜索能力，从而增强了在搜索过程中自动获取和积累搜索空间知识及自应用地控制搜索的能力，从而使结果的性质得以极大的改善。
2 基于遗传算法的BP神经网络
遗传算法优化BP神经网络主要分为：BP神经网络结构确定、遗传算法优化权值和阀值、BP神经网络训练及预测。其中，BP神经网络的拓扑结构是根据样本的输入/输出个数确定的，这样就可以确定遗传算法优化参数的个数，从而确定种群个体的编码长度。因为遗传算法优化参数是BP神经网络的初始权值和阀值，只要网络结构已知，权值和阀值的个数就已知了。神经网络的权值和阀值一般是通过随机初始化为[-0.5，0.5]区间的随机数，这个初始化参数对网络训练的影响很大，但是又无法准确获得，对于相同的初始权重值和阀值，网络的训练结果是一样的，引入遗传算法就是为了优化出最佳的初始权值和阀值。
2.1 基于遗传算法的BP神经网络在柴油机故障诊断中的应用
通过基于遗传算法的BP神经网络建立小波包特征量与故障之间的对应关系。表1为柴油机常见故障在不同频段的能量分布，构成了人工神经网络的训练样本。表2为网络输出样本，“0”代表没有故障，“1”代表发生故障。利用表1中的训练样本对基于遗传算法的BP神经网络进行训练，经1000次训练达到了理想训练效果。
表1 训练样本
表2 网络理想输出
表3 待诊断的故障样本
表4 诊断结果
将表3中的待诊断的故障样本输入到已经训练好的BP神经网络，得到诊断结果如表4所示。第1组待诊断的信号第1个输出节点接近1，可以根据训练样本结果判断该组数据故障为供油提前角晚；第2组待诊断的信号第4个输出节点接近1，根据训练样本结果可以判断该组数据故障类型为供油提前角早；第3组待诊断的信号第7个数据节点接近1 ，可以判断故障类型为针阀卡死，其诊断结果和现场勘查结果一致。
3 结语
遗传算法优化BP神经网络的目的是通过遗传算法得到更好的网络初始值和阀值。通过以上研究可以看出，遗传算法和BP算法有机的融合，可以有效地弥补BP神经网络结构、权值和阀值选择上的随机性缺陷，充分利用了遗传算法的全局搜索能力和BP神经网络的局部搜索能力，克服了传统的BP神经网络柴油机故障诊断的缺点，提高了柴油机故障诊断的精度。
【参考文献】
篇6
关键词：人脸朝向识别 学习向量量化 神经网络 特征向量提取
中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2016）05-0000-00
Abstract： Aiming at the low accuracy disadvantage of traditional facial orientation recognition algorithm， the paper employs the recognition method based on the Learning Vector Quantization neural network. By means of extracting the feature vector of eyes positions in the face images and studying the different facial image samples， the paper optimizes the weighting parameters of the LVQ neural network， which achieves good recognition result. The simulation results indicates that the facial orientation recognition based on the learning vector quantization neural network is feasible and effective， and the correct recognition rate can reach more than 95%. Besides， the paper ultimately proofs the accuracy and the validity of the learning vector quantization neural network is better than the Back-Propagation neural network.
Key Words： Facial orientation recognition， Learning vector quantization， Neural network，Feature vector extraction
人脸识别作为一个复杂的模式识别问题，是生物特征识别领域最困难的研究课题之一，其目的是从图像中剔除背景、提取人脸区域。人脸识别系统主要包括图像数据库采集、人脸图像预处理、人脸特征建模及识别匹配。计算机技术的告诉发展使人脸图像在人机交互中发挥着越来越重要的作用，由于实际应用中，人脸外形的不稳定性以及光照条件的多样性使人脸视觉图像在位置、朝向以及旋转角度等方面产生巨大的差异，因此对人脸进行准确识别变得异常困难。
学习向量量化（LVQ）神经网络是一种用于训练竞争层的有监督学习方法的输入前向神经网络，其算法是从Kohonen竞争算法演化而来的[1]。与其他模式识别和映射方法相比，它的优势在于网络结构简单，并且不需要对输入向量进行归一化、正交化处理，只通过计算输入向量与竞争层之间的距离，从而完成复杂的分类处理[2]。当人脸朝向与旋转角度不同时，眼睛局部特征与人脸图像的几何关系有较强的可区分性，因此提取人眼位置信息的特征向量并获得有助于人脸朝向分类的特征数据，将该特征信息作为LVQ神经网络的输入，可实现对任意给出的人脸图像进行朝向的识别，通过仿真可证明该方法的有效性。
1学习向量量化（LVQ）神经网络
学习向量量化神经网络是在竞争网络结构的基础上提出的，是自组织（SOFM）神经网络的一种有监督形式的扩展。在网络学习过程中加入教师信号作为分类信息对权值进行微调，并对输出神经元预先指定类别，LVQ神经网络实现了二者有效的结合，能够更好发挥竞争学习与有监督学习的优点。
1.1 LVQ神经网络结构与工作原理
广义学习向量量化神经网络由三层神经元组成，即输入层、隐藏的竞争层和线性输出层[3]，其网络结构如图1所示。输入层与竞争层之间采用全连接方式，竞争层与输出层之间采用部分连接方式[4]。竞争层神经元个数通常取输出层神经元个数的整数倍，每个竞争层神经元有且只有一个输出层神经元与之相连接且连接权值固定为1，而每个线性输出层神经元可以与多个竞争层神经元相连接[5]。在学习向量量化神经网络训练过程中，当某个输入模式被送入网络时，竞争层的神经元通过竞争学习规则产生获胜神经元，获胜神经元调整权值的结果是使权值进一步向当前的输入向量靠近。当下次出现相似的输入模式时，获胜神经元更容易得到修改权值的机会。在反复的竞争学习中，竞争层的各神经元对应的权值逐步被调整为输入样本空间的聚类中心[6]。该神经元被激活后输出状态为“1”，而其他竞争层神经元的状态均为“0”。因此，与被激活神经元相连的线性输出层神经元状态为“1”。其余输出层神经元状态为“0”，从而实现模式分类与识别。
LVQ各层的数学描述如下：设神经网络输入向量，其中为输入层神经元个数；竞争层输出，表达式为；输出层实际输出为，表达式为，网络期望输出为。输入层与竞争层之间的权系数矩阵，其中列向量为竞争层第个神经元对应的权值向量；同理可得，竞争层与输出层之间的权系数矩阵为，其中列向量为竞输出层第个神经元对应的权值向量。
1.2 LVQ神经网络学习算法
向量量化是利用输入向量的固有机构进行数据压缩的技术，学习向量量化是在向量量化基础上将输入向量分类的监督学习方法[7]。LVQ网络在训练前指定好线性输出层的神经元类别，在学习训练过程中不再改变竞争层与输出层之间的权系数矩阵，而是通过改变进行学习。该算法实质是根据训练样本的特征进行“奖励与惩罚”的一种迭代学习算法，即对分类正确的样本，“奖励”与其距离最近的权值点。经过若干次训练后，得到的权值不再变化，说明网络达到收敛状态[8]。而竞争层神经元的数目输入待分类的模式样本测试，根据最近邻法则得到输入样本模式的类别属性。
LVQ1具体算法步骤为：
（1） 初始化输入层与竞争层间的权值，确定初始学习速率与训练次数；
（2）将输入向量输入网络，计算竞争层神经元与输入向量的距离并寻找获胜神经元：
（3）根据分类是否正确调整获胜神经元的权值：当网络分类结果与教师信号一致时，向输入样本方向调整权值；反之，其他非获胜神经元的权值保持不变。
算法直接利用最小欧式距离选择与输入向量最接近的矢量，因此不需要对权值向量和输入向量进行归一化处理。
在上述LVQ学习算法中，有且只有一个神经元获胜并得到更新调整权值的机会。为了改善分类效果，Kohonen对该算法进行了改进，并命名为LVQ2算法[9]。改进算法基于光滑的移动决策边界逼近贝叶斯极限，其特点是引入“次获胜”神经元，使得“获胜”神经元与“次获胜”神经元的权值向量都被更新[10]。
LVQ2具体计算步骤如下：
（1）初始化参数、计算竞争层神经元与输入向量距离同LVQ1算法；
（2）选择与输入向量距离最小的两个竞争层神经元；
（3）若神经元对应于不同类别且与当前输入向量的距离满足，其中为输入向量可能落进的接近于两个向量中段平面的窗口宽度，经验值为左右，那么若神经元对应的类别=输入向量类别，则，若神经元对应的类别=输入向量类别，则。
（4）若神经元不满足上述条件，则按照LVQ1步骤（3）中进行更新即可。
2基于学习向量量化神经网络的人脸朝向识别方法
2.1输入向量与目标向量的设计
观察大量人脸图像容易察觉，当人脸图像旋转角不一样时，眼睛局部特征在图像中的位置差异明显，因此仅需提取描述眼睛局部位置信息的特征向量并作为LVQ神经网络的输入，分别用数字1，2，3，4，5表示五个朝向左方、左前方、前方、右前方、右方，并作为神经网络的输出。搜集10人共50幅不同朝向的人脸图像，随机选取其中30幅图像作为训练集，剩余20幅作为测试集，因此目标向量为305的向量，其中每列只有一个“1”，其余均为“0”。
2.2人脸特征向量的提取
如上文所述，文中将420420的图像划分为6行8列，人物双眼的局部特征信息通过第二行的8个子矩阵描述，在利用Sobel算子对图像进行边缘检测后第二行8个子矩阵中值为“1”的像素点个数可较为准确的表示人脸朝向。
2.3 LVQ神经网络的创建与训练
LVQ网络设计的关键因素包括训练样本是否具有普遍性与代表性，训练样本容量能否满足需要，竞争层神经元数量、初始权值等网络参数取值是否得到优化。根据特征向量与训练图像数量可知输入和输出节点分别为30和5，竞争层神经元的个数通常取决于输入输出关系的复杂性。为防止因竞争层神经元数过多产生“死”神经元，竞争层节点数经验值为线性输出层节点数的24倍，本文选取15作为竞争层节点数；其次是选择合适的学习率，为保证算法的收敛性与稳定性，学习率取恒定值或随时间单调减小，通常取。本文期望误差取值0.001，学习函数用LVQ1，最大训练步数设为100，初始化参数后对LVQ神经网络进行训练，训练算法达到预先指定的误差容限后停止。训练过程曲线如图2所示，由图可知网络收敛性较好，满足误差要求。
3实验结果与分析
3.1网络测试识别率与训练次数、学习算法关系
将测试的20幅不同朝向的人脸图像输入网络，网络识别率如表1所示。由表1结果可知，LVQ神经网络识别人脸朝向可行且有效，总体上取得了较好的识别结果。从训练次数分析，在一定范围内训练次数的增加会提高分类识别正确率，所需训练时间也会增加，识别错误主要因为样本数据较为复杂。当训练集较少时识别率会相对较低，因此在防止出现过拟合的同时应尽量增加训练集的样本数目，可有效改善网络识别结果。
从算法角度分析，结果显示LVQ2算法虽然是对LVQ1算法的改进但同时引入了新的误差，因此识别结果较差；同时LVQ1算法运用简单，识别率较高，具体应用时应开发更好的优化学习算法，综合考虑性能指标作折衷处理。
3.2 LVQ神经网络与BP神经网络识别效果对比
由于BP神经网络的输出为非二值数据，因此采用四舍五入方法：若网络输出小于0.5则认为是0，反之为1；并提前利用三位二进制数编码对五个朝向进行表述，如表2所示。
设置训练次数为100次，BP神经网络仿真结果识别率仅为85%，并出现错误预测值 [0；0；0]，该状态不属于表2中任何一种，从结果判断不出图像中人脸朝向，而LVQ神经网络不仅可以很好的规避这一缺点，同时算法识别准确率明显较高。
4结语
本文提出了一种基于学习向量量化神经网络的人脸朝向识别方法，该方法第一步提取人脸图像中双眼的局部位置特征向量，并将提取的向量送入网络进行训练测试实现人脸朝向的准确识别，然后通过仿真实验证明利用LVQ神经网络进行人脸朝向识别方法的有效性，该方法能够发挥竞争学习和有监督学者的优点，且网络结构简单，有效提高了识别率。
参考文献
[1] 秦恺，曹龙汉 等.基于LVQ神经网络集成的柴油机气门故障诊断[J].UPS应用，2014：47-50.
[2] 董妍慧.基于LVQ神经网络模型的企业财务危机预警[J].大连海事大学学报，2008，7（1）：92-94.
[3] 胡波，王文娟.基于向量量化网络的煤矿瓦斯监控系统改造[J].电力学报，2010，25（2）：162-164
[4] 朱玉斌，李华聪.基于LVQ网络的航空发动机气路故障特征提取方法研究[J].测控技术，2014，33（6）：24-27.
[5] 律方成，张波.LVQ神经网络在GIS局部放电类型识别中的应用[J].电测与仪表，2014，51（18）：112-115.
[6] 戴金辉.基于混合神经网络的入侵检测技术的研究[D].东北大学硕士论文，2010：37-39.
[7] 程剑锋，徐俊艳.学习矢量量化的推广及其典型形式的比较[J].计算机工程与应用，2006（17）：64-66.
[8] 李琳，张永祥.学习向量量化（LVQ）神经网络在周期信号识别方面的扩展应用[J].机械设计与制造，2006，6：120-122.
篇7
关键词：壁纸识别；BP神经网络；不变矩
中图分类号：TP391.41
贴标的识别以往是通过人工识别，人为因素影响大，识别速度慢，精度低，不能满足大批量生产的需要。因此，在经济社会高速发展的今天，此方法越来越不能满足壁纸行业发展的需要。随着计算机的发展，通过计算机智能识别壁纸的纹理就成为可能，主要思路是将壁纸拍摄获知的图像进行纹理特征的提取，只要建立足够的特征库，就可以把需要判别的壁纸图片输入计算机，通过检索来判别该壁纸是哪种材种。因此，本文引入图像处理技术和BP神经网络技术，提出一种壁纸贴标自动识别算法，以解决贴标大批量生产的需要。
1 壁纸纹理特征的提取
不变矩是指物体图像经过平移，旋转以及比例变换仍保持不变的矩特征量，设物体的二维离散图像函数用f（x，y）表示，其（p+q）阶矩定义为：
（1）
相应的（p+q）阶中心矩定义为：
（2）
其中，x0=m10/m00，y0=m01/m00，x0表示二维图像的灰度在水平方向上的重心，y0表示二维图像的灰度在垂直方向上的重心。
HuM.K.等人利用二阶、三阶中心矩得到了7个不变矩特征参数，具体如下：
Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）
在本设计的实验中要求样本的尺寸是256×256，从每一类原始样本中采集100个能表现该样本纹理的图片，形成识别样本库，之后提取了所有样本的不变矩纹理特征。
图1 壁纸样本图片
2 BP-神经网络分类器的设计
2.1 BP神经网络概述
BP神经网络（Back Propagation）是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种基于误差逆传播算法的多层前馈神经网络，目前广泛应用于分类、识别、函数逼近等领域。BP神经网络结构如图2所示，包括输入层、输出层和隐含层。
图2 BP神经网络结构图
BP学习算法的工作过程由正向传播和反向传播组成。正向传播过程是指输入信号从输入层经隐含层，在输出层产生输出信号。如果输出层不能得到期望的输出信号，输出信号将反向传播，将误差信号沿原有路径返回，并按照一定规则修改网络参数，逐渐地向输入层传播去进行计算，正向传播和反向传播两个过程的反复运用，直到误差信号满足要求。
2.2 BP神经网络分类器设计
2.2.1 网络输入节点数的设计
输入层节点数主要根据数据特征向量的维数来确定，本文输入节点数为不变矩特征向量的维数，即输入节点数为7。
2.2.2 网络隐含层数的设计
通常情况下，增加网络的隐含层数可以使网络误差降低，提高网络的精度，但同时也使网络变得复杂化，使得网络的训练时间增加，而且容易出现网络过拟合的情况。有研究表明，具有Sigmoid非线性函数的3层BP神经网络能够逼近任何连续函数。因此，本研究中神经网络分类器的隐含层数选为3层。
2.2.3 网络隐含层节点数的设计
在确定BP神经网络隐含层数后，下一步就需要确定隐含层节点数。隐含层神经元个数一般由 是公式确定，其中n是隐含层神经元个数，n0是输入层神经元个数，n1是输出神经元个数，a∈（1～10）。
2.2.4 网络输出层的设计
输出层的节点数是根据BP神经网络分类器的输出类别数量决定，也就是说，输出层的节点数应为类别总数。例如，本研究需要将待识别的壁纸样本分成8大类，那么输出层节点数应设置为8，并将每类对应的目标向量依次设置为[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，对应目标向量的数目为对应输入壁纸样本的数目，即目标向量与输入壁纸样本是相互对应的。
本文BP神经网络分类器采用MATLAB神经网络工具箱进行设计，训练函数选择Trainlm，训练次数为200，误差为0.001，将壁纸样本其分成训练样本与测试样本2部分，并利用训练好的BP神经网络对样本进行自动识别，识别率达到90.0%。
3 结束语
实验结果表明不变矩纹理特征参数可以用于表征壁纸样本，使用本文设计的BP神经网络分类器可以有效识别不同种类的壁纸样本。
参考文献：
[1]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003：55-63.
[2]杨斐，王坤明，马欣.应用BP神经网络分类器识别交通标志[J].计算机工程，2000（10）：120-121.
[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.
[4]严晓梅，耿国华，周明全.基于改进BP神经网络的指纹自动分类器[J].微计算机信息，2007（01）：281-282+288.
[5]李梅，孟凡玲，李群.基于改进BP神经网络的地下水环境脆弱性评价[J].河海大学学报（自然科学版），2007（03）：245-249.
[6]闵惜琳，刘国华.用MATLAB神经网络工具箱开发BP网络应用[J].计算机应用，2001（08）：163-164.
篇8
关键词：卷积神经网络 现场可编程门阵列 并行结构
中图分类号：TP183 文献标识码：A 文章编号：1007-9416（2015）12-0000-00
1 引言
卷积神经网络（Convolutional Neural Network， CNN）具有良好的处理能力、自学能力及容错能力，可以用来处理复杂的环境信息，例如，背景情况不明，推理规则不明，样品存有一定程度的缺陷或畸变的情况。所以，卷积神经网络被广泛应用于目标检测、物体识别和语音分析等方面[1]。现场可编程门阵列（Field Programmable Gate Array， FPGA），作为可编程使用的信号处理器件，其具有高集成度、运行高速、可靠性高及采用并行结构的特点，易于配合CNN处理数据。
2 国内外研究现状
2.1 神经网络的模型结构
根据研究角度、数据传递方式、数据处理模式、学习方法等的不同，多种神经网络模型被构建出来。目前主要有四种模型被广泛应用中[2][3]：
（1）前馈型神经网络。此类神经元网络是由触突将神经原进行连接的，所以网络群体由全部神经元构成，可实现记忆、思维和学习。此种类型的网络是有监督学习的神经网络。（2）递归型神经网络。此种神经网络又称为反馈网络，以多个神经元互相连接，组织成一个互连的神经网络，使得电流和信号能够通过正向和反向进行流通。（3）随机型神经网络。此种神经网络的运行规律是随机的，通过有监督学习方法进行网络训练。（4）自组织竞争型神经网络。此种神经网络通过无监督的学习方法进行网络训练，一般具有两层网络结构，输入层和竞争层。两层间的各神经元实现双向全连接。
2.2 神经网络的学习方法
神经网络的学习方法用来解决调整网络权重的问题，是指完成输入特征向量映射到输出变量之间的算法，可以归纳为三类[4-7]：
（1）有监督的学习。在学习开始前，向神经网络提供若干已知输入向量和相应目标变量构成的样本训练集，通过给定输入值与输出期望值和实际网络输出值之间的差来调整神经元之间的连接权重。（2）无监督的学习。此种学习方法只需要向神经网络提供输入，不需要期望输出值，神经网络能自适应连接权重，无需外界的指导信息。（3）强化学习。此种算法不需要给出明确的期望输出，而是采用评价机制来评价给定输入所对应的神经网络输出的质量因数。外界环境对输出结果仅给出评价结果，通过强化授奖动作来改善系统性能。此种学习方法是有监督学习的特例。
2.3 卷积神经网络的结构
卷积神经网络为识别二维或三维信号而设计的一个多层次的感知器，其基本结构包括两种特殊的神经元层，一为卷积层，每个神经元的输入与前一层的局部相连，并提取该局部的特征[8]；二是池化层，用来求局部敏感性与二次特征提取的计算层[8]。作为部分连接的网络，最底层是卷积层（特征提取层），上层是池化层，可以继续叠加卷积、池化或者是全连接层。
3 FPGA实现神经网络的并行体系结构
（1）卷积神经网络的计算架构。卷积神经网络可以使用“主机”与“FPGA”相结合的体系模型，主机用来控制计算的开始和结束，并在神经网络前向传播计算过程中，提供输入图像等数据。主机与FPGA之间的通信可以通过标准接口，在主机进行任务分配的过程中可以对FPGA上的卷积神经网络进行硬件加速。当卷积神经网络开始启动计算，通过标准接口接收到主机传输的图像时，FPGA开始进行计算，并且使用FPGA中的存储器来存储卷积核权值。FPGA将会先完成卷积神经网络前向传播过程的计算，然后将其最后一层计算得到的结果输出给主机。（2）卷积神经网络并行体系架构。一、单输出并行结构：每次计算一个输出图像，其中会将多个输入图像和多个卷积核基本计算单元同时进行卷积运算，然后将全部卷积运算的结果与偏置值进行累加，再将结果输入非线性函数和自抽样子层进行计算。二、多输出并行结构：若卷积神经网络的计算单元中含有多个单输出的并行结构，那么输入数据可同时传送到多个单输出计算单元的输入端，从而组成多个单输出计算单元组成的并行结构。在卷积神经网络的并行计算结构中，每个卷积核计算单元在进行卷积操作时都要进行乘加运算，所以，有必要将单个的卷积运算拆分实现并行化，并且可以尝试将同一层内的多个卷积运算进行并行化。
4 结语
本文对卷积神经网络进行了介绍，总结了国内外的研究现状，结合卷积神经网络运算的特点与FPGA的快速计算单元数量及功能方面的优势，尝试阐述了在FPGA映射过程的卷积神经网络的并行体系结构。
参考文献
[1] Fan J，Xu W，Wu Y，et al. Human tracking using convolutional neural networks[J].IEEE Transactions on Neural Networks，2010（10）：1610-1623.
[2] 杨治明，王晓蓉，彭军.BP神经网络在图像分割中的应用.计算机科学[J].2007（03）：234-236.
[3] Simon Haykin . Neural networks ，a comprehensive foundation[M].second edition，Prentice Hall，1998.
[4] Herta J ， et al.Introduction to Theory of Neural Compution[M].Sant Fee Complexity Science Series，1991.156.
[5] 戴奎.神经网络实现技术[M].长沙：国防科技大学出版社，1998.
[6] 焦李成.神经网络系统理论[M].西安：西安电子科技大学出版社，1996.
篇9
（中国蚌埠汽车士官学校装备技术系，安徽 蚌埠 233000）
【摘 要】神经网络具有并行处理能力、自学习能力，自适应能力和可以逼近任意的非线性函数等特点，是解决非线性、多变量、不确定的复杂诊断问题的一条有效的途径，神经网络的这些特点使得它在故障谚断领域应用越来越广泛。本文利用LM改进学习算法训练所建立的BP神经网络，然后利用训练好的神经网络进行柴油机故障诊断，得出诊断结果，使故障诊断具有人工智能化。
关键词 BP神经网络；优化；故障诊断；仿真
1 BP神经网络
BP神经网络是多层前馈神经网络，它的名字源于网络权值的调整规则，采用的是后向传播学习算法，既BP算法。BP网络是目前应用最广的神经网络之一，BP网络是由一个输人层，一个或多个隐层以及一个输出层组成，如图1所示，上下层之间实现全连接，而每层神经元之间无连接。网络的学习过程包括正向传播和反向传播。在正向传播进程中，输入信息从输入层经隐层加权处理传向输出层，经功能函数运算后得到的输出值与期望值进行比较，若有误差，则误差反向传播，沿原先的连接通道返回，通过逐层修改各层的权重系数，减小误差。随着这种误差逆向传播修正的不断进行，网络对输入模式响应的正确率也不断上升。
研究表明，带有两个隐层的BP网络能形成任何形状的决策区域。当BP网用作非线性映射时，允许网络实现输入到输出之间的任意映射关系，即可建立故障征兆空间与故障空间的某种映射关系，每当给出一个实测的故障征兆矢量，网络即能通过状态演化（前传和联想）收敛到与其最相近的模式，从而诊断其故障原因。典型的基于神经网络模式识别的故障诊断系统结构如图2所示。
2 BP神经网络的不足
BP神经网络模型虽然在各方面都具有重要意义，而且应用也很广泛，但它也存在一些不足。从数学上看，它是一个非线性优化问题，不可避免的存在局部极小点，学习算法的收敛速度慢，网络隐层单元数选取带有很大的盲目性和经验性，新加入的样本要影响已学完的样本等。
具体来说，BP算法对样本进行逐个学习时，常会发生“学了新的，忘了旧的”的遗忘现象。故此值得对样本不断循环重复，这样一来其学习时间必然延长。为了克服这个缺点，将逐个学习改为批量学习，即对所有样本都进行学习后将其误差相加，然后用这个误差之和来对网络的权系数进行调整。但是这样一来，在误差求和时，这些误差有可能互相抵消，这就降低了算法的调整能力，也就是延长了学习的时间。所以，按批量学习其收敛速度也会很慢。同时，批量学习方法还有可能产生新的局部极小点。比如各误差不为零，但其总和为零，这种情况发生后算法就稳定在这个状态上，造成新的局部极小点。
3 BP神经网络学习算法的优化
为了提高神经网络算法的学习效率及稳定性，在反向传播（BP）算法中可以引入基于非线性最小二乘法的Levenberg-Marquart（LM）最优算法，替代原BP算法中的梯度下降法寻找最佳网络连接权值。
LM算法是一种优良的非线性最小二乘优化方法，这种方法的一般模型为：
LM算法是二阶收敛的Newton算法的变形，又称变尺度法。牛顿法的权值调整算法如下：
在Gauss－Newton法中，我们要求A是满秩的。遗憾的是在实际情况中，A为奇异的情况经常发生，使得算法常常收敛到非驻点。这样造成的结果是线性搜索得不到进一步下降，从而无法找到最优点。LM算法通过引入一个可变因子μ，将一个对角阵μI加到ATA上去，改变了原矩阵的特征值结构使其变成满秩正定矩阵，从而确保线性搜索的方向为下降的方向。其权值调整规则为：
我们可以利用μ来控制迭代，μ可以在一较大的范围内进行调整。μ较小时即为Gauss－Newton法；μ较大时即为最速下降法。μ参数的引入，以及在迭代过程中μ参数的可调节性，极大地改善了算法收敛的稳定性。
采用LM最优化算法训练神经网络，替代原BP算法中的梯度下降法寻找最佳网络连接权值。仿真试验证明，这种学习算法提高了BP网络算法的学习效率及稳定性，并提高了网络的收敛速度，更好的实现了对柴油机燃油压力信号的故障诊断。
4 基于优化的BP神经网络柴油机燃料系故障诊断
4.1 确定故障特征信息
柴油机燃油系统的状态信息主要体现在高压油管的压力波形中，当某处发生故障时，必然使原有供油状态发生变化，燃油流动的压力和流速等参数会有相应的改变，反映在压力波形上将导致波形形态和波形参数值的变化。因此利用压力传感器测取高压油管的燃油压力波形，并对波形进行分析、提取出故障特征，再利用人工神经网络模型对特征值进行模式识别就可达到故障诊断的目的。图3、图4分别为100%和25%供油量喷油压力波形图。
4.2 提取特征参数
特征参数的提取是模式识别过程中的重要环节，它关系到模式识别效果的准确性。由于燃油压力波形是一种规则波形，任一压力波形都标志着柴油机燃油系统的一种工作状态。压力波形的状态信息主要体现在波形的结构形态上，可以直接从其时域波形上提取波形的结构特征，并表示为便于计算的特征空间。根据分析和试验，对于燃油压力波形来说，最大压力、起喷压力、落座压力、次最大压力、波形幅度、上升沿宽度、波形宽度、最大余波宽度等特征最能表现出柴油机运行时的状况。为了获得最佳诊断效果，我们选用这八种参数构成特征向量空间，如图5所示。
4.3 BP神经网络的建立及故障诊断过程
4.3.1 数据样本采集
柴油机燃料系故障主要是供油量不足，主要表现为针阀卡死、针阀泄漏、出油阀失效等。在发动机800r/min时，用传感器分别采集正常油量、针阀卡死、针阀泄漏、出油阀失效四种状态的燃油压力数据，绘制出不同状态下的燃油压力波形，对每个波形手动提取出最大压力、启喷压力、落座压力、次最大压力、波形幅度、上升沿宽度、波形宽度、最大余波宽度这8个特征值。一般情况下，每个状态至少采集提取5个实际样本，每个样本都包括以上8个特征值，用来建立网络，训练网络，并进行故障诊断。
4.3.2 BP神经网络的建立和训练
新建BP神经网络NewNet，如图6所示，网络设计采用三层BP网络，网络的输入层个数为8个，输出层的个数为4个，隐含层的个数并不是固定的，经过实际训练的检验和不断的调整，确定隐含层的个数近似遵循下列关系n2=2n1+1。其中n1为输入层个数，n2为隐含层个数，因此隐含层个数为17个。
四种故障模式可以用如下形式表示输出：
正常油量（1，0，0，0）；针阀卡死（0，1，0，0）；针阀泄漏（0，0，1，0）；出油阀失效（0，0，0，1）。
输入层至隐层的连接权Wij、隐层至输出层的连接权Vjt、隐层各单元的输出阈值θj、输出层各单元的输出阈值γj ，都选取为（－1～1）之间的随机数，然后按照BP网络的学习步骤进行学习。网络输入层的传递函数采用双曲正切S型传递函数Tansig，第二层传递函数采用S型对数函数Logsig，利用基于非线性最小二乘法的LM最优算法，替代原BP算法中的梯度下降法训练神经网络，求出最佳网络连接权值和阈值。
利用所采集数据样本，作为网络训练的原始样本，确定初始连接值和阈值后利用Matlab编程，训练的速度为0.1，训练误差精度为0.01，对网络训练9000次，得出最终的各个连接权值和阈值，训练结束。
4.3.3 故障诊断过程及结果
网络训练结束后，将表1中的测试数据输入训练好地BP网络。
经过运算后，网络输出层得出如下的诊断结果：
从测试结果可以看出，诊断结果与实测值具有良好的一致性，诊断误差分别为0.0043、0.0005、0.0035和0.0380可见诊断误差非常小，因此可以判定，该BP神经网络完全可以满足柴油机燃油系常见故障的诊断要求。
5 结束语
仿真试验表明，基于优化的BP神经网络的故障诊断结果与实测值具有良好的一致性，只要选择足够典型的原始故障样本训练BP神经网络，网络的容错性和稳定性就较好。针对设备运行的复杂性，仅选用单一的诊断参数往往会做出错误的判断，而基于神经网络的故障模式识别方法能充分利用信息特征，实现输人与输出之间的映射关系，得出准确的诊断结果。（下转第188页）
参考文献
［1］黄丽．BP神经网络算法改进及应用研究[D]．重庆师范大学，2008：6－15．
［2］孙即祥．现代模式识别[M]．国防科技大学出版社，2001，5．
［3］李国勇．智能控制及其MATLAB实现[M]．电子工业出版社，2005，5．
［4］李焕良，等．基于BP神经网络的电气系统故障诊断[J]．起重运输机械，2005，6:55－56．
［5］王俊生．柴油发动机燃油系统的故障分析研究[J]．山西建筑，2003，4:250．
［6］董学刚．燃油压力波检测在机车柴油机故障判断上的应用[J]．内燃机车，2002，7:25－27．
篇10
Yi Wan，Luo Jing，Li Yong，Guo Shaoying （College of computer science and Information Engineering， Tianjin University of Science & Technology， Tianjin 300222， China） Abstract： According to user search history， the user information of interest by Title Classification， the auto-encoder neural network feature extraction value. Set the learning sample heading up to 25 Chinese characters， coding mode is adopted Chinese characters machine code （GBK code）. Use the MATLAB tool for deep learning， will feature in the original space representation is transformed into a new feature space. Key words： Text feature; The auto-encoder neural network; Deep learning; Matlab
基于自编码神经网络建立搜索信息模型的目的是根据用户搜索信息的历史，推断出网页中的内容是用户关注的信息并即时显示。首先将用户关注的历史信息按标题分类，通过自编码神经网络建立标题特征值数据库。当自编码神经网络搜索信息模型工作时，按照用户提供的关键词顺序，打开用户经常浏览的网页，读入标题文本，若具有数据库中的标题特征，则将该标题的文本内容即时显示。
直接解析网页中的标题文本，面临的基本问题是文本的表示。如果把标题文本所有的词都作为特征项，那么太多的特征向量维数导致计算量太大。例如50个标题，每个标题25个汉字，特征项将有50×25=1250个。如果将标题中的某个关键词作为特征词，将会有几千个包含关键词的标题，从而导致读入分析量过于巨大。本文采用自编码神经网络，用映射变换的方法把原始文本特征变换为较少的新特征，提高信息搜索效率。
1 自编码神经网络
1.1 自编码神经网络理论
Auto-Encoder（自编码）[1]，自编码算法是一种基于神经网络算法的无监督学习算法，与神经网络算法的不同之处是将输入值作为输出节点的输出。自编码算法的另一个特征是隐藏层节点的个数一般少于输入输出节点的个数。这样的意义是将输入的特征通过神经网络的非线性变换到节点数更少的隐藏层。因此，可以通过自编码神经网络对给定的样本进行训练学习，从而得到输入数据降维后的特征，即为隐藏层的节点数，省去了人工特征提取的麻烦。
自编码神经网络结构示意图如图1所示[2]。这是一种深度学习的神经网络，包含了多个隐含层，整个网络是一种对称的结构，中心层的神经元的个数最少。网络通过对样本的训练可以得到一组权值系数，而输入数据通过这组权值系数表达成低维形式，从而达到了用降维后的特征表示出输入的数据。
图1 自编码神经网络的结构
Fig.1 The structure of auto-encoder neural network
1.1.1 预训练
（1） 输入参数的确定：标题是作者给出的提示文章内容的短语，标题一般都简练、醒目，有不少缩略语，与报道的主要内容有着重要的联系。如登陆我的钢铁网站，搜索钢管热点资讯，显示的标题有“我国自主研制*****油管成功替代进口”，学习样本选择50组标题，每个标题不超过25个汉字，如表1所示。
表1 学习样本
Tab. 1 Learning samples
1
我国自主研制高端耐热钢无缝钢管成功替代进口
2
我国自主研制K55石油套管成功替代进口
3
我国自主研制J55稠油热采套管成功替代进口
4
我国自主研制专用耐高温防火船舶用套管成功替代进口
5
我国自主研制20G高压锅炉管成功替代进口
6
我国自主研制特殊用途低温用管成功替代进口
7
我国自主研制起重机臂架无缝钢管成功替代进口
8
我国自主研制精密合金4J36船用管材成功替代进口
9
我国自主研制高强韧性高抗挤毁套管成功替代进口
10
我国自主研制三种极限规格管线管成功替代进口
…
……
50
我国自主研制医药化工用管成功替代进口
（2） 语句预处理[3]：学习样本句子进行预处理是把句子中的每一个汉字变换成自编码神经网络模型能接受的数字化形式。为了使神经网络能接受外部数据，首先要对句子中的汉字进行编码，编码方式是采用汉字的计算机内码（GBK码）。每个汉字机内码有16位二进制，如：“我国自主研制”的二进制码为
1100111011010010 我（GBK码）
1011100111111010 国（GBK码）
1101011111010100 自（GBK码）
1101011011110111 主（GBK码）
1101000111010000 研（GBK码）
1101011011000110 制（GBK码）
将16位二进制数转换为十进制数并进行线性变换，映射到实数[0 1]之间，作为输入神经元初值。变换公式如下：
式中：maxi和mini;tmax和tmin分别为x（p）i，t（p）量程范围的最大值和最小值。
（3）预训练：几个独立的RBM构成“堆栈”构成了预训练部分，而RBM是BM （boltzmannmachine）的一种特殊连接方式。图2即为RBM的网络构成。它是一种隐含层神经元无连接，并且只有可见层和隐含层两层神经元。
图2 RBM网络构成
Fig. 2 Construction of restricted boltzmannmachine
BM的权值调整公式为[4]
（1）
式中：在第t步时神经元i、j间的连接权值为wij（t）;η为学习速率;T为网络温度;<uihj>+、<uihj>-分别为正向平均关联和反向平均关联。
在RBM中，可见层神经元的输出和隐含层神经元输出的乘积即为平均关联。系数ε由η和T统一合并而成，迭代步长即由权值调整公式ε表示。
图3 RBM网络结构图
Fig. 3 RBM network structure diagram
（4）MATLAB实现：
本文建立的BP神经网络模型结构为
[25，15，25]，[15，12，15]，[12，10，12]，[10，8，10]，[8，5，8]
设定网络隐含层的激活函数为双曲正切S型函数tansig，输出层的激活函数为线性激活函数purelin，网络的训练函数为Levenberg-Marquardt算法训练函数trainlm。因此对应的MATLAB神经网络工具箱的程序语句为
net=newff（minmax（P），[25，25]，{‘tansig’，’purelin’}， ’trainlm’）;
net=newff（minmax（P），[15，15]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[12，12]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[10，10]，{‘tansig’，’purelin’}，’trainlm’）;
net=newff（minmax（P），[8，8]，{‘tansig’，’purelin’}，’trainlm’）;
设定学习速率为0.01，最大训练步数为300，目标误差为0.00001。
（5）预训练结果：
预训练结果如表2所示。
表2 预训练结果
Tab. 2 The results of pre training
误差
学习速率
步长
[25，15，25]
0.003248
0.01
150
[15，12，15]
0.0022809
0.01
125
[12，10，12]
0.0025866
0.01
100
[10，8，10]
0.0039575
0.01
75
[8，5，8]
0.013529
0.01
50
1.1.2 展开
如图4所示，将各个RBM连接，得到自编码神经网络。预训练所得到的权值，将作为整个自编码神经网络的初始权值，参与整个网络的微调训练。
图4 RBM展开图
Fig. 4 Development of RBM network structure
1.1.3 微调
微调训练是在预训练得到初始权值的基础上，对权值进一步调整。采用以交叉熵为目标函数[5]的BP算法完成网络的微调训练。交叉熵是用来度量两个概率分布间差异性的，它是一个非负数，两个分布越相似，其越小。原始的交叉熵定义为
（4）
式中：x为随机变量;q（x）为已知概率分布;p（x）为估计概率分布。
对于随机变量x，当用q（x）估计p（x）时，通过调整受x影响的p（x）来最小化交叉熵D（pq），用于自编码神经网络权值调整的BP算法交叉熵函数形式为
（5）
式中：ti目标概率分布;yi实际概率分布。
整个网络训练的目的是调整权值以使交叉熵函数达到最小，权值调整公式为
根据上面的权值调整公式，可以完成网络的微调训练。训练结果如表3所示。
表3 微调训练结果
1.1.4 特征提取
50组标题（每个标题不超过25个汉字）的学习训练，通过自编码网络的逐层特征变换，将样本数据约1250（50×25）个汉字编码，在原空间的特征表示变换到一个新特征空间。其中网络最深隐含层的输出值（5个）和权值矩阵W6（5×8=40个），共计45个，为提取标题文本1250个汉字编码的特征值。
2 实 例
本文选取10组标题文本见表4，分别输入自编码神经网络。预测结果表示基本符合要求。
表4 预测结果
Tab. 4 The prediction results
序号
样本输入
结果显示
1
我国自主研制的蛟龙号深水探测器成功替代进口
无
2
我国自主研制首台3.6万吨垂直挤压机挤合格钢管成功替代进口
我国自主研制首台3.6万吨垂直挤压机挤合格钢管成功替代进口
3
我国自主研制的超级计算机系统成功替代进口
无
4
我国自主研发的1000MPa高压共轨管成功替代进口
我国自主研发的1000MPa高压共轨管成功替代进口
5
我国自主研制超临界电站无缝钢管T92、P92成功替代进口
我国自主研制超临界电站无缝钢管T92、P92成功替代进口
6
我国自主研制重载火车头下线成功替代进口
无
7
我国自主研制成功特高压交、直流套管成功替代进口
我国自主研制成功特高压交、直流套管成功替代进口
8
我国自主研制的Q355GNH系列耐候钢成功替代进口
我国自主研制的Q355GNH系列耐候钢成功替代进口
9
我国自主研制的涡桨支线飞机成功替代进口
无
10
我国自主研制钒微合金L290管线钢成功替代进口
我国自主研制钒微合金L290管线钢成功替代进口
3 结 语
本文按照标题文本分类检索信息，解决了直接按照关键词搜索信息，网页中经常显示几千条包含关键词内容的标题本文，从而导致读入分析信息量过于巨大的问题。通过自编码神经网络提取文本特征，在不损伤文本核心信息的情况下尽量减少要处理的单词数，以此来降低向量空间维数，简化计算，提高了文本处理的速度和效率。
