卷积神经网络核心思想范文
时间：2024-04-09 17:52:49
导语：如何才能写好一篇卷积神经网络核心思想，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
篇1
DOIDOI：10.11907/rjdk.162768
中图分类号：TP317.4
文献标识码：A文章编号文章编号：16727800（2017）005017405
0引言
随着电子商务的发展，大批艺术品交易网站随之兴起，藏品交易规模也越来越大。而当前的古玩网上交易平台还不能够实现对现有藏品图片的自动分类，客户在寻找目标藏品时不得不在众多图片中一一浏览。因此需要一种有效的方法来完成面向图像内容的分类。
在基于内容的图像检索领域，常使用人工设计的特征-如根据花瓶、碗、盘子的不同形态特征：目标轮廓的圆度、质心、宽高比等[1]，继而使用BP神经网络、SVM分类器等对特征进行学习分类。文献[2]基于植物叶片的形状特征，如叶片形状的狭长度、矩形度、球状性、圆形度、偏心率、周长直径比等，利用BP神经网络实现对植物叶片进行分类。文献[3]研究印品图像的各类形状缺陷，利用图像缺陷形状的轮廓长度、面积和圆形度等几何特征，导入SVM分类器进行训练，得到分类器模型实现分类。文献[4]提出了一种基于Zernike矩的水果形状分类方法，通过提取图像中具有旋转不变性的Zernike矩特征，并运用PCA方法确定分类需要的特征数目，最后将这些特征输入到SVM分类器中，完成水果形状的分类。上述方法都要求对目标形状分割的准确性，而分割过程中由于存在目标阴影、目标分割不完整问题，会影响到人工特征的准确选取。除了上述人工特征外，最常用的特征是HOG[5，6]、SIFT[7，8]等。HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。HOG表示的是边缘结构特征，因此可以描述局部形状信息。SIFT在图像的空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT特征对于旋转、尺度缩放、亮度变化保持不变。但是，这两种特征在实际应用中，描述子生成过程冗长、计算量太大。而且在上述方法征设计需要启发式的方法和专业知识，很大程度上依靠个人经验。
卷积神经网络不需要手动设计提取特征，可以直接将图片作为输入，隐式地学习多层次特征，进而实现分类[9]。相比目前常用的人工设计特征然后利用各分类器，具有明显的优势。近年来，卷积神经网络已成为语音、图像识别领域研究热点。它的权值共享特点使得网络复杂度降低，权值数量减少。而且，卷积神经网络直接将图片作为输入，避免了复杂的特征设计和提取，具有一定的平移、缩放和扭曲不变性[10]。本文采用卷积神经网络对古玩图片进行分类。首先，将背景分离后的图片作为网络的输入，相比原图作为输入，此方法的网络结构更加简单。然后，卷积层通过不同的卷积核对输入图片进行卷积得到不同特征图，采样层进一步对特征图进行二次提取，最终提取到合适的特征输入分类器进行分类，而在卷积层、采样层征图的大小、数目都会影响到网络的分类能力。因此，本文通过优化网络参数，使网络达到较好的分类效果。
1卷积神经网络
1989年，LECUN等[11]提出了卷积神经网络（Convolution Neural Networks，CNN），CNN是一种带有卷积结构的深度神经网络，一般至少有2个非线性可训练的卷积层、2个非线性的固定采样层和1个全连接层，一共至少5个隐含层[12]。百度于2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别，此后深度学习模型被成功应用于一般图片的识别和理解。从百度经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率[13]。
卷积神经网络作为一种高效的深度学习方法[14]，在许多图像识别方面取得了很好的成效[1519]。该网络作为一种多隐层神经网络，可以提取图像的多层次特征进行识别。
卷积神经网络主要包括卷积层和采样层，卷积层通过可学习的卷积核对输入图片进行卷积得到特征图，卷积操作即加强了输入图片的某种特征，并且降低噪声。卷积之后的结果通过激活函数（通常选择Sigmoid函数或Tanh函数）作用输出构成该层的特征图。特征图上的每一个神经元只与输入图片的一个局部区域连接，每个神经元提取的是该局部区域的特征，所有神经元综合起来就得到了全局特征，与神经元相连接的局部区域即为局部感受野[20]。而在卷积层中一般存在多张特征图，同一张特征图使用相同的卷积核，不同特征图使用不同的卷积核[21]，此特点称为权值共享，即同一张特征图上的所有神经元通过相同的卷积核连接局部感受野。卷积神经网络的局部感受野和嘀倒蚕硖氐愦蟠蠹跎倭送络训练的参数个数，降低了网络模型的复杂度。
采样层对卷积层提取到的特征图进行局部非重叠采样，即把特征图分为互不重叠的N×N个子区域，对每个子区域进行采样。卷积神经网络的采样方式一般有两种：最大值采样和均值采样。最大值采样即选取区域内所有神经元的最大值作为采样值，均值采样为区域内所有神经元的平均值作为采样值。最大值采样偏向于提取目标的特征信息，而均值采样偏向于提取背景的特征信息[22]。采样后的特征平面在保留了区分度高特征的同时大大减少了数据量，它对一定程度的平移、比例缩放和扭曲具有不变性。
卷积神经网络通过卷积层和采样层的循环往复提取到图像由低层次到高层次的特征，最后一般通过全连接层将所有特征图展开得到一维向量，然后输入到分类器进行分类。
卷积神经网络在处理二维图像时，卷积层中每个神经元的输入与上一层的局部感受野相连接，并提取该局部的特征，权值共享特点又使得各神经元保持了原来的空间关系，将这些感受不同局部区域的神经元综合起来就得到了全局信息。采样层对特征图进行局部特征提取，不会改变神经元之间的空间关系，即二维图像经过卷积层、采样层仍然保持二维形式。因此，卷积神经网络有利于提取形状方面的特征。虽然卷积神经网络的局部感受野、权值共享和子采样使网络大大减少了需要训练参数的个数，但是该网络作为多隐层神经网络还是十分复杂的。对于不同的数据库，为了达到比较好的分类效果，网络的层数、卷积层特征图个数以及其它参数的设置都需要探究。
2基于卷积神经网络的古玩图片分类
2.1特征提取及传递
不同古玩的主要区别在于形状不同，而花瓶、盘子和碗在古玩中最常见，因此将这3类图片作为实验对象，对于其它种类的古玩图片的分类，该网络同样适用。卷积神经网络采用如下图所示的5层网络结构，并对网络各层的特征图数目、大小均作了修改。对于网络的输入，先将原图像进行目标与背景分割，然后进行灰度化、统一分辨率的处理，最后输入到卷积神经网络。由于训练卷积神经网络的根本目的是提取不同古玩的特征，而背景不是目标的一部分，对古玩识别来说并不提供任何有用的信息，反而对特征的提取造成干扰，所以去除背景噪声后，网络结构会更加简单，同时也利于网络对特征的学习。但是因为进行了去背景的预处理，网络也失去了对复杂背景下图片的识别能力，所以使用该网络进行古玩图片分类前都要进行目标分割的预处理过程。
卷积神经网络对古玩图片的特征提取过程如下：
（1）输入网络的图片为100×100大小的预处理图，卷积神经网络的输入层之后为卷积层，卷积层通过卷积核与输入图像进行卷积得到特征平面，卷积核大小为5×5。如图2所示，特征平面上每个神经元与原图像5×5大小的局部感受野连接。卷积核移动步长为1个像素，因此卷积层C1的特征平面大小为96×96。这种卷积操作在提取到输入图像的某一方面特征时，必然会损失掉图像的其他特征，而采取多个卷积核卷积图像得到多个特征平面则会一定程度上弥补这个缺陷。因此，在卷积层C1中使用了6个不同的卷积核与输入图像进行卷积，得到6种不同的特征平面图。如图3所示，同一张特征图上的所有神经元共享一个卷积核（权值共享），图中连接到同一个特征图的连接线表示同一个卷积核，6个不同的卷积核卷积输入图片得到6张不同的特征平面图。卷积之后的结果并非直接储存到C1层特征图中，而是通过激活函数将神经元非线性化，从而使网络具有更强的特征表达能力。激活函数选择Sigmoid函数。
卷积层中所使用的卷积核尺寸若过小，就无法提取有效表达的特征，过大则提取到的特征过于复杂。对于卷积层征图个数的设置，在一定范围内，特征图的个数越多，卷积层提取到越多有效表达原目标信息的特征，但是特征图个数如果过多，会使提取到的特征产生冗余，最终使分类效果变差。卷积层的各平面由式（1）决定： Xlj=f（∑i∈MjXl-1j*klij+blj）（1）
式（1）中，Mj表示选择输入的特征图集合，l是当前层数，f是激活函数，klij表示不同输入特征图对应的卷积核，blj为输出特征图对应的加性偏置。
（2）卷积层C1后的采样层S1由6个特征平面组成，采样层对上一层特征图进行局部平均和二次特征提取。采样过程如图4所示，特征平面上的每个神经元与上一层4×4大小的互不重合的邻域连接进行均值采样，最终每个平面的大小为24×24。采样层的各平面由式（2）决定：
Xlj=f（βljdown（Xl-1j）+blj）（2）
式（2）中，down（.）表示一个下采样函数，l是当前层数，f是激活函数，βlj表示输出特征图对应的乘性偏置，blj为输出特征图对应的加性偏置。
（3）卷积层C2与C1层操作方式一样，唯一区别的是C2层每个特征图由6个不同的卷积核与上一层6个特征图分别卷积求和得到，因此C2层一共有6×6个不同的卷积核，卷积核大小为5×5，C2层每个平面大小为20×20，共6个特征平面。
（4）采样层S2与S1层操作一样，对上一层4×4大小邻域进行均值采样，输出6个5×5大小的特征平面。本文所用的网络共包括2个卷积层、2个采样层、1个全连接层，由于输入图片已经过背景分离的预处理，采样层S2特征图大小为5×5，所以图1所示5层网络已经有很好的表达能力。如果直接将原图作为输入，那么网络的层数以及特征图的个数将比图1所示的网络更加复杂。
（5）全连接层将上一层6个5×5大小的二维平面展开成为1×150大小的一维向量输入Softmax[23]分类器，输出层一共有3个神经元（即分类的种类数目），分类器将提取到的特征向量映射到输出层的3个神经元上，即实现分类。
2.2网络训练
训练方式为有监督地训练，网络对盘子、花瓶和碗共三类图片进行分类，所以分类器输出一个3维向量，称为分类标签。在分类标签的第k维中1表示分类结果，否则为0。训练过程主要分为两个阶段：
第一阶段：向前传播A段。
将预处理过的图片输入卷积神经网络计算得到分类标签。
第二阶段：向后传播阶段。
计算输出的分类标签和实际分类标签之间的误差。根据误差最小化的原则调整网络中的各个权值。分类个数为3，共有N个训练样本。那么第n个样本的误差为：
En=12∑3k=1（tnk-ynk）2（3）
式（3）中，tn表示第n个样本的网络输出标签，tnk对应标签的第k维，yn表示第n个样本的实际分类标签，ynk对应标签的第k维。为了使误差变小，利用权值更新公式（4）更新各层神经元的权值，一直训练直到网络误差曲线收敛。
W（t+1）=W（t）+η・δ（t）・X（t）（4）
式（4）中，W（t）表示算第n个样本时的权值，W（t+1）表示计算第n+1个样本的权值，η为学习速率，选取经验值，δ为神经元的误差项，X表示神经元的输入。
3实验结果及分析
实验在MatlabR2012a平台上完成，CPU 2.30GHz，内存4GB，所采用的图像由相关古玩网站提供，分辨率统一格式化为100×100。由于盘子、花瓶和碗在各种古玩种类中它们之间的形状差别比较明显，本文实验对这三类古玩图片进行分类。对古玩图片进行了水平翻转处理，增加图片数据量，以加强网络对古玩图片分类的鲁棒性。实验数据如表1所示，图5列出了3类图片的部分样本，实验所用图片均与图5所示图片类似，背景比较单一，少数图片下方有类似阴影。
为了形象表示网络各层提取的不同特征，图6展示了当网络输入为盘子时的各层特征图。卷积层C1中6张特征图分别提取到了输入图片的不同特征，而由于权值共享，同一张特征图中神经元的空间关系保持不变，所以6张特征图都抓住了盘子的圆形特征。采样层S1对C1进行均值采样，相当于模糊滤波，所以S1层各特征图看起来模糊了一些。卷积层C2中每张特征图由6个不同的卷积核卷积S1层各特征图叠加而成，S2层与S1层处理方式相同。
为了说明将背景分离后的图片作为输入的网络与原图输入的网络之间的差异，设计了如表3所示的两种网络结构，网络CNN4只需要4层网络层就可以达到0.19%的错误率，而原图作为输入的CNN8共6层网络层，在网络达到收敛的情况下，错误率为5.24%。由此可以说明，将背景分离后图片作为输入的网络结构更加简单。
网络的训练采用了批量训练方式，即将样本分多批，当一批样本前向传播完之后才进行权值更新，每批大小为100，训练集共2 200张图片，网络迭代次数为1时共进行22次权值更新，所以权值更新的计算次数与迭代次数有如下关系：
计算次数=22×迭代次数（5）
图7为网络在训练集上的误差曲线图，横坐标为误差反向传播的计算次数，纵坐标为训练集上的均方误差。可以看出，当网络训练次数达到270次（计算次数约6 000）时，训练集误差趋于平缓，网络已经基本拟合。训练好的网络可以用来对测试集图片进行分类，表4为不同迭代次数下训练的网络在测试集上的分类错误率，可以看出迭代次数在达到270次后，网络在测试集的错误率收敛，此时只有2张图片出现分类错误。
表5给出了图像分类算法中常用的人工特征+BP神经网络、人工特征+SVM分类器以及Hog特征+SVM分类器与CNN方法的性能比较。人工设计的特征包括图片中目标轮廓的最大长宽比、质心、圆度等特征。从准确率方面来看，CNN方法的准确率高于其他方法，Hog特征方法的准确率远远高于人工特征的方法，说明了特征的好坏对图像分类效果有着很大程度上的影响，CNN提取到的特征比Hog和人工设计的特征更具代表性。从测试时间来看，Hog方法与CNN方法相差不多，采用人工特征的方法时间最长。综合两个方面，CNN方法在测试时间和HOG方法相近的情况下，准确率最高。
4结语
针对网上古玩图片分类问题，为了克服现有算法中人工设计特征困难以及往往依赖个人专业经验的不足，提出一种基于卷积神经网络的方法。将背景分离后的目标图片作为网络输入，可以实现自动提取特征进行分类，背景分离后图片作为网络输入使得网络结构更加简单，并且设置了合适的特征图个数以使网络在古玩图片集上取得较好的分类准确率。实验数据表明，该方法能够解决网上古玩图片的分类问题，并且分类准确率达到99%，其准确率优于常用的Hog特征以及人工特征方法。另外该方法不仅可以应用于网上古玩图片，还可应用于鞋类、服装等其它商品图像的分类。
参考文献参考文献：
[1]K KAVITHA，M.V.SUDHAMANI.Object based image retrieval from database using combined features[C].in Signal and Image Processing （ICSIP），2014.
[2]董红霞，郭斯羽，一种结合形状与纹理特征的植物叶片分类方法[J].计算机工程与应用，2014，50（23）：185188.
[3]舒文娉，刘全香，基于支持向量机的印品缺陷分类方法[J].包装工程，2014，35（23）：138142.
[4]应义斌，桂江生，饶秀勤，基于Zernike矩的水果形状分类[J].江苏大学学报：自然科学版，2007，28（1）：3639.
[5]ZHU Q，YEH M C，CHENG K T，et al.Fast human detection using acascade of histograms of oriented gradients[C].Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006.
[6]M VILLAMIZAR，J SCANDALIANS，A SANFELIU bining colorbased invariant gradient detector with Hog descriptors for robust image detection in scenes under cast shadows[C].In Robotics and Automation，ICRA IEEE International Conference on.Barcelona，Spain：IEEE，2009.
[7]CHEN J，LI Q，PENG Q，et al.CSIFT based localityconstrained linear coding for image classification[J].Formal Pattern Analysis & Applications，2015，18（2）：441450.
[8]AHMAD YOUSEF K M，ALTABANJAH M，HUDAIB E，et al.SIFT based automatic number plate recognition[C].International Conference on Information and Communication Systems.IEEE，2015.
[9]LAWRENCE S，GLIES C L，TSOI A C，et al.Face recognition：a convolutional neuralnetwork approach[J].IEEE Transactions on Neural Networks，1997，8（1）：98113.
[10]TREVOR HASTIE，ROBERT TIBSHIRANI，J FRIEDMAN.The elements of statistical learning[M].New York：Springer，2001.
[11]Y LECUN，L BOUOU，Y BENGIO.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：22782324.
[12]DAHL J V，KOCH K C，KLEINHANS E，et al.Convolutional networks and applications in vision[C].International Symposium on Circuits and Systems （ISCAS 2010），2010：253256.
[13]余凯，贾磊，陈雨强，等.深度学习的昨天、今天和明天[J].计算机研究与发展，2013（09）：17991804.
[14]MAIRAL J，KONIUSZ P，HARCHAOUI Z，et al.Convolutional kernel networks[DB/OL].http：///pdf/1406.3332v2.pdf.
[15]Z世杰，杨东坡与刘金环，基于卷积神经网络的商品图像精细分类[J].山东科技大学学报：自然科学版，2014（6）：9196.
[16]程文博等，基于卷积神经网络的注塑制品短射缺陷识别[J].塑料工业，2015（7）：3134，38.
[17]邓柳，汪子杰，基于深度卷积神经网络的车型识别研究[J].计算机应用研究，2016（4）：14.
[18]T JONATAN，S MURPHY，Y LECUN，et al.Realtime continuous pose recovery of human hands using convolutional networks[J].ACM Transaction on Graphics，2014，33（5）：3842.
[19]S SKITTANON，A C SURENARAN，J C PLATT，et al.Convolutional networks for speech detection[C].Interspeech.Lisbon，Portugal：ISCA，2004.
[20]HUBEL D H，WIESEL T N.Integrative action in the cat's lateral geniculate body[J].Journal of Physiology，1961，155（2）：385398.
[21]JAKE BOUVRIE.Notes on convolutional neural networks[DB/OL].http：///5869/1/cnn_tutorial.pdf.