卷积神经网络可视化范文

导语：如何才能写好一篇卷积神经网络可视化，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

（江苏科技大学电子信息学院，江苏镇江212003）

摘要：在实际交通环境中，由于运动模糊、背景干扰、天气条件以及拍摄视角等因素，所采集的交通标志的图像质量往往不高，这就对交通标志自动识别的准确性、鲁棒性和实时性提出了很高的要求。针对这一情况，提出一种基于深层卷积神经网络的交通标志识别方法。该方法采用深层卷积神经网络的有监督学习模型，直接将采集的交通标志图像经二值化后作为输入，通过卷积和池采样的多层处理，来模拟人脑感知视觉信号的层次结构，自动地提取交通标志图像的特征，最后再利用一个全连接的网络实现交通标志的识别。实验结果表明，该方法利用卷积神经网络的深度学习能力，自动地提取交通标志的特征，避免了传统的人工特征提取，有效地提高了交通标志识别的效率，具有良好的泛化能力和适应范围。

关键词 ：交通标志；识别；卷积神经网络；深度学习

中图分类号：TN911.73?34；TP391.41 文献标识码：A 文章编号：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金项目：国家自然科学基金面上项目（61371114）

0 引言

随着智能汽车的发展，道路交通标志的自动识别[1?3]作为智能汽车的基本技术之一，受到人们的高度关注。道路交通标志识别主要包括两个基本环节：首先是交通标志的检测，包括交通标志的定位、提取及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取和分类。

如今，交通标志的识别方法大多数都采用人工智能技术，主要有下述两类形式[4]。一种是采用“人工特征+机器学习”的识别方法，如基于浅层神经网络、支持向量机的特征识别等。在这种方法中，主要依靠先验知识，人工设计特征，机器学习模型仅负责特征的分类或识别，因此特征设计的好坏直接影响到整个系统性能的性能，而要发现一个好的特征，则依赖于研究人员对待解决的问题的深入理解。另一种形式是近几年发展起来的深度学习模型[5]，如基于限制波尔兹曼机和基于自编码器的深度学习模型以及卷积神经网络等。在这种方法中，无需构造任何的人工特征，而是直接将图像的像素作为输入，通过构建含有多个隐层的机器学习模型，模拟人脑认知的多层结构，逐层地进行信息特征抽取，最终形成更具推广性和表达力的特征，从而提升识别的准确性。

卷积神经网络作为深度学习模型之一，是一种多层的监督学习神经网络，它利用一系列的卷积层、池化层以及一个全连接输出层构建一个多层的网络，来模仿人脑感知视觉信号的逐层处理机制，以实现视觉特征信号的自动提取与识别。本文将深层卷积神经网络应用于道路交通标志的识别，通过构建一个由二维卷积和池化处理交替组成的6层网络来逐层地提取交通标志图像的特征，所形成的特征矢量由一个全连接输出层来实现特征的分类和识别。实验中将加入高斯噪声、经过位移、缩放和旋转处理的交通标志图像以及实际道路采集交通标志图像分别构成训练集和测试集，实验结果表明，本文所采用的方法具有良好的识别率和鲁棒性。

1 卷积神经网络的基本结构及原理

1.1 深度学习

神经科学研究表明，哺乳动物大脑皮层对信号的处理没有一个显示的过程[5]，而是通过信号在大脑皮层复杂的层次结构中的递进传播，逐层地对信号进行提取和表述，最终达到感知世界的目的。这些研究成果促进了深度学习这一新兴研究领域的迅速发展。

深度学习[4，6?7]的目的就是试图模仿人脑感知视觉信号的机制，通过构建含有多个隐层的多层网络来逐层地对信号特征进行新的提取和空间变换，以自动学习到更加有效的特征表述，最终实现视觉功能。目前深度学习已成功地应用到语音识别、图像识别和语言处理等领域。在不同学习框架下构建的深度学习结构是不同的，如卷积神经网络就是一种深度的监督学习下的机器学习模型。

1.2 卷积神经网络的基本结构及原理

卷积神经网络受视觉系统的结构启发而产生，第一个卷积神经网络计算模型是在Fukushima 的神经认知机中提出的[8]，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网络结构形式。后来，LeCun 等人在该思想的基础上，用误差梯度设计并训练卷积神经网络[9?10]，在一些模式识别任务上得到优越的性能。

卷积神经网络本质上是一种有监督的深度学习算法，无需事先知道输入与输出之间精确的数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以学习到输入与输出之间的一种多层的非线性关系，这是非深度学习算法不能做到的。卷积神经网络的基本结构是由一系列的卷积和池化层以及一个全连接的输出层组成，可以采用梯度下降法极小化误差函数对网络中的权值和阈值参数逐层反向调节，以得到网络权值和阈值的最优解，并可以通过增加迭代次数来提高网络训练的精度。

1.2.1 前向传播

在卷积神经网络的前向传播中，输入的原始图像经过逐层的卷积和池化处理后，提取出若干特征子图并转换成一维特征矢量，最后由全连接的输出层进行分类识别。

在卷积层中，每个卷积层都可以表示为对前一层输入图像的二维卷积和非线性激励函数，其表达式可用式（1）表示：

式中：Yj 表示输出层中第j 个输出；Y l + 1i 是前一层（l + 1层）

的输出特征（全连接的特征向量）；n 是输出特征向量的长度；Wij 表示输出层的权值，连接输入i 和输出j ；bj表示输出层第j 个输出的阈值；f (?) 是输出层的非线性

1.2.2 反向传播

在反向传播过程中，卷积神经网络的训练方法采用类似于BP神经网络的梯度最速下降法，即按极小化误差的方法反向传播调整权值和阈值。网络反向传播回来的误差是每个神经元的基的灵敏度[12]，也就是误差对基的变化率，即导数。下面将分别求出输出层、池采样层和卷积层的神经元的灵敏度。

（1）输出层的灵敏度

对于误差函数式（6）来说，输出层神经元的灵敏度可表示为：

在前向传播过程中，得到网络的实际输出，进而求出实际输出与目标输出之间的误差；在反向传播过程中，利用误差反向传播，采用式（17）~式（20）来调整网络的权值和阈值，极小化误差；这样，前向传播和反向传播两个过程反复交替，直到达到收敛的要求为止。

2 深层卷积神经网络的交通标志识别方法

2.1 应用原理

交通标志是一种人为设计的具有特殊颜色（如红、黄、白、蓝、黑等）和特殊形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，一般采用颜色来区分不同的类型，用形状或图形来标示具体的信息。从交通标志设计的角度来看，属于不同类型（不同颜色）的交通标志在形状或图形上有较大的差异；属于相同类型（相同颜色）的标志中同类的指示信息标志在形状或图形上比较接近，如警告标志中的平面交叉路口标志等。因此，从机器视觉的角度来分析，同类型中同类指示信息的标志之间会比不同类型的标志之间更易引起识别错误。换句话说，相比于颜色，形状或图形是正确识别交通标志的关键因素。

因此，在应用卷积神经网络识别交通标志时，从提高算法效率和降低错误率综合考虑，将交通标志转换为灰度图像并作二值化处理后作为卷积神经网络的输入图像信息。图2给出了应用卷积神经网络识别交通标志的原理图。该网络采用了6层交替的卷积层和池采样层来逐层提取交通标志的特征，形成的特征矢量由一个全连接的输出层进行识别。图中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分别表示卷积层L1,L3,…,Ln - 1 的卷积核；Input表示输入的交通标志图像；

Pool表示每个池采样层的采样池；map表示逐层提取的特征子图；Y 是最终的全连接输出。

交通标志识别的判别准则为：对于输入交通标志图像Input，网络的输出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，则Input ∈ j，即判定输入的交通标志图像Input为第j 类交通标志。

2.2 交通标志识别的基本步骤

深层神经网络识别交通标志主要包括交通标志的训练与识别，所以将交通标志识别归纳为以下4个步骤：（1） 图像预处理：利用公式Gray= 0.299R +0.587G + 0.114B 将彩色交通标志图像转换为灰度图像，再利用邻近插值法将交通标志图像规格化，最后利用最大类间方差将交通标志图像二值化。

（2）网络权值和阈值的初始化：利用随机分布函数将权值W 初始化为-1~1之间的随机数；而将阈值b 初始化为0。

（3）网络的训练：利用经过预处理的交通标志图像构成训练集，对卷积神经网络进行训练，通过网络前向传播和反向传播的反复交替处理，直到满足识别收敛条件或达到要求的训练次数为止。

（4）交通标志的识别：将实际采集的交通标志图像经过预处理后，送入训练好的卷积神经网络中进行交通标志特征的提取，然后通过一个全连接的网络进行特征分类与识别，得到识别结果。

3 实验结果与分析

实验主要选取了我国道路交通标志的警告标志、指示标志和禁令标志三类中较常见的50幅图像。考虑到在实际道路中采集到的交通标志图像会含有噪声和出现几何失真以及背景干扰等现象，因此在构造网络训练集时，除了理想的交通标志以外，还增加了加入高斯噪声、经过位移、旋转和缩放处理和实际采集到的交通标志图像，因此最终的训练样本为72个。其中，加入的高斯噪声为均值为0，方差分别为0.1，0.2，0.3，图像的位移、旋转、缩放的参数分别随机的分布在±10，±5°，0.9~1.1的范围内。图3给出了训练集中的交通标志图像的示例。图4是在实际道路中采集的交通标志图像构成的测试集的示例。

在实验中构造了一个输入为48×48个神经元、输出为50 个神经元的9 层网络。网络的输入是像素为48 × 48 的规格化的交通标志图像，输出对应于上述的50种交通标志的判别结果。网络的激活函数采用S型函数，如式（2）所示，其输出范围限制在0~1之间。

图6是交通标志的训练总误差EN 曲线。在训练开始的1 500次，误差能迅速地下降，在迭代2 000次以后是一个平稳的收敛过程，当迭代到10万次时，总误差EN可以达到0.188 2。

在交通标志的测试实验中，为了全面检验卷积神经网络的识别性能，分别针对理想的交通标志，加入高斯噪声、经过位移、旋转和比例缩放以及采集的交通标志图像进行实验，将以上测试样本分别送入到网络中识别，表2给出了测试实验结果。

综合分析上述实验结果，可以得到以下结论：（1）在卷积神经网络的训练学习过程中，整个网络的误差曲线快速平稳的下降，体现出卷积神经网络的训练学习具有良好的收敛性。

（2）经逐层卷积和池采样所提取的特征具有比例缩放和旋转不变性，因此对于旋转和比例缩放后的交通标志能达到100%的识别率。

（3）与传统的BP网络识别方法[11]相比较，卷积神经网络能够达到更深的学习深度，即在交通标志识别时能够得到更高的所属类别概率（更接近于1），识别效果更好。

（4）卷积神经网络对实际采集的交通标志图像的识别率尚不能达到令人满意的结果，主要原因是实际道路中采集的交通标志图像中存在着较严重的背景干扰，解决的办法是增加实际采集的交通标志训练样本数，通过网络的深度学习，提高网络的识别率和鲁棒性。

4 结论

本文将深层卷积神经网络应用于道路交通标志的识别，利用卷积神经网络的深层结构来模仿人脑感知视觉信号的机制，自动地提取交通标志图像的视觉特征并进行分类识别。实验表明，应用深层卷积神经网络识别交通标志取得了良好的识别效果。

在具体实现中，从我国交通标志的设计特点考虑，本文将经过预处理二值化的图像作为网络的输入，主要是利用了交通标志的形状信息，而基本略去了颜色信息，其优点是在保证识别率的基础上，可以简化网络的结构，降低网络的计算量。在实际道路交通标志识别中，将形状信息和颜色信息相结合，以进一步提高识别率和对道路环境的鲁棒性，是值得进一步研究的内容。

此外，本文的研究没有涉及到道路交通标志的动态检测，这也是今后可以进一步研究的内容。

参考文献

[1] 刘平华，李建民，胡晓林，等.动态场景下的交通标识检测与识别研究进展[J].中国图象图形学报，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中国计算机学会.深度学习：推进人工智能梦想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 郑胤，陈权崎，章毓晋.深度学习及其在目标和行为识别中的新进展[J].中国图象图形学报，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 杨斐，王坤明，马欣，等.应用BP神经网络分类器识别交通标志[J].计算机工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周开利，康耀红.神经网络模型及其Matlab 仿真设计[M].北京：清华大学出版社，2005.

[14] 孙志军，薛磊，许阳明，等.深度学习研究综述[J].计算机应用研究，2012，29（8）：2806?2810.

[15] 刘建伟，刘媛，罗雄麟.深度学习研究进展[J].计算机应用研究，2014（7）：1921?1930.

篇2

关键词：水尺 检测 图像识别

中图分类号：TP274 文献标识码：A 文章编号：1007-9416（2013）01-0114-02

1 引言

随着航运技术的发展，船舶运输越来越受到人们的关注。船舶的水尺计重作为一种科学的计重方法，具有一定的准确性，在国际上已广泛应用，其计算结果可作为商品交接结算、理赔、计算运费和通关计税的依据。其适用于价值较低，衡重困难的大宗散装固体商品，例如煤炭、铁矿石、水泥、粮食等商品的重量计算。水尺计重的优点是省时、省力、省费用，能迅速计算出整船货物的重量，但是计算过程较为复杂，影响计重结果的客观因素较多，特别船舶刻度观测水平是影响水尺准确性最重要因素。船舶吃水线的检测目前主要依靠经过长期训练的观察人员目测船舶的水尺标志而获得船舶的实际吃水值，为了获得较为精确的数值，需要观察人员多次查看，以求得平均值。这种人眼目测船舶吃水线数值的方式，往往带有主观性，存在较大的局限性，例如：观测不方便，受环境影响大，并且观测存在一定危险。因此，本文提出采用Matlab7.0作为仿真环境，利用图像处理技术，设计船舶吃水线自动检测的算法来自动检测船舶水尺刻度数值，可以克服人工目测所引起的一系列问题，完整的记录整个观测阶段的吃水线位置，并使后续的数据处理成为可能。降低了系统复杂性，又提高了效率和准确度。

2 图像识别技术的原理

近年来，拍摄设备性能的不断完善，设备的分辨率能够达到很精确的程度，图片质量清晰度非常高，同时计算机体系结构和算法的快速发展，使得图像处理的性能和运算速度得到了较大提高，这些都为吃水线的求取提供了可能。一幅图像在计算机中可以定义为一个二维函数f（x，y），其中x和y是空间（平面）坐标，而在任何一对空间坐标（x，y）处的幅值f称为该点处的灰度，当x，y和灰度值f是有限的离散数值时，我们称该图像为数值图像，数字图像处理就是借助计算机来处理上述这些数字图像。数字图像是由有限数量的元素组成的，每个元素都有一个特殊的位置和数值，要将一副图像转化为数字形式，就要求数字化x，y和灰度值f。在此基础上，利用上述数值，设计相应的算法即可得到船舶水尺精确的刻度值。

3 船舶吃水线刻度检测算法的设计

3.1 总体结构设计

本文利用Matlab7.0作为仿真环境，通过采集到的视频图像序列，首先设计计算法检测出吃水线边缘，找到吃水线的位置，然后对船帮上刻度字进行分割，并求出水平面距离所在刻度上边缘的距离，利用BP神经网络对水尺刻度线进行识别，得到吃水线的数值。吃水线检测算法的总流程图如（图1）所示：

3.2 船舶吃水线刻度检测算法关键步骤的处理

3.2.1 图像的灰度化和二值化处理

相比彩色图像，灰度图像的边缘检测较为方便和快捷，计算量小，所以先将获取到的彩色图像转为灰度图像。而图像的二值化处理就是将图像上的像素点的灰度值设置为0至255，将采样后所得到的各像素的灰度值用矩阵表示，即灰度图的量化。所有灰度值大于或者等于阀值的像素被判定为特殊物体，灰度值小于阀值的则表示为背景或者其他物体区域。通过将灰度值投影到曲线上，则可以获得灰度值的分布特征。

3.2.2 选择合适的边缘检测算法找到吃水线的边缘

数字图像的边缘检测是图像分割，目标区域识别，区域形状提取等图像领域中十分重要的基础，边缘是图像的最基本特征之一，它是利用周围像素灰度有阶跃变化或屋顶变化的像素的集合。边缘检测算法大致分为两类：基于查找和基于零穿越的边缘检测。常用的边缘检测算法有：Roberts、Prewitt、Sobel、LOG、Canny算法等。

3.2.3 选择合适的阀值对刻度字的分割

图像分割是一种重要的图像分析技术，在对图像的研究和应用中，人们往往仅对图像中的特定部分感兴趣。为了识别和分析图像中得目标，需要将它们从图像中分离提取出来，在此基础上才有可能进一步对目标进行测量和对图像进行利用。而分割字符的思想就是利用刻度字区域黑色像素点比较多，比较集中，同时根据水尺标志的特点，每个字符之间有10cm的空隙间隔隔开，这样得到的投影图有几个比较集中却又有明显分割的投影峰值群，通过设定特定的阀值来判定特定物体，通过这种方法将找出船帮上刻度字的左右边界。

3.2.4 选择BP神经网络对船帮处水尺字符进行识别

字符识别的主流技术有：统计决策法、人工智能法、模板匹配法和人工神经元网络法等。同在字符识别领域相对比较成熟的光学字符（OCR）识别、车牌识别相比，船帮处水尺刻度字符由于表面凹凸、油漆掉色或摄像时水面反光等情况造成的字符畸变。为了提高系统的抗干扰性和自适应性，本文计划采用对噪声干扰和形变有较好适应性的BP神经网络模型方式来进行识别。BP网络是神经网络的一个分支，又称误差信号反馈网络，是神经网络中使用最广泛的一类。并尝试通过改善收敛性，神经元的个数，提高系统的识别率。

3.3 Matlab软件的使用

Matlab由美国的MathWorks公司出品，它的指令表达式与数学，工程中常用的形式十分相似。其典型的应用包括：（1）数学和计算；（2）算法开发；（3）数据获取；（4）建模、模拟和原型设计；（5）数据分析、研究和可视化；（6）科学和工程图形；（7）应用开发，包括图像用户界面的构建。MATLAB中补充了许多针对特殊应用的工具箱，图像处理工具箱是一个MATLAB函数集合，能进行图像的和、差等线性运算，以及卷积、相关、滤波等非线性运算，几乎包括了常用的图像处理操作的各种函数，只需了解这些函数的使用方法，正确调用函数就可以实现常用的各种图像处理的操作。MATLAB能支持包括：TIFF、BMP、JPEG等的图形文件的格式，用它来解决图像问题比用C，Fortran等语言完成相同的事情简捷的多。因此利用此工具，我们可以方便地从各个方面对图像的性质进行深入的研究。

本文所研究的内容是在静态图像上对吃水线进行检测，其技术路线包括图像的预处理，利用边缘检测算子对吃水线边缘进行拟合，去除干扰，得到吃水线的位置。利用船舶刻度字的特点，对其进行分割，对分割出来的字符进行识别后，得到吃水线的数值。以上都可以通过Matlab调用不同的工具箱和函数来实现。

4 结语

由于经济利益，发货人、收货方和承运人都对货物的重量非常重视，而且越来越精细、严格，如何准确计算船舶载重量成为亟待解决的问题。作为近年来快速发展起来的一个计算机学科，通过使用图像处理和分析的手段，获得水平面在图像中的准确位置，既可以克服人工目测所引起的一系列问题，完整的记录整个观测阶段的吃水线位置，使后续的数据处理成为可能，既降低了系统复杂性，又提高了效率和准确度。图像处理的对象是一幅幅拍摄下的照片，其中的吃水线位置是固定的，这样就为后续的处理和计算奠定了一个静态的基础，不会发生象人眼目测，由于景物晃动而产生的错觉。同时，拍摄下的照片作为测量的记录保存，可以满足今后复核或是查对的要求。再次，利用图像处理技术，可以大幅度降低对有经验观测人员的依赖。因此利用图像识别技术对船舶水尺测量具有广泛的应用价值。

参考文献

[1]SN/T 0187-93 进出口商品重量鉴定规程——水尺计重.

[2]陈德为，张培铭.转动式交流接触器动态过程分析与控制[J].福州大学学报：自然科学版，2008，36（1）：95—99.

[3]陈德为，张培铭.采用高速摄像机的智能交流接触器控制及其测试装置的研制[M].电工电能新技术：2009，28（3）：58-61，72.

[4]周广程.图像处理技术在船舶吃水自动检测系统中的应用[D].南京：南京理工大学，2006.