卷积神经网络概述范文

导语：如何才能写好一篇卷积神经网络概述，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：深度学习；机器学习；卷积神经网络

1概述

深度学习（Deep Learning）是人工智能、图像建模、模式识别、神经网络、最优化理论和信号处理等领域的交叉学科，主要构建和模拟人脑进行分析学习，它属于机器学习的新兴领域。

2大数据与深度学习

目前，光学检测、互联网、用户数据、互联网、金融公司等许多领域都出现了海量数据，采用BP算法对于训练神经网络出现了梯度越来越稀疏、收敛到局部最小值只能用有标签的数据来训练等缺点。Hinton于2006年提出了深度学习的概念，Lecun等人提出了卷积神经网络，卷积神经网络利用空间关系减少参数数目以提高训练性能。

CPU和GPU计算能力大幅提升，为深度学习提供了硬件平台和技术手段，在海量大数据处理技术上解决了早期神经网络训练不足出现的过拟合、泛化能力差等问题。

大数据和深度学习必将互相支撑，推动科技发展。

3深度学习模型

深度学习模型实际上是一个包含多个隐藏层的神经网络，目前主要有卷积神经网络，深深度置信神经网络，循环神经网络。

1）卷积神经网络

在机器学习领域，卷积神经网络属于前馈神经网络的一种，神经元不再是全连接的模式，而是应用了局部感受区域的策略。然而传统的神经网络使用神经元间全连接的网络结构来处理图像任务，因此，出现了很多缺陷，导致模型⑹急剧增加，及其容易过拟合。

在卷积神经网络中，网络中的神经元只与前一层的部分神经元连接，利用图像数据的空间结构，邻近像素间具有更强的相关性，单个神经元仅对局部信息进行响应，相邻神经元感受区域存在重叠，因此，综合所有神经元可以得到全局信息的感知。

另外，一个卷积层中的所有神经元均由同一个卷积核对不同区域数据响应而得到，即共享同一个卷积核，使得卷积层训练参数的数量急剧减少，提高了网络的泛化能力。

一般在卷积层后面会进行降采样操作，对卷积层提取的特征进行聚合统计。降采样区域一般不存在重叠现象。降采样简化了卷积层的输出信息，进一步减少了训练参数的数量，增强了网络的泛化能力。

卷积神经网络实现了局部特征的自动提取，使得特征提取与模式分类同步进行，适用于处理高分辨率的图像数据。目前，卷积神经网络在图像分类、自然语言处理等领域得到广泛应用。

2）深度置信网络

深度置信网络是一种生成模型，网络中有若干隐藏层，同一隐藏层内的神经元没有连接，隐藏层间的神经元全连接。神经网络经过“反向运行”得到输入数据。

深度置信网络可以用做生成模型，通过前期的逐层无监督学习，神经网络可以较好的对输入数据进行描述，然后把训练好的神经网络看作深度神经网络，最后得到分类任务的深度神经网络。

深度置信网络可以用于图像识别、图像生成等领域，深度置信网络可以进行无监督或半监督的学习，利用无标记数据进行预训练，提高神经网络性能。但近几年由于卷积神经网络的飞速发展，深度置信网络已经很少被提及。

3）循环神经网络

循环神经网络是一种专门用于处理时序数据的神经网络，它与典型的前馈型神经网络最大区别在于网络中存在环形结构，隐藏层内部的神经元是互相连接的，可以存储网络的内部状态，其中包含序列输入的历史信息，实现了对时序动态行为的描述。这里的时序并非仅仅指代时间概念上的顺序，也可以理解为序列化数据间的相对位置。如语音中的发音顺序，某个英语单词的拼写顺序等。序列化输入的任务都可以用循环神经网络来处理。如语音、视频、文本等。对于序列化数据，每次处理时输入为序列中的一个元素，比如单个字符、单词、音节，期望输出为该输入在序列数据中的后续元素。循环神经网络可以处理任意长度的序列化数据。

循环神经网络可以用于机器翻译、连写字识别、语音识别等。循环神经网络和卷积网络结合，将卷积神经网络用于检测并识别图像中的物体，循环神经网络用于识别出物体的名称为输入，生成合理的语句，从而实现对图像内容的描述。

4深度学习应用

1）语音识别

语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。其应用领域主要有语音输入系统、语音控制系统和智能对话查询系统，语音识别极大地推动了人工智能的快速发展。1952年Davis等人研究了世界上第一个能识别10个英文数字发音的实验系统。大规模的语音识别研究是在20世纪70年代以后，在小词汇量、孤立词的识别方面取得了实质性的进展。2012年，微软研究院使用深度神经网络应用在语音识别上将识别错误率降低了20%，取得了突破性的进展。2015年11月17日，浪潮集团联合全球可编程芯片巨头Altera，以及中国最大的智能语音技术提供商科大讯飞，共同了一套DNN语音识别方案。

2）图像分析

图像是深度学习最早尝试的应用领域。1989年，LeCun和他的同事们就发表了卷积神经网络的工作。2012年10月，Hinton和他的两个学生用更深的CNN在ImageNet挑战上获得了第一名，使图像识别向前跃进了一大步。

自2012年以来，深度学习应用于图像识别使得准确率大大上升，避免了消耗人工特征抽取的时间，极大地提升了效率，目前逐渐成为主流的图像识别与检测方法。

篇2

关键词：PCA算法；人脸识别；五级并行PCA模型；权重计算；均值滤波

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）19-0147-02

Research on Face Recognition System Based on Parallel PCA Algorithm

ZHAO Ya-peng

（College of Information Science and Engineering， Shandong University of Science and Technology， Qingdao 266590， China ）

Abstract：In order to solve the problem of fast and accurate face recognition， a face recognition method based on parallel PCA algorithm is proposed. Using principal component analysis （PCA） method can reduce the dimension of features， easy to implement， training time is short， the design and implementation of a parallel algorithm for PCA， first of all according to the whole image to extract the 4 part of face images， then the whole image and 4 partial images at the same time by the same structure of the PCA model of learning， face feature vector extraction， the Euclidean distance for matching calculation of the test images and training images， finally through the test image with the five level parallel PCA model identification results are weighted decision， in order to achieve face recognition. Using the image data of the ORL face database ， the simulation results in Matlab show that the method has a great degree of improvement in accuracy， the recognition speed is relatively fast， with a high degree of robustness.

Key words：PCA algorithm；Face recognition；Five level parallel PCA model；Weight calculation；Mean filter

1 概述

随着智能终端设备（手机、Pad、门禁等）的不断发展，身份识别已经成为我们日常生活的重要组成部分，身份验证技术被广泛应用于各个领域，特别是人们对于个人隐私信息的保护，使得身份识别再次成为关注的焦点。人脸识别作为身份识别的重要手段之一，因其具有识别率高、采集性强、接受性高等特点，在身份识别的各类方法中具有独特的优势，成为了目前比较热门的研究领域。

目前，卷积神经网络（Convolutional Neural Networks）是图像识别领域最重要的研究热点，而且在语音识别领域也取得了不错的效果，但是卷积神经网络的整个训练过程比较费时，而且实现相对复杂，而基于PCA算法的人脸识别技术因其自身存在的许多缺陷，一直没有被广泛应用，但该方法实现简单、学习速度较快，因此，本文主要研究改进的并行PCA算法，以弥补传统PCA算法在人脸识别领域的不足。

本文提出的基于并行PCA算法的人脸识别技术，首先对原始图像进行预处理，如灰度归一化和中值滤波等操作，以消除图像噪声、光照等因素造成的影响，使得特征提取更加准确可靠。然后，通过5级并行PCA模型获取数据的不同特征矩阵，然后将训练图像和测试图像分别进行子空间的投影，利用欧氏径向基函数（Euclidean Radial Basis Function）进行人脸的匹配，最后根据训练得到的权值向量进行加权决策。本文通过ORL人脸数据库的仿真实验证明，该算法的效果明显好于PCA算法。

2 并行PCA算法

PCA（Principal Component Analysis）即主成分分析技术，PCA是基于K-L变换的统计学分析方法，是多元分析中常用的方法，其基本思想是将高维数据投影到低维空间，主要过程在于特征值的计算和矩阵的降维。将PCA应用于人脸识别时，首先将图像转化成矩阵向量，然后进行矩阵的奇异值分解（Singular Value Decomposition），将高维向量通过计算得到的特征向量矩阵投影到低维的向量空间，从而减少数据的计算量。

2.1 基于并行PCA算法的人脸识别流程

本文中提出的并行PCA算法，正是基于上述的PCA算法，通过建立5级的PCA算法模型同时进行数据特征的学习，使得最终的人脸识别准确率得到进一步的提高，具体的人脸识别流程如图1所示。

2.2 并行PCA算法的实现的步骤

2.2.1 人脸图像的预处理

首先，需要把ORL人脸数据数据库的所有训练图像大小进行归一化，并转化为像素矩阵，矩阵大小记为，为矩阵的行数，为矩阵的列数。之后利用均值滤波和灰度归一化进行图像的去噪处理，以消除光线等问题对图像造成的影响，以方便后期的特征提取等操作。

2.2.2 人脸图像的PCA降维

根据PCA的原理，可以将每一张图像看成是一个高维的向量，所有的图像可以看成是这个高维空间中的一点，PCA要做的就是找出另外一个尽可能多的反应图像特征的低维空间。

假如样本由n张大小为p*q的人脸图像组成，那么每一张图像可以保存为一列向量，向量维数是p*q，真个样本可以看成是一个行数为n，列数为p*q的矩阵记为矩阵A。

根据上述过程，首先求出矩阵A的协方差矩阵，然后求出协方差矩阵的特征值，选取前m个最大的特征值，然后求出对应的特征向量，组成一个特征矩阵。通常所说的“特征脸”就是这些特征向量，而特种功能矩阵就是“特征脸”空间或者说子空间。然后可以将每一张图片投影到该子空间，得到了每一张图像的投影矩阵（l*m）。

2.2.3 人脸图像的识别

对于待识别的图像，也可以看成是一列向量，投影到子空间得到一个投影矩阵，然后一一求出这个投影矩阵与样本图像投影矩阵最相似的。然而有可能该人脸不是人脸库中的，所以最相似的人脸也不一定是同一个人脸，还需要设置一个阈值来判断待识别人脸是否是人脸库中的。

人脸识别部分正是基于上述的PCA算法，在本文所提出的并行PCA模型中，是由5级的PCA模型同时进行人脸识别这一操作，最后根据训练得到的权值向量进行决策，通过使用多个PCA模型，从而使得整个识别过程的准确率得到进一步的提升。

3 系统设计及实现

3.1 系统总体设计

本文中所提出的基于并行PCA算法的人脸识别系统，包括人脸图像采集模块、图像预处理模块、识别模块。人脸图像采集模块主要是采集训练图像数据和测试图像数据，并由原始图像提取出4幅与之对应的部分图像；图像预处理模块主要就是进行图像归一化和图像的去噪工作，图像的归一化包括大小归一化和灰度归一化，可以使用比较常见的直方图均衡化等技术，而图像的去噪可以使用中值滤波技术，以去除比较常见的高斯噪声等；人脸识别模块是基于5级相互独立的PCA模型进行特征值的学习和比对，而且通过训练得到的权值向量进行最终的是脸识别决策。整个系统的实现是基于Matlab进行仿真实验的，实验数据来自剑桥大学AT&T实验室创建的ORL人脸数据库。

3.2系统功能模块实现

3.2.1人脸图像采集实现

图像采集模块主要就是将存储在本地的图像文件通过Matlab的imread函数读入矩阵中，以方便后期的PCA操作，其核心语句为Image{t}=imread（[[filepath，FilDir（ii）.name]，'＼'，ImDir{ii}（jj）.name]）；

使用上述语句即可读入训练数据和测试数据文件。

3.2.2 图像预处理模块

该模块的主要任务就是利用中值滤波和直方图均衡化进行图像的去噪工作，以消除不同光照和图像噪声的影响，提高准确率。其核心代码为：

S1=zeros（1，256）；

for i=1：256

for j=1：i

S1（i）=GP（j）+S1（i）；

end

end

S2=round（（S1*256）+0.5）；

for i=1：256

GPeq（i）=sum（GP（find（S2==i）））；

end

3.2.3 识别模块

图像经过之前的预处理之后，需要将图像矩阵转化为列向量，一幅图像就是一列向量，整个训练图像构成了整个特征空间矩阵，测试图像也会转化为一列向量，之后会利用矩阵之间的运算进行图像的分析计算。识别模块的工作就是根据测试图像和之前所有的训练数据进行对比，查找到与之最相似的图像，实验的结果如图2所示。

4 结论

PCA算法作为传统的人脸识别算法，因其自身存在的许多缺陷而没能发挥较好的作用，但是其自身具有其他算法所不具有的特点，本文设计的并行PCA算法虽然是基于PCA算法，但是借鉴了卷积神经网络的多层结构，而且使用加权操作进行最终人脸识别的决策。基于ORL人脸数据库的测试结果表明，该并行PCA算法的准确率和鲁棒性均得到了进一步的提升，与其他的单独PCA算法具有十分明显的优势。

参考文献：

[1] 张利芳. 基于PCA算法的人脸识别系统研究[D].太原：中北大学，2015.

[2] 杨海燕，蒋新华. 基于并行卷积神经网络的人脸关键点定位方法研究[J]. 计算机应用研究， 2015， 32（8）： 2517-2519.

[3] 杨颖娴. 基于PCA算法和小波变换的人脸识别技术[J]. 微电子与计算机， 2011， 28（1）： 92-94.

[4] 段宝彬，韩立新. 改进的卷积神经网络及在碎纸拼接中的应用[J]. 计算机工程与应用， 2014， 50（9）： 176-181.

篇3

关键词：人工智能；科技情报；自动感知

中图分类号：TP18文献标志码：A文章编号：2095-2945（2020）32-0057-02

Abstract：Fromtheperspectiveofartificialintelligence，peoplerequireasignificantimprovementintheaccuracyofscientificandtechnologicalinformationservices，sothatitsvaluecontinuestorise，bringingchallengesandopportunitiesforintelligencework.Bysummarizingthecontentsofartificialintelligenceandscientificandtechnologicalinformation，combinedwithartificialintelligencetechnology，thispaperstudiestheautomaticperceptionofscientificandtechnologicalinformationneedsconcerningthekeypoints，contentperceptionandotheraspects，highlightingthewisdom，intelligenceandefficiencyofscientificandtechnologicalinformationwork，andoptimizingtheautomaticperceptionscheme.

Keywords：artificialintelligence；scientificandtechnologicalinformation；automaticperception

前言

当前科技情报服务对象不仅局限于特定的行业和领域，已经逐渐渗透至某一技术和个人，情报机构只有提升情报分析和反应能力才可以满足新需求。因此，机构有必要加强对用户需求的感知度，依托人工智能技术构建科技情报的感知框架，提升感知工作的合理性和高效性，进而挖掘科技情报感知领域的价值。

1人工智能及科技情报感知概述

1.1人工智能分析

人工智能又称AI，伴随着计算速度、核心算法的优化，该技术已经在神经网络、自然语言、机器学习等方面趋于成熟。当前人工智能技术可以定制个性化任务，结合不同的环境响应个体需求，制定解决方案[1]。因此，人工智能技术能够快速处理海量数据，若人类智力水平已无法满足严苛工作要求，可以借助人工智能技术处理复杂工作。同时，科技情报感知模块属于综合预测过程，因此有必要结合人工智能技术制定科技情报感知方案，实现情报工作向智慧化、个性化、精准化方向发展。

1.2情报感知分析

科技情报感知主要是工作人员针对采集到的数据完成处理、分析，进而满足受众对于情报的需求，并对今后其发展过程进行预测。学者刘记曾指出，依托科技情报感知工作可以为实现国家治理体系和治理能力现代化提供支持，加快情报刻画、情报感知以及情报响应能力的建设进程。其中，情境感知的研究具有一定复杂度，G.Chen通过调查情境信息、情境类型、情境传播等模型和系统，分析情境感知的应用程序，得出情境感知是领域普适学习的关键。例如，借助情境感知可以为用户提供体温、运动路径、温度等方面的服务。

因此，科技情报感知工作对于我国情报治理、预先感知等方面影响较大，结合人工智能技术创新科技情报感知模块已是大势所趋。当前大数据时代科技情报已经不仅停留于文献领域，正逐渐向多种数据源模式发展，要求科技情报软硬件不断升级优化，数据存储和处理水平逐渐升级，进而满足社会对情报数据的需求。

2人工智能视域下科技情报需求自动感知研究

2.1融合关键点

（1）创新驱动。当前科技情报需求逐渐向科技创新领域发展，依托我国创新驱动的发展战略，基于科学技术完成升级和发展。将科学技术和科技情报相结合后，情报工作的创新性较强，具有数字化和智慧化优势，并突出情报工作的个性化和精准性。因此，依托人工智能技术完成科技情报的自动感知十分关键，是当前科技发展的必经之路。

（2）前瞻性定位。新时期资源的网络化和数字化发展为科技情报研究工作提供大数据支持，可以在海量数据的收集、分析、处理方面发挥优势。传统的数据研究方式很难在大量数据的基础上提升情报研究质量，同时会增加研究人员的任务量。且每位工作人员自身的专业知识、情报敏感度、知识状态存在差异性，导致最终得出的情报结果不同甚至差异化较大。应用人工智能技术完成科技情报的自动感知十分重要，可以突出工作的准确性、高效性和稳定性。因此，将新兴人工智能技术和传统情报服务工作相融合是现代情报领域的关键，如自动获取和加工情报、高速处理文本信息、人工智能决策平台、依托語义内容的科研成果评价等[2]。

2.2内容感知

（1）感知系统分析。大数据背景下，科技情报预测和传播功能受到重视和应用，属于科技领域的研究热点，可以对竞争、合作、研究方面进行正确的价值判断。科技情报感知主要依托可靠、丰富的数据，借助“互联网+大数据”模式获取信息，在多种资料中得到关键的信息和数据，进而完成科技情报的感知工作。同时，数据源具有冗余度高、形式多样、存储量大的优势，因此能够落实科技情报感知工作，筛选数据源、除去冗余数据、分析剩余有效信息。借助数据集模式与知识储备库、感知数据库一同为感知过程提供信息支持。内容感知系统内的数据源并非固定不变，且信息的更新速度较快、技术淘汰时间较短，因此内容感知是实时更新、持续变化的数据系统。基于相关辅助项目，帮助用户了解工作内容。例如，借助“科技情报产品报告”为感知系统研究和应用提供支持，该报告可以帮助用户了解系统，提前评估系统实际能力，便于用户针对性提出情报需求。

（2）系统实现模式。a.数据源存储。若想发挥科技情报的自动感知作用，系统内需要具备大容量数据集合，进而为感知产品提供分析支持。同时，数据处理过程中对于信息查询、存储挑战较大。因此，本课题结合Neo4j数据库、互联网技术提升数据处理和存储效率，提高系统适应水平，保证其良好的查询效率。Neo4j数据库主要划分为两类应用模式：服务器模式、内嵌模式。本课题利用内嵌模式，借助Java-API，将Neo4j数据库和图模型相互整合。由于API的特点是数据结构灵活，因此可以通过直接编码的模式和图数据库完成交互操作。b.数据源分类。若想对数据源完成自动分类，建议识别数据源的结构功能。例如，利用机器学习、词汇特征等方式划分数据源的功能及结构。依托数据源要素、类型词汇特点、词汇分布特征等方面，依托神经网络内分类器训练模式，围绕领域技术、专题、情报报告、组织数据库等方面对数据源进行分类[3]。c.构建任务抽取模型。结合用户需求抽取目标任务可以充分发挥科技情报的自动感知优势，优化RNN模块。在研究阶段利用Bi-LSTM-CRF、卷积网络模型抽取数据源，并借助长短时双向记忆模型化解RNN梯度爆炸、消失情况。抽取模型内的输入数据是卷积，包含知识元素、句子、词等特征向量，而输出数据则依托（Conditionalrandomfield）条件随机得到结果完成预测。此模型借助多元组的方式展示数据源抽取结果，围绕数据源性质、事项、主体、依据、对象等要素进行连接。

2.3情境感知

（1）情境感知系统。情境感知系统内部因素种类较多，且科技情报感知阶段需要依据情境完成，并对感知结果造成影响。因此，在开展科技情报感知工作时，建议对特定用户完成重新评估。同时，情境感知在情报感知工作中十分关键，若忽视结果会对外部情境产生较大影响，使预测工作丧失精准度。因此，应基于外部情境条件定位事物发展方向，得到精准感知结果，发挥情报前瞻性优势。其中在获取情境数据时应关注“小数据”，即初始结构化数据，此类资源虽数量较小，但是内部包含价值信息，可以获取历史情境信息。此外，问题情境应围绕横向和纵向两个层面分析，横向维度是梳理本层实际情况，针对性选择研究方法和处理方式；纵向维度则依托时间节点理清情境信息。

（2）系统执行方案。情境感知系统建设主要内容是借助科技手段获取某一情境内的数据并完成融合。因此，情境感知技术实际上是借助人工智能中传感器等技术，依托计算机感知当前情境，完成感知应用、智能识别、决策支持，具有无干扰的优势。情境感知包含情境获取、处理、应用三个阶段。其中，情境获取主要依靠传感器终端获取设备关联、用户关联、资源关联、环境关联情境，并将上述情境信息转变为数字信号，利用嵌入系统完成判断和处理；情境处理过程则借助建模的方式控制情境信息，构建信息数据库。整合情境感知信息并协调对应的组合，控制资源分布并将其嵌入至感知数据库内；服务应用阶段相当于人工智能处理模块，可以结合用户需求提供合理服务。

2.4需求-反馈机制

（1）工作过程。需求-反馈机制实际上可以体现用户和人工智能间的关联性，属于科技情报感知的关键环节，包含自动感知信息、数据、产品模块。依托人工智能技术，通过AI方式减轻工作人员任务量。其中，AI能够智能化处理多领域工作，如医疗、教育、驾驶、金融、安防等。在科技情报感知领域引入人工智能技术可以准确、高效、及时地开展情报工作，提升工作效率、减少决策偶然性、加快数据分析处理速度。同时，科技情报感知工作的主体是用户，首先需要将其对产品的需求发送至AI处，其次借助人工智能模块分析、整合内外感知数据库信息，最后向用户反馈情报产品和相关结果。

（2）情报感知产品。情报感知产品主要结合用户产品需求，依据感知数据库内的条件因素预测今后用户对于情报产品的需求，进而在后续工作中有针对性地向用户推送产品信息，为科技情报工作的可持续发展提供支持。因此，人工智能和科技情报感知工作相结合可以充分发挥自动感知优势，降低对工作人员决策的依赖性。专业人员依据多种数据源进行分析与评估，最终得出精准的感知结果。同时，人工智能技术的应用可以自动形成情报感知产品，并向用户推送反馈数据，由主动感知向自动感知发展，契合新时期情报3.0的发展趋势，加快国家科技决策和科技创新发展进程。