模式识别范文
时间:2023-04-11 17:29:37
导语:如何才能写好一篇模式识别,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
关键词:模糊模式 识别 计算机识别 应用 研究
中图分类号:TP391.4 文献标识码:A 文章编号:1672-3791(2017)04(a)-0008-02
在计算机识别中,对模糊模式识别进行了有效的应用。在模糊集合当中,通常是对一个概念的内涵进行有效的描述。在这个过程中,将数学方法进行应用能够对人的思维过程进行有效的模拟,将这项识别技术应用在计算机识别中,能够有效地提高整个系统的可靠性。
1 关于模糊模式识别的概念
模糊模式识别技术是随着计算机技术的不断发展和成熟而逐渐发展起来的。现阶段,模糊模式识别技术已经成为一门比较系统的内容。关于模式识别,是近年来不断发展的一项人工智能技术,这项技术既能够对具体事物的识别,又能够对抽象的事物进行有效的识别。而模糊模式识别技术则是识别技术与人的思维之间的一种结合,在模糊模式识别技术中,能对文字、音乐以及图片等有效地识别,使得模式识别技术进入了新的发展阶段。
2 模糊模式识别的建立
在建立模糊模式识别方法的过程中,可以将数学方法进行合理的应用。将X作为一个样本的集合:X={x1,x2,x3……x(im-1),xim},在这个集合中,样本xi的特性指标有m个,那么对xi的特性指标进行研究,得出来的矩阵如下:
在这个过程中,通过对数学方法进行引入,就有效地对模糊模式识别方法进行了建立,同时,在建立的过程中,还需要建立相应的训练样本集。
3 模糊模式识别的重要作用
在计算机识别技术发展的过程中,模糊模式识别已经得到了长足的发展。在模糊模式识别技术中,能够对传统的模式识别技术进行有效的补充,并对这个过程中产生的新事物进行有效的统计,也能够对系统中出现的不确定的事物进行有效的识别与判断。这样识别技术实际上是以基础数学作为基础将数学理念引入其中,能够对整个程序进行有效的简化,也使得模式识别系统更加广泛地在生产生活中进行应用。所以说,模糊模式识别系统的出现,加强了计算机识别中对模式识别的有效应用,也将传统的模式识别系统当中对事物的识别转变成为对一些声音和图片的识别,加强了模式识别技术的实际应用。
4 计算机识别中应用模糊模式识别的研究
现阶段,计算机技术已经得到了飞速的发展,计算机系统科学的相关理论也得到了发展。所以,在这个过程中,想要利用识别系统更好地认识抽象事物,就应该利用计算机识别技术对一些复杂的事物进行有效的分析与处理,这就需要对模糊模式识别系统进行有效的应用,进而达到相应的效果。
4.1 计算机数据识别应用模糊模式识别系统
在模糊模式识别体系中,实际上是对现实生活中的一些模糊现象进行有效的处理,这样就能够对实际生活中的问题进行合理的解决。在计算机识别的过程中,对模糊模式识别体系进行有效的应用,能够对原有的利用人的思维模式对事物信息进行判断的模式进行有效的改善,这样就能够避免判断工作的片面性,使得计算机识别的结果变得更加精确。在这个过程中,利用模糊模式识别技术,能够对人的思维过程进行一个有效的模拟,这样就有效地提高了计算机的智力水平,也能够对整个计算机识别系统的可靠性得到了提高。在一些事物的检查判断的过程中,使用人工检查的方式尽管能收到显著的效果,但是人工检查的效率却比较低,这样就会对人造成严重的疲劳现象。利用模糊模式识别体系,能够对检查事物进行有效的识别,提高了计算机识别系统的可靠性。
4.2 计算机图形识别应用模糊模式识别系统
关于模糊集理论是Zadeh在1965年提出的。这个理论的提出,让人们对事物的统一值,有了一个显著的认识,这也是一种新的刻画事物的方法。这种方法对以往事物呈现方式进行了有效的改变,并提出了内涵数学模式和外延数学模式。在这个过程中,A类问题和B类问题的认知中,传统的逻辑认为样本不是属于A,就是属于B。不过,在模糊模式识别过程中,可能出现样本不仅属于A类问题也属于B类问题。这种识别方法与一般的模式识别方法进行比较之后,能够发现,模糊模式识别方式在信息利用的过程中显得更加充分,且这种算法也更加简单,具有较强的推理性。
在计算机识别技术中,应用模糊模式识别的关键一环,就是建立相应的隶属度函数。现阶段,模糊模式识别中的隶属度函数建立的方法有模糊分布方法和模糊统计方法两种重要的类型。在建立隶属度函数的过程中,需要遵循函数的客观规律,保证函数的构建更加科学,并能够利用模糊模式识别系统中所建立的隶属度函数,对计算机图形识别中的各项问题进行有效的解决,并能够收到显著的效果。
4.3 计算机病毒识别应用模糊模式识别系统
4.3.1 提取计算机病毒特点
将模糊模式识别技术应用在计算机的病毒识别过程中,首先需要对病毒的特征进行有效的检测。这个过程中,需要现将计算机的病毒样本进行提取,并将提取的病毒样本加入到计算机病毒库中,并在病毒库中进行搜索,进而找到与该病毒相似的病毒类型,针对病毒的类型及特点,开展检测工作。在这个过程中,采用模糊模式识别技术,能够完成对计算机内的可用文件的分析,并能够对计算机的行为差异进行合理的分析,这样就能够收到良好的检测病毒的重要目的。在病毒梯度的过程中,可以对win.ini的文件夹进行有效的修改,进而对病毒特征进行有效的提取。
4.3.2 计算机病毒检测
在计算机病毒的识别过程中,对病毒特征进行识别之后,还应该对病毒进行有效的检测。在检测的过程中还可以对模糊模式识别技术进行有效的应用。在这个过程中,能够利用相应的病毒检测工具来对程序类型进行有效的归纳,并对样本进行有效的划分,这样就能够对具有相应的特征的程序类型进行有效的识别,进而达到对计算机的病毒检测的重要目的。只有准确的检测出计算机病毒的类型,才能够采取措施进行杀毒。这个过程,很好的体现了模糊模式识别在计算机识别当中的重要作用,推动了计算机识别技术的有效l展与成熟。
5 结语
总之,随着计算机信息技术的不断发展,模糊模式识别技术会更加广泛应用在社会生活当中。在计算机识别体系中,对模糊模式识别技术进行应用,能够完成对计算机的数据识别、图片识别以及病毒识别,这样就能够保证计算机稳定工作,促进了信息智能化技术的进一步发展,也使得计算机识别技术得到了更加广泛的应用。
参考文献
[1] 段旭琴,丁照忠,段健,等.多级模糊模式识别模型在评价高炉喷吹混煤中的应用[J].煤炭学报,2011(10):1748-1752.
篇2
摘 要 该文在人工免疫系统和克隆选择原理的基础上,给出了clonalg算法,并对该算法的实现原理、参数选择等进行了详细研究;给出了利用该算法进行数字识别的实例。 关键词 克隆选择;人工免疫系统;数字识别 1 引言 生物免疫系统是一个高度进化的生物系统,它旨在区分外部有害抗原和自身组织,从而清除抗原并保持有机体的稳定。从计算的角度来看,生物免疫系统是一个高度并行、分布、自适应和自组织的系统,具有很强的学习、识别、记忆和特征提取的能力。人们希望从生物免疫系统的运行机制中获取灵感,开发出面向应用的免疫系统模型——人工免疫系统(artificial immune system, ais),用于解决实际问题。目前,ais已发展成为计算智能研究的一个崭新的分支。其应用领域逐渐扩展到了信息安全、模式识别、智能优化、机器学习、数据挖掘、自动控制、故障诊断等诸多领域,显示出ais强大的信息处理和问题求解能力以及广阔的研究前景。 克隆选择是一种常用的ais算法。本文主要探讨该算法在数字识别中的应用。 克隆选择原理最先由jerne提出,后由burnet给予完整阐述。其大致内容为:当淋巴细胞实现对抗原的识别(即抗体和抗原的亲和度超过一定阀值)后,b细胞被激活并增殖复制产生b细胞克隆,随后克隆细胞经历变异过程,产生对抗原具有特异性的抗体。克隆选择理论描述了获得性免疫的基本特性,并且声明只有成功识别抗原的免疫细胞才得以增殖。经历变异后的免疫细胞分化为效应细胞(抗体)和记忆细胞两种。 克隆选择的主要特征是免疫细胞在抗原刺激下产生克隆增殖,随后通过遗传变异分化为多样性效应细胞(抗体细胞)和记忆细胞。克隆选择对应着一个亲合度成熟(affinity maturation)的过程,即对抗原亲合度较低的个体在克隆选择机制的作用下,经历增殖复制和变异操作后,其亲合度逐步提高而“成熟”的过程。因此亲合度成熟本质上是一个达尔文式的选择和变异的过程,克隆选择原理是通过采用交叉、变异等遗传算子和相应的群体控制机制实现的。 根据克隆选择原理,decastro提出了克隆选择算法(clonalg算法)模型,并在模式识别、组合优化和多峰值函数优化中得到了验证。其算法的核心在于增殖复制算子和变异算子,前者与个体亲合度成正比,保证群体亲合度逐步增大,后者与个体的亲合度成反比例关系,保留最佳个体并改进较差个体。 2 clonalg算法 clonalg算法是根据克隆选择原理设计的免疫算法。解决问题时,一般把问题定义为抗原,而问题的解就是抗体集合。在特定的形态空间中,随机产生的抗体试图与抗原发生匹配,即尝试解决问题。匹配度高的抗体有可能产生更好的解,被赋予更大的克隆概率参与下一次匹配。 抗体和抗原之间的距离d采用汉明距离,如式(1)所示。
抗体和抗原之间的亲和力aff与它们的距离成反比,即aff=1/d。 免疫算法的实现步骤如下: 步骤1 初始化抗体集合,随机产生n个抗体。 步骤2 计算抗体集合ab中所有抗体与抗原ag的亲和力。 步骤3 选择n个亲和力最高的抗体,组成一个新的抗体集合。并将这n个抗体按照亲和力升序排列。 步骤4 将选中的n个抗体按照对应的亲和力进行克隆,产生新的集合c,亲和力越高的抗体,克隆的数量就越多,总的数量计算公式如式(2)。 nc是总的克隆数,式(2)右边是一个和式,其中第i项代表抗体abi产生的克隆数, 是预设的参数因子,n是抗体集合包含的元素个数。 步骤5 新的集合c按照基因重组概率进行基因重组,产生成熟的克隆集合c*。 步骤6 计算成熟克隆集合的亲和力。 步骤7 从成熟克隆集合中选择n个亲和力最高的抗体作为记忆抗体的候选,亲和力超过现有记忆抗体的候选抗体称为新的记忆抗体。 步骤8 替换掉亲和力最低的d个抗体,并用新的随机抗体补充。 步骤9 如果抗体集合没有达到匹配精度要求且进化代数小于最大进化代数,则转到步骤2,否则算法结束。
3 应用clonalg算法识别数字 模式识别技术是根据研究对象的特征和属性,利用一定的分析算法,确定研究对象的归属和类别,并使结果尽可能符合真实。一般模式识别系统都包括问题描述、系统训练和模式识别几个部分。 本系统要解决的问题是识别0到9这十个数字。每个字符都用一个长度l=120的二进制串表示(每一个像素用一个二进制数表示)。原始字符(待识别的字符)(抗原)如图1所示。
图1 待识别的字符(抗原) 抗体指令集由10个抗体组成,即取n=10。每次选中5个亲和力最高的抗体进行克隆,即n=5。参数 =5。变异率初始值pm=0.05,并根据进化情况进行变化。最大进化代数gen=100,匹配精度取0,即要求完全匹配。 10个抗原(待识别数字)都达到了完全匹配,具体匹配情况如表1所示。 表1 数字0-9的完全匹配代数 抗原(待识别字符) 0 1 2 3 4 5 6 7 8 9 完全匹配代数 36 42 54 47 47 53 49 42 40 53 从表1可以看出,该算法的收敛速度是很快的。 由于篇幅所限,下面仅以数字“3”为例,观察一下算法的实现过程。 图2 识别数字“3”的过程 图2中,第一排按照从左向右的次序:第1幅图是原始字符,第2幅图是随机产生的抗体集,第3幅图和第4幅图分别是进化到第10代和第20代的抗体集。第二排按照从左向右的次序:第1幅图,第2幅图分别是进化到第30代,第40代的抗体集。最后一幅图是进化到第47代的抗体集。进化过程中抗体与抗原的距离变化情况如表2所示。 表2 识别“3”时抗体与抗原的距离d的变化 进化代数 5 10 15 20 25 30 35 40 45 47 抗体与抗原的距离d 30 19 12 8 5 3 1 1 1 0 从表2可以看出,实际上进化到35代时,抗体与抗原的距离d=1,在大多数应用中,这已经可以很好地满足要求了。 4 总结 从上面的讨论可以看出,clonalg算法是一种高效、快速收敛的算法,非常适合应用于模式识别。 参考文献 [1] 阎平凡等著,人工神经网络与模拟进化计算,清华大学出版社,2000 [2] 陈慰峰著,医学免疫学,人民出版社,2001 [3] 李涛著,计算机免疫学,电子工业出版社,2004
篇3
引言
当前对人工神经网络ANN(Artificial Neutron Network)的研究热潮源自Hopfield J.[1]和McclellandJ.等人于20世纪80年表的论文[2],[3]。Hopfield提出了激活函数为非线性的反馈网络,并将其成功地运用于组合优化问题;Mcclelland和Rumelhart用多层前馈网的反向传播学习算法(Back Propagation)成功地解决了感知器不能解决的"异或"问题及其它的识别问题。他们的突破打消了此前人们由于简单线性神经网络感知功能的有限而产生的,使ANN成为了新的研究热点。之后,新的网络结构和新的学习算法层出不穷,目前常见的都已达到几十种。在这些神经网络中,径向基函数RBF(Radial Basic Fuction)网络由于具有强大的矢量分类功能和快速的计算能力,在非线性函数逼近等方面,特别是模式识别领域,获得了广泛的应用,从而成为当前神经网络研究中的一个热点[4]。
模式识别是人工智能经常遇到的问题之一。其主要的应用领域包括手写字符识别、自然语言理解、语音信号识别、生物测量以及图像识别等领域。这些领域的共同特点都是通过对对象进行特征矢量抽取,再按事先由学习样本建立的有代表性的识别字典,把特征矢量分别与字典中的标准矢量匹配,根据不同的距离来完成对象的分类。以识别手写数字为例,字典中有由学习样本建立的10个标准矢量(代表0~0),把从识别对象中抽取的特征矢量分别与这10个标准矢量匹配,矢量间距离最短的就说明别对象与这个标准矢量的分类最接近,进而识别出其表示的数字。
模式识别过程中,产生一个具有代表性的、稳定且有效的特征矢量分类匹配策略,是补偿变形、提高识别率的有效途径,如何确定分类器是识别系统成功的关键。可以说,模式识别的本质就是分类,就是把特片空间中一个特定的点(特征矢量)映射到一个适当的模式类别中。传统的模式识别分类都是基于串行处理的匹配策略:首先由学习样本建立识别基元(字、词、音、像素)的标准矢量识别字典,取取的特征矢量顺序与字典中的标准矢量计算区别得分;最后根据概率做出决策,输出识别结果。当模式类别很大时,识别速度会下降得很快,而近年来,用RBF网络解决这方面的问题得到了很好的效果。
理论模型要求发展神经网络型计算机来实现,但迄今 为止,这方面的工作限于条件还主要集中在传统计算机的软件模拟实现上。大多数学者认为,要使人工神经网络更快、更有效地解决更大规模的总是,关键在于其超大规模集成电路(V LSI)硬件的实现,即把神经元和连接制作在一块芯片上(多为CMOS)构成ANN。正是因为上述的原因,其中神经网络的VLSI设计方法近年来发展很快,硬件实现已成为ANN的一个重要分支[5],[6]。
以下介绍IBM的专利硬件RBF神经网络芯片技术ZISC(Zero Instruction Set Computer),并给出用ZISC设计和实现的一种模式识别系统。
1 用VLSI设计硬件神经网络的方法
神经网络的IC实现是比较困难的,设计者必须把神经系统模型的特性反映到受半导体工艺和IC设计规则制约的电路中去。用VLSI设计硬件神经网络的方法主要分为数字技术、模拟技术和数模混合技术等,下面分别作简要介绍。
(1)用模拟技术实现硬件神经网络
模拟神经芯片通过单元器件的物理性质来进行计算,因而可以获得很高的速度。神经元的核函数计算功能一般由乘法器或运算放大器来完成,而连接权值大多以电压形式存储在电容上或是以电荷形式存储在浮点门上。利用模拟神经芯片不仅可以制造多层前向感知器那样的传统结构,还能从形态上进行如硅视网膜这样的生物仿真设计,从而更有效地模拟生物学功能。
在解决实时感知类的问题中,模拟神经芯片扮演着主要的角色。因为这些问题不要求精确的数学计算,而主要是对大量的信息流进行集合和并行处理,这方面低精度的模拟技术从硅片面积、速度和功耗来看具有相当大的优势。但是模拟芯片的抗干扰性差,设计中需要考虑对环境因素变化引起的误差进行补偿,非常麻烦;它的另一个缺点是,制造一个突触必须考虑权值存储的复杂性,同时要求放大器在很宽的范围内呈现线性[5],[6]。
(2)用数字技术实现硬件神经网络
用高低电平来表示不同状态的数字电路是信息工业中最常用的技术。数字神经芯片有非常成熟的生产工艺,它的权值一般存储在RAM或EPROM等数字存储器中,由乘法器和加法器实现神经元并行计算。对设计者来说,数字神经芯片可以以很高的计算精度(达到32位或者更高)实现神经元核函数。另外,用数字技术实现神经网络时,通常可以采用标准单元库或可编程门阵列直接进行电路设计,这样可以大大减少设计时间[5],[6]。
数字神经芯片不仅具有容错性好、易于硬件实现及高精度、高速度的优点。更重要的是有很多数字电路CAD的软件可以作为设计工具使用。但要实现乘/加运算,需要大量的运算单元和存储单元。因而对芯睡面积和功耗要求很高。为了适应大面积的数字电路的要求,现在很多数字神经芯片都采用了硅片集成技术(Wafer-Scale Integration)。
(3)用数模混合技术实现硬件神经网络
出于上述种种考虑,许多研究人员提出并采用了各种数模混合神经芯片,具有数字及模拟工艺各息的优点而避免各自的缺点,运算速率高,芯片面积小,抗噪声能力强且易于设计。典型的数模混合信号处理部分则全是模拟的。这种结构很容易与其它的数字系统接口以完成模块化设计。近年来在各种数模混合神经芯片设计中,利用脉冲技术的数模混合神经芯片和利用光互连技术的光电混合神经网络芯片得到了广泛的关系,它们代表神经网络未来发展的方向。
尽管数模混合神经芯片有种种优点,但它也存在着一些不足。比如,对于大多数数模混合神经芯片来说,训练学习算法的实现往往需要一个附加的协处理器,这无疑会增加整个神经网络系统的成本和复杂性[5],[6]。
2 RBF网络原理和它的硬件实现
RBF网络是一种有导师的三层前馈网络。它最重要的特点是中间隐层神经元的基函数只对输入剩激起局部反应,即只有当输入落在输入空间的 一个局部区域时,基函数才产生一个重要的非零响应;而在其它情况下基函数输出很小(可近似为零)。网络结构如图1所示。
图1(a)描述了隐层神经元的作用,其中X=(x1,x2,…,Xn)是输入层的输入矢量;C=(w1,w2,…,Wn)是该隐层神经元的中心矢量(每个隐层神经元的中心徉量存储在其与输入各种神经元之间的连接权中),σ代表宽度(半径);而|| ||表示n维空间中矢量之间的距离(这里的距离不一定是数学意义上的欧几里得距离,在不同的情况下可以有种种含义);f是隐层神经元的基函数,目前用得比较多的是高斯分布函数。
RBF网络每个输出层结点的输出为其与各隐层神经元输出y的加权求和。按高斯分布函数的定义,隐层神经元的输出y与输入矢量x的函数关系应服从正态分布,即当X与中心矢量C的距离很矢时,y接近最大值;反之y值减小。如X与C的距离超过宽度σ(即远离中心)时,输出y可近似为零,相当于对输出层没有贡献。这就实现了局部感知。
不难看出,RBF网络用作矢量分类器时,输入层神经元个数由矢量空间的维数决定,隐层神经元个数由模拟类别数决定,每个隐层神经元的中心矢量(与输入层各神经元之间的连接权)都代表一种模式类别。输入矢量与哪个隐层神经元的中心矢量距离近,哪个隐层神经元的基函数输出就大,相应的模式类别对输出层的贡献就大;与哪个隐层神经元的中心矢量距离远,哪个隐层神经元的基函数输出就小,甚至不激活,输出0,相应的模式类别当然就不会影响RBF网络的输出,矢量和模式类别的分类由此完成。
相对于网络结构的简单,RBF网络权值的训练方法要复杂一些。通常分为下面的两个步骤。
①隐层和输入层之间的权值采用无教师聚类方法训练,最常用的是KNN法(K-Nearest-Neighbor)。它的基本思想是先设定训练样本的一个子集;再用模式分类算法LBG由这个子集形成N种类的模式,即把子集中的样本归类;然后,按顺序处理子集外的训练样本:对任一样本X,找出K个与X距离最近的矢量(随便找,只要近就行),计算这K个矢量分别属于N个模式种类的数目,哪个模式种类包含的最近矢量最多,X就属于哪个模式种类。
将输入的训练样本聚类后,每个模式种类中所有样本矢量的平均值就代表该隐层神经元和输入层之间的权值(中心矢量);而所有样本矢量与中心矢量的平方差的平均值就代表宽度σ。这样就做出了各个隐层神经元的全部参数。因为这种方法只要求输入训练样本就可以进行分类,无须知道训练样本的理想输出,因此被称为无教师方法。
②输出层和隐层之间的权值采用有教师聚类方法训练。简便实用的一种办法是:在确定隐层和输入层之间的权值之后,把训练样本矢量和其理想输出代入RBF网络,从而推出各个输出层神经元和隐层之间的权值。
可以看出,需要分类的模式类别数的增加总可以通过不断增加三层RBF网络隐层神经元数来实现,含义十分直观。由于其学习过程为两步,且每一步的学习算法都十分有效,所以它的学习速度很快。RBF网络主要适用于解决已知的大规模分类问题,比如图像目标跟踪、面部和双眼的生物图像识别等。
对RBF网络的硬件实现技术,目前存在着不同的观点。但就有大规模分类和实时要求的模式识别问题而言,数字电路技术是最合适的选择,原因有以下几点:
①RBF网络用于手写字符识别、生物图像识别、自然语言理解这样的领域时,需要分类的模式类别数往往成千上万,所以要求隐层神经元数极大,单片神经芯片很难完成。使用数字神经芯片,网络的扩展十分容易,一般不需要外围逻辑器件而只要电阻就可以完成;而用数字神经芯片由于精度高,理论上可以无限并行扩展,且性能不下降。
②一个实用的模式识别系统,分类的模式往往会随着样本与环境的变化而变化,这就需要不断调整权值。数字神经芯片的权值存在数字存储器中,存储和恢复都很方便。这样用于模式识别系统的RBF网络的权值易变性得到了保证。
③模式识别系统对特征矢量提取对象的预处理是比较困难的工作。预处理效果不好时,RBF网络的输入往往含有噪声。数字神经芯片在抗干扰性方面与其它V LSI技术相比,显然具有无可比拟的优势。
④模式识别的要求包括模糊匹配和精确匹配两种。当用RBF网络实现精确匹配时,模拟技术完成不了这个要求,此时,数字神经芯片是避免错误输出的唯 一选择。
3 ZISC技术及其在模式识别中的应用
虽然人们已经在神经网络的硬件实现上做了大量的工作,并实现了许多不同的网络结构和算法;但是RBF网络的硬件实现工作却了了无几。这说明幅度当前的IC技术实现RBF网络的功能对设计水平的要求是比较高的,因此,本文介绍的这种商业芯片ZISC就成为了模式识别系统的一种有价值的神经网络硬件平台。
无指令计算机ZISC是世界著名的IBM实验室的一项创新性科研成果[7],它采用数字电路技术实现了RBF神经网络及KNN学习算法的集成电路芯片。作为ZISC芯片的合作发明人与授权生产商,美国Silicon Rcognition公司专业从事ZISC技术推广,其生产的ZISC036是一颗含有36个隐层神经元,专门用于各种模式识别矢量分类的集成电路。以下列出了它的一些主要特点与功能:
*使用RBF网络模型,无须编程而只须给它训练样本,即能实现学习和自适应识别;
*全并行运算,模式分类速度与隐层神经元存储的矢量数量完全无关;
*无须外围逻辑电路即可实现多片ZISC036级连,模式分类数量及神经网络规模没有限制;
*输入和存储的矢量分量数目从1~64个可调(每个分量8位);
*超快速度,64个分量的特征矢量的识别在4.8ms内完成(主频时钟20MHz);
*用寄存器存储神经网络全局信息与神经元信息和权值;
*CMOS和TTL兼容的I/O,TQFP144封装,5V标准电源供电。
不难看出,应用这种神经网络芯片不需要操作系统和编程语言,主要的工作就是训练它和让它学习。因此,用它开发面向消费类的模式识别产品是一种简单且实用可行的方法,可以大大地缩短研发周期。
本文给出了用六片ZISC036级连,通过印制电路板实现的通用模式识别系统。图2为这个系统的总体框图。
系统通过PCI总线接受待识别的模式原始数据。数字存储在2个8MB高速DRAM区中。神经网络控制器选用Xilinx Virtex FPGA,它的主要功能是完成对原始数据的特征矢量提取并输入到ZISC036芯片阵列中。可以使用标准的FPGA开发工具生成不同的RBF文件,从而实现不同的特征矢量提取电路。ZISC036芯片阵列按照三描述的方法一个个顺序接受矢理输入,然后进行并行的学习和分类,识别结果作为输出返回。只要修改FPGA中的特征矢量提取电路和界面程序,就可以实现图像、话音等各种不同的模式识别程序,只要修改FPGA中的特征矢量提取电路和界面程序,就可以实现图像、话音等各种不同的模式识别功能。这个通用模式识别系统的性能以传统CPU或DSP的指标来衡量,相当于13.2GPS(每秒执行132亿条指令)。
用上述系统可以完成如图像目标跟踪、图像识别、数据挖掘等许多实时性要求很高的模式识别和分类功能。以下用一个自适应图像目标跟踪的实验作为例子,视频图片演示结果如图3所示。
图3的视频图片从一段AVI文件中捕获。首先从初始的视频帧中选定汽车的图像,提取其纹理特征作为训练样本输入到ZISC神经网络。然后,ZISC神经网络在后面接下来的视频帧中搜索类似的图像纹理模式并圈定跟踪目标的坐标。如果发现所跟踪目标的模式发生变化,ZISC神约网络能够自动学习新的特征并建立一个新的模式存入神经网络。通过不断地比较已存入神经网络的模式和所跟踪目标之间的区别,系统就能够识别目标,从而在拥挤的背景和变化的环境下始终锁定目标。实验用视频图片为320×240像素,跟踪目标扫描范围为20×20像素。
篇4
关键词: GIS局放信号 小波去噪 识别方法
GIS局放信号小波分析的原理建立在傅立叶分析的基础之上,在频域和时域这两个方面进行了有效的调整,是对后者分析方法的有效提高。小波分析具有多分辨率的特点,在低频段的区域内可以使用较高的频率分辨率和较低的时间分辨率,而在高频段的区域内则使用较低的频率分辨率和较高的时间分辨,利用该识别模式实现GIS局放信号小波去噪的目的。
一、小波分析的基本原理
小波分析的基础在于小波基原理的应用,世界上第一个小波基是由Strongberg J.O在1982年提出的。小波在变换特征上具有“变焦距”的特征,也就是上面所说的能够根据其自身的特点结合实际环境的要求改变时频窗口的大小,从而改变局部放电信号测试能力的准确度。当频率越来越高的时候,小波的频宽越来越窄,这种特性反应到局放测试中就变成了当噪声频率越高时,小波检测在时间上的跨度上越窄,在空间的跨度上越长,从而可以抓住所检测范围的细小范围,因此,小波在应用上有“数学显微镜”之美誉。
二、信号的小波分解特性
1.小波分解特性的重要性
GIS局放测试得到的信号是离散的,在利用小波原理进行分析的时候必须了解信号在小波原理下的分解特性,这样才能更好地在实践过程中利用小波分析达到GIS局放测试的去噪作用。经过大量的研究表明,在GIS局放过程中背景噪声在所有检测到信号中占了很多一部分,而且形式多种多样,比如说有连续的周期性干扰、脉冲型干扰,还有更多白噪声干扰等。目前来讲,GIS局放信号中的去噪过程主要是指去除白噪声对于信号检测的干扰影响。 背景噪声的干扰加大了局放信号检测的难度。在分析信号的小波分解特性时,我们需要知道局部放电这一物理过程发生时间实际上非常短暂,而且在绝缘材料中的运动模式也非常杂乱无章,这正是局放信号检测的难度所在。小波原理之所以在GIS局放检测中有其独特的魅力,正是因为其局放信号分解的独特性。
2.基于离散小波分析原理的去噪作用
离散小波分析原理是小波分析手段中的重要组成部分,是GIS局放信号检测去噪过程的重要手段。按照时间频率和空间频率的设定值产生的不同作用,离散小波分析可以简单地分为三种类型。
(1)强制型消燥处理方式。从本质原因上来讲,局部放电产生的原因主要有电介质分布不均匀、制造工艺中出现气泡和杂志等。比如在绝缘材料的制作过程中由于不同电介质的膨胀系数不一样,成品出现不同的密度,使部分区域承受的电压不一样。当电压值超过其承受值的时候就导致了局部放电。介质的干扰作用越大,则局放越明显。强制型消燥的处理方式就是人为地去除一些高频率信号的影响,把频段控制在某一区域进行检测,这种方法虽然使观测结果比较集中,但是容易丢失有用的信号。
(2)默认阈值型消燥处理方式。该方式利用检测设备中自带的数据库,通过适当刷选,从而对局放信号进行消燥。该方式比强制型消燥方式更加科学,但是仍然有可能排除掉很多有参考价值的测试信号。
(3)待定值消燥型处理方式。这种方法结合了强制型和默认阈值型的消燥方式,通过在设备上设置多个参考点,用户可以根据自身产品的特性,使用环境的要求等具体情况预先设定参考值的上下线范围,在这一参考值范围内设备根据自带的数据库自动进行信号的消燥作用。这种消燥方式更加科学化,但是对局放测试设备的操作提出了更高的要求。
三、小波去噪模式识别方式
局部放电过程在时间上是非常短暂的,同样,其在空间上运动轨迹也是飘忽不定的,我们需要设定一个坐标性判断其运动模式,才能进一步根据小波分析原理分析GIS局放测试信号的去噪识别方式。
我们以神经网络的局放模式作为特定的例子,简要地说明小波去噪模式的识别方式,该坐标系也是目前运用得最广泛的一种。我们以神经网络系统举例说明小波去噪模式的识别主要是因为神经网络系统是一个高度复杂的系统,从单一的神经元结构分析其功能和结构是十分简单,这好比在整个小波识别模式中的基本单元――小波基一样。小波基在整个识别模式中是结构和功能最简单的部分,也是我们分析小波去噪识别模式的基础。
由此我们可以设想小波去噪识别系统是类似于神经网络的复杂系统,虽然其基本单位小波基的运行是十分简单的,但整个网络系统充满着大量自学习和变化的因素,假设有一个未知信号进入到该系统中,小波去噪模式系统就会根据原有的映射关系,这些映射关系是在长期的自学习和变化中形成的,将该信号分配到一定的输出状态中,从而完成全部输入信号的分配过程。那么在待定值消燥型原则的作用下,一定范畴内的信号在能被收集成为有效的采样点,这一待定值的设定反映在该系统中就是有部分未知信号进入系统中时,即我们所说的背景噪声,将成为无效值而被排除在采样点之外。
四、结语
本文简要地介绍了在小波原则下测试GIS局部放电信号的去噪原理和模式识别方式举例,显然在局放信号的检测中频宽的设定对局放信号检测的精确性起着至关重要的作用,小波去噪的特性能够有效地满足GIS局放信号检测的要求,应该得到我们足够的重视。
参考文献:
[1]胡明友,谢恒茎等.基于小波原则抑制局部放电监测中平稳性干扰的滤波研究.中国电机工程学报,2000.1,VOL20,(1).
[2]王晓芙等,电力设备局部放电测量中抗干扰研究的现状和展望电网技术.电工技术学报,2000.6,VOL24,(6).
篇5
关键词:策略 解题能力 提高
中学数学教学的目的,归根结底在于培养学生的解题能力,提高数学解题能力是数学教学中一项十分重要的任务。提高学生解题能力始终贯穿于教学始终,我们必须把它放在十分重要的位置。那么,如何才能提高学生的解题能力,面对一个数学问题,采取什么解决方法是我们首先进行的思维。数学中许多问题可用固定的算法求解,但有更多的题目其算法是预先不知道的,需要运用某些策略来指导解决。策略在数学问题的解决中发挥着极为重要的作用,学生倘若没有掌握一些解题策略或者所用解题策略不恰当,则常常导致无从下手或误入歧途,这样不仅不能解决问题,浪费学生的时间,还会打击学生的学习积极性。
模式识别策略就是当你接触到数学问题之后,首先要辨别题目的类型,以便与已有的知识、经验发生联系。也就是当我们面临的是一道以前没有接触过的陌生题目时,要设法把它化为曾经解过的或比较熟悉的题目,以便充分利用已有的知识、经验或解题模式,顺利地解出原题。如果我们在教学过程有意识培养学生的模式识别策略意识,那会对学生的思维、数学解题水平有很大的帮助。使学生在平常学习中提高效率,在考试时稳操胜券,对学生数学素质的提高起到事半功倍的作用。提高学生的模式识别策略意识常用的途径有:
(一)回忆
解数学题,就其本身而言,要有明确的目的性——实现题目的要求,始终想着目标,围绕目标,进行变换,要抓住条件,紧扣目标,广泛联想,要想解决问题,必须深刻熟练地掌握知识,对知识形成条件反射,看到问题条件和目标,就能联想到与此有关的知识,这是分析问题的基础。
在解决问题之前,我们应充分联想和回忆与原有问题相同或相似的知识点和题型,充分利用相似问题中的方式、方法和结论,从而解决现有的问题,如
例1 已知sinα-2cosα=0,求3sin2α+3sinαcosα-2cos2α。
分析:联想sin2α+ cos2α=1经常在求三角函数值的时候应用,把1用sin2α+ cos2α代换进行化简变形。
例2 已知f(x)=2+log3x(1≤x≤9),求函数y=[f(x)]2+f(x2)的最大值和最小值并求出相应的x的值.
分析: 联想二次函数配方求最值,换元求范围,配方求出y的最大值和最小值。
要想在这一方面有所提高,平时做完练习后,要注重反思这一环节,注意知识点的系统化和方法的优化。要把解题的过程抽象形成思维模块,注意方法的迁移和问题的拓展延伸。教师要不断的指导,不断的示范,帮助学生形成某类数学问题的心理操作模式,并将其表象印入头脑中,并使学生内化为自己的意识,今后解题时自动运用。
(二)多角度分析 对于同一道数学题,常常可以不同的侧面、不同的角度去认识,注意思维的广阔性,多角度多侧面地思考问题,若从一个方面看问题思路受阻,就应调整观察分析问题的角度,从另一个侧面思考问题,从不同的方向探索思路,“熟能生巧”,因此,根据自己的知识和经验,适时调整分析问题的视角,有助于更好地把握题意,找到自己熟悉的解题方向。
例1 如果cos2θ+2msinθ-2m-2
分析:直接求解会感到无从下手,我们比较熟悉求三角函数式的取值范围,解决这个问题我们转换思路,就是不直接求常数m的取值范围,转而去求三角函数式的取值范围,问题便可应刃而解。
例2 三个方程x2+4ax-4a+3=0,x2+(a-1)x+a2=0,x2+2ax-2a=0中,至少有一个方程有实数根,求实参数a的取值范围。
分析:对于一个方程有实数根的条件,学生很熟悉,但三个方程至少有一个方程有实数根的条件,学生可能一时无法入手。或者直接求每个方程有实数根的条件,然后去对这些条件进行处理,有些学生交并分不清,结果出错,有些学生虽然知道求并集,但由于条件较多,很容易在求并集的时候出错。我们转换思路,不求三个方程至少一个方程有实数根的条件,转而去求三个方程都没有实数根的条件,然后求补集。问题即可解决。
在这一方面要想使学生有所提高,应该加强培养学生全方位、多角度地思考问题,找出解决问题的办法,并加以推广,并鼓励学生探求某种方法或定理所使用的各种问题,扩大它的应用范围。要求教师在课堂上创设一个宽松的思维环境,使学生在其中有主动学习的欲望,使学生成为自由的思维者。
(三)恰当构造辅助元素
数学中,同一素材的题目,常常可以有不同的表现形式;条件与结论(或问题)之间,也存在着多种联系方式。因此,恰当构造辅助元素,有助于改变题目的形式,沟通条件与结论(或条件与问题)的内在联系,把陌生题转化为熟悉问题。
例 PA、PB、PC是空间从P引出的三条射线, 若∠APB=∠BPC=∠CPA=45°,求二面角B-PA-C的平面角的余弦值。
分析:在三条射线上截取PA=PB=PC,构造一个正三棱锥,问题即可解决。
在这一方面学生要想有所提高,要求教师在教学过程中,设计相应问题,对学生进行详细的、具体的解题训练。
(四)借助“形异质同”
有些数学问题,表面上看结构、条件毫不相干,却具有内在的共同点,因此,从问题的个性中寻找共性,把不同的问题归结为相同的问题。
例1 上一个n阶台阶,每次可上一级或两级,设上法的种数为f(n),试求f(n)关于n的函数解析式。
分析:有最后一次上一级和最后一次上两级两类上法,所以,f(n)= f(n-1)+f(n-2)
(2)一对小兔子一个月后是一对成熟的大兔子,再过一个月一对大兔子繁殖一对小兔子,现有一对成熟的兔子,问第n个月末,兔子最多有多少对?
分析:问题(2)看上去问题(1)毫不相干,但它们却具有内在的共同点,即两个问题有共同思维方法,即都要考虑前两次的情形,都归并到“斐波那契数列”上。
另外对已有定理公式的辨认,对已有解题规律,方法的辨析,与类似问题及较简单的类比等均属模式识别策略范畴。
解题有法而无定法。解题要灵活多变,讲究策略,既要遵循常规,更要突破常规。只有这样,才能准确地迅速地找到解题的突破口,有效地提高解题能力。这正是:策略对了头,学习有劲头。
学习有劲头,更上一层楼。
对于解题策略的教学,我们教师还应该意识到:尽管解题策略本身是离开具体内容的,但要学生掌握这些解题策略,并运用到平常解决数学问题中,仅仅给学生提供一般化的策略信息是不够的。应对学生掌握的解题策略的运用情景与方法进行系统训练,而且训练要非常明确、详细和具体,应结合具体内容,侧重教会学生有关如何使用解题策略,在什么情况下使用这些策略,为什么要使用这些策略等方面的知识。
参考文献:
1.《数学方法与解题研究》,李明振;上海科技教育出版社。
篇6
Abstract: With the popularization of mobile applications, as the basis for recognition malicious behavior, behavior pattern analysis of mobile application terminal has become a hotspot of current research. This paper, starting from system environmental data, and by monitoring many aspects of system data to establish Hidden Markov Model, uses this model to take hidden Markov valuation calculation for the system environmental data generated by the subsequent behavior, so as to realize the recognition of subsequent behavior patterns. Meanwhile in the subsequent recognition process, the model has to be continuously optimized. Through experiments, it shows that the approach has some validity, in order to provide more possibilities for behavior pattern recognition of mobile application terminal.
关键词:移动应用端;隐马尔可夫模型;行为模式
Key words: mobile application terminal;Hidden Markov Models;behavior pattern
中图分类号:TP311.5 文献标识码:A 文章编号:1006-4311(2016)19-0173-03
0 引言
在移动设备迅速普及的今天,开展移动安全性研究势在必行。目前针对移动应用端恶意行为检测的方式主要是对移动应用端的应用程序进行反编译,分析其源码是否存在于恶意行为代码特征库,以此作为评判标准。但随着恶意行为代码特征库的不断增加会导致系统开销增大,检测速度变慢。另外,随着黑客们使用的代码混淆技术的发展,也使之能够逃避这种静态分析手段[1]。
因为程序的运行会造成系统环境数据变化,所以系统环境数据可以反映系统运行情况。本文提出一种基于隐马尔可夫模型的行为模式识别方式,通过对移动应用端系统运行环境的CPU使用率、内存使用率、进程数、服务数、流量数监测获得时间序列数据,对特定行为进行隐马尔科夫建模,以待测行为的时间序列与特定的模型之间相似度为评判标准,并在每次评判之后优化模型[2]。该方法目的在于有效识别行为模式,对移动端恶意行为分析的后续研究提供前提,丰富了行为检测的手段,具有一定的实用价值。
1 马尔可夫模型介绍
2 隐马尔可夫模型介绍
2.1 隐马尔可夫模型
在马尔可夫模型中,每一个状态代表一个可观察的事件。而在隐马尔科夫模型中观察到的事件是状态的随机函数,因此隐马尔科夫模型是一双重随机过程,其中状态转移过程是不可观察的,而可观察的事件的随机过程是隐蔽的状态转换过程的随机函数(一般随机过程)[3]。对于一个随机事件,有一观察值序列:O=O1,O2,…Ot,该事件隐含着一个状态序列:Q=q1,q2,…qt。
2.2 隐马尔科夫模型使用前提
假设1:马尔可夫性假设(状态构成一阶马尔可夫链)P(qi|qi-1…q1)=P(qi|qi-1)
假设2:不动性假设(状态与具体时间无关)P(qi+1|qi)=P(qj+1|qj),对任意i,j成立。
假设3:输出独立性假设(输出仅与当前状态有关)P(O1,…OT|q1,…,qT)=∏P(Ot|qt)
隐马尔科夫模型在解决实际问题的过程中,需要事先知道从前一个状态St-1,进入当前状态St的概率P(St|St-1),也称为转移概率,和每个状态St产生相应输出符号Ot的概率P(Ot|St),也称为发射概率。描述它的数学表达式为:λ={N,M,A,B,∏},下面对各个参数逐一描述:
N表示隐状态S的个数,其取值为{S1,S2,…,SN},
M表示显状态O的个数,其取值为{O1,O2,…,ON},
2.3 隐马尔科夫可以解决的三个问题
①评估问题:已知一个显状态序列O={O1,O2,…,ON},并且有确定的λ={N,M,A,B,∏}组成的HMM参数,求发生此显状态的概率P(O|HMM)有效的解决算法是前向算法。
②解码问题:在己知一个显状态序列O={O1,O2,…,ON},并且有确定的λ={N,M,A,B,∏}组成的HMM参数,求解最有可能产生此显状态序列的隐状态序列S。较为有效的解决方法是Viterbi算法。
③优化问题:在己知一个显状态序列O={O1,O2,…,ON},通过对参数N,M,A,B,∏的修正,使得发生此显状态的概率P(O|HMM)最大,有效解决算法是Baum-Welsh算法[4,5]。
3 基于隐马尔科夫的移动应用端行为模式识别
本文通过对移动应用端的下载,看视频,打电话,聊微信、QQ,视频通讯,网络语音通讯,卫星导航及混合行为下这8个特定行为进行监控,抽样出大量时间数据序列,对每一个时间序列进行归一化处理,综合多方面归一化结果给出对应编码序列,以此建立出不同行为的隐马尔可夫模型,对于待识别的时间序列进行隐马尔可夫模型的估值计算,即相似度计算。取相似度计算值最大所对应的隐马尔科夫模型的行为模式作为待识别序列的行为模式判别结果。同时使用该待测序列对其所匹配的隐马尔可夫模型进行优化,以便提高之后识别准确率。
3.1 获取时间序列
本文以Android平台为例,获取运行环境的CPU使用率、内存使用率、进程数、服务数、流量使用情况等五方面信息的时间序列。具体实现是在固定时间间隔,通过平台API调用访问和解析相关系统文件来获取Android平台运行环境的CPU使用率、内存使用率、进程数量、服务数量、流量数等信息[6,7]。
3.2 时间序列归一化处理及综合编码
对每一个时间序列进行归一化处理[8],使其平均分配在[0,1]上5个均分区间内(事实上均分区间数目越多越能反映真实的波动趋势,但考虑到编码复杂度,本文选择归一化区间为5个均等分)。并为其分配{1,2,3,4,5}的标识,由此可以得到每个时间序列的波动趋势。同时为了综合多方面信息考虑,可以对多类时间序列的归一化标识进行编码,本文研究了CPU、内存、进程数、服务数、流量数这5类序列,所以可以产生5×5=25种编码,分别用{A,B,C…V,W,X}25个字母表示。以编码的序列结果作为隐马尔可夫模型输入序列,然后以此建立出不同行为的隐马尔可夫模型,对于待识别的时间序列进行隐马尔可夫相似度计算。
3.3 隐马尔可夫模型初始化及训练
本文HMM模型初始参数设置为:λ={N,M,A,B,∏},其中,N=8(八个隐状态,即本文考虑的7个行为外加一个混合行为),M=25(可能出现的25种显状态,即输入的编码序列所能看到的25个码元状态),根据对实验数据各状态转换频率占比的统计,可以设置A为:
而B由于是在25个显状态时背后所处的8个隐状态概率,所以可以暂且设置元素为1/25=0.04的25阶矩阵:
分别使用3.2节获得的7种行为和1种在混合行为下所监控得到的归一化序列作为上述初始化模型的输入值,分别训练可以得到8个隐马尔科夫模型,分别用Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ、Ⅵ、Ⅶ、Ⅷ来表示。
3.4 行为模式识别
对于待识别的行为模式,依然是按照3.2节的方式产生隐马尔科夫模型的输入序列。计算该待测序列与3.3节训练出的8个隐马尔科夫模型之间的相似度,即2.3.1所述参数评估问题。取8个相似度中最大值所对应的隐马尔科夫模型的行为模式作为该待测序列的识别结果。
为了每一次识别的准确性,本文还采取了隐马尔可夫模型的优化处理。具体方式:在每一次识别后,使用待测序列去更新其对应的隐马尔科夫模型参数,即2.3.3节所述模型优化问题。图1是隐马尔科夫训练模型的流程。
4 实验以及结果
为了对本文方法的有效性验证,依次在下载,看视频,打电话,聊微信、QQ,视频通讯,网络语音通讯,卫星导航及混合行为下这8个特定行为下分别抽样2万条长度为10个抽样点的时间序列,共计16万数据样本。实验将每个行为获取的2万条时间序列中前一万条用于模型训练,第一次实验用前一万条进行行为识别,第二次用后一万条进行行为识别,取两次实验准确率的平均值作为最终准确率。同时使用相同的实验样本,依托支持向量机SVM模型对同样的8个特定行为进行识别,将本文方法准确率与其结果作为比对,由表1可以看到本文方法除聊微信、QQ和混合行为模式判别的准确率低于SVM方法之外,其他行为模式识别都较SVM方法的准确率有明显提高,所以本文提出的行为模式识别方式具有一定有效性。
5 小结
本文给出了一种基于隐马尔科夫模型的行为模式识别方式,进行实验,通过该方法和SVM方法结果比对可以看出该方法具有一定的有效性,但在聊微信、QQ和混合行为模式判别准确率上要低于SVM方法,这一点也是后续研究要解决的问题。由于本文旨在提出一种可行性办法,所以实验中对特的选取还有待进一步斟酌与研究。本文以Android平台的监控数据为例,但该方法同样适用于其他操作系统的移动应用端行为模式识别中。
参考文献:
[1]周正,刘毅,李建,等.计算机抗恶意代码免疫模型[J].计算机工程,2008,34(17):7-9.
[2]曹凯,于善义,于少伟.基于多隐马尔可夫模型的车辆机动行为识别与预测[J].信息与控制,2014,43(4):506-512.
[3]王相海,丛志环,方玲玲,等.混合种群多样性自适应遗传操作的HMM训练模型[J].计算机研究与发展,2014,51(8):1833-1844.
[4]张增银,元昌安,胡建军,等.基于GEP和Baum-Welch算法训练HMM模型的研究[J].计算机工程与设计,2010,31(9):2027-2029.
[5]刘云冰.基于HMM的说话人识别中下溢问题的修正[J].微计算机信息,2006.
[6]Bose,A, Hu,X., Shin, K.G., Park,T. Behavioral detection of malware on mobile handsets. 2008.ACM.
篇7
摘要:选择9个化学参数和合适的扩展系数,对一批26个拮抗药化合物的活性建立了广义回归神经网络识别模式。选择21个样本为训练集,5个样本为预测集。结果表明,该种网络具有设计简单与收敛快的优点,可用于小样本问题的学习,获得满意的预测结果。
关键词:广义回归神经网络;模式识别;活性有机分子的结构
活性关系研究是药物分子设计的重要手段。一般用线性回归方法总结各种量子化学、结构化学参数与分子生物活性的关系,但当训练集各分子的结构相差较大时,上述关系有时呈现强非线性。不少作者采用BP网络进行药物活性的模式识别研究,都取得相当的成果。然而,由于BP神经网络是基于梯度下降的误差反向传播算法进行学习的,所以网络训练速度通常很慢,而且很容易陷入局部极小点,尽管采用一些改进的快速学习算法可以较好地解决某些实际问题,但是在设计过程中往往都要经过反复的试凑和训练过程,无法严格保证每次训练时BP算法的收敛性和全局最优性。此外,BP网络隐层神经元的作用机理及其个数选择已成为BP网络研究中的一个难点问题[1,2]。为此,本研究采用广义回归神经网络用于拮抗药化合物活性的模式识别研究,结果满意。
1广义回归神经网络的基本结构与算法[3~6]
广义回归神经网络(GRNN)是Donald F.Specht在1991年提出的一种新型神经网络,其具体公式推导和理论可参见文献。该种网络建立在数理统计的基础上,能够根据样本数据逼近其中隐含的映射关系,即使样本数据稀少,网络的输出结果也能收敛于最优回归平面。目前,该神经网络在在系统辩识和预测控制等方面得到了应用。
GRNN由一个径向基网络层和一个线性网络层组成,网络结构如图1所示。
图1广义回归神经网络结构图
a1i表示第一层输出a1的第i个元素,W1表示第一层权值矩阵,P表示输入向量,R表示输入向量的维数。Q=K=输入/目标矢量对的个数。网络的第一层为径向基隐含层,单元个数等于训练样本数Q,该层的权值函数为欧几里德距离度量函数(用dist表示),其作用是计算网络输入与第一层的权值之间的距离,b1为隐含层阈值。符号“.”表示dist的输出与阈值b1的元素与元素之间的乘积关系,并将结果形成净输入n1,传送到传递函数。隐含层的传递函数为径向基函数,常用高斯函数Ri(x)=exp(-x-ci 2σ2i),式中, σi决定第i个隐含层位置处基函数的形状。网络的第二层为线性输出层,其权函数为规范化点积函数(用nprod)表示,计算出网络的向量n2,它的每个元素就是向量a1与权值矩阵W2每行元素的点积再除以向量a1各元素之和的值,并将结果n2送入线性传递函数,计算网络输出。
GRNN连接权值的学习修正仍然使用BP算法,由于网络隐含层节点中的作用函数(基函数)采用高斯函数,高斯函数为一种局部分布对中心径向对称衰减的非负非线性函数,对输入信号将在局部产生响应,即当输入信号靠近基函数的中央范围时,隐含层节点将产生较大的输出,由此看出这种网络具有局部逼近能力,这也是该网络之所以学习速度更快的原因。此外,GRNN人为调节的参数少,网络的学习全部依赖数据样本,这个特点决定了网络得以最大限度地避免人为主观假定对预测结果的影响。
2拮抗药化合物活性的预测
取文献[7]所列的26个化合物为本工作的样本集,数据见表1。表1文献所列的26个化合物样本列表将上述原始数据作归一化处理,调用MATLAB语言工具箱中的函数newgrnn(P,T,SPREAD)进行广义回归神经网络设计,计算结果如表2。
表2的计算结果表明,广义回归神经网络对训练样本有很好的预测结果。在此基础之上,尝试从26个样本中取出5个(表1中的5、10、15、20、25号样本)作为预测集,其余21个样本作为训练集,训练结果和预测结果分别列于表3和表4。表226个训练样本的计算结果 表45个预测样本的计算结果
在调用net=newgrnn(P,T,SPREAD)函数进行网络设计中,对上述计算当扩展系数SPREAD取0.1,0.2或0.3时,网络预测效果好;当SPREAD大于0.3时,网络预测效果开始变差。
3结论
上述结果表明,广义回归神经网络具有设计简单与收敛快的优点,具有较好的预测和泛化能力,为复杂的、高度非线性问题的模式识别提供了可选手段。传统的BP神经网络在确定网络连接权值时具有随机性,其预测结果存在差异,不利于实际应用[8]。而广义回归神经网络在选取输入神经元数目之后,网络的结构和连接权值也随之确定,在训练过程中不涉及随机数,而且需要的样本量少。因此,广义回归神经网络可作为药物构效关系研究的有效手段。
参考文献
1陈念贻,钦佩,陈瑞亮,等.模式识别方法在化学化工中的应用. 北京:科学出版社,2000,88~90.
2陈锦言,姚芳莲,孙经武,等.人工神经网络及其在化学领域中的应用. 计算机与应用化学,1999,16(2):111~114.
3Sprecht D F.A General Regression Neural Network.IEEE Trans Neural Network,1991,2:568~576.
4Sprecht D F. The General Regression Neural Network Rediscove
red. Neural Networks,1993,6:1033~1034.
5周昊,郑立刚,樊建人,等. 广义回归神经网络在煤灰熔点预测中的应用. 浙江大学学报(工学版),2004,38(11):1479~1482.
6赵闯,刘凯,李电生,等.基于广义回归神经网络的货运量预测. 铁道学报,2004,26(1):12~15.
7Livinstone D J.Multivariate Data Display Using Neural Networks,Chapter 7 in "Neural Networks in QSAR and Drug Design",Edited by J Devillars,London:Academic Press,1996,157~176.
篇8
[关键词]模糊贴近度;OWA加权;模式识别
doi:10.3969/j.issn.1673 - 0194.2017.12.060
[中图分类号]F279.23 [文献标识码]A [文章编号]1673-0194(2017)12-0-03
模糊贴近度作为一种处理客观研究对象不确定性的数学工具,在企业管理的控制、决策、推理等多个环节中有着广泛的应用。本文主要研究模糊贴近度在工商企业管理领域进行模式识别的应用。当一个对象在诸多样本标准中与某一样本标准的贴近度最大,则认为这一对象归属这一样本是合理的,这就是最大贴近度原则。赵沁平对模糊集合的贴近度进行了梳理和归纳。卢国祥提出了一种基于模糊信息的距离测度,即模糊对称交互熵,指出模糊对称交互熵可用于模式识别。本文的创新之处在于对模糊对称交互熵进行深入研究,揭示其数值的形态特征,提出模糊对称交互熵贴近度的概念和方法,同时,提出以下的论题:本文的任务不是罗列各种模式识别的方法,得出各种模式识别的结论,而是要在各种方法的基础上,综合出一种更为合理的结论。
1 模糊贴近度
常见的模糊贴近度用以下各式进行表示。
定义1:设离散论域X={x1,x2,x3,…,xn},?和为X上的模糊子集,∨和∧表示通常的格运算。
(1)最大最小贴近度
(1)
(2)算术平均最小贴近度
(2)
(3)几何平均最小贴近度
(3)
(4)Hamming贴近度
(4)
2 模糊对称交互熵贴近度
2.1 模糊对称交互熵
卢国祥阐述了模糊对称交互熵的定义。
定义2:设A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))为两个模糊向量。
对于某个xi,定义μA(xi)对μB(xi)的交互熵为:
于是两个模糊集A对B的模糊交互熵(Fuzzy Cross Entropy,FCE)可定义为:
(5)
上述定义的模糊交互熵(FCE)只满足非负性,但不满足对称性和三角不等式。所以对其进行改进,提出如下的模糊对称交互熵定义。
定义3:设A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))为两个模糊向量。
F(A||B)和F(B||A)分别是A对B和B对A的模糊交互熵。由此对应A与B的模糊对称交互熵(Fuzzy Symmetric Cross Entropy,FSCE)为:
D(A||B)=F(A||B)+F(B||A)(6)
文[2]中证明了模糊对称交互熵具有非负性、对称性,满足三角不等式,因此构成两个模糊向量的度量。这在某种意义上可以表现为两个模糊向量之间的距离。当距离较大时,可以认为其较不“贴近”或“贴近”的度量较小;当距离较小时,可以认为其较“贴近”或“贴近”的度量较大。显然,模糊对称交互熵用于模式识别也是可行的,只是它的度量和贴近度的度量意义正好相反。为了使模糊对称交互熵和贴近度在相同意义下用于模式识别,对两者的数值特性进行比较是必要的。一个问题是模糊对称交互熵的数值是不是和贴近度一样满足0≤σ≤1,下文进行一个具体的数值计算。
2.2 模糊对称交互熵的数值讨论
例1:设:A=(0.2,0.4,0.5,0.1);B=(0.2,0.3,0.5,0.2)
同样可计算F(B||A)=0.066,于是D(A||B)=0.1254。
这一模糊对称交互熵正好在[0,1],但是一般情况需要深入讨论。从模糊对称交互熵的计算公式可以看出,模糊对称交互熵是关于两个模糊向量的2n个隶属度的多元函数。为了简化讨论,又不失一般性,这里仅对两个一元互补模糊向量进行讨论。
例2:设:
例3:设
从例2和例3可以看出,模糊对称交互熵是超出[0,1]的。并且当A的隶属度取值在0~0.5,隶属度趋向于0时,F(A||B)是增加的,隶属度趋向于0.5时,F(A||B)是减少的。
定理1:设模糊向量A=(1-x),B=(x);x∈[0,0.5]则:
(1)F(A||B)在所论区间上是递减函数;
(2);
(3);
证:(1)
求导数
故为递减函数。
(2)
故,
(3)代入即可。
定理2:设模糊向量A=(1-x),B=(x);x∈[0,0.5]
则F(A||B)=F(B||A),于是D(A||B)=2F(A||B)=2F(B||A)证:
即得C明。
2.3 模糊对称交互熵贴近度
有了上述简明情况作为基础,为了和贴近度有同样的数值性质,现定义以下的模糊对称交互熵的贴近度变换式是合适的。
定义4:设A=(μA(x1),μA(x2),…,μA(xn));B=(μB(x1),μB(x2),…,μB(xn))为两个模糊向量。称:
(7)
为模糊对称交互熵贴近度,可记为FSCE贴近度,在本文中FSCE贴近度记为σ5(A,B)。
3 OWA加权平均
有了文中5种贴近度,可以进行5种模式识别。它们的差别表达了各种不同方法对对象和样本之间相似状况的各种不同视角的反映。人们似乎不必在意其间的所谓优劣,转而对其进行综合处理是一种可行的方法。在处理时,可以采取抑制极端值,提升中间值的OWA加权平均方法。
3.1 三角模糊集及权重
设有模糊集合B=(b1,b2,…,bi,…,bn)
bi为第i位评分者的评分值。0≤bi≤1,i=1,2,…,n。现在论域U=R上建立三角模糊集
(8)
显然,这是一个三角模糊集以为轴的对称分布的图形。
如,n=5,则其分布为:
(0.2, 0.6, 1, 0.6, 0.2)(9)
由于权重wi必须满足wi∈[0,1],
所以对(8)式进行归一化处理,得基于三角模糊数的权重分布
(10)
由此,可得(9)式的权重分布为
(0.077 0,0.203 8,0.384 6,0.203 8,0.077 0)(11)
3.2 正态模糊集及权重
设有模糊集合B=(b1,b2,…,bi,…,bn)
bi为第i位评分者的评分值。0≤bi≤1,i=1,2,…,n现在论域U=R上建立正态模糊集:
(12)
其中
显然,这是一个正态模糊集以为轴的对称分布的图形。
如,n=5,则其:
则其分布为:
(0.367 9,0.778 8,1,0.778 8,0.3679)(13)
对(12)式进行归一化处理,得基于正态模糊数的权重分布:
(14)
其中,i=1,2,…,n
于是式(13)变换为:
(0.112 0,0.236 0,0.304 0,0.236 0,0.112 0) (15)
3.3 OWA加权平均
1989年美国学者Yager提出OWA算子
设F:RnR,如果
(16)
其中,(a1,a2,…,an)为模糊向量,w=(w1,w2,…,wn)T是权重向量,其是与F相关联,由F所决定的。显然,,aj∈[0,1]wj∈[0,1],且(j=1,2,…,n)。(b1,b2,…,bn)是把(a1,a2,…,an)重新由大到小排列后得到的,其第j大的数记为bj,即bj=σ(j)。
上述的F称为n维OWA算子。OWA算子的关键之处在于,要对(a1,a2,…,an)这一表示评语集的数组按大到小重新排列,而对第j大的数据bj赋予wj的权重。这里wj只与第j个位置相关,而这一位置放置的数据即为第j个大,或由大到小排列时居第j位。
第(16)式给出的加权是通常采用的(・,+)型加权。如果权重采用上述的三角模糊数型,或正态模糊数型,由于其中间位置取值较大,两侧对称地取逐次递减的较小的值。加权时,将使中间位置的数值得以提升,而两侧、较大、较小的值得以抑制,达到了减弱极端值在整体评价中的比重的作用。
例,在对某一指标评价中,有5位评分者,得到的评分向量为
(0.2,0.7,0.5,0.9,0.4)
按数值由大到小,重新排列后,得(0.9,0.7,0.5,0.4,0.2)
应用(11)式所示的权向量,应用OWA算子,所得的F值为:
(17)
bij为(a1j,a2j,a3j,a4j,a5j)依大到小,重新排列后第i大的值。即bij=σ(i)。
cj表示BcAj的OWA综合加权平均贴近程度。用它于模式识别具有抑制极端值,提升中间值的作用,比较科学客观。
5 应用实例
在工商企业管理领域有众多需要进行模糊模式识别的领域,如产业集群发展模式的识别、并购中目标企业的评估、中小企业技术创新模式的选择、新兴商业模式的评测,以及市场营销中难以通过准确量化进行衡量的质量判定问题等。本文试通过实例确立基于OWA加权平均的模糊贴近度在模式识别问题领域的数学应用模型。在管理学中常见的模式识别问题中,以A1、A2、A3、A4、A5、A6分别代表不同的标准模式;本实证研究选取各模式中最具代表性特征的Z1、Z2、Z3三个指标为测评指标;B表示待估样本。依据专家打分取均值的方法,确立标准模式及待估样本的指标数据,并标准化到[0,1],从而建立模糊集合。如表2所示。
即σ5(A1,B)=0.6646
对于数据进行从大到小的排列,且采用式(11)赋予的权重,根据式(17)计算得:C1=0.7631×0.0770+0.7452×0.2038+0.69×0.3846
+0.6646×0.2038+0.5939×0.0770=0.6572
同理可求C2、C3、C4、C5、C6。
的计算结果看,样本的OWA综合加权平均贴近度C2最高,表示样本与A2集合最为贴近,可以判定待估样本为A2标准模式。表中的其他数据提供了样本与其他标准贴近的不同情况的信息,也有价值。
6 结 语
模糊贴近度是模糊数学中的重要理论,在模糊数学以及模糊信息处理中具有重要的理论和实际意义。本文梳理了各种模糊贴近度,还在此基础上提出了模糊对称交互熵贴近度的概念和方法。并且运用OWA加权平均的方法,对5种模糊贴近度进行均衡处理,得出了较为合理的识别结果。
主要参考文献
篇9
关键词:复杂工业场景 场景识别 模式识别
中图分类号:TP391 文献标识码:A 文章编号:1674-098X(2012)12(b)-00-01
近几年来,对场景模式识别的研究越来越多,越来越细化。但是国内外的研究者都围绕着对生活场景和医用诊断等方面研究,忽略了重要的复杂工业领域。该文针对复杂工业场景模式识别的问题进行了探索与研究。
1 场景模式识别简介
1.1 模式识别简介
模式识别是对信号(图像、视频、声音等)进行分析,对其中的物体对象或行为进行判别和解释的过程。模式识别是人类的一项基本智能,在日常生活中,人们经常在进行“模式识别”。随着20世纪40年代计算机的出现以及50年代人工智能的兴起,人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。(计算机)模式识别在20世纪60年代初迅速发展并成为一门新学科。
在模式识别系统的研究中,模式分类是最重要的一个主题。它的中心任务就是找出某“类”事物的本质属性, 即在一定的度量和观测的基础上把待识别的模式划分到各自模式类中。
1.2 场景模式识别简介
由于模式识别的对象是存在于感知信号中的物体和现象,那么它研究的内容还包括信号、图像、视频的处理、分割、形状和运动分析等,以及面向应用(如文字识别、语音识别、生物认证、医学图像分析、遥感图像分析等)的方法和系统研究。
场景模式识别,又叫做场景分类。它是根据视觉感知组织原理,找出图像中存在的某些特定区域,这些区域可能是整幅图像,也可能是图像中的某个区域,其目标是根据给定的一组语义类别对图像数据库进行自动标注,如海岸、山脉、森林等。
2 复杂工业场景模式识别研究
在现代科技学术不断发展的今天,怎样让计算机具有人的智能,是当前很多科研工作者研究的主要内容。尽管现有的场景分类已经囊括了海洋、山脉、森林、街道、建筑物等在内的生活场景,但是在复杂工业场景上的研究与应用至今还是空白。本研究主要是服务于室内外移动机器人,应用于复杂工业控制现场等不适宜人工操作的环境。以往的移动机器人在作业时,通常使用传感器以及超声波对场景进行识别分类。本研究则应用机器人视觉来对场景进行识别。与以前的识别方法相比,机器人视觉更直观更稳定更可靠。
复杂工业现场的设备与管道很多,不适宜工人长期驻守。本研究最终目的在于提高复杂工业现场的自动化程度。任何一个复杂工业现场都可以大致分为两类,即室内场景与室外场景。室内场景即中央控制室,室外场景即现场设备与管道。这样,移动机器人在复杂工业现场巡视时,便可依据这两类来进行现场操作以及蔽障绕行等行为。
3 复杂工业场景模式识别研究流程图
4 结语
篇10
中图分类号:TG333.7 文献标识码:A 文章编号:1009-914X(2016)21-0016-01
1 统计模式识别问题简介
统计模式识别问题可以看作是一个更广义的问题的特例,就是基于数据的机器学习问题。基于数据的机器学习是现代智能技术中十分重要的一个方面,主要研究如何从一些观测数据出发得出目前尚不能通过原理分析得到的规律,利用这些规律去分析客观对象,对未来数据或无法观测的数据进行预测。现实世界中存在大量我们尚无法准确认识但却可以进行观测的事物,因此这种机器学习在从现代科学、技术到社会、经济等各领域中都有着十分重要的应用。当我们把要研究的规律抽象成分类关系时,这种机器学习问题就是模式识别。
统计是我们面对数据而又缺乏理论模型时最基本的分析手段,传统统计学所研究的是渐进理论,即当样本数目趋向于无穷大时的极限特性,统计学中关于估计的一致性、无偏性和估计方差的界等,以及分类错误率诸多结论,都具有这种渐近特性。但实际应用中,这种前提条件却往往得不到满足,当问题处在高维空间时尤其如此,这实际上是包括模式识别和神经网络等在内的现有机器学习理论和方法中的一个根本问题。
V.Vapnik等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题。由于当时这些研究尚不十分完善,在解决模式识别问题中往往趋于保守,且数学上比较艰涩, 90年代以前并没有提出能够将其理论付诸实现的较好的方法。加之当时正处在其他学习方法飞速发展的时期,因此这些研究一直没有得到充分的重视。直到90年代中期,有限样本情况下的机器学习理论研究逐渐成熟起来,形成了一个较完善的理论体系――统计学习理论(Statistical Learning Theory,简称SLT)。同时,神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难,比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等等。在这种情况下,试图从更本质上研究机器学习问题的统计学习理论逐步得到重视。
为了解决有限样本的机器学习问题,在过去二十多年里,发展了很多新的统计学方法,其中V.Vapnike等发展了专门研究小样本统计估计和预测的统计学习理论以及结构风险最小化原则(Structural Risk Minimization,SRM)。
统计学习理论就是研究小样本统计估计和预测的理论, 主要内容包括四个方面:
1) 经验风险最小化原则下统计学习一致性的条件;
2) 在这些条件下关于统计学习方法推广性的界的结论;
3) 在这些界的基础上建立的小样本归纳推理准则;
4) 实现新的准则的实际方法(算法)。
其中, 最有指导性的理论结果是推广性的界,与此相关的一个核心概念是VC维。
2 VC维
模式识别方法中VC(Vapnik Chervonenk Dimension)维的直观定义是:对一个指示函数集, 如果存在h 个样本能够被函数集中的函数按所有可能的2h种形式分开, 则称函数集能够把h 个样本打散;函数集的VC维就是它能打散的最大样本数目h。若对任意数目的样本都有函数能将它们打散, 则函数集的VC维是无穷大。有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。
VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大)。 遗憾的是,目前尚没有通用的关于任意函数集VC维计算的理论,只对一些特殊的函数集知道其VC维。比如在n维实数空间中线性分类器和线性实函数的VC维是n+1, 而上一节例子中的VC维则为无穷大。对于一些比较复杂的学习机器(如神经网络),其VC维除了与函数集(神经网结构)有关外, 还受学习算法等的影响,其确定更加困难。对于给定的学习函数集, 如何(用理论或实验的方法)计算其VC维是当前统计学习理论中有待研究的一个问题。
3 推广性的界
统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系,即推广性的界。关于两类分类问题,结论是:对指示函数集中的所有函数(包括使经验风险最小的函数),经验风险和真实风险之间以至少1-η的概率满足如下关系:
上式右端第一项反映训练样本的拟合程度;第二项称为Vapnik Chervonenkis置信范围(又称VC置信范围),h是函数集的VC维。
式(1)表明,在有限训练样本下,学习机器的VC维越高(复杂性越高) 则置信范围越大, 导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学习现象的原因。机器学习过程不但要使经验风险最小,还要使VC维尽量小以缩小置信范围,才能取得较小的实际风险,即对未来样本有较好的推广性。
4 结构风险最小化(SRM)原则
在传统方法中,选择学习模型和算法的过程就是调整置信范围的过程,如果模型比较适合现有的的训练样本(相当于 n/h 值适当),则可以取得比较好的效果。但因为缺乏理论指导,这种选择只能依赖先验知识和经验,造成了如神经网络等方法对使用者“技巧”的过分依赖。
当 n/h 较大时,式(1)右边的第二部分就较小,真实风险就接近经验风险的取值。如果n/h 较小,那么一个小的经验风险值并不能保证小的真实风险值。在这种情况下,要最小化真实风险值,就必须对不等式(1)右边的两项同时最小化。但是需要注意,不等式(1)右边的第一项取决于函数集中的一个特定函数,而第二项取决于整个函数集的VC维。因此要对风险的界,即式(1)的右边的两项同时最小化,我们必须使VC维成为一个可以控制的变量。
统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照 VC 维的大小(亦即Φ的大小)排列,在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得真实风险的最小,如图1所示。
于是有两个思路:一是在每个子集中求最小经验风险, 然后选择使最小经验风险和置信范围之和最小的子集。这种方法比较费时, 当子集数目很大甚至是无穷时不可行。于是有第二种思路, 即设计函数集的某种结构使每个子集中都能取得最小的经验风险(如使训练误差为0),然后只需选择适当的子集使置信范围最小,这个子集中使经验风险最小的函数就是最优函数。支持向量机就是这种思想的具体实现。