计算机视觉技术原理范文

时间:2024-01-11 17:41:14

导语:如何才能写好一篇计算机视觉技术原理,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。

计算机视觉技术原理

篇1

关键词: 旅游流调控; 时空分流导航; 决策支持系统; 计算机推理技术; 时空一体化

0 引言

随着我国经济持续发展和居民收入稳步增加,旅游休闲日益成为我国居民生活的重要内容。近年来,中国旅游业增长的势头尤其迅猛,不少著名景区不得不面对大量游客入园而导致景区满载的局面。景区一旦过度拥挤,就会对旅游业的可持续发展造成威胁。以主题公园为例,一方面,游客过多有可能对游乐设施造成破坏,甚至会引起安全事故;另一方面,游客在游玩过程中的长时间等待也严重影响游客的游憩质量。因此,关注景区内客流时空分布,并使景区内各景点负载均衡便成为了保证旅游景区经济效益、社会效益和生态效益协调发展的核心。

时空分流,正是利用随时间推移形成的相对“闲置”的空间对游客进行分散疏导,使景区内各景点负载均衡的一种解决方案。对此,目前国内研究者主要从排队论和导航管理技术两个分支开展探讨。排队论是以运筹学作为基础研究服务机构中排队问题的规律(Erlang,1909),在旅游学科领域的研究成果并不算多,主要包括:张凌云(1988)对旅游用餐行业的排队队长、逗留时间和等待时间的期望值进行了估计,并在服务员数量和顾客等待时间两方面做了比较和权衡,用于指导餐厅(酒吧)在座位数量、服务人员安排和经济成本效益上综合考虑;陈治佳等(2005)提出了一种基于概率的快速排队优化模型,以使大型游乐场的游乐设施达到最大使用程度,减少游客等待时间;王仁志和苗维亚(2012)对大型景区的平均队长和平均等待时间进行了估计,并提出把顺序单服务台旅游模式改变为无序全服务台旅游模式的思想。这些研究都是为了解决游客太多而导致某个服务机构(餐厅、游乐设施或景点)需要长时间排队而提出的,主要涉及排队系统的性状研究和最优化配置两大类,多采用M/M/n排队理论建立数学模型并结合多目标线性规划来求解。

国内的另外一个分支则是时空分流导航管理技术,是任佩瑜团队于2009年提出的一项新技术(冯刚,等,2009),旨在根据空间的相对静态性和时间的动态性,借助最新的信息监控技术,设计出若干优化的游览路线,使游客在景区内均衡分布、有序交换。自2009年以来,该团队针对风景名胜区(或自然保护区)做出了不少贡献,包括:邱厌庆等(2010a)提出了基于九寨沟景点负荷均衡的时空分流导航数学规划模型,并从动态预测中得到车辆调度方案;冯刚等(2010)引入管理熵与RFID技术,对邱厌庆提到的上述模型进行效果模拟;邱厌庆等(2010b)从复杂系统控制的角度构建游客分流导航管理的耗散结构体系,并分别对初态分流(邱厌庆,等,2010b)和稳态分流(邱厌庆,等,2011)两个阶段的动态离散系统进行探索性分析;姜向阳和任佩瑜(2012)把Hamilton 回路和多旅行商的思想引入时空分流导航管理中,并给出了一般数学模型和精确求解方法;戈鹏等(2013)通过比较、分析和仿真,提出了在初始分流中采用平均分流的静态调度策略,在稳态分流中采用基于区域时空负荷率的动态调度策略的改进方案;肖雄辉等(2013)构建了景区景点需求与调度资源的引力分流调度模型和算法,既能满足需求景点的负荷均衡,同时也考虑了游客的满意度;任竞斐和郑伟民(2013)通过建立综合游客偏好、拥挤度、等待时间和行走时间等指标的旅游效用函数,并借助Logit模型,将游客分配到不同路线上,以减少旅游高峰期景区游客拥挤和等待的情况。可以看出,除了肖雄辉(2013)和任竞斐(2013)的研究外,任佩瑜团队主要从景区管理的角度来开展时空分流导航分析,其重点在于考查景区内客流的分布情况和超负荷景点,以景区内各景点的负荷均衡为目标建立数学模型并进行求解。此外,还有从游客服务或体验的角度来展开研究的,例如郑天翔(2012)以游客等待时间最短为目标对主题公园游客导航分流问题构建了动态调度算法的雏形。

在国外研究中,没有专门用以表达时空分流的术语,与此相关的研究包括虚拟排队服务和游线设计问题。虚拟排队服务,包括虚拟排队系统(Lovejoy,et al.,2004;Lutz,2008)、排队管理方法(Button,2006)和排队区设计(Heger,et al.,2009)等,并在管理实践中被广泛应用于主题公园的开发和运营中,其中,以Multi Motion主题公园管理系统(Universal City Studios INC,2002)和迪士尼的FASTPASSTM(Cope Iii,et al.,2008)排队管理系统最具代表性,这类系统设计的方案是增加一条虚拟排队队列,能使游客花费相同的时间但多体验一个项目。另一个研究领域是游线设计问题(Tourist Trip Design Problems)(Garcia,et al.,2010;Garcia,et al.,2013;Souffriau,et al.,2008;Sylejmani,et al.,2012;Vansteenwegen,et al.,2009b;Vansteenwegen,et al.,2009a;Vansteenwegen,Van Oudheusden,2007),这类研究延伸出一系列的分支,包括游客移动引导(Mobile Tourist Guides)(Souffriau,et al.,2008;Vansteenwegen,Van Oudheusden,2007)、电子游客引导(Electronic Tourist Guides)(Garcia,et al.,2009;Garcia,et al.,2013;Vansteenwegen,et al.,2009b;Vansteenwegen,et al.,2009a)、个人导航系统(Personal Navigation Systems for Tourism)(Akasaka,Onisawa,2008;Maruyama,et al.,2004;Shiraishi,et al.,2005)、个性化路线规划(Personalized Route Planning)(Nadi,Delavar,2011;Yiakoumettis,et al.,2013;Yu,Chang,2009;Zhang,et al.,2011)、个性化路线引导(Personalized Route Guidance)(Panou,2012)和个性化路线推荐(Personalized Route Recommendation)(Tsai,Chung,2012),等。这些分支当中,涉及旅途中路线选择、导航或引导的文献主要包括:Maruyama等(2004)提出一个有效导航多重目的地的个人导航系统,系统根据游客到达时刻、停留时间以及目的地偏好度计算出使游客满意的旅游路线并实现导航;Shiraishi等(2005)根据游客的费用预算和满意程度定制出不同的旅游时间表让游客自主选择,并为其按时到达下一站提供导航;Vansteenwegen等(2009a)把旅游线路设计归结为TOPTW(Team Orienteering Problem with Time Windows)问题,并提出迭代局部求解算法,以实时求出个性化旅游路线;Garcia等(2009)在Vansteenwegen研究的基础上,把旅游线路设计进一步归结为MCTOPTW(Multi Constrained Team Orienteering Problem with Time Windows)问题,并提出一个包含旅行往返时间、旅行节奏和旅游兴趣点的智能个性化电子导游系统;Yu和Chang(2009)根据游客的个人喜好,结合游客的当前位置对其附近的游览景点、餐饮和住宿等做出简单的行程安排;Zhang等(2011)试图利用卫星地图和移动设备来解决交通换乘问题,能结合实时交通情况、停车信息搜索列车到达时刻表,并提供自驾、铁路、公交或步行等多种路线信息;Nadi和Delavar(2011)提出了多种不同方案的路径选择系统,以满足用户的灵活需求;Tsai和Chung(2012)根据以往相似游客的历史路径,结合当前排队信息作判断,以便让游客游览更多的景点。

纵观国内外文献,国外在旅游路线选择的问题上似乎更多是从游客出发前的计划安排上开展研究,而针对游客在游览过程中的干预、引导和管理则较少涉及,而国内针对景区内部小尺度的时空分流研究还刚刚起步,多采用数学和运筹学的方法建模求解,能同时考虑游客的个性化需求和现场环境信息、形成时空一体的旅游个性化推介服务(李仁杰,路紫,2011)的时空分流模式还鲜见(郑天翔,等,2015)。因此,现实中对于景区在个别景点人流过于集中、游客因等待时间过长而游憩质量下降的难题,目前还缺乏行之有效的方案,而这却是智慧景区的建设核心之一(梁倩,张宏梅,2013)。由于时空分流问题涉及游客游憩行为,有研究指出,这种旅游系统难以采用传统数学分析方法建模,而计算机仿真正是研究这种复杂社会系统的较好方法(黎j,2013;黎j,杜栓柱,2011)。因此,本文针对景区游客时空分流的决策支持系统(陈建斌,等,2014),借助计算机推理技术提出一种具有时空一体化特征的游憩方向决策算法,并通过计算机仿真系统与传统的最短距离算法进行实验模拟和比较分析,以验证本文算法的优越性。

1 研究设计

1.1 研究对象

由于旅游管理决策实际上是一种复杂事件的推理过程,对问题观察而导致的建模也只能是一种近似描述(杜军平,周亦鹏,2009),因此,本文选择较为简单的主题公园作为研究对象。与其他风景区相比,主题公园的“简单性”主要有以下表现。

(1) 景点的承载力可以预先确定――风景区的景点以名胜古迹、山水生物为主,具有共享性,同一时刻可供游览的人数不定;主题公园的景点主要以游乐设施为主,游乐设施具有独占性,同一时刻可供游玩的人数相对固定。

(2) 景点的游览时间可以预先确定――游客在风景区的景点停留时长不定,拍照留念、欣赏、休憩、饮食、消费等因人而异;而游客在主题公园的游乐设施上的停留时长相对固定。

(3) 单步求解而非全路线求解(详见1.3节)――风景为主的景区,坚决避免走回头路,应当使所有的景点串联成环形游线,通常采用全路线求解方案,在游客游览前确定所有路线;而游乐设施为主的主题公园,相邻景点之间距离不会太远,很多时候为了减少等候时间,同一路径游客会重复往返,因此适合单步求解,能在游客游览过程中逐次获得下一步路线。

1.2 基本假设

在主题公园(下简称景区)的特定案例下,我们假设:

・不同游客在同一游乐设施(下简称景点)的游览时间相同,且在景点设计时已经确定,称为景点游览时间。

・每个景点的承载力(景点容量)在景点设计时已经确定。

・相邻两个景点之间的路径长度在景点设计时已经确定。

・在不考虑乘车的前提下,每个游客的游憩速度(下简称步速)一样。

・每个游客在一次完整的旅游经历过程中(从进入景区门口开始直到离开景区),不会重复游览已经游玩过的景点,但允许多次来回经过相邻两景点之间的路径。

1.3 模型分析

无论是“给定景点求路径不重复的全路线最短成本”的旅行商问题(Traveling Salesman Problem,TSP)(吴凯,2004),还是“尽可能多的游览景点,路径不重复且全路线成本最小”的定向越野问题(Orienteering Problem,OP)(Tsiligirides,1984),都属于图论中的NP完全问题,不存在多项式时间的算法(王晓东,2004)。因此,本文针对游客在同一个景区中的单日游行程安排问题,试图在“给定景点求单步最少成本”上寻找解决方案,借此让不同游客从时间和空间(景点)上分离开来,达到时空分流的效果。

借鉴前人研究成果(黎j,2013)并进行简化后,本文假定景区涉及的对象仅包含两个:景点和游客。对于景点来说,具有景点位置、景点容量、景点游览时间、景点开放时刻和景点关闭时刻等静态属性,也具有景点下次提供服务时刻、景点外排队等候人数等动态属性。对于游客来说,具有游客编号、到达时刻、预计离开时刻和游览偏好(感兴趣景点)等静态属性,也具有步速、游憩方向(黎j,2013)和等待时间等动态属性。其中,游客动态属性随游憩行为而取不同值(黎j,2013),图1和图2展示了其自身在景区中的一次完整游憩行为,可以归纳为8个要素和3个状态。

图2 游客的状态切换图

首先,我们来看看这3个状态:(1) 栈道行走等待游玩:状态的切换由当前游客“到达景点”触发,这时候可以确定游客需要等候的时间(详见1.4节);(2) 等待游玩正在游玩:状态的切换由前一个(批)游客“离开景点”触发,当前游客进入游览,这时候可以确定景点下次提供服务时刻=当前时刻+景点游览时间;(3) 正在游玩栈道行走:状态的切换由当前游客“离开景点”触发,此时需要对下一个游玩景点(游憩方向)进行决策,这就要求设计一种择优选择的机制来逐次确定(详见1.4节)。

其次,我们来看看这8个要素。对它们进行归类,可以得知:(1) 属于动作:到达景区、到达景点、离开景点、离开景区;(2) 属于活动:前往景点、游玩景点;(3) 属于判定:寻找下一个景点、能否游玩。其中,“动作”使用计算机科学技术领域中的“离散事件驱动”(刘卫东,等,1998)来模拟,“活动”使用虚拟时钟来实现,“判定”使用计算机推理算法来判断(详见1.4节)。

对这8个要素的进一步分析,可以得知这些要素的模拟关键:(1) 到达景区:记录游客的到达时刻、预计离开时刻、步速和感兴趣的景点等信息;(2) 前往景点:使用虚拟时钟来模拟,每隔一定时间游客移动一步,这时候游客处于栈道行走状态;(3) 到达景点:由于 “前往景点”存在不确定因素(游憩方向有可能是景点或景点外排队队列,或者步行过程中其他游客可能更早一步到达同一景点),使得该事件没有固定的发生时刻,因此无法通过“事件驱动”来模拟,只能作为“前往景点”这个活动的结束标志。而此时,游客的等待时间可以确定下来,同时由于离开景点的时刻能确定(景点游览时间+等待时间),因此可以产生“离开景点”事件;(4) 能否游玩:如果等待时间+景点下次提供服务时刻 > 景点关闭时刻,则游客无法游玩,只能离开景点;(5) 游玩景点:这部分主要由等待游玩和正在游玩两个状态构成;(6) 离开景点:根据景点容量把排队靠前的游客设为正在游玩状态,其他游客在队列的位置相应前移;(7) 离开景区:为了简化模型,仅输出与整个游览过程相关的信息,而不作为事件来模拟;(8) 寻找下一个景点:需要构造游憩方向的决策算法,根据算法的返回结果判断是否找到。

1.4 算法和仿真设计

1.4.1 算法设计

根据上一节的分析,我们需要确定游客的等待时间和游憩方向的决策算法。表1展示了游客等待时间的计算方法。

注:所有景点的下次提供服务时刻,其初始值均为景点开始时刻,下同。当景点处于关闭期间,游客的等待时间设为0,意味着游客必须离开当前景点,重新选择其他景点。

上述算法中,“景点下次提供服务时刻”是“等待游玩正在游玩”状态切换的时候确定的;“排队等候人数”在仿真中可以采用“队列”结构(刘卫东,等,1998)来模拟,所以根据队列元素个数便可获知等候人数。

接下来我们需要确定游憩方向(下一个景点)的算法,该算法必须是一个自适应的推理决策过程,能根据现场环境信息和游客需求,共同确定游客当前时刻的目标选择,最后推送给游客。构造的关键在于既要考虑游客自身的个性化信息,也要考虑现场环境信息,例如景点本身的运营情况(包括景点游览时间、景点下次提供服务时刻和景点开放时间)、其他游客的位置(主要指他们在各景点的排队等候情况)和游客本身的位置,最后从若干个候选景点中选择单步成本最少的一个。表2展示了构建的算法。

1.4.2 仿真设计

为了检验上述算法的有效性,我们必须模拟多名游客在景区的整个游玩过程,并借助仿真实验进行比较分析。如1.3节所述,我们使用“离散事件驱动”来模拟“到达景区”和“离开景点”这两个事件,并使用虚拟时钟来模拟“前往景点”和“游玩景点”这两个活动。虚拟时钟本质上是游客在景区停留和游玩过程中的时间粒度(Tick)(黎j,2013)。由于两个事件的发生时刻均可由系统自动确定,故可放在虚拟时钟一并处理。借助“最小堆”结构(刘卫东,等,1998),不但可以以时间递增即时光流逝的顺序逐一模拟所有事件的发生,而且每次仅需检查堆顶元素的事件发生时刻即可。

利用虚拟时钟周期性触发的特性(时钟每增加一个步长,系统自动执行事件一次,重新决策下一个Tick的行为),我们构造的仿真方案如表3所示。

2 实验模拟与结果分析

2.1 系统运行参数

仿真系统采用 Borland C++ Builder 6.0 开发,运行于 Windows 7平台。系统将根据仿真输入数据自动生成游客在景区中的游憩行为,并对游憩过程进行跟踪、记录。当一个仿真结束后,系统将对所记录的数据进行分析并输出分析结果。在本文的例子中,系统的输入包括:景区的空间布局图(含各景点之间的路径长度);各景点的基本情况(开始时刻、关闭时刻、景点游览时间和景点容量);游客的信息(到达时刻、预计离开时刻和感兴趣的景点)。系统的输出包括游客的游玩次序、等待时间和实际离开时刻。

仿真方案

1. 事件的判断――检查堆顶事件的发生时刻,如果等于当前时刻,则弹出堆顶事件,直到最小堆为空:

如果是“到达景区”事件

游客出现在景区门口

记录游客的到达时刻、预计离开时刻、感兴趣的景点和步速等信息

利用 “游憩方向决策算法”寻找下一个景点,如果没有找到(返回值为空值),则游客离开景区

如果是“离开景点”事件

游客离开景点,利用 “游憩方向决策算法”寻找下一个景点,如果没有找到(返回值为空),则游客离开景区

排队靠前的游客设为正在游玩状态,设置景点下次提供服务时刻=当前时刻+景点游览时间

队列的其他游客依次前移

2. 游客的移动――对每个游客进行判断:

如果该游客处于等待游玩或正在游玩状态,则保持不动

否则,该游客向目标(“游憩方向决策算法”的返回值)移动一步,此时游客处于栈道行走状态

如果游客已到达景点或景点外排队等候队列末尾,则:

按照表1的方法计算游客的等待时间

如果景点下次提供服务时刻+等待时间>景点关闭时刻,则此景点无法游玩,游客继续寻找下一个景点。否则,游客根据排队情况等待游玩或进入游玩

如果景点空闲,则该游客进入景点游玩,此时游客处于正在游玩状态。设置景点下次提供服务时刻=当前时刻+景点游览时间

否则,游客必须排队等候,此时游客处于等待游玩状态

生成“离开景点”事件,事件发生时刻=景点游览时间+游客等待时间

2.2 算法比较

为了方便比较,本文引入前人研究(任竞斐,郑伟民,2013;肖雄辉,等,2013;郑天翔,2012)中使用的基于距离的决策方案做分析。在本文的特定因素下,基于最短距离的决策算法(下简称距离算法)如表4所示。

B=g(A)

输入:A是当前游览完毕的景点或到达的景区门口

输出:B是经决策后的下一个待游览景点(下一步的游憩方向)

1. 在感兴趣的所有未游玩景点中,对每个景点C进行下面的判断:

计算所需成本=A与C之间的路径长度/步速,并把景点C加入候选景点集合

如果 所需成本+当前时刻

如果景点C处于关闭期间

如果景点C的开始时刻已经过了(当前时刻 > 景点C关闭时刻),则从候选景点集合中剔除景点C

否则,如果 所需成本+当前时刻

如果景点C处于开放期间

如果 所需成本+当前时刻 > 景点C关闭时刻,则从候选景点集合中剔除景点C

否则,从候选景点集合中剔除景点C

2. 如果候选景点集合为空,则返回“空值”;否则,从候选景点集合中选择成本最少的一个,作为B返回

2.3 实验数据

假定景区的空间布局图如图3所示。

其中,复选钮代表景点和门口,其中以V开头标记的是景点(如V1,…,V5),以G开头标记的是门口(如G1,G2,G3)。景点与景点、景点与门口之间的数字代表路径长度。仿真系统的输入包括:

・系统参数:为方便起见,假设虚拟时钟的时间粒度(Tick)为1秒。

・景点的基本情况:所有景点的游览时间统一设置为20秒,所有景点容量统一设置为1。至于景点的开始时刻和关闭时刻,景点V1、V2和V3跟随景区开放而开放,景点V4的开始时刻随机设为景区开放后1分54秒,持续时间为2分17秒,景点V5的开始时刻为景区开放后1分44秒,持续时间为2分30秒。

・游客信息:为了使游客数据在两种算法的仿真实验中保持一致,我们首先随机生成所有游客的信息,然后把这些信息录入系统,并对每个游客生成“到达事件”,最后全部加入到最小堆中。其中,各游客的预计离开时刻参见2.4.1节,感兴趣的景点参见2.4.2节,至于各游客的到达时刻,由于前后两次仿真时刻不可能相同,因此只需保证相对时间(相邻两个游客的到达时间间隔)一致即可。限于篇幅,仅保留其编号信息,编号规则是按照其到达景区的时间先后进行依次编号的。此外,为简单起见,假设所有游客都从G2到达。

・仿真系统的输出:与整个游览过程相关的信息,包括游客的游玩次序、等待时间和实际离开时刻。

2.4 结果分析

2.4.1 游客等待时间

两组算法在游客等待时间上的结果如表5和图4所示。

从表5和图4可以清楚看到,本文算法的等待时间在各游客上差别不大(趋势线的斜率为0.89),表明游客的等待基本不受其到达景区的时刻先后所影响,而对于距离算法,到达时刻较早的游客等待时间较短,到达时刻较晚的游客等待时间较长,因此趋势线的斜率较大(4.89)。此外,有研究者指出,游客满意度是与等待时间占逗留时间的比例(张影莎,等,2012)(下简称等逗比)密切相关的,从表5和图 5的结果来看,本文算法的等逗比在各个游客上趋于平均,而距离算法则波动较大,到达时刻较早的游客其等逗比普通较低,到达较晚的游客等逗比普遍较高,对编号为12、13和14的游客来说,花费在景点上的等待时间甚至占据了在景区逗留时间的60%或更多。

2.4.2 游客游玩的景点数量

收集游客实际游览(成功游玩)的景点数据,整理后结果如表6所示。

注:“提前”是指在“寻找下一个景点”的决策中,选择任一候选景点都将超过游客预计离开时刻,算法返回值为空,游客提前离开景区。“错过”是指在“寻找下一个景点”的决策中,选择任一候选景点都将超过了景点关闭时刻,算法返回值为空,游客未能前往游玩。“遗憾”是指当游客到达景点后,发现景点来不及游玩(已关闭,或者等候人数太多超过景点关闭时刻,或者超过游客预计离开时刻),无奈地重新选择下一个景点。

从表6可以看到,本文算法与距离算法相比,能够让游客成功游玩更多的景点(见表6阴影部分)。此外,从游客所付出的代价来看,“提前”和“错过”要比“遗憾”要小。本文算法能提前告知游客候选景点能否游玩,因此没有出现当游客到达景点后才发现景点不能游玩的情况;而距离算法则由于无法提前预知,因此在模拟过程中出现3次游客到达景点后才发现该景点不能游玩的情况:游客11和14(见表5)分别到达景点V5后、游客16(见表5)到达景点V4后,详见下文表8。

2.4.3 景点容量利用率

为了计算景点容量利用率(张影莎,等,2012),把各景点人数变动的时刻一一记录下来,也就是说,记录游客到达该景点的时刻(游玩或等候)或在该景点上游玩结束离开景点的时刻,然后记下接待人次和统计等候人数。结果分别如表7和表8所示。

首先,由表7和表8可知,对于景点V1V5,本文算法分别接待了9、9、11、7、7人次,而距离算法分别接待了6、11、11、6、7人次,由此可见各景点的接待能力大致相同。然而,表7和表8反映了两个截然不同的事实:在本文算法下,各景点的负荷比较接近,排队等候人数峰值大概为3~4人,而在距离算法下,每个景点的负荷非常不均衡,景点V1、V3、V4的排队等候人数峰值在1~2人之间,而景点V5的峰值在4人左右,景点V2的峰值甚至达到了7人。

注:根据2.3节假设,景点V4的开放时刻为23:25:58,关闭时刻为23:28:15;景点V5的开放时刻为23:25:48,关闭时刻为23:28:18。在23:28:03上,游客16到达V4后发现景点快要接近关闭,不能游玩导致景点V4的接待人次/等候人数并没有增加。在23:26:48上,游客11到达V5后发现景点外排队等候有3人,届时轮到自己的时候景点已经关闭,不能游玩导致景点V5的接待次数/等候人数并没有增加。在23:27:49上,游客14到达V5后发现若选择游玩则将会超过预计离开景区时刻,而其他未游览景点(V1和V4)根据决策算法也将超时,因此只能离开景区。

其次,各景点容量利用率可以借助容量剩余来间接反映:当游客到达景点后,如果能进入游玩而无需等候,则说明该景点处于闲置中,有大量的容量剩余;反之,说明该景点处于忙碌中,没有容量剩余。在表7和表8中,这对应于接待人次(有具体数值)所在行的等候人数:如果等候人数为0,则说明景点处于闲置中,反之则处于忙碌中。可见,本文算法下各景点的剩余容量大致相同,景点容量利用率基本一致。而距离算法下,景点V1、V3、V4有大量的容量剩余,说明这些景点很多时候处于闲置状态,景点容量利用率较低,而景点V2和V5则没有足够的容量剩余,说明这两个景点长期处于繁忙状态,景点容量利用率很高。

2.4.4 景点平均等待时间

从表5可以计算出在本文算法和距离算法下游客的平均等待时间(总等待时间和总人数的比值)(Lovejoy,et al.,2004)分别为66.63秒和72.44秒,显然,本文算法更占优。本节中,我们将进一步比较每个景点的游客平均等待时间。

首先定义每个景点的游客平均等待时间,其计算方法为在该景点上的等待时间之和与在该景点需要等待的游客人数之比值。该指标可以计算出游客在某个景点上的等待成本,能客观反映景区中各景点的实际运营情况。

从表9的结果来看,在本文算法下,各景点的平均等待时间基本一致,表明没有出现游客在个别景点高度集中的情况,人群分布较均匀,拥挤程度较低。而在距离算法下,各景点的平均等待时间存在明显差异,游客在景点V2和V5所需等待时间较长,而在其他景点所需等待时间则较短,表明游客在景点V2和V5高度集中,拥挤程度严重,而其他景点则随到随玩。

表9 两种算法在“景点平均等待时间”上的结果

等待时间之和(秒)

本文算法距离算法

等待人数

本文算法距离算法

景点平均等待时间(秒)

本文算法距离算法

V1289628436.115.5

V218166271025.966.2

V3206818525.816.2

V4196337428.08.3

V51943216832.340.1

3 结论与讨论

本文针对主题公园游客时空分流的决策支持系统问题,借助计算机推理技术提出一种基于现场环境的游憩方向决策算法,并设计了一个计算机仿真系统进行实验模拟。与传统的最短距离算法相比,本文算法在游客等待时间、游客游玩景点数量、景点容量利用率和景点平均等待时间4个指标上均显示出良好的性能,具有时空一体化的特性。从实验结果来看,本文所创建的时空分流模型,让游客自动分流并导航到较少拥挤的景点上,既能均衡各景点的接待能力,同时能降低游客的等待成本,有助于主题公园的客流时空分布调控。与以往时空分流模型或算法的不同之处在于,它既充分考虑了各景点的开放和运营情况,也考虑了游客本身的多种需求,同时还考虑其他游客的位置,从而获得单步最少成本的路径。

本文提出的游憩方向决策支持算法,其研究虽然目前停留在模拟阶段,但从实验效果来看,有助于景区客流运转的可控性和有序化,对景区管理者、景点设施和游客来说都是大有裨益的。首先,对景区管理者来说,景区旅游拥挤加剧和生态环境破坏等问题需要对旅游客流和景区内资源的使用情况进行监控,以便必要时进行现场疏导,其最大的障碍莫过于无法掌握游客在景区内的游憩行为。本文算法可以让景区管理者了解游客的行踪(实践中需借助物联网技术),算法产生的推荐路线能让游客自动分流并导航到较少拥挤的景点上,不用担心热门景点由于游客过多而出现局部拥堵或混乱的局面,有望节省用于现场疏导的人力资源。其次,对景点设施来说,本文算法能够均衡各景点的接待能力和承受能力,既不会造成资源闲置浪费,也不会造成景区局部拥挤。再者,对游客来说,在景区的游憩过程中,拥挤的人群和错综复杂的地图让他们很难通过目测或者经验获得最佳旅游线路,本文算法可辅助游客个性化定制感兴趣的景点,并在确定游憩方向(景点的游历次序)上把繁琐的自行搜索筛选变为了主动推送,减少游客在景区的等待时间,并有可能增加游客体验项目数(张影莎,等,2012),从而提高游客的游玩效率。

致谢 感谢暨南大学深圳旅游学院吴圳杰对本文仿真系统的测试所做的诸多工作。

参考文献:

[1] 陈建斌,郑丽,张凌云.智慧景区IT能力模型及其核心构成研究[J].旅游科学,2014(1):1421.

[2] 陈治佳,王曦,何苗.大型游乐场快速通道优化模型与仿真模拟[J].哈尔滨工业大学学报,2005(9):12611263.

[3] 杜军平,周亦鹏.基于数据的旅游管理决策支持系统研究[J].自动化学报,2009(6):834840.

[4] 冯刚,任佩瑜,戈鹏,朱忠福,冉建华.基于管理熵与RFID的九寨沟游客高峰期“时空分流”导航管理模式研究[J].旅游科学,2010(2):717.

[5] 冯刚,任佩瑜,肖维阳,邓贵平,蹇代君.基于RFID模式对景区生态保护的研究――以九寨沟诺日朗餐厅就餐分流为例[J].西南民族大学学报 (人文社科版),2009(11):151154.

[6] 戈鹏,郑伟民,肖雄辉,邱厌庆,任佩瑜.基于九寨沟区域时空负荷均衡的仿真研究[J].管理工程学报,2013(2):99106.

[7] 姜向阳,任佩瑜.自然保护区旅游高峰期时空分流导航管理的模型构建与分析[J].旅游科学,2012(4):1725.

[8] 黎j.景区游客游憩行为计算机仿真模型[J].旅游科学,2013(5):4251.

[9] 黎j,杜栓柱.景区游憩行为计算机仿真系统研究综述[J].旅游学刊,2011(7):8594.

[10] 李仁杰,路紫.旅游个性化推介服务的未来发展:时空一体化[J].旅游学刊,2011(10):8288.

[11] 梁倩,张宏梅.智慧景区发展状况研究综述[J].西安石油大学学报( 社会科学版),2013(5):5256.

[12] 刘卫东,沈官林,严蔚敏.数据结构C++语言描述[M].北京:清华大学出版社,1998.

[13] 邱厌庆,戈鹏,赖力,吴艳,任佩瑜.九寨沟景区初态聚类分流实证研究[J].资源科学,2010(10):19871992.

[14] 邱厌庆,戈鹏,刘柱胜,任佩瑜.基于复杂系统控制的景区游客时空分流导航管理研究[J].软科学,2011(9):5457.

[15] 邱厌庆,戈鹏,任佩瑜.基于九寨沟景点负荷均衡的时空分流导航研究[J].资源科学,2010(1):118123.

[16] 任竞斐,郑伟民.景区旅游高峰期游客旅游路线动态实时调度仿真研究[J].统计与决策,2013(8):4245.

[17] 王仁志,苗维亚.基于M/M/n排队论的大型旅游景区内部排队现象研究[J].经济体制改革,2012(3):177180.

[18] 王晓东.计算机算法设计与分析[M].第二版.北京:电子工业出版社,2004.

[19] 吴凯.旅游线路设计与优化中的运筹学问题[J].旅游科学,2004(1):4144.

[20] 肖雄辉,戈鹏,朱虹明,任佩瑜,郑伟民,章小平.旅游高峰期景区游客引力分流调度模型研究――以九寨沟风景区为例[J].旅游科学,2013(6):3951.

[21] 张凌云.试论排队论在旅游业中的应用――兼析餐厅服务员的最优配置[J].社会科学家,1988(1):4754.

[22] 张影莎,苏勤,胡兴报,卢松.基于排队论的方特欢乐世界主题公园容量研究[J].旅游学刊,2012(1):6672.

[23] 郑天翔.基于动态实时调度的主题公园游客时空分流导航管理研究[J].旅游科学,2012(4):816.

[24] 郑天翔,吴蓉,罗海媛.国内景区旅游流调控研究综述[J].地理与地理信息科学,2015(5):9096.

[25] Akasaka Y,Onisawa T(2008).Personalized pedestrian navigation system with subjective preference based route selection[M]//Intelligent Decision and Policy Making Support Systems.Berlin Heidelberg:SpringerVerlag,7391.

[26] Button K(2006).The Disney Queue Line Survival Guidebook[M].Scottsdale:Infinity Publishing.

[27] Cope Iii R F,Cope R F,Davis H E(2008).Disney’s Virtual Queues:A Strategic Opportunity To CoBrand Services?[J].Journal of Business & Economics Research,6(10),1320.

[28] Erlang A K(1909).The theory of probabilities and telephone conversations[J].Nyt Tidsskrift for Matematik B,20(16),3339.

[29] Garcia A,Arbelaitz O,Linaza M T,Vansteenwegen P,Souffriau W(2010).Personalized tourist route generation[M]//Current Trends in Web Engineering.Springer,486497.

[30] Garcia A,Linaza M T,Arbelaitz O,Vansteenwegen P(2009).Intelligent Routing System for a Personalised Electronic Tourist Guide:Proceedings of the International Conference on Information and Communication Technologies in Tourism,Amsterdam,The Netherlands[C].

[31] Garcia A,Vansteenwegen P,Arbelaitz O,Souffriau W,Linaza M T(2013).Integrating public transportation in personalised electronic tourist guides[J].Computers & Operations Research,40(3),758774.

[32] Heger C,Offermans S,Frens J(2009).Waiting as part of the fun:Interactive gaming in theme park queues:Proceedings of the fifth Student Interaction Design Research Conference,Eindhoven University of Technology,the Netherlands[C].

[33] Lovejoy T C,Aravkin A Y,SchneiderMizell C(2004).Kalman Queue:An Adaptive Approach to Virtual Queueing[J].The UMAP Journal,25(3),337352.

[34] Lutz H(2008).The impact of virtual queues for amusement parks:Proceedings of the 39th Annual Meeting of the Decision Sciences Institute,Atlanta,Georgia State University[C].

[35] Maruyama A,Shibata N,Murata Y,Yasumoto K,Ito M(2004).A personal tourism navigation system to support traveling multiple destinations with time restrictions:Proceedings of the 18th International Conference on Advanced Information Networking and Applications,Fukuoka,Japan[C].IEEE.

[36] Nadi S,Delavar M R(2011).Multicriteria,personalized route planning using quantifierguided ordered weighted averaging operators[J].International Journal of Applied Earth Observation and Geoinformation,13(3),322335.

[37] Panou M(2012).Personalized application for multimodal route guidance for travellers[J].European Transport Research Review,4(1),1926.

[38] Shiraishi T,Shibata M N N,Nagata M,Shibata N,Murata Y,Yasumoto K,Ito M(2005).A personal navigation system with a schedule planning facility based on multiobjective criteria:Proc.of 2nd International Conference on Mobile Computing and Ubiquitous Networking[C].Citeseer.

[39] Souffriau W,Vansteenwegen P,Vertommen J,Berghe G V,Oudheusden D V(2008).A personalized tourist trip design algorithm for mobile tourist guides[J].Applied Artificial Intelligence,22(10),964985.

[40] Sylejmani K,Dorn J,Musliu N(2012).A Tabu Search approach for Multi Constrained Team Orienteering Problem and its application in touristic trip planning:12th International Conference on Hybrid Intelligent Systems[C].IEEE.

[41] Tsai C Y,Chung S H(2012).A personalized route recommendation service for theme parks using RFID information and tourist behavior[J].Decision Support Systems,52(2),514527.

[42] Tsiligirides T(1984).Heuristic methods applied to orienteering[J].Journal of the Operational Research Society,35,797809.

[43] Universal City Studios INC(2002).Reservation system and methods for theme parks:USA,US2002116235 A1[P].20020822.

[44] Vansteenwegen P,Souffriau W,Berghe G V,Van Oudheusden D(2009b).Metaheuristics for tourist trip planning[M]//Metaheuristics in the service industry.Berlin Heidelberg:SpringerVerlag,1531.

[45] Vansteenwegen P,Souffriau W,Vanden Berghe G,Van Oudheusden D(2009a).Iterated local search for the team orienteering problem with time windows[J].Computers & Operations Research,36(12),32813290.

[46] Vansteenwegen P,Van Oudheusden D(2007).The mobile tourist guide:an OR opportunity[J].OR Insight,20(3),2127.

[47] Yiakoumettis C,Doulamis N,Miaoulis G,Ghazanfarpour D(2013).Active learning of user’s preferences estimation towards a personalized 3D navigation of georeferenced scenes[J].GeoInformatica,136.

[48] Yu C,Chang H(2009).Personalized locationbased recommendation services for tour planning in mobile tourism applications[M]//ECommerce and Web Technologies.Berlin Heidelberg:SpringerVerlag,3849.

[49] Zhang L,Li J,Zhou K,Gupta S D,Li M,Zhang W,Miller M A,Misener J A(2011).Traveler information tool with integrated realtime transit information and multimodal trip planning[J].Transportation Research Record,(2215),110.

Decision Support System to Personalized Route

Guidance Service for Tourists in Theme Parks Based on

Computer Reasoning Technology:Design,Simulation and Comparison

ZHENG Tianxiang1, WU Rong2

(1.Shenzhen Tourism College, Jinan University, Shenzhen 518053, China;

2.Geography and Planning School, Sun YatSen University, Guangzhou 510275, China)

Abstract:

The paper is a study of the decision support system concerning personalized route guidance service for tourists in theme parks. It first outlined a single complete recreational behavior of a tourist while visiting at the park, thus summarizing the components and states related to this behavior. To simulate these components and accomplish the switching states, it presented, using computer reasoning technology, a stateofart model (recreation direction) finding algorithm via contextual environment, which integrated the tourist’s preferences, the availability of the targeted recreation facility (amusement ride) and the queuing situation of other facilities, so as to get the singlestep optimal direction. A computerized simulation system based on discrete event modeling was then implemented and experiment was conducted on an analog dataset as compared with the traditional shortestpath algorithm. The findings show that the proposed model outperforms its competitor in four evaluating indicators including tourist waiting time, amount of nonvisited rides, utilization of each ride and average waiting cost on each ride. The validity of this study depends on its temporalspatial integration by generating an appropriate visiting route for each tourist to follow, which in turn, theoretically, guides him/her to those vacant rides or less congested areas. All these indicate that this work caters to modulating the spatial and temporal distribution of tourist flow in theme parks, where queuing problem generally occurs, by balancing the capacity of each park ride as well as reducing the waiting cost of the tourists.

篇2

关键词:计算机视觉图像 精密测量 构造几何模型 信号源的接收

中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2013)05-1211-02

新型计算机视觉图像精密测量是一种基于计算机程序设计以及图像显示的高精度的关键技术,它广泛用于测量的领域,对于测量的准确性有很好的保证。这种关键技术是几何了光学的特性,发挥了图像学的显影性,把普通的测量技术瞬间提升到了一个新的高度。在这项关键技术中包含了物理学中光的效应,图像中的传感器以及计算机中的编程软件,这还不完全,还有一些其他科学领域知识的辅助,可以说这项关键技术是一个非常有技术含量的技术,很值得学者进行研究。

1 计算机视觉图像精密测量的关键技术的具体形式

在以往的测量中,选择的测量方式还是完全采用机械的形式,但是在使用了计算机视觉图像精密测量后,完成了许多以往技术所不能达到的任务。在我们的研究中,计算机视觉图像测量的原理是通过摄像机将被处理的对象采集进行影像采集,在多个控制点的数据采集完成后,系统会自动将这些图像进行整合,得出相关的几何多变参数,再在计算机上以具体的数据显示出来,以供技术人员使用参照。

在上面所说的摄像机并不是我们通常意义上生活中使用的摄像机。它是一种可视化较强,表针比较敏感的测试仪。可以将视觉中的二维形态通过显影,记录在机械的光谱仪上,再将这种的二维图像做数学处理,有二阶矩阵转换为三阶矩阵,通过播放仪呈现出三维的影像。这时的图像变为立体化,更有层次感,效果上也有了明显的变化,这是一种显示方法。此外还有一种造价较高的仪器,我们不常使用,就是图像提取器。同样是采集控制点的数据,将数据整合在系统之内,然后对于原始的图像进行预处理,不再经过有曝光这个程序,将图像中关键点的坐标在整个内部轴面上体现出来,提取数据帧数,再运用机器的智能识别系统,对控制点的坐标进行数据分析,自动生成图形,这也可以用于精密测量。它的优点就是使用上极其的方面,基本只要架立仪器和打开开关,其他的工作机械系统都会自动的完成。使用的困难就是造价极其的高,不适合一般企业使用。在基于计算机视觉图像测量中使用上的原理如下:

1) 计算出观察控制点到计算机视觉图像测量仪器的有效距离;

2) 得出观察点到目标控制点之间的三维的运动几何参数;

3) 推断出目标控制点在整个平面上的表面特征( 大多时候要求形成立体视觉);

4) 还通过观察可以判断出目标物体的几何坐标方位。

在整个计算机视觉图像精密测量的关键技术中最关键的元件就是压力应变电阻仪,这也是传感器的一部分。压力应变电阻仪的使用方式是将应力片粘贴在控制点位上,事先在物体表面打磨平整,清理干净后,涂抹丙酮试剂,在液体完全风干后就可以黏贴应力片,通过导线的联接,形成了一小段闭合的电路,时刻让计算机视觉图像系统可以感应到并作跟踪观察。因受到来自不同方面谐波的影响后,应力片会产生一定数值的电阻,在电路中,这些电阻会转化为电流,视觉图像系统接收到了电流后就会显示在仪表盘上相应的数据,我们就可以根据仪表盘中的数据记录测量中的数据,很好的解决了原始机械在使用过程中大量的做无用功所消耗资源的现象。传感器对每个应点都进行动态的测量,将数据模转换成现实中的图像,精确的成像可以测算出控制点的位置,用计算机视觉图像精密测量结合数据方面的相关的分析,得出施工中的可行性报告分析,减低了施工中的成本,将施工的预算控制在一个合理的范围之内。

当无法观察到控制点是,计算机视觉图像精密测量可以通过接收信号或是相关的频率波段来收集数据,不会因为以往测量的环境不好,距离太远,误差太大的影响。

2 计算机视觉图像精密测量的关键技术分析

在计算机视觉图像精密测量的关键技术中解决了很多以往很难完成的任务,但是在使用过程中还是发生了很多的问题。尤其在视觉图像的选择中,无法使用高帧数的图片显示,无法将计算机视觉图像精密测量的关键技术的优点发挥出来。我们就计算机视觉图像精密测量的关键技术中常见的问题进行讨论。

2.1 降低失误的概率

在很多的数据误差中,有一部分是出现在人为的因素上面。对于机器的不熟悉和操作中的疏忽都会在一定程度上对图像的视觉感模拟带来麻烦。对于网络设备的配置上,要经常性的学习,将配置在可能的情况下设置的更加合理和使用,保证网络连接系统的安全性。为防止更多因操作带来的误差,选用系统登入的制度,用户在通过识别后进入系统,在采集数据后,确定最终数据上又相关的再次确定的标识,系统对本身有的登录服务器和路由器有相关的资料解释,记录好实用操作的时间,及时备份。

2.2 对于权限的控制

权限控制是针对测量关键所提出的一种安全保护措施,它是在使用计算机视觉图像精密测量的关键技术中对用户和用户组赋予一定的权限,可以限制用户和用户组对目录、子目录、文件、打印机和其他共享资源的浏览和更改。图像中的运行服务器在停止的情况下可以做出不应答的操作指令,立刻关闭当前不适用的界面,加快系统的运行速度,对于每天的日志文件实时监控,一旦发现问题及时解决。对于数据终端的数据可采用可三维加密的方法,定时进行安全检测等手段来进一步加强系统的安全性。如果通过了加密通道,系统可以将数据自动的保存和转换为视图模式,对于数据的审计和运行可以同时进行,这样就可以很好的保证大地测量中的图像数据安全,利用防护墙将采集中废弃的数据革除在外,避免数值之间发生紊乱的现象,进一步改善计算机视觉图像精密测量的关键技术。

2.3 开启自动建立备份系统

计算机视觉图像精密测量的关键技术的完善中会常遇到系统突然崩溃或是图像受到严重干扰导致无法转换的一系列情况,发生这种情况最大的可能性就是系统在处理多组数据后无法重新还原成进入界面。这时为保证图片转换成数字的系统数据不丢失,我们对系统进行备份。选定固定的磁盘保存数据,定期将产生的数据(转换前的图像和转换后的数值)导出,保证程序的正常运行。当系统一旦发生错误,可以尽快的恢复数据的初始状态,为测量任务的完成争取更多的时间。我们还要减少信号源周围的干扰,定期的更新系统数据库,保持数据采集的稳定性,把摄像机记录出的数据节点保存在相应的技术图纸上,用这样的方式来知道测量工作。系统备份的数据还可以用于数据的对比,重复测量后得出的数据,系统会自动也备份的数据进行比对,发现误差值在规定以外,就会做出相应的预警,这样也能在工作中降低出现误差的概率。

3 计算机视觉图像精密测量的关键技术遇到的困难和使用前景

计算机视觉图像精密测量的关键技术作为一种新兴技术在使用时间上不过十几年,其使用的程度已经无法估算。正是因为它的简单、使用、精度高以及自动化能力卓越的特点受到了测量单位的广泛青睐。在测量方面的这些可靠性和稳定性也是有目共睹的。在土木和机械测量的行业计算机视觉图像精密测量的关键技术都会有广泛和良好的使用,前景也是十分的广阔。但是不容忽视该技术也有一些弊端。这项关键技术中涵盖的学科非常的多,涉及到的知识也很全面,一旦出现了机器的故障,在维修上还是一个很大的问题,如何很好的解决计算机视觉图像技术的相关核心问题就是当下亟待解决的。

我们都知道,人的眼睛是可以受到吱声的控制,想要完成观测是十分简单的,但是在计算机视觉图像技术中,毕竟是采取摄像机取景的模式,在取得的点位有的时候不是特别的有代表性,很难将这些问题具体化、形象化。达不到我们设计时的初衷。所以在这些模型的构建中和数据的转换上必须有严格的规定和要求,切不可盲目的实施测量,每项技术操作都要按规程来实施。

上文中也谈到了,计算机视觉图像精密测量的关键技术中最主要的构建是传感器,一个合理的传感器是体统的“心脏”,我们在仪器的操作中,不能时时刻刻对传感器进行检查,甚至这种高精度的元件在检查上也并不是一件简单的事情,通过不断的研究,将传感器的等级和使用方法上进行一定的创新也是一项科研任务。

4 结束语

在测量工程发展的今天,很多的测量技术已经离不了计算机视觉图像技术的辅助,该文中详细的谈到了基于计算机视觉图像精密测量的关键技术方面的研究,对于之中可能出现的一些问题也提出了相应的解决方案。测量工程中计算机视觉图像精密测量的关键技术可以很好的解决和完善测量中遇到的一些问题,但是也暴露出了很多的问题。

将基于计算机视觉图像精密测量的关键技术引入到测量工程中来,也是加强了工程建设的信息化水平。可以预见的是,在未来使用计算机视觉图像技术建立的测量模型会得到更多、更好的应用。但作为一个长期复杂的技术工程,在这个建设过程中定会有一些困难的出现。希望通过不断的发现问题、总结经验,让计算机视觉图像精密测量的关键技术在测量中作用发挥的更好。

参考文献:

[1] 汤剑,周芳芹,杨继隆.计算机视觉图像系统的技术改造[J].机电产品开发与创新周刊,2005,14(18):33-36.

[2] 段发阶,等. 拔丝模孔形计算机视觉检测技术[J]. 光电工程时报, 1996,23(13):189-190.

篇3

关键词:计算机视觉技术 铁路检测 应用

中图分类号:TP391 文献标识码:A 文章编号:1007-3973(2012)002-075-03

1 前言

自1825年世界第一条铁路在英国出现以来,铁路已经成为人们不可或缺的交通工具,越来越多的人在使用铁路出行,由于近年来铁路事故频频发生,促使了计算机视觉技术在铁路检测上的广泛使用并大力发展。

传统的铁路检测一直是靠人工和静态检测,这种检测缺乏实时性和准确性,并且效率低下,根本无法满足铁路的发展。这就要求研究一种新的检测方法来适应环境的发展,人们就试图将计算机视觉技术应用于铁路检测上,并取得了很好的效果。将计算机视觉技术应用在铁路检测上显著提高了铁路检测的实时性、准确性,有效的减轻了人工检测中工作条件恶劣,工作量大等缺点。它能在列车行驶的过程中就能对铁路和列车状况进行检测,并及时的做出预警,防止安全事故的发生。目前有关铁路检测主要集中在铁路信号检测、轨道检测、接触网检测、电力机车检测及站台环境监测等五个方面。

2 计算机视觉技术

计算机视觉,也称机器视觉。它是利用一个代替人眼的图像传感器获取物体的图像,将图像转换成数字图像,并利用计算机模拟人的判别准则去理解和识别图像,达到分析图像和作出结论的目的。

计算机视觉是多学科的交叉和结合,涉及到数学、光学、人工智能、神经生物学、心理物理学、计算机科学、图像处理、图像理解、模式识别等多个领域。计算机视觉已有多年的发展历程。随着计算机、控制理论、模式识别、人工智能和生物技术的发展,计算机视觉在机器人、工业检测、物体识别的应用越来越广,研究方向也从二维到三维,从串行到并行,从直接依赖于输入信号的低层处理到依赖于特征、结构、关系和知识的高层处理。

一般的计算机视觉系统是有CCD(电荷耦合器件)摄像机、装备有图像采集板的计算机、光照系统以及专用图像处理软件等组成。CCD摄像机将所要研究的对象和背景以图像的形式记录下来,这其实是一个光电传感器,将光学信号转成电信号,图像采集板把采集的电信号转为数字信号,即数字化,一般情况下在摄取图像时都需要一个照明系统提供光照,然后再用专用的图像处理软件对图像进行处理,输出分析结果。

3 计算机视觉技术在铁路信号中的应用

铁路信号灯和现在的交通公路上的红绿灯是一个功能,但铁路和公路不同,铁路有限定的道路,列车必须在限定的股道上行驶,所以一旦与其他车辆相遇的话根本没有办法避让,如果发生车祸将会对国家和人民的生命和财产造成严重的损失,因此列车必须严格按照信号灯的指示行驶。

铁路信号灯识别主要是利用了信号灯在不同情况下会发出特定色彩光的特点。文献[1]在HSV空间中对S分量图像边缘检测和膨胀等,结合各种信号灯色调H分量的取值范围得到信号灯区域,然后多次腐蚀直到消除孤立点得到信号灯的边缘,最后填充信号灯区域,从而实现了信号灯的识别。在文献[2]也与此类似。文献[3]将彩色图像由RGB模式转化为HSI模式,用彩色特征聚类分析法来对图像进行分割,文中提出了基于颜色和形状相结合的复杂环境中目标检测与识别方法,用Hough变化来提取目标边界,从而提取出特定目标,而后得到指示灯区域所有像素的H,S统计值确定信号灯的颜色。在文献[4]提出一种基于改进的Hough变化的吊车信号灯识别算法。Roberto将摄取的图片转换到HIS颜色空间,用基于形状特征和模板匹配的方法探测到相关的铁路标志而放弃无关的基础设施。

为了部分消除因为光照条件、背景和拍摄角度对目标识别的影响,文献[5]提出使用一种利用sift特征的方法,它首先建立已知样本模型的特征集,然后将视频流每帧灰度图像的sift特征与之比较,从而实现对目标的检测或跟踪。实验表明该方法不仅能避免目标的错误识别,而且也明显优于基于边缘检测的算法,在识别准确率上达到了90%。

4 计算机视觉技术在轨道检测中的应用

随着世界铁路运营速度的不断提高,列车在行驶时对轨道的撞击、摩擦加剧,这就会造成轨道的变形、零件松动、磨损乃至缺失等,这些都会对列车的安全性造成严重影响,极有可能会造成铁路安全事故的发生。因此轨道设备具备良好的状态是铁路运输安全的重要保证。

随着电子技术和检测技术的发展,轨道检测技术也经历了翻天覆地的变化,其中也有不少研究机构将计算机视觉技术应用于轨道检测上,且取得了若干有效的检测方法。

轨道表面缺陷对列车行驶的质量和铁路系统的安全性会造成严重的影响,文献[7]提出了一种轨道表面缺陷检测的实时视觉检测系统。利用跟踪提取算法分割出轨道的灰度图像,然后用局部归一化法增强轨道图像的对比度,最后用基于投影轮廓的缺陷定位法检测缺陷。该算法对噪声有较强的鲁棒性和计算速度快,在一定程度上克服了光照不均和轨道表面反射性质不同对图像的影响,但对局部归一化过程中参数的选择有待进一步研究,以使该系统有更强的鲁棒性。该系统在216km/h速度下能进行实时检测,但随着检测速度的提高检测的准确度会明显下降且缺乏实时性。

文献[8]利用一排结构光视觉传感器,将钢轨轮廓的大圆周和小圆周的中心作为检查点。首先结构光视觉传感器拍摄铁轨侧面并且将其标记 在参考坐标帧中,最后通过比较测量的钢轨轮廓与参考轮廓的比较计算出铁轨磨损程度。该方法简单快速精确且不需要特殊的图像处理设备,在列车较高速度时仍然能达到良好效果。

5 计算机视觉技术在接触网检测中的应用

接触网是沿铁路线上空架设的向电力机车供电的特殊形式的输电线路。其由接触悬挂、支持装置、定位装置、支柱与基础几部分组成。它是轨道交通的主要组成部分,主要为机车提供动力,接触网的连接件由于受外界因素的影响容易产生过热现象,严重时会导致供电中断,引发列车停运事故。

我国的计算机视觉技术的接触网检测系统是基于德国相关技术而建立起来的,目前基于计算机视觉技术的接触网磨耗检测主要有两种方案:(1)基于镜面反射,激光照射接触线,线性CCD照相机捕获反射图像;(2)基于漫反射原理和CMOS(互补金属氧化物半导体)照相机。由于长期的频繁摩擦,接触网与受电弓接触部分很少被空气氧化,所以用光进行照射时该部分光反射率明显高于其他部分,因此这也为计算机视觉技术用于接触网检测提供了可能。

基于机器视觉的接触网检测系统主要是建立在图像识别和图像处理等视觉技术基础之上的,检测的内容涵盖接触网的所有基本几何参数。随着铁路的发展,原有的检测系统已经暴露出了一些问题,已无法满足需求,所以研究人员在系统硬件设备不变的情况下提出了许多改进的算法,如文献[9]针对现行的接触网定位器倾斜度检测方法效率低下、精确度不高的缺点,提出了一种基于计算机视觉的接触网定位器倾斜度自动测量装置,应用图像分割、剔除干扰线、图像细化等算法,对采集的图像进行处理,然后利用改进的霍夫(Hough)变换检测细化后的图像,对相邻的特征像素点进行聚类并感知编组,最后用随机Hough变换使感知编组后的每条线段更接近直线,进而计算装置中定位器的倾斜度,实验证明该算法精度高、速度快。

6 计算机视觉技术在电力机车检测中的应用

在列车的行进过程中,机车车轮与钢轨接触面不断发生摩擦,也就是轮缘与踏面的摩擦。从而会造成踏面的擦伤或剥离,而剥离会严重影响列车运行的安全性和平稳性以及轨道设施的使用寿命,因此需要对轮缘进行定期的检测和维修。

传统的检测方法需要人工逐项检测,存在费时费力、工作量大、工作环境差、效率低等缺点,所以人们就提出了一种基于计算机视觉技术的检测技术,该技术是一种非接触式检测方法,它能检测出所有关于火车轮缘轮廓的几何参数,从而计算出火车轮缘的磨损情况。这种检测方法检测速度快、准确率高且大大减轻了劳动强度,在实验中取得了满意的效果,并且在实际检测中也得到了广泛的应用。

文献[10]中研发设计了一种利用CCD成像测量技术、图像处理理论和计算机控制等相关技术,提出了一种非接触式的在线测量系统。采用二元多项式方法对由于硬件装置引起的误差的图像进行几何校正,用统计均值法对图像进行分割,从而求出车轮踏面的各项参数,通过在实验室对标准物进行测试实验而得到的测量数据结果进行分析而得出。此系统能够完成对火车轮对几何参数的测量,并且可得到相对准确的测量结果。

为了解决检测轮缘高度和宽度存在精度难以保证及稳定性不高的问题,文献[11]提出了一种基于三角法测量的在线监测系统,该系统由CCD高速摄像机和结构光发射器完成数据的采集,然后利用三角测量原理导出测量模型和计算模型,根据轮缘高度和宽度的定义完成对高度和宽度的测量,最终对轮缘磨损程度进行量化,实验表明该算法测量精度高,结果稳定可靠。

7 计算机视觉技术在站台环境监测中的应用

近年来铁路交通事业发展迅速,铁路客流量也不断增大,如中国每年的春运期间都有上亿人次通过火车返乡,各种危害乘客安全的事故也时有发生,因此世界各国特别是中国站台监控就显得越来越重要,目前的站台监控主要是依靠安装在各个角落的闭路电视或专业技术人员,这不仅需要专业技术知识还需要大量的人力物力。随着计算机、图像处理等技术的快速发展,对站台的自动监控也逐渐成为发展趋势。

近年来人们做了许多关于站台人群检测的研究,这些研究大都使用铁路站台中的闭路电视(CCTV)系统,在现代的CCTV系统中基本上使用的是数字化图像,在人群监测过程中大量使用了数字图像处理技术,如边缘检测、细化、像素计算等,通过图像的处理可以轻易的得到想要的结果。

文献[12]仍采用原有的CCTV监控系统拍摄的灰度图像作为处理对象,利用基于视觉的经过最小二乘法和全局搜索的混合算法训练的工业的额神经网络来估算站台的拥挤程度,该系统在实际的运行中获得了较高的精确度,虽然不能计算人数但却能实时的预测人群的密度。

文献[13]所设计的系统就较为复杂,它利用多台摄像头对站台进行检测。首先判断站台上列车的四种状态,如:没有列车、有列车、列车正在出站、列车正在入站等,然后对物体或行人检测及跟踪,最后对所检测的结果综合分析,做出合理的预警或警告。

8 计算机视觉技术在铁路检测上的发展趋势

随着计算机视觉技术的铁路检测中的应用越来越广泛和深入,并且随着计算机视觉技术等关键技术的不断发展,计算机视觉技术在铁路检测上应用发挥更大的作用,它就目前而言在铁路检测的应用上仍然存在技术难题需要研究:

篇4

关键词:动态场景;自适应预测;多特征融合;计算机视觉;运动目标

接受信息的关键手段之一就是视觉系统,随着科学技术水平的不断发展,以及计算机和信号处理理论的诞生,让机器拥有人类视觉功能已经不再是梦。对所采集视频中的运动目标进行跟踪、检测,并对其目标行为进行分析,就是运动目标分析的内容,运动目标分析是计算机视觉领域关键内容之一,其属于图像理解与图像分析的范畴。而在运动目标分析系统中,跟踪与检测运动目标则为中级和低级处理部分,是分析与理解行为的高等层分析模块的基础。检测与跟踪运动目标技术主要包括了:机器人视觉导航、军事领域、运动图像编码、交通管制、视觉监视等。

1目标检测算法

连续图像序列由视频中提取出,由前景区域与背景区域共同组成了整个画面。前景区域包含了如运动的人体、车辆等动态要素,它是指人们较为感兴趣的区域。而背景区域主要包含例如树木、建筑物等静态要素,它的像素值仅发生微弱变化或者不产生变化。在连续图像序列中,采用一系列算法分隔开背景区域和前景区域,将运动目标信息有效提取,则为运动目标检测。以静态场景为基础的运动目标检测算法包括了光流法、背景差分法、帧间查分法等,文章主要针对背景差分法进行介绍。

背景差分法通常适用于静态场景,其是将背景图像与当前帧图像进行差分,运动目标依靠阀值化进行检测,因为该算法仅能够在背景变化缓慢或者不发生变化的情况下应用,因此就有着一定的局限性。假设当前帧图像为fk(x,y),背景图像B(x,y)可通过一定的方法得出,而这时背景差分图像则为:

(1)

而假设二值化阀值为Th,二值化图像B(x,y)则为:

(2)

运动目标检测结果可通过数学形态学处理获得。

2 背景模型的实时更新

要更新背景图像可采用一阶KALMAN滤波来实现,为了克服气候变化、光照变化等外部环境变化对运动检测产生的影响,采用一阶KALMAN滤波更新背景图像公式如下:

Bk+1(p)=Bk(p)+g(Ik(p)-Bk(p)) (3)

而增益因子则为:g=?琢1(1-Mk(p))+?琢2Mk(p) (4)

公式中?琢1和?琢2是权值系数;M是第k时刻二值化后目标图像中p像素的值;B为背景图像;I为当前帧图像。要想将运动目标从背景序列图像中有效分割出来,就必须要达到?琢2足够小的条件,且?琢1应等于或者大于10?琢2,若?琢1值过大,就会将算法自身的去噪特性丧失,在序列背景图像中也会存储越来越多的运动变化。

3 更新车辆目标模型

核与活动轮廓算法具有效率高、技术复杂度低等特点,它以非参数核概率密度估计理论为基础,在视频运动目标跟踪中广泛应用。彩色图像序列通过摄像机获取,人脸目标模型可以采用RGB颜色空间来进行描述。在跟踪车辆的过程中,噪声、遮挡、光照等干扰或多或少存在,因干扰因素的存在,车辆像素特征也会发生相应的微弱变化。若不对目标模型进行更新,会对跟踪精度产生影响,所以,采用的矩形模板会包括一定背景。而在实施跟踪的过程中,要对车辆目标模型进行更换。如果其过程物遮挡,当BHATTACHARYYA系数满足?籽>Tudm条件时,更新车辆目标模型,更新模型为:

(5)

公式中Tudm是模板更新阀值;qk-1是更新之前的车辆目标模型。通过视频跟踪,在近场景和远场景拍摄到的视频中,多尺度图像空间由各个帧图像构成。例如:将将书本作为跟踪对象,由远及近从书本的正上方拍摄六十帧图像,为了能使矩形框正好能够包含书本,对每帧图像张书本手工划定矩形框,并对框内图像的信息量进行统计。最后,随书本尺度的变化,给出图像信息量变化曲线。

4 计算机视觉原理

计算机视觉是一门研究怎样使机器进行观察的科学,更切确地说,就是指利用电脑和摄影机代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,用电脑处理成为传送给仪器检测或更适合人眼观察的图像。计算机视觉研究相关的理论和技术作为一个科学学科,尝试创建能够从图像或者多维数据中获取信息的人工智能系统。这里所指的信息指Shannon定义的,可以用来帮助做一个决定的信息。因为感知可以看作是从感官信号中提取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中感知的科学。

计算机视觉就是由计算机来代替大脑完成处理和解释,用各种成象系统代替视觉器官作为输入敏感手段。使计算机能象人那样通过视觉观察和理解世界,具有自主适应环境的能力就是计算机视觉的最终研究目标,而需要经过长期的努力才能达到这个目标。所以,在实现最终目标以前,通过努力的中期目标是建立一种视觉系统,这个系统能依靠反馈的某种程度的智能和视觉敏感完成一定的任务。例如:计算机视觉的一个重要应用领域就是自主车辆的视觉导航,但要实现自主导航的系统,却还没有条件实现象人那样能识别和理解任何环境。所以,人们通过不懈的努力,研究在高速公路上具有道路跟踪能力,有效避免与前方车辆碰撞的视觉辅助驾驶系统。人类视觉系统是有史以来,人们所知道的功能最强大和完善的视觉系统。这里要指出的一点是在计算机视觉系统中计算机起代替人脑的作用。计算机视觉可以而且应该根据计算机系统的特点来进行视觉信息的处理,但并不等于计算机必须按人类视觉的方法完成视觉信息的处理。可以说,对人类视觉处理机制的研究将给计算机视觉的研究提供指导和启发,所以,用计算机信息处理的方法研究人类视觉的机理,建立人类视觉的计算理论,与此同时也是一个十分重要和让人感兴趣的研究领域。这方面的研究被称为计算视觉。计算视觉可被认为是计算机视觉中的一个研究领域。计算机视觉领域的不完善性与多样性为其突出特点。

5 结束语

对视频中的运动目标进行跟踪、识别、检测,并对目标行为进行研究、分析,这就是基于视觉运动目标分析。以计算机视觉为基础,分析运动目标,包括了目标行为的理解与分析、目标跟踪、运动目标检测、预处理图像等,它是计算机视觉领域重要内容之一。理解与分析运动目标的行为,既是计算机视觉的根本目的之一,也是检测与跟踪运动目标的最终目标。从理论层考虑,理解与分析运动目标的行为可以分为人工智能理论研究与模式识别。简要阐述基于计算机视觉的运动目标分析,而所面临的是对运动目标行为的理解。

参考文献

[1]杨可,刘明军,毛欣,夏维建,刘伟,周旋,吴炜,周凯.基于计算机视觉的电缆终端表面温升分析系统[J].电视技术,2013(7).

[2]叶闯,沈益青,李豪,曹思汗,王柏祥.基于人类视觉特性(HVS)的离散小波变换(DWT)数字水印算法[J].浙江大学学报:理学版,2013(2).

[3]何青海,马本学,瞿端阳,李宏伟,王宝.基于机器视觉棉叶螨自动监测与分级方法研究[J].农机化研究,2013(4).

[4]贾挺猛,苟一,鲍官军,董茂,杨庆华.基于机器视觉的葡萄树枝骨架提取算法研究[J].机电工程,2013(4).

篇5

关键词 陶瓷设计,计算机视觉、触觉设计

1前 言

历经数十年发展,CAD/CAM技术已取得了巨大成功,并迎来了数字化设计、数字化制造的时代。NURBS曲线曲面(非均匀有理B样条)以其强大的形状表示能力和配套的计算、编辑算法,已成为事实上的产品表示标准。细分曲面、隐式曲面是近年曲面造型研究的热点,它们突破了NURBS在拓扑结构上的局限性,更容易表达某些复杂的形状。

在陶瓷设计领域,经常需要设计人体、动物等自然雕塑形体,现有的CAD系统可采用NURBS曲面、细分曲面、隐式曲面等来描述这些复杂对象[1],但如何能快速、精确地设计出来,目前尚无有效的数字化工具。人们认识、改变外在事物时,主要利用视觉与触觉的感官功能,通过手眼协调来设计出新的事物,设计师在设计新的对象时,也可如此操作。

近些年出现了一些价格较为便宜的触觉式设计系统,如FreeForm系统,它抽取了大型虚拟现实系统的单一触觉功能,可提供真实感的数字雕塑工具。但一般设计人员使用后的效果并不理想,虽可以在局部修修补补,但缺乏对整体形态的把握[2]。

本文提出了一套视觉与触觉相结合的数字设计系统,以数码相机和力感触觉系统为工具,快速实现复杂形体的数字建模。首先利用数码相机拍照,摄取参考对象的图像,通过一个专门设计的摄影测量与计算机视觉集成系统重构出参考对象的三维数字模型;然后将此模型输入到触觉设计系统,经局部的修正,得到新的设计模型。以下详述系统组成及原理,并给出设计实例予以验证。

2造型设计系统的组成

本文所提出的系统主要分为两个模块:视觉子系统与触觉子系统。其中触觉子系统是购置的,视觉子系统是独立开发的[3]。相机采用奥林巴斯CL5050,拍摄的照片经视觉反求系统处理后,得到VRML格式的三维模型,然后输入FreeForm触觉设计系统,进行再设计,最终输出改型设计后的数字模型。图1所示是视觉系统实物,图2是触觉系统的实物照片。

2.1 视觉系统[4]

本文提出的系统中,视觉系统为自主开发的,先讲述相关的主要原理。

本文采用的视觉系统结合了摄影测量法的高精度与计算机视觉法的灵活性。近年来由图片生成3D模型是一个热门的计算机视觉研究领域,并相应提出了诸多的研究方法,其核心问题包括:相机标定、对应点匹配及3D重构等;针对每个问题均有大量的研究算法,特别是相机标定技术几乎成为一个关键环节。

类似于测量系统控制网的概念,我们设计了一套控制特征点,相机直接根据控制特征点进行标定,可得到精度较高的相机内外参数。图3所示是控制点分布的实物图。

我们对控制点分布采取了特殊设计,使任意角度下拍照,均有10个(通常要求至少6个)以上特征点被摄取。对特征点,采用了高精度的专业摄影测量系统Aicon加以标定,其空间坐标保存于一个数据文件中,以备相机标定时采用。

有了高精度的相机参数,就可以利用成熟的计算机视觉方法重构3D模型。我们采用了遮挡轮廓法[1]及空间剥离法[2]这两种对环境要求较低、算法较为稳定的方法,处理标定过的图像,得到三维模型主要形态,可作为触觉设计的基础。

2.2 触觉系统

触觉子系统采用FreeForm触觉式虚拟设计系统,通常也亦称为3D Touch系统,采用了力回馈技术,手握触觉笔在空间旋转移动,屏幕里相应的雕刻刀便随之移动;当雕刻刀接触到模型时,会有力回馈到握笔的手上,让使用者感受到接触时的力量。在雕刻时可设定模型的软硬度,进而调整雕刻所需的力。常规的实物雕刻操作,在系统内均有对应的虚拟工具,无论是雕刻效果,还是虚拟雕刻过程中的感受,与实际雕刻几乎一样,提供了十分逼真的雕刻环境。

3陶瓷狗的造型设计

在陶瓷设计中,经常需要参考某种实物样品。本实验以图1中的玩具狗作为参考对象,借助视觉、触觉集成系统进行了两次造型、建模试验。视觉系统从不同角度摄取了10幅图片,由这10幅图片生成一个三维模型(见图4)。整个建模过程仅需十几分钟,方便快捷。输出的模型包含了参考对象的主要形态,稍加修整,即可得到新的改型设计。

以视觉系统的输出为骨架,在FreeForm系统中进行细部的修整与再设计,并可添加修饰色彩,得到新的设计结果,见图5。

在试验中,如果仅依靠触觉设计系统,即使熟练的操作人员,要设计出比例协调、结构合理的模型,也需要花费一天或数天时间。视觉系统的输入极大地简化了主体形态的构造,使不太熟练的设计人员也能利用触觉系统,很快设计出新的作品。

4总 结

本文提出了视觉、触觉相结合的方法,利用计算机视觉系统帮助设计人员观察、感知设计对象,并把结果以数字形式保存起来;触觉系统直接利用已有的观察结果,通过手眼协调完成最终设计。这种混合系统弥补了非专业人员所缺乏的空间形体洞察力及操纵力,使他们不用经过长期的专业训练,也可快速地设计出新的作品。本文给出的实例已验证了这一观点。

本文揭示了虚拟雕刻过程所忽略的视觉思维环节,并设计出计算机视觉系统来加以弥补,取得了良好的结果,这套视、触觉结合的设计系统可用于陶瓷产品的设计制造,可大幅度提高设计效率和设计质量。

参考文献

1 Potemesil M.Generating octree model of 3D objects from their silhouetttes in a sequence of

images[J].Computer Vision&Graphics Image Processing,1987,40(1):1~29

2 K.Kutulakos and S.Seitz. A theory of shape by space carving[J]. International Journal of Computer

Vision,2000, 38(3):199~218

篇6

关键词关键词:OpenCV;人脸检测;微笑检测;JNI

DOIDOI:10.11907/rjdk.162330

中图分类号:TP319文献标识码:A文章编号文章编号:16727800(2017)001011502

随着人工智能技术的发展,机器学习、计算机视觉等领域也逐渐成为计算机科学中的热点问题,人脸检测便是计算机视觉中的一个分支。OpenCV作为一个开源的视觉库,提供了不少关于人脸检测的模型与处理接口,而大部分接口与算法均采用C/C++语言编写。Java虽有其跨平台的巨大优势,但是这种特性也给Java带来了局限性,在调用动态数据库文件时存在不便。因此,通过JNI工具,可以利用C/C++语言的特性弥补Java的不足[13]。

1相关技术原理

1.1JNI技术分析

JNI(Java Native Interface)提供了若干API 实现Java与其它语言的通信(主要是C/C++)。从Java 1.1开始,JNI标准成为Java平台的一部分,它允许Java和其它语言编写的代码进行交互。然而使用Java与本地已编译的代码交互,通常会丧失平台可移植性[45]。

通常遇到以下几种情况需要使用JNI:①所开发的程序需要用到其它平台属性,但在Java的标准库中不支持此属性;②程序对于运行效率要求较高,因此希望能用较低级的语言(如C/C++)来实现;③Java已经拥有实现需要的程序和库,希望C/C++对其直接进行调用[67]。

1.2JNI技术架构

JNI允许运行在Java虚拟机上的应用程序调用其它语言(如C/C++语言)来编写需要的方法或类库,也能将Java虚拟机嵌入到本地应用程序中。

图1是JNI在本地应用程序与Java应用之间各自扮演的角色图。从图中可以看出,JNI作为Java与C/C++函悼庵间的桥梁,可以实现Java代码与C/C++库函数当中本地代码之间的交互。然而JNI没有改变Java语言的属性,只是让Java语言拥有一种能够对外调用的形式[89]。

1.3OpenCV介绍

OpenCV(Open Source Computer Vision Library)是一个基于BSD许可发行的跨平台计算机视觉库。它轻量而且高效,由C函数与C++类构成,同时提供了Python、Java等语言的接口,可实现图像处理和计算机视觉方面的很多通用算法。OpenCV中对于人脸的检测方法是基于处理成的灰度图像的弱特征检测方法。该方法建立在Haar特征[10]检测方法基础上,可以获得检测人脸的实时处理速度。

OpenCV中也提供了训练分类器[1112]的程序及方法来检测特征。使用者可以将此方法应用于一些项目中的二次开发,比如双目视觉的三维重构、物体识别,协助机器人完成复杂任务,以及在智能监控中的人脸检测、智能交通中的行人检测等。

2开发工具选择

选用的工具是eclipse,Java版本为JDK1.7,C++使用的是VS2010。另外PC端需要具备内置或外置摄像头,PC机配置为Inter Core i5-3230M CPU 2.6GHz。

3实现过程

从图2中编写JNI代码的大致步骤可以看出Java需要将字节码文件通过javah生成头文件,再与C代码共同生成动态链接库,进而与Java中的代码进行交互。

3.4人脸检测实验结果

篇7

关键词:印制电路板;图像处理;机器视觉;PCB裸板;自动光学检测;缺陷检测 文献标识码:A

中图分类号:TP391 文章编号:1009-2374(2016)09-0010-05 DOI:10.13535/ki.11-4406/n.2016.09.005

我国是全球第一大PCB生产基地,作为电子产品承载体的电路板,其集成度和产量不断在提高。为了保证电子产品的性能,电路板缺陷检测技术已经成为电子行业中非常关键的技术。建立在图像处理算法基础上的机器视觉检测技术与传统的人工检测技术相比,提高了缺陷检测的效率和准确度。因此,设计一种高效精准的机器视觉检测电路板缺陷的系统,具有非常重要的现实意义。评估印刷电路板质量的一个重要因素就是表观检测,PCB的表观质量对产品性能及成品使用安全有着极大的重要性。而伴随着近年来在工业生产领域崛起的计算机视觉,当前表观缺陷检测和分类识别的研究方向已经转向了利用计算机视觉技术来实现。计算机图像处理识别技术这种基于计算机视觉的检测技术成功取代了传统的PCB缺陷检测方法,在自动光学检测系统众多应用中占据了相对重要的地位,一跃成为PCB生产业表观缺陷的主要检测方法。

图1 系统框图

因此本文通过设计AOI自动光学检测系统,搭建较为简单的PCB缺陷自动检测系统的实验平台,对PCB中四类较为关键、常见的缺陷进行检测、分析、识别、判定,为研究推广PCB缺陷自动检测系统开拓应用前景,如能实现工业上的产业化检测,将有高额的经济收益。本文侧重对PCB中的四类较为关键、常见的缺陷进行检测、分析、识别、判定,并且仅搭建了较为简单的PCB缺陷自动检测系统的实验平台,即通过复杂算法对采集到的图像进行处理、配准、对比,从而得出PCB缺陷类型及对其进行标识。如图1所示。

1 硬件设计方案

PCB缺陷检测的总体系统设计方案主要是基于自动光学检测技术来搭建PCB缺陷检测系统,硬件设计是使用CNC-T程控光源高精度影像测试系统操作台,对待测电路板进行图像采集,再通过VS2010软件所编写程序处理,得出待测电路板的缺陷种类。整个系统主要分为运动控制、光源、图像采集、图像处理四个模块,分模块简要阐述了实验过程、所需设备以及软件算法,搭建了一个相对完整的系统工作平台。

图2 CNC-T程控光源影像操作台

该设备具有测量元素种类齐全、手动测量、自动对焦等多种功能,使用该设备采集图像进行二维检测,测量软体为YR-CNC,将图像储存至电脑后便由VS软件进行图像处理。实验组成如图3所示:

图3 实验系统框图

1.1 运动控制模块

本系统运动流程为:被检测的PCB在检测台上,通过步进电机XY轴运动到摄像机拍摄区域,CCD摄像机固定在工作台上方(Z轴),通过Z轴的运动实现聚焦。如图4所示:

图4 平台运动示意图

设备工作台台面尺寸为746mm×506mm,承载玻璃面尺寸为452mm×354mm,有效测量行程为400×300×200。本装置既可通过软件驱动自动采集图像,也可以通过手动控制,移动并聚焦采集待测PCB的图像。

1.2 光源模块

辅助光照――采用的是正向和背向光源这两种辅助光照。其中正光源和摄像头同侧,均位于Z轴上,正光源主要用于检测待测物体的表面特征。背光源位于检测台面下方,与正光源处于同轴反向关系,背光源能突出待测物体的轮廓特征,常用于检测物体轮廓尺寸。

图像采集:分别利用正光源突出PCB表面如走线、过孔和焊盘等主要特征,而下光源主要使PCB的轮廓尺寸和过孔产生强烈的轮廓对比。

光源:使用的是高度集中照明光源中心的LDR系列,由于该光源的伞状结构紧密排列着LED且采用了CCS独创的柔性板,使之成为LED照明系统的标准模式。照明系统如图5所示:

图5 照明系统

1.3 图像采集模块

图像采集模块是由图像采集卡、相机和镜头组成的,该模块是图像配准阶段的硬件基础。计算机采集图像的媒介就是相机,而相机按照不同原理又分为多种,常见的有CCD(Charge Coupled Device)和CMOS(Complementary Metal Oxide Semiconductor)两类。本系统采用的是CCD 1/2英寸43万像素彩色摄像头和高清晰度0.7~4.5X变焦倍率镜头,显示分辨率为0.001mm。

1.4 图像处理模块

通常获得的图像将受到工业现场环境、光照等条件的干扰,计算机所获得的图像质量多数参差不齐,图像的清晰度不一致,大大增加了PCB缺陷检测的难度,所以在利用复杂算法检测、识别PCB缺陷前要先对图像进行预处理。

本图像处理模块主要通过VS软件在OpenCV计算机视觉库的基础上,通过一系列算法对图像进行处理对比。

2 系统软件设计

2.1 OpenCV

OpenCV(Open Source Computer Vision Library)是一个跨平台的可以运行在Linux、Windows和Mac OS操作系统上的基于(开源)发行的计算机视觉库。它重量轻而高效,开放了多种接口如MATLAB、Ruby和Python等,并且在计算机视觉和图像处理中大多数通用的算法都是被允许的。OpenCV可用于开发实时图像处理、计算机视觉和模式识别方案,它提供了多种函数,实现了大量的计算机视觉算法,算法涵盖了从最基础的滤波至以高级的物体检测。OpenCV实际上是一堆C和C++语言源代码文件,许多常见的计算机视觉算法由这些源代码文件实现。如C接口函数cvCanny()实现Canny边缘检测算法。它可直接加入到我们自己的软件项目编程中,而无需去编写自己的Canny算子代码,就是没有必要重复“造轮子”。

根据OpenCV中源代码文件巨多的特点,以算法的功能为基准,将这些源文件分到多个模块中,如core、imgproc、highgui等。将每个模块中的源文件编译成一个库文件(如opencv_core.lib、opencv_imgproc.lib、opencv_highgui.lib等),用户在使用时,仅需在自己的项目中添加要用的库文件,与自己的源文件一起连接成可执行程序即可。

OpenCV计算机视觉库的出现,是为了使人们利用方便快捷的计算机视觉框架,在计算机视觉领域可以更加轻松地设计出更为复杂的应用程序。OpenCV涵盖了多种计算机视觉应用区域,如用户界面、信息安全、医学影像学、工厂产品检验、立体视觉、机器人和摄像机标定等,约有500多个函数。因为计算机视觉与机器学习是相辅相成的,所以OpenCV也开放了MLL(Machine Learning Library)机器学习库。MLL除了在视觉任务相关中使用,也可以很容易地应用到其他机器学习中。

2.2 Microsoft Visual Studio2010

Visual Studio是微软公司推出的开发环境,是同行业中目前最流行的Windows平台应用程序开发环境。Visual Studio 2010于2010年4月12日,其集成开发环境(IDE)已被重新设计和组织,变得更简单了。

Visual Studio 2010同时带来了NET Framework 4.0、Microsoft Visual Studio 2010 CTP(Community Technology Preview――CTP),并且支持开发面向Windows 7的应用程序。除了Microsoft SQL Server外,它还支持IBM DB2和Oracle数据库。目前有专业版、高级版、旗舰版、学习版和测试版五个版本。Visual Studio的用处十分广泛,不仅可被用来基于Windows平台创建Windows应用程序和Web应用程序,还可被用来创建智能设备、Office插件和Web服务等应用程序。微软的Visual Studio 2010将成为一个版本的经典,这是相当于6.0版本。该版本可以自定义开始页,新功能还包括:(1)C# 4.0中的动态类型和动态编程;(2)多显示器支持;(3)使用Visual Studio 2010的特性支持TDD;(4)支持Office;(5)Quick Search特性;(6)C++ 0x新特性;(7)IDE增强;(8)使用Visual C++ 2010创建Ribbon界面;(9)新增基于.NET平台的语言F#。本课题将基于OpenCV计算机视觉库使用Microsoft Visual Studio2010开发环境,通过编辑算法实现PCB缺陷检测。

3 图像预处理

要使用计算机对图像进行处理,所得到的连续图像就必须被转换为离散的数据集,这是因为计算机只能处理离散度数据,这一过程我们称之为图像采集。图像采集由图像采集系统实现,如图6所示。图像采集系统的三个主要模块是成像系统、采样系统和量化器。

图6

将整理出的字符图像交予识别模块来识别,被称为图像的预处理。PCB的图像预处理包括灰度化、增强、滤波、二值化、配准等,处理后的PCB输出的图像质量将得到改善,在很大程度上使得该图像特征更直观,方便计算机分析和处理。PCB的图像预处理为整个PCB缺陷检测系统的核心部件,很大程度上决定了检测的准确性。图像预处理流程如图7所示:

图7 图像预处理流程图

4 PCB缺陷检测

本文针对四种常见缺陷:断路、短路、毛刺(凸起)、缺损(凹陷)进行检测研究。在这四种缺陷中,最为严重的缺陷类型是断路和短路,它们将会使整块板子失去本来的功能;而凸起、凹陷也可能影响到PCB在使用过程中的稳定性能。如图8所示为几种常见的缺陷:

图8 常见电路板缺陷

4.1 PCB缺陷的检测方法

常用的PCB缺陷检测方法有参考法和非参考法两种。要是从概念理解和电路难易程度看,参考法明显更加具有概念直观、电路简单的优势;要是从检测所需要的条件来看,非参考法则在不需要待测PCB与标准PCB进行准确对准这一点上优于参考法。

本课题采用参考法进行PCB缺陷检测。

使用参考法对PCB缺陷进行检测的流程为:(1)确定标准的PCB图像并放入参考库;(2)通过成像设备采集待测PCB图像,进行图像预处理之后,再二值化PCB待测图像,并对其进行连通域提取;(3)然后将处理结果与标准图像进行对比,利用图像相减来判断PCB可能存在的缺陷;(4)进行分类,确定缺陷类型。

4.2 图像连通域

像素是图像中最小的单位,每个像素周围有8个邻接像素,常见的邻接关系有两种:4邻接与8邻接。4邻接一共4个点,即上下左右。包括对角线位置的点,8邻接的点一共有8个,如图9所示:

图9 领域示图

如果像素点A与B邻接,我们称A与B连通,即有如下的结论:

如果A与B连通、B与C连通,则A与C连通。在视觉上看来,点与点相互连通,形成一个区域,而不是连通的点形成不同的区域。这种相互立体的所有的点,我们称为连通区域。连通区域标记常用的方法有Two-Pass(两遍扫描法)和Seed Filling(种子填充法)两种方法,本课题主要介绍第二种。

Seed Filling来源于计算机图形学,通常应用在填充图形上。思路:以一个前景像素当作种子,而后在处于同一像素值且位置相邻的连通区域,把和种子相邻的前景像素融合到同一组像素中,结果将是获得一个像素集,即连通区域。接下来介绍使用种子填充法实现的连通区域分析法:

第一,重复扫描图像,当得到当前像素点B(x,y)=1时停止:(1)赋予B(x,y)一个label,并将像素位置作为种子,接着将所有位于该种子周围的前景像素都压入栈中;(2)将栈顶像素赋以相同的label值并弹出,接着将全部位于栈顶像素周边的前景像素都压入栈中;(3)重复(2)步骤,直到栈为空。此时,图像B中的一个像素值被标记为label的连通区域便被找到了。

第二,在扫描结束前,重复第一个步骤,由此可以获得图像B中所有的连通区域在扫描结束后。

扫描所得的连通域如图10所示:

图10 图像连通域提取

4.3 缺陷识别

缺陷识别具体特征如表1所示:

表1 缺陷特征

缺陷种类 二值图像面积 连通区域数

断路 减少 增加

短路 增加 减少

凸起 增加 不变

凹陷 减少 不变

第一,短路和断路。在出现短路缺陷时,待测图像与标准图像相比,其所包含的连通区域数将会减少。同理可得,在出现断路缺陷时,待测图像与标准图像相比,其所包含的连通区域数将会增多。因此,断路和短路缺陷便可利用比较连通区域数来判定和识别。

第二,凸起和凹陷。凸起缺陷将导致导线和导线、导线和其他导体间的间隙变小,而凹陷缺陷将导致导线和导线、导线和其他导体间的间隙变大,二者均会导致PCB使用过程中出现不稳定状态。而观察可知,这两种缺陷的连通区域相同,差别在于各自二值化面积的大小,所以可以通过计算该待测图像的连通区域面积来识别凸起、凹陷缺陷。

识别过程:将经过图像预处理的待测PCB图像与标准图像进行对比后,通过算法找出缺陷。比较二者的连通区域数,若前者大于后者,则标定该缺陷点为断路,反之则为短路;若二者连通区域数相同,则比较二值化图像面积,若前者大于后者,则标定该缺陷点为凸起,反之则为凹陷。检测流程如图11所示:

图11 PCB缺陷检测流程图

5 系统实验

本文使用CNC-T程控光源高精度影像测试系统操作台,结合VS2010软件基于OpenCV计算机视觉库的算法编程来实现PCB的缺陷检测。整体实验过程为:手动控制操作台捕捉、聚焦、采集待测PCB的图像,采集到的图像与标准图像进行对比、识别,得出缺陷种类并显示结果。

本课题一共就所研究缺陷类型,做了40组实验,通过实验结果计算正确率。如表2所示:

表2 实验结果统计

缺陷类型 实验次数 正确率

断路 10 100%

短路 10 100%

凸起 10 100%

凹陷 10 100%

针对不同电路板图中出现的同种断路类型进行检测,效果如图12a、图12b、图12c所示,可准确检测出缺陷存在。

图12

针对不同电路板图中出现的同种短路类型进行检测,效果如图13a、图13b、图13c所示,可准确检测出缺陷存在。

图13

针对不同电路板图中出现的同种凸起类型进行检测,效果如图14a、图14b、图14c所示,可准确检测出缺陷存在。

图14

针对不同电路板图中出现的同种凹陷类型进行检测,效果如图15a、图15b、图15c所示,可准确检测出缺陷存在。

图15

6 结语

PCB板面向体积越来越小、密度越来越高的方向发展。在检测产品价格方面,国外AOI检测产品价格普遍偏高,而由于经济原因,在国内PCB板生产制造商多数仍采用人工目测等传统检测方法检测。随着经济的发展,数字图像处理研究的深入,自动光学检测系统也开始频繁活跃在人们视线中,但在PCB缺陷检测方面的应用却还有待完善。因此,本论文建立在深入掌握工控系统结构并从PCB板的质量标准、图像特点、缺陷特征及检测要求的分析基础上,对以图像处理为基础的PCB缺陷检测技术进行了深入研究。由于PCB缺陷自动检测系统的研究涉及多个领域的知识,其研究过程十分耗时、繁琐,由此,本论文仅仅对PCB缺陷检测中较为常见的问题进行了较深入研究,并且仅搭建了较为简单的PCB缺陷自动检测系统的实验平台,对PCB中的四类较为关键、常见的缺陷进行检测、分析、识别、判定。虽然还未实现真正实现工业上产业化检测,但是在未来几十年中,研究推广的PCB缺陷自动检测系统将有十分良好的应用前景,也将有高额的经济收益。

参考文献

[1] 陈胜勇,刘盛,等.基于OpenCV的计算机视觉技术实现[M].北京:科学出版社,2008.

[2] Gary Bradski,Adrian Kaebler,于仕琪,等.学习OpenCV[M].北京:清华大学出版社,2009.

[3] 周长发.精通Visual C++图像处理编程(第3版)

[M].北京:电子工业出版社,2006.

[4] 党振.中国大陆PCB产业的现状与未来[J].印制电路信息,2006,32(1).

[5] 胡跃明,谭颖.自动光学检测在中国的应用现状和发展[J].微计算机信息,2006,(4).

[6] 李汉,何星,等.印刷电路板的自动光学检测系统

[J].无损检测,2004,26(6).

[7] 张利,高永英,等.PCB板检测中的定位研究[J].中国图像图形学,1999,4(8).

[8] 姚立新,张武学,等.AOI系统在PCB中的应用[J].电子工业专用备,2004,(5).

[9] 范小涛,夏雨人.一种基于图像处理的PCB检测算法研究[J].计算机工程与应用,2004,(13).

[10] 傅莉.印制电路板的发展及前景[J].电脑与电信,2010,(5).

[11] 张明轩.基于视频序列的人脸检测与跟踪算法研究[D].中北大学,2011.

[12] 张驰.基于机器视觉的智能控制与图像识别问题研究[D].兰州理工大学,2009.

[13] 谢飞.基于计算机视觉的自动光学检测关键技术与应用研究[D].南京大学,2013.

[14] 张静.PCB表观缺陷的自动光学检测理论与技术

[D].电子科技大学,2013.

[15] 俞玮.AOI技术在PCB缺陷检测中的应用研究[D].电子科技大学,2007.

篇8

摘要:研究基于计算机视觉的实时动态手势识别技术,并利用OpenCV计算机视觉库在VS2010平台上设计一个基于该技术在多媒体教学中PPT演示控制方面的应用。首先,利用背景差分法进行手势检测,在背景更新的基础上,通过背景差分图和颜色直方图的反投影图来检测运动手势区域,可以达到较为满意的实时运动手势检测效果;其次,采用基于颜色直方图的粒子跟踪算法进行手势跟踪,基本能满足跟踪的实时性;最后,在手势识别阶段,采用基于Hu不变矩的轮廓匹配算法,得到较好的手势识别效果;使用六种手势,来实现演示文稿中的控制应用。

关键词:计算机视觉;背景差分;粒子跟踪;手势识别;Hu矩

中图分类号:TP391.41文献标识码:A

1引言

随着计算机软硬件技术的发展,人机交互已经由过去的鼠标、键盘方式逐渐向更加灵活生动的语音、姿势等新颖交互方式发展。由于基于视觉方式具有便捷和开销低等优点,因此,利用计算机视觉技术来使计算机理解用户的命令,从而做出控制动作,这一领域的研究得到越来越多的重视。其中,人的手势作为日常生活中最为广泛使用的一种交流方式;因此,国内外许多研究机构开始对手势识别技术进行研究,并已经取得了一些阶段性的成果。较早的有:Freeman和Roth等人提出的基于方向直方图的手势识别系统;国内的高文教授等人于1994年提出了一种静态复杂背景手势目标的捕获与识别。经过二三十年的发展,

人们对运动目标检测及跟踪进行了大量深入的研究:美国MIT实验室通过提取左右手质心的运动轨迹以及手势形状特征参数,结合语法规则识别40个美国手语,准确率达到97%;另外,Microsoft Korea的HyeonKyu Lee,采用HMM的阈值模型,识别9种动态手势命令,平均识别率高达98.19%;国内的任海兵提出了基于DTW的手势识别算法,该算法能准确识别12种手势。

现在,基于视觉的手势识别技术更多的是应用在娱乐、游戏方面,比如微软前段时间推出的Xbox360游戏机体的体感外设Kinect及多款相配套的体感游戏,玩家可以通过手势在游戏中进行操作和互动,使得人机互动娱乐进入了一个新纪元。与此同时,还没有比较成熟的手势识别技术应用在现代教学系统中。因此,本文的研究重点是基于视觉的实时手势识别技术在多媒体教学演示控制中的应用。在基于视觉的手势识别研究中,需要解决的问题主要有两个:一是实时检测运动手势的信息,二是识别运动手势的信息并做出响应。对运动手势检测,本文采用背景差分结合改进颜色直方图特征的运动检测方法[1];对运动手势跟踪,本文采用粒子滤波算法[2]结合改进颜色直方图信息的方法;手势识别阶段,本文采用了基于Hu不变矩特征[3]的轮廓匹配算法[4];本文研究基于计算机视觉的手势识别系统,实现了在播放控制中运用手势进行开始、翻页、退出等功能,极大的提高了课堂教学的灵活性。

2手势检测

实时视频图像中的运动手势检测所需要完成的任务是:能够快且准的检测出手势在实时图像中的主要位置,并且能将位置所在的特定区域作为后续跟踪、识别的感兴趣区域。手势检测算法的好坏,直接影响整个系统的跟踪以及识别的效果。

目前,运动目标检测[5]的算法比较常用的有三种方法:光流法、帧间差分法和背景差分法。本文考虑实现环境为固定摄像头采集实时视频图像,背景基本不动,因此采用背景差分结合改进颜色直方图信息的运动检测方法。

2.1背景差分法

本文研究中,选取摄像头启动后的前10帧图像的平均作为最初的背景图像,把以后的实时序列图像当前帧和背景图像相减,进行背景消去。可以得到,运动手势区域的像素点的差分值比较大,背景区域的像素点的差分值比较小。另外,由于真实场景中的背景会因光线等外部条件产生微小的变化,长期的误差积累会造成最后得不到理想的手势区域,因此背景需要进行实时更新,从而能及时反映当前帧的背景图像,背景更新[6]的公式如下:

背景更新操作以后,对当前帧进行背景差分,大于阈值th1的图像点即为运动手势区域的点,并将得到的运动手势区域图像进行二值化操作,公式如下:

3手势跟踪

现在常用的一些跟踪算法主要有:卡尔曼预测算法、粒子滤波算法、均值偏移算法以及Camshift跟踪算法等。考虑到卡尔曼预测算法和均值偏移算法等都是线性跟踪算法,不能很好的应对目标运动的随机性,本文采用了粒子滤波算法。

3.1粒子滤波算法原理

粒子滤波法是指通过用一组带有权值的随机样本,以及基于这些样本的估算来表示动态系统的后验概率密度。当样本很大的时候,这种估计就等同于后验概率密度。这些样本就称为“粒子”。假设在t=0时刻每个粒子都有一个解,每个解与真实解都有一定的相似度,这个相似度可以表示为权重,随着时间的增加,相似度越大的粒子权重越大,而相似度越小的粒子权重就越小,最后趋于0,从而找到真实解(如图2)。

3.2基于改进颜色直方图信息的粒子跟踪

视频图像跟踪方面,目标的运动模型主要表现为目标位置、速度随时间改变的状态转移过程,目标的观测模型主要表现为每帧图像中运动目标的特征(如颜色、轮廓等)与真实目标的相似度的似然过程。在粒子滤波算法中,运动模型可以称为粒子传播或者粒子采样,它是一种随机过程[11]。粒子在经过传播以后,状态会发生改变,但权值没有跟着改变,这就需要系统的观测模型对当前粒子的状态进行计算从而更新粒子的权值。本文的研究中,观测值由目标区域的颜色直方图决定。

基于颜色直方图信息的粒子滤波就是将图像颜色特征的相似度作为粒子滤波算法要求解的后验概率,利用巴氏距离(Bhattacharyya)来计算相似度,得到粒子的权重。巴氏系数[12]如公式(9):

4.2识别算法过程

本文研究中,首先建立手势模板库,然后通过实时提取手势帧,经过前面第2部分的结合改进颜色直方图信息的手势检测,然后再经过形态学处理之后,得到效果良好手势区域的二值图,再用轮廓提取及跟踪来得到手势的轮廓图,然后计算其7Hu矩特征,最后运用欧氏距离将其与模板库中定义的手势进行特征匹配,完成手势识别。

轮廓提取就是要掏空内部的点:如果其八个相邻的点都是黑色,则可以判定为内部点,然后删除改点。

轮廓跟踪方法:首先找出轮廓中最左下方的点作为搜索的起点,然后按照一定规则来搜索手势轮廓上的其他像素点。由于轮廓是连续的,因此每个轮廓上的点的位置都可以用其前一个点的所张的角度来表示。研究中采用如下跟踪准则,第一个点开始定义搜索方向为左上,如果左上方的点是黑点,则它也是轮廓上的点;如果不是,那么顺时针旋转,直到找到第一个黑点,即轮廓上的下一个点。继续同样的方法搜索,直到返回最初的起点,搜索结束。

下图是轮廓跟踪算法[15]的示意图,搜索方向用箭头表示。

5系统实现

本文的系统是在微软的VS2010平台上,使用C++语言进行软件开发,在图像处理相关方面是基于计算机视觉库(OpenCV)进行研究的。程序界面如下图:

左边底层区的按钮可以观察实时手势跟踪和识别效果的功能(如图4和图7)。

手势识别的结果可以定义成一个变量,不同

的识别结果对应的变量值不同,然后根据变量值调用不同的API接口函数,这样就可以实现实时手势识别技术在演示控制中的应用。本文研究在控制部分挑选了六种手势,分别控制PPT播放中的开始、退出、上下翻页、跳转首末页等功能。手势命令定义如下:手势4控制开始播放;手势3控制退出播放;手势1控制跳转首页;手势2为跳转尾页;手势10为向下翻页页;手势5控制向前翻页。对电脑中某一PPT进行实际的播放控制(列举其中4个手势的控制状态),效果如下:

1)识别手势4,开始播放:

2)识别手势10,向下翻页:

3)识别手势1,跳转到首页:

4)识别手势3,退出:

系统通过笔记本自带30W像素的摄像头,采用DirectShow技术进行实时视频的获取,图像尺寸是320*240,fps可以达到30-60帧/秒,可以很好的满足实时性的要求。

6结语

本文通过研究设计了一个基于视觉的手势识别技术在演示控制中的应用系统,可以看出背景差分结合颜色直方图的运动检测可以得到较好的手势区域效果;采用的基于颜色直方图的粒子跟踪也能基本实现实时跟踪的任务;在识别过程中,基于Hu不变矩的轮廓匹配算法具有很好的鲁棒性,可以得到较好手势识别效果;在应用阶段,使用手势来完成控制命令,基本实现了在播放控制中的应用。

同时,仍存在一些问题:对于光照和人脸微小晃动等外部因素引起的噪声,只能降低而无法消除,这对于手势跟踪与识别的效果还是有一定的影响,在应用时会产生一定的误操作。这些问题仍需继续研究,才能使得基于视觉的手势识别技术得到更成熟的应用。

参考文献

[1]吴晓阳.基于OpenCV的运动目标检测与跟踪[D].杭州:浙江大学,2008.

[2]CHO J U, JIN S H, PHAM X D. Object tracking circuit using particle filter with multiple features [C] / / SICE-ICASE: International Joint Conference. Las Vegas: IEEE, 2006: 1431-1436.

[3]甘志杰.基于Hu矩和支持向量机的静态手势识别及应用[D].青岛:青岛科技大学,2008.

[4]华斌,夏利娜.基于中值滤波和Hu矩向量的手语识别[J].计算机工程与设计,2011,32(2): 615- 618.

[5]伏思华,张小虎.基于序列图像的运动目标实时检测方法[J].光学术,2004,30(2): 215- 217.

[6]LINDEBERC T. Scale-space theory: a basic tool for analyzing structures at different scales [J]. Joumal of Applied Statistics. 1994, 21(2):224-270.

[7]于华平.视频序列中的手势检测与跟踪[D].南宁:广西大学,2010.

[8]QIN WEN, PENG QICONG. An improved particle filter algorithm based on neural network for visual tracking [C] / / International Conference on Communications, Circuits and Systems. Las Vegas: IEEE, 2007:765-768.

[9]龚翔. 基于粒子滤波的视觉跟踪算法研究[D]. 南京:南京理工大学,2009.

[10]YU JIAXIA, LIU WENJING, YANG Y. Improved particle filter algorithms based on partial systematic resambling [C]/ /IEEE International Conference on Intelligent Computing and Intelligent Systems. Las Vegas: IEEE, 2010: 483-487.

[11]朱志宇.粒子滤波算法及其应用[M].北京:北京科学出版社,2010.

[12]FAZLI S, POUR H M, BOUZARI H. Particle filter based object tracking with sift and color feature [C] / / Second International Conference on Machine Vision. Las Vegas: IEEE, 2009:89-93.

[13]侯一明,郭雷,伦向敏,等.运动背景下基于粒子滤波的目标跟踪[J].计算机工程与应用,2007,43(8): 62- 64.

篇9

关键词:果品;无损检测;品质

我国水果产量居世界第一,果品出口成为我国外贸的重要组成部分。但是我国大多数农产品国际市场竞争力弱,出口价格低廉。其中品质因素是重要原因之一,这是由于检测技术、评判标准等限制,所以对果品进行合适的品质检测对提高经济效益和市场竞争力具有重要意义。对农产品品质的无损检测,已引起国内外广泛关注。

所谓无损检测,又称非破坏检测,是不破坏被检对象却能评价其品质的方法。它利用自身力学、光学、电学及声学等物理性质对评价对象品质进行非破坏检测,并按照一定标准进行分级分选的新兴技术,广泛应用于工业和农业。农业中的无损检测技术是利用农产品的物理性质如光学性质、声学性质、电磁学性质和热学性质等的变化而实现。目前,无损检测技术主要包括:近红外技术、声学检测技术、软X射线技术、计算机视觉技术、核磁共振检测技术、力学特性检测技术等。

1.果品无损检测技术

1.1新型可见、近红外光谱无损检测技术

可见、近红外光谱法是农产品内部成分无损检测的有效方法,是利用农产品吸收、散射、反射和透射光的特性,进而确定内部成分的方法。近红外分析技术作为一种高新分析技术,能改造我国传统农业,提高农产品质量,尤其是农产品加工的质量控制,将产生巨大作用。为改造我国的传统行业,企业迫切需要对原料进行质量监测、生产过程监控的设备和技术。国际经验来看,近红外技术是首选。

韩东海等[1]利用柑橘正常及损伤部位在紫外光源下的差异发射性,可有效确定柑橘损伤果。Slaugther DC[2]鉴于近红外和可见光的分光光度技术,建立完好的桃及油桃内部品质的无损关系式,能够预测完好无损的桃与油桃的山梨糖醇含量、蔗糖和可溶性固形物等。Lammertyn J[3]通过研究近红外光谱和可见光谱对红玉苹果质量的无损测量,进而得到双叉光纤记录的反射光谱与苹果参数之间的关系。Ali Moghimi[4]等用近红外光谱技术结合化学计量学建立猕猴桃SSC和pH的校正模型,比较多元散射校正、变量标准化、中值滤波和一阶导数光谱预处理对所建猕猴桃SSC和pH校正模型的影响,表明变量标准化结合中值滤波和一阶倒数预处理光谱后,用PCR-PLS法建立的SSC和pH的校正模型精度较高。

目前,分光检测技术在果蔬品质检测中的应用广泛,因为这种方法具有适应性强、高检测灵敏度、人体无害性、灵活使用性、成本低廉和自动化易实现性等优势。利用这种技术能自动分级果品,而合理的分级标准,便于果品深加工和远销售。近红外光谱的研究虽起步较晚,但是其应用广,特别是在农产品的品质检测和分级领域取得较大的进展,开发应用前景广阔。

1.2声学无损检测技术

声学无损检测技术是利用果品声学特性与内部组织变化的关系,例如结构、成分、物理状态等物化特性信息来检测果品品质。声学特性是指在声波作用下农产品的反射、散射和吸收特性、衰减系数和传播速度及其本身的声阻抗与固有频率等,它们均反映声波与农产品相互作用的规律,这些特性随农产品内部组织变化而变化。一般使用低能超声波来检测,因为低能超声波在被检测物中传播不会引起物理或化学特性变化。超声方法检测果品品质始于近年,国内外研究集中针对水果成熟度、硬度和内部质量缺陷等无损检测。

与光学、电学及其他无损检测技术相比,声学无损检测技术具有适应性强、投资较低、操作简便快捷等有死,特别适用于在线检测,在农产品检测领域应用前景良好[5]。

1.3软X射线技术

适用性极强的X射线成像能够与图像识别、人工智能、现代通信技术等相联系。若待检测物体的密度和厚度不同,则不同的透射X射线量产生。鉴于分析穿透量,进而判断果品内部品质。软X射线拥有巨大优势,特别是在农产品的内部品质检测上,因软X射线具有穿透物料的特性,所以检测那种易损坏的农产品,能无损检测内部的品质。所需X射线强度方面,农产品检测弱于工业,所以称为低能X射线或软X射线。这种X射线成像技术来检测农产品内部品质方法已经受到研究者关注,例如基于X射线成像技术的检测核桃果核与果肉厚度,基于X射线图像的评价牛肉嫩度,以及评价红毛丹内部品质等。韩东海[6]用X射线来检测柑橘皱皮果,结果表明射线与激光分析法在果实品质检测中的可行性。然而目前国内此方面的技术开发较落后,期待学者们进一步的研究和探索。

1.4计算机视觉技术

伴随专业化的图像处理技术以及下降的计算机硬件成本和高速度特性,计算机视觉技术对农产品品质自动识别和分级的应用日益广泛。计算机视觉技术即以各种成象系统代替视觉器官作为输入敏感手段,借助于计算机替代大脑完成处理和解释。计算机视觉的最终研究目标是使计算机可以像人一样,通过视觉观察来理解世界,具有自主适应环境的能力。

基于机器视觉的果品无损检测的技术,一般是借助于CCD摄像头获取果品图像,图像信息输入计算机,进而应用检测方法和算法得到果品在大小、缺陷、外部损伤、内部品质等方面的特质值,从而来分级果品[7]。这种方法通常是由CCD摄像头、配备图像采集卡的计算机、光照系统和专用图像处理软件组成。在一定光源照射情况下,利用CCD摄像头得到水果形状、颜色、缺陷等视觉方面的图像信息,凭借图像采集卡转换为数字信号传输到电脑,分隔图像、提取特征值,从而得到特征值参数和水果颜色、质量状况、破损程度等品质指标间模型关系,进而确定内外品质等级。这种方法快速、准确、无损,使用一次能同时检测多项品质指标,方便设计自动分级流水线,自动识别水果外在品质(外形、缺陷、颜色、大小等)和内在品质(成熟度、坚实度、含糖量、含水率等),因此具有广阔的应用前景[8]。

我国利用计算机视觉系统,检测农产品品质和分类农产品的研究方法开展较晚,始于20世纪90年代,但逐渐受到重视。与国际先进水平相比,在农业领域的应用我国计算机视觉技术研究具有一定程度的差距,我国目前处于实验研究以及理论探索阶段,实用化和商品化的程度还未达到。这项项目基于数码摄像技术,通过电脑直接处理图像信息,其研发促使使我国获得最快速、最便利的视觉技术。

1.5核磁共振检测技术

1946年,核磁共振现象由美国科学家F.Bloch和E.M.Purcell发现,这一技术广泛应用于研究物质结构。核磁共振可以便利地生成果实内部组织结构的高清图像。方便检测果品压伤、虫害以及成熟度,因此在检测苹果、香蕉糖度等方面潜在价值极高。而那些因采收成熟度而影响品质的品种,鉴于核磁共振技术,能提高收获和运输可靠性。现阶段,这种技术要想真正应用于果品检测和评价果品质量,还存在诸多问题,然而其优势明显,这种技术无疑是一种良好的果品无损检测方法[9]。

1.6力学特性检测技术

基于动力学原理测度农产品硬度的检测方法是力学特性检测技术。采用振动频率分析法以及冲击力检测法,检测果品坚实度来判断果实成熟度。力学特性检测技术方便判断果品的采收期,依照成熟度分级、贮藏果品,确定果品的保鲜期和贮存期。尽管这种技术具有较为坚实的实践应用基础及历史,但介于果品品质和物理参数间的复杂关系,实际应用是一个漫长的研究过程[10]。

篇10

【关键词】计算机视觉;屏蔽罩;共面度

【Abstract】Computer vision is a branch of science that studies how to make the machine to "see" .Based on this, we developed a set of visual inspection equipment, and applied to the assembly line, to enable it to detect the mobile phone shielding cover coplanar degree and make it quickly and accurately.

【Key words】Computer vision;Shield;Coplanar degrees

0 前言

工业生产中流水线技术已经成熟,但是机器的工作效率并不能使产品的合格率完全得到保障。我们需要将检测装置添加到流水线系统中,实现产品合格与否的信息反馈。通过检测产品合格与否,不合格的收回改进,来进一步提高生产过程中产品的合格率。而且一个简单的检测装置可以替代大量人工劳动,整体上提高生产效率和利润。

屏蔽罩(框)是手机的重要部件,传统的屏蔽罩在冲压成型和超声清洗过程中会导致个别产品的四边平面度不达标(需小于0.1mm),屏蔽罩平面度的不达标会影响下一工序的包装和焊接。因此公司需要一大批工人进行平面度人工目测和人工半自动包装,生产效率较低,检测+包装约650片/人・小时)。

本项目拟研制一个自动检测设备,用机器视觉检测代替人工检测,每台机器可以替换4-5人,生产效率提高5-7倍。

1 总体系统设计方案

1.1 检测平台的搭建

首先根据需要对相机,镜头进行选型,合理搭配,要求图像抓取效果要好。其次合理利用光学原理,给目标合适角度合适光照强度,能给相机抓取最优图像。最后通过驱动设置相机参数进一步对抓取的图像质量进行微调。

1.2 图像处理

将相机抓取的图像传送到计算机利用计算机高效运算速度进行处理。

第一步:图像预处理。颜色空间的转换,颜色分量通道提取,图像锐化,图像平滑,图像增强等,都在预处理范围。这一步主要目的是增强目标区域,降低噪声,削弱背景。

第二步:图像分割。颜色区域提取,阈值提取,边缘提取等。这一步目的在于将我们的目标信息进行降维处理,减少运算量。

第三步:特征统计,模板匹配。

2 待测物承载平台的搭建

整个平台由Basler acA2500 14gm相机和外部供电电源,亚克力板搭建的平台,伟郎可调节红色环形光源和光源控制器组成。

Basler工业相机性能上远超普通相机,可以达到工业测量的高精度要求;亚克力板表面能够保证较高平滑,这对于共面的检测而言至关重要;可调光源可以根据环境变化给平台进行任意需求量的补光,对于长时间工作的工业测量必不可少。

平台的搭建要方便相机采集我们所关心的目标的最为清晰的图像。利用光的折射性质,我们就让光源、目标物和相机成一定角度,刚好光源的光照射到目标物上,发生反射后的放射光刚好射入相机内。这个时候感光片能采集到最为理想的图像,对于后面的程序中的图像预处理也是相当方便的。光源的强度调节能够在光源相机固定后,改变相机采集到的图像的亮暗程度,从而对目标景物进行适当的突出与削弱。

3 数字图像处理

3.1 数字图像处理软件

数字图象处理软件的总体设计决定整个可视化界面的视觉效果。软件的功能必须能很方便快捷的完成测量与决策的任务。

软件设计主要内容:可视化界面布局设计、图像处理和决策菜单、处理软件框架编写、编写、各个按钮功能实现和菜单功能编辑等。

功能菜单中包含:图像预处理、包含图像锐化、图像灰度化、图像反色、图像二值化、中值滤波、Sobel边缘检测、Prewitt边缘检测、Robert边缘检测、Kirsch边缘检测、Laplace边缘检测;R转G、R转B、G转R、G转B、B转R、B转G、RG交换、RB交换、BG交换,包含的颜色空间有CMY、HSI、HSV、YU、YIQ,这里提供各种颜色空间的双向转换。

3.2 设计计算和校核

3.2.1 手机屏蔽罩边缘与校准面缝隙计算

K=C*N

式中:K:缝隙宽度(mm);N:缝隙宽度对应的像素个数;C:单位像素对应的实际尺寸(mm)

N=Imax-Imin

式中:N:缝隙对应的像素个数;Imax:缝隙最大处对应的纵坐标较大点的坐标值;

Imin :缝隙最大处对应的纵坐标较小点的坐标值。

3.2.2 摄像系统的尺寸比例的计算

摄像系统的尺寸比例包括光源和目标物的距离,镜头和目标物的距离,相机内感光片和镜头间的距离,标准目标物的实际尺寸。

因为我们这里的镜头和相机完全拧合时,焦距为3m左右,而实际中需要的焦距为15cm。为了调整焦距,只能将镜头往外拧出3mm才能达到要求。但是这个时候,镜头出现向下偏折。这个时候利用理论方法计算存在较大误差。我们用合格产品作为测量校准如图,合格品侧面厚度为1.2mm。采集多次数据,得出单位像素实际对应的尺寸值,然后作为标准值测量,如图1。

图1 用合格产品进行尺寸校准

1)摄像头与目标距离的计算

摄像头和目标物的距离在光源和相机固定后用直尺便可以测出。我们的平工后,测的的实际距离是200mm。

2)摄像图片尺寸与实际尺寸比例的计算

摄像图片尺寸和实际尺寸的比例有两种方法可以求得:

方法一:将一个已经经过校准后的知道具体尺寸的物体放在目标物的位置上,采集图像并计算对应尺寸的像素个数,便可以知道单位像素个数代表着实际尺寸的大小。

计算公式如下: C=L/N 式中:C:单位像素个数代表的实际尺寸大小(mm);L:物体的实际尺寸(mm);N:在采集的图像中,L对应的像素个数。

方法二:根据镜头的焦距,相机内感光片到镜头的距离和镜头到目标物的距离,然后根据光学原理进行演算,得出采集的图像中一个像素对应的实际尺寸大小。

3.2.3 数字图像处理算法的设计

数字图像处理算法包括图像预处理、图像滤波、边缘提取和最终决策。

1)图像预处理算法的设计

(1)图像锐化,效果如图2

这里用目标像素点的灰度值与相邻像素点进行差值运算,最后结果和0,255进行比较,不同结果进行不同操作。

(2)图像反色,效果如图3

图2 图像锐化

图3 图像反色

3.2.4 图像滤波算法的设计

由于成像系统、传输介质和记录设备等的不完善,数字图像在其形成、传输记录过程中往往会受到多种噪声的污染。另外,在图像处理的一些环节输入的对象不理想时也会在结果图像中引入噪声。

它们常常表现为一些较强视觉效果的孤立象素点或者是象素块。破坏图像的正确性。通过图像滤波能很好地保护图像目标的形状、大小及特定的几何和拓扑结构特征。

本项目中使用的滤波手段有:中值滤波、图像阈值二值化(效果如图4)。

3.2.5 边缘提取算法的设计

1、Sobel算子如下

W1=[-1,-2,-1;0,0,0;1,2,1];W2=[-1,0,1;-2,0,2;-1,0,1];

2、Robert算子如下

W1=[-1,0;0,1];W2=[0,-1;1,0];效果如图5。

图4 图像阈值二值化

图5 Sobel算子边缘提取

代码实现如下;

for (i = 1; i < Height-1; i ++)

{

for (j = 1; j < Width-1; j ++)

{

R=-ImageArray[2][i-1][j-1]-2*ImageArray[2][i-1][j]-ImageArray[2][i-1][j+1]+0*ImageArray[2][i][j-1]+0*ImageArray[2][i][j]+0*ImageArray[2][i][j+1]+ImageArray[2][i+1][j-1]+2*ImageArray[2][i+1][j]+ImageArray[2][i+1][j+1];

G=-ImageArray[1][i-1][j-1]-2*ImageArray[1][i-1][j]-ImageArray[1][i-1][j+1]+0*ImageArray[1][i][j-1]+0*ImageArray[1][i][j]+0*ImageArray[1][i][j+1]+ImageArray[1][i+1][j-1]+2*ImageArray[1][i+1][j]+ImageArray[1][i+1][j+1];

B=-ImageArray[0][i-1][j-1]-2*ImageArray[0][i-1][j]-ImageArray[0][i-1][j+1]+0*ImageArray[0][i][j-1]+0*ImageArray[0][i][j]+0*ImageArray[0][i][j+1]+ImageArray[0][i+1][j-1]+2*ImageArray[0][i+1][j]+ImageArray[0][i+1][j+1];

r=-ImageArray[2][i-1][j-1]+0*ImageArray[2][i-1][j]+ImageArray[2][i-1][j+1]-2*ImageArray[2][i][j-1]+0*ImageArray[2][i][j]+2*ImageArray[2][i][j+1]-ImageArray[2][i+1][j-1]+0*ImageArray[2][i+1][j]+ImageArray[2][i+1][j+1];

g=-ImageArray[1][i-1][j-1]+0*ImageArray[1][i-1][j]+ImageArray[1][i-1][j+1]-2*ImageArray[1][i][j-1]+0*ImageArray[1][i][j]+2*ImageArray[1][i][j+1]-ImageArray[1][i+1][j-1]+0*ImageArray[1][i+1][j]+ImageArray[1][i+1][j+1];

b=-ImageArray[0][i-1][j-1]+0*ImageArray[0][i-1][j]+ImageArray[0][i-1][j+1]-2*ImageArray[0][i][j-1]+0*ImageArray[0][i][j]+2*ImageArray[0][i][j+1]-ImageArray[0][i+1][j-1]+0*ImageArray[0][i+1][j]+ImageArray[0][i+1][j+1];

ImageArray1[2][i][j]=MIN(255,MAX(0,MAX(abs(R),abs(r))));

ImageArray1[1][i][j]=MIN(255,MAX(0,MAX(abs(G),abs(g))));

ImageArray1[0][i][j]=MIN(255,MAX(0,MAX(abs(B),abs(b))));

3.2.5 最终决策

通过一系列的计算之后,决策将对计算结果进行判断,得出手机屏蔽罩是否合格的结论,并通过亮灯来显示结果。

4 视觉检测系统测试数据

通过选择合格样品进行多次测量(如图6),我们就可以建立一个标准。样品与相机距离保持一致,镜头保持焦距不变,这个时候合格样品在检测中的数值为164px,而样品在合格情况下,这个像素值对应2.4mm。

因此,单位像素对应实际尺寸大小为2.4/164=0.0146341mm。

那么,不合格样品1号(如图7)的误差为(191-164)*0.0146341=0.395mm,即不合格样品1号,边角不共面而且偏差为0.52/2=0.1975mm。

5 结束语

机器视觉用机器代替人眼来做测量和判断,不仅提高了准确性还提高了效率,这在已经成为全球制造业的加工中心的国内市场,特别是高要求的零部件加工及其相应的先进生产线越来越有存在意义。本设备作为这方面的一个产品,能够真真切切的为相关公司带来显著的经济效益。

【参考文献】

[1]徐贵力,毛罕平,胡永光.基于计算机视觉技术参考物法测量叶片面积[J].农业工程学报,2002,01:154-157+3.

[2]孔斌.人类视觉与计算机视觉的比较[J].自然杂志,2002,01:51-55.