云计算的特征范文
时间:2023-12-22 18:04:36
导语:如何才能写好一篇云计算的特征,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
关键词: 云计算; 数据特定特征; 特征挖掘技术; 提取精度
中图分类号: TN911?34; G420 文献标识码: A 文章编号: 1004?373X(2017)13?0178?03
Abstract: For the imprecise data specific information extraction in the process of traditional cloud computing, a specific characteristic mining method of massive data in cloud computing environment is presented. The matrix node difference model is used to arrange the data orderly, and avoid the imprecise extraction data caused by data confusion of the traditional method. The huge cloud data makes the data positioning imprecise. In order to eliminate the above problem, the multidimensional data positioning calculation is adopted to solve the problem of imprecise positioning effectively, and extract the data information successfully. In order to verify the effectiveness of the massive data specific characteristic mining method in cloud computing environment, the contrast simulation experiment was designed. The experimental results fully prove that the method can improve the accuracy of the data extraction effectively.
Keywords: cloud computing; data specific characteristic; feature mining technology; extraction accuracy
0 引 言
随着科技的快速发展,数据信息时代逐渐向着云时代变迁,数据的运算存储已经由传统的硬盘存储逐渐发展成为云端计算存储[1]。通过云端的计算存储已经在很大程度上摒弃了原有的算法规则,能够更大程度的进行数据统计和数据运算[2]。在使用云端计算的环境下,存储在云端的海量数据都是通过数据定位以及数据分析进行计算的,使用适当的调度方法可以在很大程度上进行数据的特征提取。所以,有效的数据调度可以充分提高数据的特征提取能力,但是传统的云端计算过程由于数据存储量过于繁杂,并且在进行数据定位的过程中需要进行数据识别。传统的方法是使用数据的属性进行标识识别,但是为了数据的存储方便一般会进行适当的数据压缩和数据转换,数据进行调用过程中十分的繁琐,并且数据的调用过程是一个识别提取的过程,这种方式极大地影响了数据特征提取的速度以及准确性[3?4]。在进行数据特征提取的过程中还存在一些数据节点,这些节点极大程度上限制了提取的精度[4?5]。综上所述,本文设计了一种云计算环境下的海量数据特定特征挖掘方法,该方法能够有效解决上述问题[6]。
1 运用矩阵节点差分计算方法进行数据特定特
征挖掘
使用矩阵节点差分计算可以提高数据提取的精准度,在计算之前需要进行数据的方位确定以及数据的预处理[7?8]。
式中:为单位下数据信息量;为数据的信息坐标;为提取条件下的属性条件;为实际的傩灾涤颉
当限制节点传输信息至时,传输单位需要经过个节点才能进行属性提取。关系式为:
保证数据的正确性和快速性是通过区域的划分得到的,划分前需要预设参数,通过设定能够对选择精度进行控制,避免误差的产生。
式中:为离散参数;为整合参数域;为区域值;表示提取深度;代表数据衡量值。
进行数据的特征提取过程中,使用矩阵节点差分方法,因此需要进行数据的预处理[9],预处理之后才可以使用,首先是数据编续:
经过序号的排列以后,方便数据在大量数据中进行准确提取,但是排序之后的数据不能直接使用,需要一定的调用计算,方便在提取过程中属性的搭配:
式中:表示单位时间数据能够调用的属性;表示实际区域范围内数据的识别码;是实际计算中的属性参数;表示计算常量。
通过上述计算便可以进行矩阵节点差分方程的计算,建立如下矩阵:
通过化简的公式可以看出数据与实际调用的关系,把公式进行加权处理就可以得到关系公式,这样可以更加精确的在海量数据中完成特征提取。
限定好实用的属性参数及属性目标,进行加权计算:
本文运用矩阵节点差分计算方法进行数据特定特征挖掘,在计算前进行数据的预处理保证了数据的有效性,提高了结果的精准度,最后用条件进行限定保证在大量的数据中能够进行精准的计算。
2 实验验证
为了验证本文设计的云计算环境下的海量数据特定特征挖掘方法的有效性,设计了对比仿真实验。选定某网络数据公司大型云端数据库进行数据特征提取,首先使用传统的方法进行云端数据提取,然后使用本文设计的云算环境下的海量数据特定特征挖掘方法进行数据的特征提取。
2.1 参数设置
为了保证实验的有效性,同时进行实验,设置调配参数为65.8;数据坐标分别为150,100;为了保证数据提取的速度,设置为68.5;设置分别为55,60,100。
2.2 数据对比分析
实验对比结果如图1,图2,表1所示。
通过图1可以看出本文设计的方法能够在更短的时间内得到结果,同时所用的时间是传统方法的一半左右。
通过图2的误差对比结果可以看出,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地降低误差,保证在海量数据下的特征提取。
表1的实验结果能够充分证明,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地提高数据特征百分比,同时能够在更短的时间内进行更多的特征提取。
3 结 语
本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地解决数据特征提取过程中提取不精确的问题,同时所需要的时间更短,得到的结果不需要进行修正,能够更好地完成对海量数据的特征提取。本文的研究能够为云端数据提取提供良好的理论依据。
参考文献
[1] 廉文武,傅凌玲,黄潮.云计算环境下数据弱关联挖掘模型的仿真[J].计算机仿真,2015,32(4):359?362.
[2] 卢小宾,王涛.Google三大云计算技术对海量数据分析流程的技术改进优化研究[J].图书情报工作,2015,59(3):6?11.
[3] 何清,庄福振,曾立,等.PDMiner:基于云计算的并行分布式数据挖掘工具平台[J].中国科学:信息科学,2014,44(7):871?885.
[4] 刘辉.云计算环境下海量激光点云数据的高密度存储器逻辑结构设计[J].激光杂志,2016,37(9):91?95.
[5] 白红伟,马志伟,朱永利.基于云计算的绝缘子状态监测数据的处理[J].电瓷避雷器,2011(4):19?22.
[6] 钱维扬,王俊义,仇洪冰.基于Hadoop的数据挖掘技术在测光红移上的研究[J].电子技术应用,2016,42(9):111?114.
[7] 刘海龙,宿宏毅.利用Hadoop云计算平台进行海量数据聚类分析[J].舰船科学技术,2016(14):148?150.
篇2
【关键词】云计算 产业链 融资策略
一、引言
当前,中国云计算产业尚处于导入和准备阶段。根据赛迪顾问最新的《中国云计算产业发展白皮书》的研究报告显示,2012年中国云计算服务市场规模将增长到606.78亿元,到“十二五”末,产值规模将突破万亿。随着我国云计算的产业化快速发展,从知识创新到产业化的各阶段都产生大量而持续的资金需求。然而,由于金融机构对云企业认知不足、融资标准缺失、融资风险难以规范等诸多问题,导致资本市场对云计算企业的接受程度较低。与此同时,学术界针对云计算产业金融方面的研究也大都偏向技术应用层面,涉及企业发展根源的融资策略方面的研究较少。因此,本文提出了以云计算产业链的细分为基础的融资策略研究思路。在深度剖析云计算产业链特征、资金特征和风险特征的基础上,找出能与云产业特征相匹配的阶段性融资策略,旨在为我国云企业提供新的融资思路。
二、我国云计算产业链细分
目前学术界常用IaaS、PaaS以及SaaS这三个层面概括云计算产业链。然而IaaS等仅仅只是云计算产业的三种服务模式,没有包涵云计算基础设施的生产以及衍生产业的环节。为了有针对性地剖析云企业在不同阶段的融资特点,本文重新对云计算的产业链进行了划分,如图1所示。
三、云企业融资需求特征分析
充分把握产业链每个环节的资金投入、运行、回笼周期,有利于企业在选择融资策略时提高针对性、有效性以及准确性。通过以上对云计算产业链的细分及各阶段的业务形态分析,可以得出不同层次云企业的融资需求特征。
(一)云计算基础设施提供商的融资需求特征
云基础设施提供商的资金需求主要环节包括基础设施研发、产品产业化和市场推广三方面。在交付使用方之前,基础设施提供商需要大量的流动资金来承揽项目垫资。基础设施项目的建造是对大量高技术设备的组装和配置安排,在技术层面上门槛较低,同时基础设施商还拥有厂房与设备等实体可作为抵押物资融资。这些都使得基础设施提供商具备较好的融资基础,对于金融机构来说风险可控性较强。
(二)云服务供应商的资金需求特征
云服务供应商分为基础、平台及应用三个方面,它们都有各自的特点。
首先,在IaaS服务层面,云服务的提供商主要向用户或组织提供建立在基础设施之上的云计算资源服务,需在基础设施的购置及运维上投入大量的资金。由于基础设施服务是建立在企业用户对云平台的需求基础上,服务提供商将虚拟硬件作为服务租售给所需的用户并给予用户对这些设施的访问和控制权,因此对于该环节的企业来说,用户对服务的需求是可持续的。并且基础设施提供商已经在硬件设施上降低了基础即服务企业的开发成本与技术风险,因此该环节的企业风险偏好相对较低。
PaaS层面,提供商主要为满足用户某种特定需求而提供其消费的软件的计算能力。因此,服务提供商将会把大量的资金、科研人员投入到研发具有良好兼容性、扩展性和功能强大的云平台项目中,从而产生规模较大的资金需求。在平台研发期间,提供商面临着较大的时间成本和技术风险。同时,由于云计算的概念刚刚引入,还没有被用户普遍接受,研发出来的平台市场推广成本巨大。因此,该环节的资金需求风险偏好较强。
SaaS层面,使得研发应用程序的门槛降低,应用程序作为应用即服务的提供商的主要业务,其应用的种类和市场决定了应用服务提供商经营的业绩,于是提供商将会把大量的资金投入应用产品的研发,资金流向单一,因此资金需求规模较小。由于应用即服务市场准入门槛较低,拥有众多的提供商,所以市场竞争激烈,服务提供商将面临强大的市场风险,会因为服务产品不能被市场接受而导致项目失败。并且,应用产品研发的过程中也有较大的技术风险。
(三)增值服务企业资金需求特征与风险评估
与应用即服务类似的是,增值服务提供商的资金流向大都集中在软件研发上,对于硬件设备的购置需求较小。且由于云计算增值服务商以自由企业为主,对企业的实力和规模要求不受限制。除个别具有实力的企业巨头外,大多数增值服务的提供商属于中小型企业规模,甚至是微型企业。这些企业的经费有限,研发项目单一,经营规模不大,因此资金需求规模也较小。但有别于应用即服务的是,增值服务的范围还涉及行业解决方案、规划咨询服务等内容,市场提供商众多,市场竞争激烈,中小服务提供商面临较强的市场风险,成长和成熟的可能性较小,因此风险偏好较强。
四、基于产业链的云企业阶段性融资策略选择
云计算企业阶段性融资策略是针对处于产业链不同阶段的云企业资金需求特征,并结合各种融资渠道的特点,选择可行的融资形式。根据上述对产业链上云企业不同融资需求特征,可进一步提出以下阶段性融资策略选择。
(一)基础设施提供商融资策略选择
云产业的基础设施提供商,普遍具有投资规模大、风险低的特点。处于这个层次的云企业一般拥有大量生产云计算基础设施的物理资产甚至云计算产业园的土地资产,这些资产都可以作为融资抵押或固定资产偿债,对于银行来说融资风险是可控的。所以抵押类贷款是云计算基础设施提供商的传统性融资策略。同时,夹层融资策略能满足处于成长期的云计算基础设施提供商的资金需求。从融资成本上来说,成长期的云计算基础设施提供商已经具有稳定增长的历史,企业通过引入兼具债权和股权性质的夹层资金,有利于降低企业的总融资成本,促进企业的扩张和发展。
(二)云服务供应商融资策略选择
云计算基础即服务(IaaS)提供商具有向用户提供基础设施租赁的服务,因此,融资租赁必然成为其首选融资策略。云计算基础即服务的提供商对于融资租赁的需求主要在于对云基础设施的购买上。云基础设施的购买,要花费大量的流动资金,若运用融资租赁则会减小云服务提供商短时间内资金支出的规模,有利于基础即服务的可持续性发展。
对平台即服务提供商的盈利模式和风险收益特征,比较适合该环节服务提供商的市场融资方式主要有夹层融资、知识产权担保等策略。目前我国处于PaaS服务提供商都是传统IT产业发展较好且具有相当实力的企业,例如微软、Google、新浪等企业,企业在云计算市场占有较大份额。这些条件都比较符合夹层融资的基本要求,因此PaaS服务提供商可以选择夹层融资来获取所需资金。同时,这些企业还拥有大量的知识产权无形资产,可以通过评估机构的评估,用知识产权作为债权担保以获取资金。
与平台即服务(PaaS)相比,虽然SaaS服务提供商也需要研发软件和推广市场,但是其提供商规模和研发难度都要小得多。当用户需要某种服务的时候,不再自己投资开发,而是从云计算服务提供商那里租用。比如从SaaS提供商那里租用CRM服务。根据软件即服务提供商的盈利模式和风险收益特征,企业可考虑使用天使投资、供应链融资、知识产权担保等融资策略。其中供应链融资策略是SaaS服务提供商比较理想的融资策略。通过利用业务合作对象的资信实力,一方面有助于帮助中小软件提供商解决融资难问题;另一方面,SaaS服务提供商还可以通过这一融资策略来获取银行授信,以企业的应收账款作为质押给予一定的信贷支持,增强企业资产的流动性和赊购赊销中的信用能力。
(三)增值服务提供商融资策略
处于该层次的企业大多属于中小型企业,甚至是微型企业。因此,云计算增值服务企业应坚持以灵活的市场化融资策略,企业可采取风险投资类策略、贷款类策略以及担保类策略相结合的方式。风投类策略方面,天使投资、私募股权投资等风险投资的进入与当前云计算增值服务企业面临的高风险相匹配。据赛迪投资顾问统计,2010年至2011年10月,中国软件企业通过天使投资进行股权融资的案例总量为9例,仅有1例披露了股权融资金额,金额较小,且是一次性投入。贷款融资方面,供应链融资可成为主要模式。另外,互助担保、知识产权担保等担保类策略也为云计算增值服务提供商有效方法。虽然云计算增值服务企业规模不大,融资能力不强。但是通过互助担保等创新融资策略,不仅提高了该类企业的融资能力,还在一定程度上降低了银行的放贷风险。同时,由于云计算增值服务企业是知识密集型企业,企业拥有的是高新技术,缺乏传统融资担保标的,很难从传统的融资渠道获得资金。因此,利用企业的优势资源即知识产权资源进行担保融资是属于高新技术企业特有的融资策略选择。
五、小结
本文从产业链角度把握住了各类云计算企业的基本融资特点,通过分析其业务特征、融资特征和风险特征,构建了能与其相匹配的融资策略框架,为不同层次的云企业在今后的融资实践应用中提供了思路与方向。但阶段性融资策略研究是一个复杂系统的过程,本文仅进行了云企业融资策略的梳理,今后产业链每个阶段的融资策略都可以继续展开深入研究,并且还可以在未来的云企业实践中加强金融创新,实现云企业融资策略的多样化发展。
参考文献
[1]赛迪顾问.中国云计算产业发展白皮书[R],2011.
[2]洪峥.雾里看花:云计算中的投融资机会[J].国际融资,2011(01).
[3]陈滢.谈本土云计算项目融资困境[J].科技创业,2011(09):100.
[4]张纪元.云计算产业链和基本特征及电信运营商盈利模式[J].广东通信技术,2011(08).
[5]张建文,汪鑫.云计算技术在银行中的应用探讨[J].华南金融电脑,2009(06):16-19.
[6]谢世清.论云计算及其在金融领域中的应用[J].金融与经济,2010(11):9-11.
篇3
Abstract: As the location retrieval accuracy of mining massive music resources in the cloud big data environment is not high, positioning mining method of massive music resources in cloud computing environment is improved, and a high?precision positioning mining method of massive music resources based on adaptive cascade retrieval control is proposed. The semantic feature segmentation and time series state space reconstruction of data information in massive music resource database are conducted according to the key words and music types, and then the self?correlation feature extraction of massive music resources in cloud computing environment is carried out. The extracted self?correlation features are taken as the pheromone guide to make high?precision positioning mining. The adaptive cascade retrieval control model is used to control the mining accuracy. The simulation analysis results show that this method can improve the positioning mining accuracy of music resources, resource utilization and data precision ratio.
Keywords: cloud computing environment; massive music resources; location mining; retrieval control
?S着大数据信息技术和云计算技术的发展,大量的音乐资源通过Deep Web数据库的形式存储于网络空间中,提供给网络用户进行有偿或者免费的下载[1]。对海量音乐资源的高效优化管理能提高音乐欣赏用户的体验,提高对音乐播放软件的认可度,海量音乐资源信息库是搜集、整理、收藏音乐资源并供人下载和播放的数据库,结合音乐播放软件实现音乐共享和传播。在云计算环境下,需要对海量音乐资源进行高精度定位,对云计算环境下海量音乐资源进行优化配置和访问控制,提高云计算环境下海量音乐资源的管理和检索效率;因此研究音乐资源在云计算环境下的高精度定位挖掘方法具有重要意义。
1 海量音乐资源信息预处理
1.1 音乐资源信息语义特征分割
为了实现对云计算环境下海量音乐资源的高精度定位挖掘,需要进行语义特征分割,降低资源定位挖掘的计算开销,采用自适应特征分割模型进行海量音乐资源库的存储音乐信息的数据特征重构和特征分割,去除冗余的信息特征[2?3]。音乐资源存储区域按音乐的歌词的关键词和音乐类型进行语义特征分割。音乐类型的存储本体特征通过自适应均衡分割方法被分为若干个(K个)数据子集,为云计算环境下海量音乐资源的语义特征并查集,满足:。根据音乐的播放环境和流行程度,进行资源分布区间的网格模型构建,使得音乐资源存储的状态分布结构满足,其中且。由此,采用决策树模型构建音乐资源信息检索和挖掘的特征访问控制模型。在进行音乐资源信息语义特征分割中需要首先创建一个空节点root作为根节点,在匹配节点的父节点处创建语义特征分割的分支结构模型[4],并通过规则数据集匹配的音乐资源的存储空间,进行节点匹配,搜索节点为root节点,以叶节点B:0.7为起始节点进行语义特征分割。在匹配节点的父节点处得到候选数据项为: ,以节点C:0.8中的BC为搜索节点,得到语义特征分割的自适应概率分布为0.7×0.8=0.56,由此构建压缩的UF?tree决策树模型,实现对云计算环境下的音乐资源信息存储空间的语义特征分割如下:
式中:表示待匹配本体的关系模型;为到当前数据项在TID集的概率分布。云计算环境下海量音乐资源库中的特征空间采样数据集,根据音乐资源信息语义特征分割结果,进行了分布式特征重构分析。
式中,为云计算环境下的音乐资源检索的统计频次参量。通过自适应级联检索控制,挖掘音乐资源的候选项集和产生频繁项集,提高对音乐的准确检索和定位挖掘能力。具体算法描述如下:
输入: 音乐资源搜索节点初始化参数,音乐资源定位挖掘的概率向量,候选集AllCandidate
输出:音乐资源挖掘的繁项集和规则集FrequentItems
(1) group?dependen=new MapReduce framework (Null);
(2) parallel closed frequent T in DBgid
(3) LocalFPtree.insert_tree(T,LocalFPtree.root,G?List);
(4) file management item in nowGroup
//闭频繁项集特征分解
{ Heap HP= Parallel FP?Growth ();
LocalFPtree.FPGrowth(mining large data.,item, HP);
//遍历每条事务数据
Support=0.0f;
Add(candidateItem,FrequentItems)
End}
3 实验测试分析
对海量音乐资源的定位挖掘仿真实验建立在Hadoop云计算平台上。仿真的硬件CPU为Intel? CoreTM i7?2600。采用Matlab仿真工具进行数学仿真,结合酷狗、QQ音乐软件进行音乐资源的嵌入式访问接口设计和兼容性数据库存储,音乐软件通过100 MB以太网相连在互联网中。对音乐资源进行语义特征分割的尺度为1.45,音?纷试吹氖?据信息流采样样本长度为1 024,频带2~30 kHz、时宽3.6 ms,对DeepWeb数据库中的海量音乐资源进行信息采样和挖掘定位仿真。根据上述实验环境设定,进行音乐资源的定位挖掘,以挖掘精度为测试评价指标,进行10 000次挖掘实验,采用不同方法进行对比,得到挖掘精度对比结果如图2所示。图3为数据查准率对比。
据查准率对比
图3给出了以酷狗音乐软件为访问接口,采用本文设计的音乐资源定位挖掘方法和传统的挖掘方法进行音乐资源检索的查准率对比。分析上述仿真实验结果得知,采用本文方法进行云计算环境下海量音乐资源的定位挖掘的精度较高,信息检索的查准率高于传统方法,实现高精度的定位挖掘。
篇4
【关键词】云计算计算机安全防护措施
云计算背景下的计算机在功能上有了拓展,在计算机为人们提供方便的同时,也带来了很大的信息安全风险。解决这些方面的安全问题就成为云计算发展的重要课题,在当前的计算机安全问题上还相对比较突出,要能从实际出发,对这些安全问题加以针对性的解决。
一.云计算的特征体现和计算机安全问题分析
1.1云计算的特征体现分析
云计算的技术应用是在近几年开始的,其主要是依靠着互联网技术作为依托,进而来提供相应的服务,以及在交互模式的作用上能够得到充分的发挥。云计算技术在当前之所以能够得到广泛的应用,就是因为其自身有着鲜明的优势发展特征,这些特征主要体现在能有效实现资源共享[1]。由于云计算是多种资源的结合体,能够为用户提供多方面的服务,满足其实际的需求。另外,云计算自身的收缩性以及扩展性的特征也有着比较鲜明的呈现,在对云计算应用过程中,能有效结合实际进行资源的再分配,这样就对云计算资源配置效率能得到有效提升。除此之外,云计算的按需付费以及访问多样化的特征也比较突出,能够通过手机以及平板电脑等进行多样化的访问,还能有效实现按需付费的目标,能够对用户的使用成本得到有效降低。
1.2云计算环境下计算机的安全问题分析
云计算环境下的计算机的安全问题也是比较突出的,主要体现在数据的安全层面。在云计算背景下数据的传输以及存储的过程中,由于其存储空间比较大,在信息的实际传输过程中,就比较容易受到黑客的拦截,或者是病毒的传播等,对信息系统造成严重的威胁。在对信息数据存储过程中,也会存在着信息的存储以及共享等方面的安全风险[2]。这些都是在云计算环境下面临的比较主要的安全风险问题。再者,云计算下计算机的用户访问权限的管理安全问题方面。对云程序的软件进行应用下,能有效实现检索以及浏览的功能,但在进入权限方面有着相应的设置,但不管是哪种方式管理,都会给黑客带来很大的诱惑,这就比较容易让黑客利用相关的漏洞来对资料进行访问,对信息造成破坏等。另外,从计算机的网络取证的安全问题上也比较突出。在这一问题上主要是由于计算机网络安全的问题比较突出,并且短时期内不能有效解决,由于网络环境的开放性,就比较容易造成网络安全的取证较为困难。对于这些方面的问题要能充分重视,从多方面对安全问题进行分析,针对性的进行解决。
二、云计算环境下的计算机安全防护措施
第一,从元计算环境下的计算机安全进行保障,就要注重多种措施的实施。要对云计算的业务定位加以明确化,并要从法律层面进行严格的规范。云计算所包含的业务类型比较多样化,这就需要对云计算的业务有明确化的定位,将完善的市场准入制度以及监管制度进行构建,对云服务的发展进行保障。通过相关的法律法规的建设进行加强和完善,对云计算下的计算机业务进行防护。第二,加强对计算机稳定数据安全的保护,这就需要对云计算的运营商在数据的加密保护工作上进行加强和完善。在对数据的读取过程中,通过密码的加密处理,就能将信息数据的安全性得到有效保障。再有是对计算机的数据存储安全性得到充分加强,通过虚拟存储的方式以及在实名注册的方式上进行加强防护,这些措施的实施都能对计算机的安全性得到保证。第三,对云计算下的计算机用户权限的管理进行加强,以及从网络取证的措施上进行优化。要能通过多种验证方式加以应用,避免系统的漏洞出现,通过设置安全措施对用户权限要加强检测,对比较敏感的操作要充分注重按照规范进行操作[3]。而在网络取证方面,云计算服务提供方以及用户要能在相关的义务方面有详细的了解。只有在这些基础工作上得到了加强,才能有利于计算机安全的保障。第四,加强云计算下的计算机安全还要能将技术监控的水平不断提升,要能在相关业务的分析能力上进行强化,构建完善有效的技术监控体系,对审计系统以及定位系统的建设,为计算机的安全提供良好的发展平台,为网络的安全性提供良好保障。再有就是从制度的建立上进行完善化,在这些方面得到了加强,才能保障计算机的安全。
三、结语
总而言之,云计算环境下的计算机安全保证措施的实施,要从实际出发,保证措施实施的科学有效性。只有在计算机的安全上得到了保证,才能真正的促进相关产业的发展,对实际的需求才能得到有效满足。此次主要从多方面对计算机安全问题和措施进行了探究,希望能通过此次理论研究,对解决实际问题起到促进作用。
参考文献
[1]罗拥华,邱尚明,姚幼敏.云计算背景下计算机安全问题及对策[J].电子制作.2015(14)
[2]纪凌,谈良.云计算背景下计算机安全问题及应对方法分析[J].电子技术与软件工程.2014(03)
篇5
几乎与此同时,国内另一家反病毒厂商瑞星公司也宣布,利用云计算模式,利用广泛的互联网用户资源,让每个人能为病毒代码更新贡献力量,创新病毒样本收集方法。
虽然这两家著名的反病毒厂商采用的云计算模式的内涵并不一样,但显然都采用了最近正在甚嚣尘上的云计算。那么,云计算真的如他们预言,会改变目前的反病毒方式吗?
张伟钦的回答是:“一定的。” 近年来计算机和网络中病毒特征码文件呈指数级增长,2005年,一天只有大约50种特征码被添加到数据库中,而2008年,该数字增加到了5000,这会消耗掉大量的网络内存和网络带宽,由于占用越来越多系统资源,系统的效率也就越来越低,这成为传统反病毒技术最令人诟病之处。“要想解决这一问题,就必须采用新的革命性方法。这就是趋势科技提出的云安全架构――利用云计算构建一个全球网络,病毒特征码只保存在互联网云数据库中,特征对比也在云计算数据库中,而在端点处保持最低数量,这样,Web威胁、电子邮件威胁和文件威胁在到达最终用户或公司网络之前就可被拦截,因此在预防网络被病毒侵袭的同时,还极大降低了客户网络和端点的系统和带宽消耗。”他说,“这是反病毒技术的一次重大革命!”
篇6
为了实现资源的调度,使资源的负载能够达到平衡,就需要对资源、性能信息进行必要的了解。要对故障进行诊断的话,需要从监控系统中获取足够的信息,这样系统管理者才能将相应的故障问题发现、识别,进而将其解决。经过对这些规律的总结,能够对故障的发生进行相关的预测,进行对故障发生进行预防,或是通过动态处理来及时将故障解决,减少其对于系统的影响。能够被云环境监控的资源数量较多,以往的资源的限制在云环境下都不再成为问题,云资源已经蔓延到世界各处,就连海洋、太空都是云环境的监控范围。
也正是因为如此,为了能够对这庞大的资源进行统一管理,就需要采用结构化的方法。生产者、中介、消费者是一般信心监控系统包括的三个主体。信息的采集是生产者的任务,生产者将相关的信息给中介,中介将大量的信息转化成为系统的服务,而消费者就利用中介提供的服务。
2云计算系统用户管理
相较于传统的系统,云计算不但有着更为广泛的用户数目,还有着更大的资源数目,也正是因为如此,才需要通过用户管理机制来对云计算用户进行管理,这样才能逐渐完善云计算技术,使其得到完善和发展。具体来说,云计算系统用户管理主要包括如下内容:
2.1云计算用户
为了进入云计算系统,每个云计算用户都有一个唯一的标识,只有拥有这个标识才能向服务器表明自己的身份,要注册成为云用户,需要相关权威机构的认可,这样才能得到相应的标识,成为云计算用户。
2.2云计算用户的命名
在云计算系统内部,每一个用户都可以有自己的标识符,而且这个标识符是相对唯一的,通过对这个标识符的观察,我们就能知道用户的特征,若是用户的名字不足以进行区别的时候,往往需要通过附加特征来对其进行甄别,这样才能形成较为完整的命名体系,诸如我们可以说马勇,当其他人也想用这个标识符的时候,需要进行附加特征来描述,诸如马勇2等,这样标识符的唯一性就能确定,虽然用户的真正姓名并不会发生变化,但是我们看到的代号却更加精确的显示出用户的唯一性。故而我们也看出了用户命名的一个特点,那就是为了保障标识符的唯一性,在名字的基础上还需要添加额外的特征说明,这样才能固定用户的范围和唯一性,将不同的用户进行区别。
2.3云计算用户管理操作
和其他云实体一样,用户也是云上的实体,故而其也存在着生命周期,通过创建和注销等操作就代表了这个周期的始终。我们需要注意的是,在这个周期内发生变化的还有用户的权利,为此,相应的授权和变更操作是难免的。具体来说,云计算用户管理操作主要包括如下三个方面:
其一,用户创建,只有经过合法的手段才能拥有自己的账号,成为合法的云计算账户,为了进行新用户的创建,需要具备相关的身份证明材料。创建成功之后,相应的就能获取的用户名和密码。用户的信息集合主要由两个方面组成:一个方面是用户提供的信息,另一个方面是云的信息记录。用户名标识是对用户云活动记录的重要的手段。
其二,用户登录,当相关的用户称号经过合法手段创建之后,在进行登录的时候,需要输入相应的用户名和密码,若是存在接入设备的话,则可以关联设备标识和用户名,这样就省去了重复输入的操作。通过使用过的相关专用设备,云计算就可以知道的账号,通过这个设备,用户可以任何网络进行的呢公路,网络映像相同,不会出现差异。
其三,用户授权,各种资源都可以很轻松地在云上找到,但是这些资源并非全部用户都有权利访问,用户要进行访问操作,需要得到相应的授权,这个操作可以由网络权威机构进行设定,资源的拥有者也可以执行该操作。其四,用户变更,若是需要注销自己的云账号,只需要对原始信息进行认证。
2.4云计算用户管理系统
虚拟组织是云计算用户管理系统的重要支撑,构成云计算用户管理系统的主要有两个部分,一个部分是虚拟组织用户注册数据库,另一个部分是本地节点上的用户管理。当用户向注册管理员提供相应信息后,才能加入虚拟组织,提供的信息需要与协议要求一样,这样管理者才会将用户加入虚拟组织数据库。
3总结
篇7
关键词:云计算平台;物联网;数据挖掘
物联网是当前智能化社会发展的一个重要显示,近几年随着科研事业的快速进展下,物联网以及从一个概念存在逐渐融入到现实生活中。物联网的出现实现了人们生活与工作的智能化,极大的改变的了生活与工作方式,提升了办事效率。而物联网的实现依靠中的技术的支持,其中数据挖掘技术便是其中一个重要支撑条件,数据挖掘实现了海量信息的获取与挖掘,而这种信息能够支撑物联网在实际操作中的智能化实现。文中在云计算平台的基础上分析物联网数据挖掘的相关研究,其中包括物联网数据挖掘所面临的挑战、在云计算平台中物联网数据挖掘的相关技术以及实际应用。
1云计算与物联网理论基础
1)云计算理论云计算是一种依赖于互联网技术,经由互联网服务为用户提供依据需求而明确服务的计算方式。而云计算命名的由来是由于整个服务资源的选自源互联网内的数据,且互联网多会应用云状图案对资源进行显示,因此被称之为与计算。云计算基于其应用技术的先进性具备了以下几大特征:第一,规模大。云计算中的云所显示的便是差大的规模,当前就谷歌云计算来看已经拥有了100多万台服务器,而其他较大型的搜索引擎也具备了数十万台服务器。第二,虚拟化。云计算能够支持用户在任意位置或任意终端进行服务器的登录,所有操作在云空间进行运行,由此也便形成了虚拟性特征。第三,可靠性。云计算应用数据多副本绒促以及计算节点同构可互换等措施来确保服务的可靠性。第四,通用性。云计算不会针对特定的应用,在云支持下能够创造出海量的应用。第五,可延伸性。云计算的超大规模能够支持其进行动态的伸缩,由此满足各类应用与用户规模的增长需求[1]。2)物联网理论物联网属于全新信息技术的主要构成部分,同时也是信息化时展的重要阶段。物联网实际上所指的是经由多种技术的应用实现物与物之间的连接,而这种连接形成了一个局域网络,实现远程与集中操控。物联网雏形的出现可追溯到1990年,后期随着各项理论与技术的不断研发下,在近几年已经能够实现在现实生活中,且被广泛的应用。其实际意义在于,经由各项技术将多种物品与互联网进行连接,实现信息交换与通信,由此实现了物品的智能化,用户可经由远程终端进行操控,便捷了人们的生活,同时也提升了各物品应用的安全性。与互联网对比物联网具备了以下几大特征:一方面表现在物联网应用到多种感知技术;第二方面表现在物联网属于建立在互联网基础上的泛在网络;第三方面表现在物联网的核心价值是提供不限定任何场合与时间的应用场景与用户的自由互换[2]。3)物联网的建设物联网在应用过程中需要多个行业的参与,且需要政府方面所提供的支持,物联网具备多种优势,可广泛地应用在社会各个领域中,但是在实际应用过程中技术建设始终是一大难题。就常规上来讲,物联网的建设需要经由以下几个步骤:第一,对需要建设物联网的物体属性进行识别,包括静态与动态的属性,其中静态属性可直接进行存储,而动态属性则需要应用传感器进行探测;第二,对识别完成后的物体属性进行读取,将读取信息转换为网络识别数据;第三,将物体的信息经由网络传输至信息处理中心,由处理中心实现物体与互联网之间的通信[3]。
2数据挖掘技术界定与特征分析
2.1数据挖掘技术概念
数据挖掘技术出现在二十世纪后期,虽然其出现时间不长,但是对社会中各领域的发展形成了巨大的影响,也引起自有优势得到了广泛的应用。数据挖掘从广泛意义上来讲所指的是从大量数据中经由可靠的算法搜索隐藏其中信息的整个过程。数据挖掘与计算机科学存在着紧密的联系,利用计算机技术经由统计、分析、情报检索、机器学习等多种手段实现其实际价值。当前数据挖掘在应用到不同领域后,也被赋予了不同的概念。但就其应用价值可从三个方面进行概述,第一个方面为提供海量可靠信息;第二个方面为经由数据挖掘所获取的信息对人们具有较高的应用价值;第三个方面为所获取的信息能够被人们理解与分析,并以此为根据做出决策[4]。
2.2数据挖掘技术特征
数据挖掘技术具备了分布广、规模大、节点资源有限、安全性复杂等特征。其中分布广主要是数据挖掘是物联网技术中的一个构成部分,而物联网本身就具备的分布广泛的特点,由此数据挖掘基于需要将数据存储在不同的地方,也便具备了分布广的特点;规模大方面主要是物联网中具有海量数据的传输与应用,而数据挖掘作为数据分析与处理环节自然具备了规模大特点;节点资源有限方面是给予物联网较为庞大的数据链,需要设置多个传感器节点,因此需要有能够快速解决处理数据的中央节点,而节点资源并非无限,中央节点通常不需要所有的数据,但需要数据参数,由此对需求数据进行输出[5]。
3物联网数据挖掘面临的挑战
基于物联网技术自身所具备的特征,在数据挖掘中也具备了一定的优势,但是新技术在数据挖掘中应用较多,物联网技术在数据挖掘中也面临着一定的挑战,具体表现为以下几个方面。第一,物联网数据具有一定的规则,但是由于其规则过多也相对较为繁杂,经由中央模式对分布式数据进行挖掘的方式效果并不理想。第二,物联网数据规模较大,需要及时给予可靠的处理,而当前处理模式对硬件要求较高,若硬件不能够符合要求则可能无法实现。第三,数据需求的节点不断增加,需求与供给之间存在着一定的矛盾。第四,给予物联网数据存在着诸多外在影响因素,包括数据传输安全性、数据传输的隐私性、法律约束等因素。将所有数据集中存储在相同的数据仓库中这一渠道显然不具备可靠性。基于上述几点问题充分显示出,对物联网进行数据挖掘过程中,当前所具备的以及应用的多种技术与手段存在着一定的弊端,针对此需要不断地进行更为深入的研究,以寻找到更为有效的解决方案。
4基于云计算平台的物联网数据挖掘技术分析
4.1物联网感知层
物联网感知层也就是实现感知作用,具体是依赖于目标区域范围内设置大量数据采集点予以实现。也就是说节点是经由传感器与摄像头以及其他相关设备实现数据的采集,所采集到的数据需要依赖于物联网感知层所具备的网络通信设备进行集中处理,将所需要的数据传递至各节点,再经由集中储存后再次通过传输层传递至云计算平台的数据处理中心,实现整个感知层的职能。
4.2物联网传输层
物联网传输层是所有数据传递的中间环节,其中涵盖着传感器、无限网络等设备与技术,经由多种网络设备的连接,形成高效率无缝数据的传输系统,能够更为有效地将物联网感知层所收集到的数据经由网络传输到数据处理中心,由此实现全方位的互通互联目标。就其实际工作内容来分析,所指向的是将多种属性的监测处理设备进行联网,实现传输功效,对各设备与节点之间的数据信息进行传播。
4.3数据层
数据层是物联网云计算平台中数据挖掘技术的核心环节,物联网自身具有一定的异构性与海量性特点,由此在数据层内将物联网设备所收集到的所有数据信息进项储存处理与分析的能力是基于云计算的物联网数据挖掘平台的重点。数据层内部涵盖了数据源转化与存储两个主要部分,其中数据源转化所指的是对物联网异构性的数据化进行转化,存储方面所指向的是应用Hadoop所构建的平台中HDFS系统进行分布式存储,由此将物联网中大量的数据能够可靠的存储在各个数据节点中。在物联网平台内部,针对不同的目标需要收集不同的数据类型对其进行显示,在特定环境下,同一种目标同样会选择不同的数据类型进行表现,基于此数据源转化的作用主要为表现保持数据的完整性,同时避免异构性的物联网数据在转化中基于其他不确定因素有所损坏,由此实现确保数据挖掘可靠性的目的。数据源转化在整个系统中的价值主要是作为数据层与感知层之间的连接线角色存在,经由数据包的解码与转换将不同属性的数据转换为所需要的数据类型,同时将其以分布式手段存储在数据处理中心。
4.4数据挖掘服务层
数据挖掘服务层内部涵盖数据准备模块、数据挖掘引擎模块、用户模块几个部分。其中数据准备模块中涵盖着对数据的情况、转变、数据规等环节;数据挖掘引擎模块中涵盖着数据挖掘算法集、模式评估等环节;用户模块中涵盖着数据挖掘知识的可视化展现技术。基于知识挖掘类型的差异性,数据挖掘引擎模块具备了区分、关联、聚类、趋势分析、偏差分析、类似性分析等特征。而提供以上所述的功能核心环节为数据挖掘模块中的算法集所具备的多种功能算法,在Hadoop平台中数据挖掘算法需要对传统所应用的数据挖掘算法进行一定程度的调整,也就是实现算法并行化的处理。用户模块是应用物联网数据挖掘平台用户的直接接触端,基于其担负着将系统显示转化为用户可识别显示的重要责任,需要具备一定的友好性,也就是一定的人性化,使用户能够便捷的应用用户界面进行操作,实现数据挖掘的目的,同时也能够获取到能够理解的知识。为提升数据挖掘平台的可移植性,在用户服务底层模块加入了一个开放接口模块,由此能够使得第三方调用物联网数据挖掘平台的功能,使物联网具备更为丰富的应用,同时提升其实际应用价值。
5结论
云计算与物联网均属于信息化社会的先进产物,是社会发展的一大表现,物联网引起自身的多种优势被广泛地应用在社会各个领域中。但是,当前物联网在我国发展进程较为缓慢,主要是由于物联网的建设需要应用到多种技术,而技术建设始终是一个难题,为此,在本文中对基于云计算平台的物联网数据挖掘技术应用与实现效果进行了全面分析,为进一步推动基于云计算基础物联网的建设提供理论参考。
作者:汤勇峰 单位:江苏省徐州医药高等职业学校
参考文献:
[1]张虎.基于云计算的物联网数据挖掘模式的构建[J].无线互联科技,2016,2(20):50-51.
[2]陈达峰.基于云计算的物联网数据挖掘关键技术研究[J].中国新技术新产品,2014,5(23):20.
[3]李立,张玉州,江克勤.一种改进的基于云平台的物联网数据挖掘算法[J].安庆师范学院学报:自然科学版,2014,7(2):37-40.
篇8
【 关键词 】 地理信息科学;数字地球;云计算;空间计算;时空;高性能计算;地理信息网络基础设施
1 引言
“唯一不变的是变化本身”——肯尼迪。在全球化和人类活动地域扩张的21世纪,理解变化变得越来越重要(Brenner 1999; NRC 2009b)。这些变化在一定的空间范围内发生,这个范围可以小到个人或周围的小空间,也可以大到整个地球(Brenner 1999)。我们用时空维度来更好地记录空间的相关变化(Goodchild 1992)。为了理解、保护和改善我们的生活环境,人类已经积累了约十万年或更长时间发生的变化的宝贵记录。这些记录通过各种传感技术获得,这些传感技术包括我们人类的视觉、触觉和感觉,以及最近发展的卫星、天文望远镜、原位传感器和传感器网(Montgomery and Mundt, 2010)。传感技术的进步极大地提高了记录的精度和时空范围。总的来说,我们已经积累了EB级的记录数据,而且这些数据集每天以PB级的速度在增加(Hey, Tansley and Tolle 2009)。
云计算的出现为解决地理科学的挑战,即能够灵活访问广泛集中的、实体化的以及负担得起的计算机资源,带来了可能的解决方案(Cui et al., 2010; Huang et al., 2010)。21世纪的地理空间科学与所描述的密集问题可以受益于最新的云计算框架,并充分利用时空原理以优化云计算。要抓住云计算和地理空间科学之间的内在关系,我们引入了空间云计算:a)解决地理空间科学中的4个密集问题;b)促进实施和优化云计算汇集、弹性、按需以及其他特点。
2 空间云计算(Spatial Cloud Computing (SCC))
云计算正在成为下一代的计算平台,政府机构正在促进它的使用以降低启动、维护和能源消耗成本(Buyya et al., 2009; Marston et al. 2011)。结合地理空间科学,几个试验性的云计算项目正在诸如FGDC、 NOAA和 NASA等联邦机构内实施。商业机构,如微软、亚马逊和ESRI正在调研如何在云计算环境中操作地理空间应用,了解如何最好地适应这个新的计算模式。早期的调研发现云计算不仅能够帮助地理空间科学,而且能够采用时空原理进行优化以最好地使用分布式计算资源(Yang et al., 2011)。地理空间科学问题具有强时空约束和原则,能够通过系统地考虑通用时空规则来获得最好的答案(De Smith 2007; Goodchild 1990; Goodchild et al., 2007; Yang et al., 2011b):1)物理现象是连续的,数据表示在时空上是离散的;2)物理现象在空间、时间和时空关系上是异构的;3)物理现象在局部地理域上是半自治的,并且能够被分割和合并;4)地理空间科学和应用问题包括数据存储、计算/处理资源、物理现象和用户的时空位置;上述四种位置的相互作用随空间分布强度愈发复杂;5)时空现象越接近越相关(Tobler' first law of geography)。
一个支持地理空间科学的云计算平台应该利用上述时空原则和限制,以便以一种时空形式更好地优化与使用云计算,而不是设置限制条件和重新设计应用架构(Calstroka and Waston 2010)。
时空云计算涉及地理空间科学驱动的计算规范,通过将分布式计算环境应用于地理空间和其他科学发现,其能够被时空原则所优化。
空间云计算框架包括物理计算基础设施、分布在多个区域的计算资源,和用来管理为终端用户提供服务的资源的空间云计算虚拟服务器。
空间云计算可以用一个架构来表示,这个架构包含物理计算基础设施、分布在多个区域的计算资源,以及一个管理为终端用户提供服务的资源的空间云计算虚拟服务器。
空间云计算环境的核心组件主要通过结合时空原则的SCCM来支持地理空间科学,以寻求计算资源的优化。基于传统空间云计算平台和核心GIS功能是能够实现的,例如动态重投影和空间分析。本地用户和系统管理员通过SCCM管理接口,能够直接访问私有云服务器,云用户能够通过空间云门户访问云服务。还需要进一步研究IaaS、PaaS、SaaS和DaaS环境在云计算与地理信息科学两方面可用的一致性。在下一节中,我们使用四种有代表性的应用来说明四种密集的问题。
3 空间云计算应用
为说明云计算如何能潜在解决四个密集问题,我们选择了四个科学和应用场景来分析这些问题、时空原则和潜在空间云计算解决方案间的内在联系。
3.1 数据密集型
地理空间科学中的数据密集型问题至少可以总结为三个方面:1)利用专门的投影和地理坐标系统,多维地理空间数据在二维以上空间表示;2)诸如卫星观测、照相获取、或者模型模拟,会收集或产生海量多维数据;3)数据的全球分布。许多数据密集型的应用访问和数据整合,因此,大数据可能在快速计算机网络中传输,或者通过组合技术实现最小传输。
为解决这些数据密集型问题,我们开发了一种DaaS——分布式的目录和基于空间云计算的门户,来发现、访问、使用地理空间数据。这个DaaS基于Microsoft Azure, Amazon EC2和 NASA 的地理空间社区的云服务上正在进行开发与测试。
空间云计算可考虑拥有和使用数据、服务、计算和终端用户的位置、能力、容量和质量等信息并予以优化,当然是在计算、地理空间科学和应用使用时空原则的情况下。
3.2 计算密集型
计算机密集型是地理空间科学需要解决的另外一个问题。在地理科学元素中,在信息/知识的数据挖掘、参数提取和现象模拟应用中计算密集型问题愈发突出。这些问题包括:1)地理空间科学在建模和分析方面天然是耗费计算资源的;2)参数提出需要运行复杂的地球物理算法,以从海量观测数据中获取现象值(Phenomena Values),这个复杂的算法运算使得参数提取更具有计算密集型特征;3)当考虑到地球系统的所有动态参数时,模拟地理空间现象是非常复杂的。周期性的现象模拟密集计算的不断循环,高性能计算机常用来提升此类计算速度。更重要的是,现象处理的时空原则可用来优化分布式计算单元的组织,以实现时空科学模拟和预测(Govett et al., 2010; Yang et al., 2011)。这些原则对于实现数据挖掘、参数提取、现象模拟的云计算来优化计算资源也是很关键的(Ramakrishnan et al. 2011; Zhang et al. 2011),主要通过:1)利用动态需求和能力,为计算工作选择最匹配的计算单元;2)并行化操作单元以降低这个处理时间或提高整个系统的可操作性,3)利用更加匹配的工作、计算应用以及存储与网络状态,优化整个云操作性。由于科学算法的多样性和动态性,最好的实现平台是PaaS和IaaS。
3.3 并发访问密集
互联网的发展和“在任何地点、任何时间将正确信息提供给任何人”的理念,使得基于位置的地理空间服务流行开来(Jensen 2009),并允许数以千万计的用户并发访问系统(Blower 2010)。例如,Google Earth通过其SaaS支持数百万互联网用户并发访问。这些并发密集型访问在某一时间(例如2011年3月日本海啸和地震期间)非常密集,而在另外时间则很少。为更好地满足这些并发访问,空间云计算需要弹性调用更多的来自不同区域的服务进程来应对访问峰值。
实验证明计算进程越多,性能越高。弹性自动提供和释放计算资源允许我们共享其他无并发访问峰值的应用的计算资源,以应对当前的并发访问峰值。
3.4 时空密集型
为更好地理解过去和预测未来,一些被收集的地理空间数据是基于时间序列的,将已有的观测数据进行时间序列的重建工作也已实施。时空密集型的重要性体现在时空索引(Theodoridis and Nascimento, 2000; Wang et al., 2009)、时空数据建模方法(Monmonier, 1990, Stroud et al., 2001)、地球科学现象关联分析(Kumar 2007)、飓风模拟(Theodoridis et al., 1999)以及计算机网络技术(在传输负载与拓扑复杂性上飞速发展)(Donner et al., 2009)之上,面临着的挑战也来自于这些。
针对数据采集,不同的路径传感器、照相机以及公众探测技术用来获取实时的交通状态信息(Goodchild 2007)。已存在的路径连接和节点也被添加进来作为基础数据。模型模拟在高性能计算环境中进行。不像静态路径规划可利用Dijkstra算法实现,近实时的路径规划则不能如此(Cao 2007),我们不得不针对每一个路径规划请求进行准实时的计算。此复杂性给计算和地理科学带来很大的挑战。由于路径规划请求的动态特点,我们不能为应对最大量的用户而去维持最大的计算能力,通常我们不需要全部的计算能力。云计算提供的弹性与按需特征能够用来解决这个问题,PaaS最适合这种应用。
4 机遇与挑战
这篇论文罗列了21世纪地理空间科学面临的诸多巨大挑战:数据、计算、并发和时空分析密集特征。我们论证采用空间特征的云计算的最新进展能够为解决这些巨大挑战提供潜在的解决方案。
时空云计算的成功依赖许多因素,例如时空云计算在能够采纳云解决方案的地理空间科学家中的推广,在能够采纳时空原则进行设计、建设和部署云平台的计算科学家与工程师中推广。我们列举了几个方面,包括:
4.1 时空原则挖掘和提取
地理空间现象在时间和空间上不断变化,利用四维或更多维去表示或描述其演变是可能的。我们已建立了欧几里德和其他空间去描述这些现象。由于现象的复杂性和多维的庞大,我们力图简化维度,引入现象的特征或模板去帮助更好地在理论和计算环境中表示,使得其具有可计算性。
在地理空间科学中,由于人类活动的扩展和全球化,一些表示方法需要重新定义。例如,我们需要整合陆地区域、海洋和大气进程以更好地理解气候变化。另一方面,我们需要更好地描述地理空间现象如何影响我们的生活。这些时空关系帮助我们形成更好的时空原则,开发多维状态下的时空案例。横向应用需要多领域的不同背景的科学家进行合作。社会上,跨领域和地域的处于分散状态的科学家合作是一个巨大挑战。
4.2 重要的数字地球与复杂的时空科学及应用
Digital Earth要求将我们星球的数字信息进行整合,并开发出地理空间问题的解决方案。理解可预知的模式并提供特定环境下的解决方案,这是非常必要的。解决这些问题不仅为人们提供需求便利,而且从长远看能够改善人们的生活质量。
为此,需要研究:a)辨明具有较大影响的基础性的应用,以及需要的计算支持;b)结合可获取的分布式计算能力,分析应用中的四个密集型问题;c)通过考虑云计算能力和时空需求,扩展或指定数学和概念模型到计算机模型,以实现应用的可计算性;d)为决策者和其他最终用户解决或提出问题;e)通过改进传感器技术、数据处理算法、数据结构和模型模拟以改善应用;f)总结经验教训,优化通用云计算技术。
4.3 支持空间云计算(SCC)特征
空间云计算严重依赖计算基础设施的状态,除了工程研究和计算基础设施特征的可用外,网络、CPU、RAM、硬盘、软件许可和其他资源的使用/状态,对于优化使用时空原则的云计算环境也是重要的。
在调研面向解决四种密集型地理空间问题的云计算特征工作中,需要进行扩展研究以更好地理解计算基础设施和应用的时空特性,应用和计算资源的优化调度也是关键的(Mustafa Rafique et al. 2011)。
4.4 安全
云计算公司通常会使用授权和认证技术来保护用户隐私,云服务提供商确保其基础设施安全并拥有可行的保护用户数据与应用的解决方案是必须的。美国联邦首席信息官(The US Federal CIO)正努力合并安全访问与授权成为统一功能,这计划为三个步骤(FEDRAMP 2011):a)安全需求底线;b)持续监控;c)潜在访问与授权。
(注:本文译自《国际数字地球学报》International Journal on Digital Earth)
译者简介:
翟永(1969-),男,硕士,高级工程师;研究方向:计算机网络、服务器和空间数据库系统集成以及安全保密技术。
刘津(1989-),女,学士,助理工程师;研究方向:空间数据库管理和地理信息管理系统集成。
篇9
关键词:点云去噪;双边滤波;统计滤波;半径滤波;尖锐特征
中图分类号: TP391.41
文献标志码:A
Denoising algorithm for bilateral filtered point cloud based on noise classification
YUAN Hua, PANG Jiankeng*, MO Jianwen
School of Information and Communication, Guilin University of Electronic Technology, Guilin Guangxi 541004, China
Abstract:
Focusing on the issue that different scale noise exists in denoising and smoothing of 3D point cloud data model, a bilateral filtering denoising algorithm for 3D point cloud based on noise classification was proposed. Firstly, the noise points were subdivided into the largescale and the smallscale noise, and the largescale noise was removed with statistical filtering and radius filtering. Secondly, the curvature of the 3D point cloud data was estimated, and the bilateral filter was improved to enhance the robustness and security. Finally, the smallscale noise was smoothed with the improved bilateral filter to achieve the smoothing and denoising of 3D point clouds. Compared with the algorithms simply based on bilateral filtering or Fleishman bilateral filtering, the smoothing average error index of 3D point cloud data model obtained by the proposed method respectively decreased by 50.53% and 21.67%. The experimental results show that the proposed algorithm increases the efficiency of calculation by scale subdivion of noise points, and avoids excessive smoothing and detail distortion, which can better maintain the geometric characteristics of the model.
英文关键词Key words:
point cloud denoising; bilateral filtering; statistical filtering; radius filtering; sharp feature
0引言
随着三维激光扫描技术的高速发展,人们可以很容易获取真实世界中物体的表面三维点云数据,因此三维点云数据模型被广泛应用于虚拟现实、逆向工程、城市建模等[1]。然而,受到扫描设备本身精度、人为操作和被测物体表面材质等因素的影响,三维点云数据在获取阶段不可避免存在许多小振幅的噪声和离群点,从而严重影响重建的表面精度。因此,必须对三维点云数据模型进行去噪、光顺预处理。
国内外许多学者对点云去噪进行深入研究:邹北骥等[2]将脉冲耦合神经网络引入点云去噪,对噪声进行定位,能够有效去除噪声,同时保持模型的几何特征,但对点云反馈定位可能存在误差。Wang等[3]提出一种基于移动最小二乘曲面的点云去噪算法,将采样点移动到其对应的局部曲面上来去除噪声,具有较好的鲁棒性,但时间复杂度不佳。Rosman等[4]通过拉普拉斯贝尔特拉米算子生成一个平滑曲面来处理高频噪声,但降低了物体表示精度。Xu等[5]根据点云几何特征分割去噪,能有效提高点云去噪的效率,但没有针对性地考虑特征的保持。Yang等[6]提出了一个系统性的三维点云去噪平滑算法,较好地达到了点云去噪和保持曲面特征的目的。苏志勋等[7]提出了一种基于法向修正及中值滤波的点云平滑算法,迭代降噪,但噪声跟离群点较多时,法向量修正会出现误差,影响平滑效果。聂建辉等[8]提出了散乱点云离群点的分类识别算法,根据基于曲面变化度的局部离群系数(Surface Variation based on Local Outlier Factor, SVLOF)将离群点进行分类、去除,但在顶点曲率估计上有误差。葛宝臻等[9]将平面投影与双边滤波算法相结合进行自适应去噪,集成了两种方法的优点,有较好的光顺效果,但在顶点曲率估计上有误差。曹爽等[10]提出了基于特征选择的双边滤波点云去噪算法,对噪声进行分类,计算特征点与非特征点的双边滤波因子,避免出现双边滤波过光顺的现象,但需要较长时间来确定特征选择。其他点云去噪方法还有椭圆体准则[11]、群体智能点云光顺去噪方法[12]等。以上方法在特定邻域都取得了较好的光顺效果,但都难以避免细微特征的损失,且没有考虑在保持特征性的同时进行三维点云数据模型的优化,使模型形状均匀。
在点云去噪方法中,双边滤波具有较好的特征保持与平滑性能,通过控制三维点云数据中各点邻域的大小来保持模型的特征,但不能处理大范围噪声,且存在着一定的特征丢失的概率[8]。另外,仅采用双边滤波对具有复杂表面几何特征的三维点云数据进行去噪时,很难做到在三维点云数据模型特征丰富区域保持特征,同时在特征欠缺的平坦区域高度光顺。针对以上双边滤波存在的不足,本文提出一种基于噪声分类的双边滤波点云去噪算法:首先对噪声进行细分,将其分为大尺度和小尺度噪声;然后采用统计滤波和半径滤波相结合,设定相应的阈值来去除大尺度噪声;接着对新三维点云数据进行曲率估算,并对双边滤波因子进行改进,增强其鲁棒性和保特征性;最后使用改进双边滤波对小尺度噪声进行光顺滤波。该方法对噪声进行分尺度处理,简单有效,运算速度快,既可以解决数据点中包含大尺度噪声的问题,又能很好利用双边滤波强保特征性与光顺性,较好地保持了三维点云数据模型的几何特征,避免了模型的萎缩变形和过光顺。
1三维点云数据模型去噪
噪声通常为高频信息[4],常用的去噪方法都是滤除高频信息,保留低频信息。但是,在三维点云数据模型中,尖锐的几何特征也是高频信息,滤除高频信息会误删尖锐几何特征,从而丢失特征信息。而人类视觉对物体的尖锐几何特征感觉比较敏感,因此在三维点云数据模型去除噪声的同时,保持三维点云数据模型的几何特征非常必要。
通过分析噪声产生原因,并在此基础上将噪声分为远离点云主体的大尺度噪声和靠近点云主体的小尺度噪声两类,并分别进行处理:用点云统计滤波结合半径滤波去除大尺度噪声,对小尺度噪声进行部分光顺;用改进的双边滤波对小尺度噪声进行光顺。图1中给出点云去噪光顺过程框图。
2大尺度噪声去除
大尺度噪声主要包括偏离主体点云且悬浮在主体点云上方的稀疏点和距离主体大片点云中心较远、小而密集的点云,具有高频率、大幅值等特点。读入三维点云数据后,统计滤波对查询点与邻域点集之间的距离进行统计分析,并去除掉那些不符合一定标准的大尺度噪声。对大尺度噪声移除是基于输入三维点云数据中对数据点到邻近邻域点距离分布的计算。对每个数据点pi,计算pi到它所有邻近点的平均距离,获得一个高斯分布的结果,其形状由均值和标准差决定,平均距离在标准范围(由全局距离平均值和标准差定义)之外的数据点,则被定义为大尺度噪点,并可从点云数据集中去除。在本文算法中,首先设置用于计算平均距离估计时用的邻域点的数目k和标准差倍数阈值std,点云中所有点与其邻域的距离大于μ±σ・std,则被认为是距离大片点云中心较远、小而密集的点云,并删除该数据点,其中:μ代表估计的平均距离,σ代表标准差。
半径滤波是指在三维点云数据模型中,用户指定每个数据点在一定范围内至少要有足够多的近邻。例如,如果指定至少要有2个邻近点,当数据点周围的邻近点只有1个时,这个数据点就被认为是噪声,并删除。将统计滤波后的三维点云数据输入半径滤波,如果一个点在给定搜索半径范围内邻近点数量小于给定阈值M,则判断为偏离点云且悬浮在主体点云上方的稀疏离群点并删除。设置用于确定滤波的k近邻的球体半径r和一个点在给定搜索半径内被认为是内部点(即有效点)所需要的最低近邻数量阈值M。如果一个数据点pi在其k近邻的球体半径r中的近邻数目少于设定的阈值M,则判断该点pi为离群点,从而进行删除。
3小尺度噪声光顺
三维点云数据模型去除大尺度噪声后,还会存在某些小尺度噪声,这类噪声会干扰后续曲面重建的光滑性,使得模型表面发生起伏,存在一定程度上的失真,所以需要对其进行平滑滤波处理。在常用的点云去噪算法中,Fleishman等[13]将图像处理中的双边滤波思想应用到三维点云数据模型中,速度比较快,可以取得较好的去噪效果,但在处理大范围噪声时容易产生局部过光顺,且不能有效保持模型中的细节特征。另外,双边滤波因子容易受到局部邻域特征的影响,如果三维点云数据模型存在大范围噪声时,则会干扰三维点云数据模型局部特征估计,导致算法不稳定,出现光顺不彻底问题。因此,双边滤波仍然需要解决光顺性与保特征性的矛盾问题。本文在现有双边滤波因子基础上进行改进,增强其鲁棒性和保特征性,并将其用在小尺度噪声光顺。
3.1散乱点云法向估计
双边滤波需要用到点云的法向量[14-15],而法向量估计质量直接影响到三维点云数据模型的平滑效果。目前通用的散乱点云法向量估计方法是基于点云局部协方差分析的主元分析法(Principal Component Analysis,PCA),本文采用该方法来获得采样点的法向估计。给定散乱点云中采样点pi∈S及其最近k邻域N(pi),对以下的协方差矩阵C进行特征根分解:
C=1k∑pi∈N(pi)(pi-)(pi-)T
(1)
其中:=1k∑pi∈N(pi)pi,得到三个特征根记为0≤λ0≤λ1≤λ2,其对应的特征向量为v0、v1、v2,将最小特征根λ0 对应的特征向量v0作为pi∈S的法向量的一个近似估计。计算所得到的法矢方向一般是不协调的,需要使用欧几里得最小生成树来统一所有法向量的方向。
3.2改进的双边滤波因子
双边滤波是图像滤波中一种常用的方法,现已推广到三维点云数据模型滤波。三维点云数据模型双边滤波是将噪声点沿点的法矢方向移动,不断调整噪声点的位置和坐标。双边滤波的表达式为:
p′i=pi+α・n
(2)
其中:p′i为滤波后的点;pi为原数据点;α为双边滤波因子;n为点pi的法矢。α的表达式如下:
α=∑pj∈N(pi)Wc(pi-pj)Ws(ni,pi-pj)
〈pi-pj,nj〉∑pj∈N(pi)Wc(pi-pj)Ws(ni,pi-pj)
(3)
式中:N(pi)是数据点pi的邻域点;・表示向量的模或绝对值;〈・,・〉表示向量的内积;Wc是数据点pi到其邻域点的光顺滤波权因子;Ws是数据点pi到邻域点在pi法向ni上的特征保持权因子;ni是数据点pi的法向量;nj是邻近点pj的法向量。双边滤波因子依赖于局部邻域特征信息,并且不能处理较大噪声。本文对双边滤波因子进行改进,提高其鲁棒性与保特征性,改进后的双边滤波因子定义为:
α′=∑pj∈N(pi)Wc(pi-pj)Ws(〈ni,nj〉-1)〈pi-pj,nj〉∑pj∈N(pi)Wc(pi-pj)Ws(〈ni,nj〉-1)
(4)
光顺滤波权函数是标准高斯滤波,定义为:
Wc(x)=exp[-x2/(2σ2c)]
(5)
特征保持权函数也是标准高斯滤波,定义为:
Ws(y)=exp[-y2/(2σ2s)]
(6)
其中:σc和σs为高斯滤波参数,反映了计算任意采样点的双边滤波因子时切向和法向的影响范围。
σc为数据点pi到其邻域点的距离对pi的影响因子,它用来控制光顺程度,σc越大,说明选取的邻域点越多,则三维点云数据模型的光滑性就越好;
σs为数据点pi到邻近点的距离在其法向上的投影对数据点pi的影响因子,它用来控制特征保持程度,σs越大,说明改进双边滤波因子在平滑数据点pi时在其法矢上移动的距离越长,则三维点云数据模型的特征保持性就越好。
σc控制光顺程度而σs控制特征保持程度。σc越大,说明选取的邻域点越多,则点云数据模型的光滑性就越好;σs越大,说明改进双边滤波因子在平滑数据点pi时在其法矢上移动的距离越长,则点云数据模型的特征保持性就越好。
通常情况下,σc可以用数据点pi的邻域半径来表示,σs可以用数据点pi的邻域点标准差来表示。当σc确定后,σs的不同取值对于三维点云数据模型的平滑效果的影响是比较明显的。
三维点云数据模型表面的起伏变化可以当作三维点云数据模型的特征,具有某种不连续性。式(3)中已有的双边滤波因子使用邻域点在其切平面上投影距离作为权重因子,在特征变化比较剧烈的尖锐区域不能灵敏地展示出来,具有一定局限性。如图1的邻域滤波保持权因子示意图所示,当前处理点p位于三维点云数据模型的尖锐特征区域附近,局部特征变化比较剧烈,查找到的邻域点包括位于尖锐特征两侧的数据点q1和q2。q1和q2具有相同几何灰度值,假设q1、q2到点p的距离相等,则根据改进前的双边滤波因子,q1、q2具有相等的投影距离权重,但实际情况是数据点q2对当前处理数据点p的影响要更大一些。
本文对现有双边滤波因子进行改进,选用法向夹角的余弦值作为双边滤波因子的特征保持权因子。由于局部邻域内的采样点法向变化能够反映该邻域所在平面的特征变化,当三维点云数据模型中某一局部邻域是尖锐区域时,其特征变化比较大,对应的法向变化也比较大;而当局部邻域是平坦区域时,其特征变化比较小,对应的法向变化也比较小。因此,采用邻域点之间的法向夹角作为特征保持权因子的改进的双边滤波因子,能够在尖锐特征区域灵敏地展示出来,同时能够捕捉三维点云数据模型征变化的不连续性。当邻域点与当前处理点的法向夹角在0°~90°时,其余弦值随夹角的增大而减小,故改进的双边滤波因子的特征保持权值也随夹角的增大而减小;当夹角大于90°时,令其特征保持权值为0,即该邻域点对当前点不再有任何影响。
图1中具有相同几何灰度值的q1、q2在改进双边滤波因子中因与处理点p的夹角不同,故具有不同的特征保持权值。因此,通过限定夹角的权值,从而把双边滤波因子的特征权重因子限定在一个更为合理的范围内,能够增强双边滤波因子的保特征性。另外,改进的双边滤波因子为当前处理点pi邻域中的每个采样点都定义一个滤波平面,通过使用多个滤波平面,使得双边滤波结果不仅由其自身的邻域决定,而且还受到其邻域点的邻域即当前数据点pi的二阶邻域的影响,这可以削弱数据点pi对其自身邻域的依赖,增强数据点pi的抗噪能力,提高改进双边滤波因子的稳健性。
3.3双边滤波光顺
本文提出的小尺度噪声光顺算法流程如下:
1)对于每个数据点pi进行k邻域的搜索,求出它k 个最近邻域点N(pi)。
2)散乱点云法向量估计。对三维点云数据模型中的每个数据点pi在k邻域的基础上通过
主成分分析(Principal Component Analysis, PCA)方法来获得数据点pi的法矢,并进行法向一致性调整,使得所有的法向量都朝向模型的外侧。
3)对于每个邻域点求出光顺滤波权函数的参数x=pi-pj,为点pi到邻域点pj的距离;计算特征保持权函数的参数y=ni-nj,为点pi的法矢与邻域点pj的法矢两者的内积。
4)按照式(5)和(6)计算出光顺滤波权函数Wc(x)和特征保持权函数Ws(y)。
5)将Wc(x)和Ws(y)代入式(4),求出改进双边滤波因子α′的值。
6)数据点pi几何位置调整。计算经过滤波后的新数据点p′i的位置,将采样点pi移动到新的几何位置,重建出该点的几何信息。
7)当所有的数据点都经过更新后,输出去噪和光顺后的光滑三维点云数据模型,算法结束。
4实验结果及分析
为验证本文算法的有效性,选用兔子和马三维点云数据模型进行了实验。
表1为统计滤波结合半径滤波使用的参数;表2为本文双边滤波点云光顺使用的参数;表3为两个算例在实验中使用的效果最佳的参数;表4为单独双边滤波、Fleishman双边滤波和本文算法客观性能对比。
兔子和马三维点云数据模型去除大尺度噪声、小尺度噪声双边滤波光顺以及不同去噪方法的三维点云数据模型曲面重构效果图。
马点云数据模型去除大尺度噪声效果图、马点云数据模型的小尺度噪声双边滤波光顺效果图、不同去噪方法马点云数据模型曲面重构图。
从图2(b)和图5(b)可以看出,基于统计滤波结合半径滤波的算法能够有效剔除大尺度噪声,由图3(a)和图6(a)可以看出三维点云数据模型的噪声已经去除,特征也得以保持,能更真实地表达原始采样模型。将图2(b)、(c)或图5(b)、(c)进行对比发现:在去除大尺度噪声时,如果球形搜索半径r和标准差倍数阈值std取得过大,则会将噪声点虚报为尖锐特征点,达不到去除大尺度噪声的目的。将图2(b)、(d)或图5(b)、(c)进行对比发现:在去除大尺度噪声时,如果球形搜索半径r和标准差倍数阈值std取得过小,则细微特征可能被忽略,导致点云模型曲面尖锐特征点被当作噪声,从而进行去除。将图3(a)、(b)或图6(a)、(b)进行对比发现:在双边滤波光顺时,增大σs,则特征保持性好,但平坦区域的光顺
性差。将图3(a)、(c)和图6(a)、(c)进行对比发现:在双边滤波光顺时,增大σc,则光顺性好,但细节特征损失严重。
通过多次实验,本文算法使用的最佳自由参数如表3所示,是去除大尺度噪声最佳参数与双边滤波最佳参数的组合。
图4(b)和图7(b)为只采用双边滤波去噪后的兔子和马的三维点云数据模型重建效果图,整体平滑效果有了一定程度上的提高,模型特征得到了很好的保持,但处理不好噪声污染比较严重及部分大范围噪声点的位置,导致大范围的波纹噪声依然比较明显。图4(c)和图7(c)为使用Fleishman方法双边滤波后的兔子和马三维点云数据模型曲面重建效果图,可以较好地保持模型的几何特征,但在背部等相对平坦区域的波纹噪声依然明显,致使模型存在明显的噪声残余,没有达到光顺的目的。图4(d)和图7(d)是本文算法的结果,从中可以看出噪声已经去除干净,模型表面得到了较好的光顺,有效地保持了复杂几何特征,而且对模型特征有一定的增强。与图4(b)和图7(b)进行对比,在模型同时包含大、小尺度噪声时,本文方法能够更好地处理大范围噪声,具有良好的适应性;与图4(c)和图7(c)相比,本文算法可以很好地去除特征较少区域的波纹噪声,去噪比较彻底,光顺误差比较小,表面积和体积变化不大,能够较好地保持几何特征,光顺后的曲面形状比较均匀,避免了在尖锐特征处过度光顺和细节失真等问题。
为了对本文提出的算法作出更加客观的评价,除了对不同点云去噪方法得到的效果作视觉效果对比之外,还采用了三维点云数据模型光顺最大顶点误差Emax、三维点云数据模型光顺平均误差Eave、三维点云数据模型的表面积S、三维点云数据模型的体积V、三维点云数据模型光顺时间t这五种客观评价指标对去噪效果进行定量分析,结果如表4所示。
光顺最大顶点误差Emax用于衡量三维点云数据移动的大小,Emax越小,说明三维点云数据质量越好,而从表4中可以看出本文算法的Emax最小。
光顺平均误差Eave反映了三维点云数据模型整体的噪声情况,光顺误差越小,则三维点云数据模型整体去噪效果越佳,鲁棒性就越强。从表4中可以看出,
对于兔子点云数据模型,与单独双边滤波、Fleishman双边滤波相比,本文算法在Eave上分别降低了50.53%、21.67%;对于马点云数据模型,与单独双边滤波、Fleishman双边滤波相比,本文算法在Eave上分别降低了48.15%、15.15%
与单独双边滤波和Fleishman双边滤波相比,本文算法的Eave均有所降低。
三维点云数据模型的表面积S是三维点云数据模型中所有三角形面积的和,三维点云数据模型的体积V采用文献[16]中的公式计算,S和V反映了三维点云数据模型的收缩情况,S和V变化越小,说明三维点云数据模型整体形状保持越均匀,保特征性越强。从表4中可以看出,与单独双边滤波和Fleishman双边滤波相比,本文算法的体积V均有所减小。
对于兔子点云数据模型中,与单独双边滤波、Fleishman双边滤波相比,本文算法在体积V上分别减少了22.68%、12.31%;对于马点云数据模型,与单独双边滤波、Fleishman双边滤波相比,本文算法体积V上分别减少了463%、4.42%。
不过本文算法由于参数设置过多,运行时间比单独采用双边滤波算法和Fleishman双边滤波去噪要长,但算法效率基本可以满足普通应用的需求。
综合来看,本文算法得到的去噪效果无论是在主观视觉效果还是在客观指标上,均优于单独双边滤波和Fleishman双边滤波。
5结语
本文提出了一种组合滤波算法,集成了统计滤波、半径滤波和双边滤波的优点,在进行点云去噪光顺时,简单有效,运行速度快,具有较强的鲁棒性和保特征性,可以防止过度光顺和细节失真等问题。从实验结果可以看出:一方面,本文算法适应性比较好,可以处理同时具有大尺度和小尺度噪声的大规模散乱数据点集;另一方面,本文算法在去除噪声的同时,也较好地保持了模型的尖锐特征,防止模型的萎缩变形。与单独采用双边滤波算法和Fleishman方法双边滤波去噪算法比较,本文方法能够处理具有较大范围噪声的大规模散乱点云数据,去噪比较彻底,光顺误差比较小。接下来研究本文算法中存在自由参数的人工调节问题,如何结合点云的统计特性和噪声的统计特性来自适应地选择自由参数并对参数进行优化;另外,研究非稠密点云的平滑去噪,提高算法的运行效率,也是下一步工作的重点之一。
参考文献:
[1]
LIVNY Y, YAN F, OLSON M, et al. Automatic reconstruction of tree skeletal structures from point clouds [J]. ACM Transactions on Graphics: Proceedings of ACM SIGGRAPH Asia 2010, 2010, 29(6): Article No. 151.
[2]
ZOU B, ZHOU H, XIN G, et al. PCNNbased point set surface denoising [J]. Acta Electronica Sinica, 2013, 40(11): 2221-2225. (邹北骥,周浩宇,辛国江,等.基于脉冲耦合神经网络的点云曲面去噪[J].电子学报,2013,40(11):2221-2225.)
[3]
WANG X, LI Z, MAI Y, et al. Robust denoising of unorganized point clouds [C]// ICISS 2013: Proceedings of the 2011 International Conference on Intelligent Computing and Integrated Systems. Piscataway: IEEE, 2013: 1-3.
[4]
ROSMAN G, DUBROVINA A, KIMMEL R. Patchcollaborative spectral surface denoising [J]. Computer Graphics Forum, 2013, 32(8):1-12.
[5]
XU S, YANG Z, WU W. Algorithm of 3D reconstruction based on point cloud segmentation denoising [C]// ICISE 2010: Proceedings of the 2010 2nd International Conference on Information Science and Engineering. Piscataway: IEEE, 2010: 3510-3513.
[6]
YANG Z, XIAO D. A systemic pointcloud denoising and smoothing method for 3D shape reuse [C]// ICARCV 2012: Proceedings of the 2012 12th International Conference on Control Automation Robotics & Vision. Piscataway: IEEE, 2012: 1722-1727.
[7]
SU Z, LI Z, WANG X. Denoising of pointsampled model based on normal mollification and median filtering [J]. Journal of ComputerAided Design & Computer Graphics, 2010, 22(11): 1892-1898. (苏志勋,栗志扬,王小超.基于法向修正及中值滤波的点云平滑[J].计算机辅助设计与图形学学报,2010,22(11):1892-1898.)
[8]
NIE J, HU Y, MA Z. Outlier detection of scattered point cloud by classification [J]. Journal of ComputerAided Design & Computer Graphics, 2011, 23(9): 1526-1532. (聂建辉,胡英,马孜.散乱点云离群点的分类识别算法[J].计算机辅助设计与图形学学报,2011,23(9):1526-1532.)
[9]
GE B,XIANG C,TIAN Q, et al. Denoising approach of high density point clouds based on mixed classification of curvature features [J].Nanotechnology and Precision Engineering, 2012, 10(1): 64-67. (葛宝臻,项晨,田庆国,等.基于曲率特征混合分类的高密度点云去噪方法[J].纳米技术与精密工程,2012,10(1):64-67.)
[10]
CAO S, YUE J, MA W. Bilateral filtering denoise algorithm for point cloud based on feature selection [J]. Journal of Southeast University: Natural Science Edition, 2013, 43(S2): 351-354. (曹爽,岳建平,马文.基于特征选择的双边滤波点云去噪算法[J].东南大学学报:自然科学版,2013,43(S2):351-354.)
[11]
JUN S. Twostage pointsampled model denoising by robust ellipsoid criterion and mean shift [C]// Proceedings of the 2013 Third International Conference on Intelligent System Design and Engineering Applications. Washington, DC: IEEE Computer Society, 2013: 1581-1584.
[12]
LI J, ZHANG C, FAN H. Point cloud denoising algorithm based on swarm intelligent [J]. Computer Integrated Manufacturing Systems, 2011, 17(5): 935-945. (李晋江,张彩明,范辉.群体智能点云光顺去噪算法[J].计算机集成制造系统,2011,17(5):935-945.)
[13]
FLEISHMAN S, DRORI I, COHENOR D. Bilateral mesh denoising [J]. ACM Transactions on Graphics: Proceedings of ACM SIGGRAPH 2003, 2003, 22(3): 950-953.
[14]
GRIMM C, SMART W D. Shape classification and normal estimation for nonuniformly sampled, noisy point data [J]. Computers & Graphics, 2011, 35(4): 904-915.
[15]
LI B, SCHNABEL R, KLEIN R, et al. Robust normal estimation for point clouds with sharp features [J]. Computers & Graphics, 2010, 34(2): 94-106.
篇10
整合式创新
刘保华:每个人对云计算都有自己的理解。有一种观点认为,云计算本身没有技术上的创新,因为云计算中用到的许多技术,像集群、网格、虚拟化等很早以前就出现了。您对此有何看法?
周松年:我觉得这种对云计算的认识是只见树木不见森林。云计算本身就是一项伟大的发明,但是这项发明并不是零部件产品的发明,也不是原始技术的发明,而是一种应用模式和集成模式的发明。技术发展到一定阶段,最重要的创新不是零部件产品的创新,而是集成模式的创新,就是将A、B、C合在一起,那么生产出来的就是全新的ABC,而不是A或B或C了。
很明显,云计算的应用模式与原来的IT使用方式是不一样的。云计算是把已有的零部件集成在一起,用一种新的方式提供给用户。Platform Computing从事集群和网格技术的开发和应用已经有很多年。网格也是为用户提供一种服务,用户使用多少资源就支付多少费用。从这一点上看,网格与云计算是一脉相承的。
从本质上讲,云计算是一个新事物。但是,任何新产品、新应用都不是全新的,而是在原来的技术和应用的基础上发展而来的,再融合一些新技术,然后进行集成式的创新。
所有现有的应用都可以运行在云计算架构之上,而不需要进行改变。此外,用户还可以在云计算架构之上发明新的应用,比如Hadoop就是一个全新的应用。对于云计算架构来说,在硬件资源层和应用层之间需要一个中间件。Platform Computing做中间件已经有18年的历史。云中间件现在是Platform Computing的主打产品。
刘保华:超级计算机与云计算之间是什么样的关系?
周松年:超级计算机与云计算之间最基本的联系就是应用。云计算的本质是提供不同的应用服务,比如基于高性能计算架构的云就是高性能云。
云计算的本质特征有两个:第一,在资源层和应用层之间有一个管理系统,负责资源的调度和管理;第二,从运作模式上看,供与求是分开的。对于云计算的认知,人们往往会陷入这样的误区:一个是看什么都是云,另一个是看什么都不是云。计算机技术已经发展了五六十年,分布式计算早在上个世纪80年代就已经兴起。如果从纯粹的技术创新角度看,云计算似乎没有什么创新。但是从应用创新、商业模式创新的角度看,云计算给市场、客户带来的改变是巨大的。我们应该从应用和业务的角度来认识云的价值。
刘保华:有专家说,现在没有一款服务器是针对云计算架构设计的。您如何看待这一说法?
周松年:服务器本来就不应该专为云计算而设计。适用于云计算的服务器本身应该是标准化的、通用的和商品化的。用户可以方便地从市场上采购到这样的服务器,并把它们按需求组装在一起就构成了一个云计算平台。我至今还没有听到哪个客户说过,在构建云计算平台的过程中,通用的服务器不可用,非要采用专为云而设计的服务器的。如果用户真有采用专用服务器的想法,那就错了。专用服务器的价格会很高,这不符合云计算对节约成本的要求。在这里要再次强调一下,云计算不是零部件或某个设备(比如服务器)的创新,而是集成式的创新。这其实和苹果公司的产品创新很像。
通用的硬件设备的可靠性相对较差,但是通过Platform Computing的管理软件将这些设备管理起来,即使有某个设备宕机,也不会影响系统整体的运行效果。举例来说,上海超算中心采用了Platform Computing的云中间件产品,使得其系统能够安全稳定地运行。
让不可靠的硬件成为最可靠的平台,这是如何实现的?这主要依靠管理和软件。State Street Bank是Platform Computing的一个客户。它为企业提供资产信息保存和资产信息分析服务。这种服务与Google for Analysis类似。State Street Bank可以自动替客户收集相关信息,并存放在一个大的数据库或文件库中,客户可以随时查看、调用这些信息。State Street Bank对IT系统的要求是,反应时间为两秒钟,并且系统要具有100%的可靠性,确保用户随时都可以访问海量信息。Platform Computing的云中间件和云管理平台满足了State Street Bank对IT系统的要求。
随着云计算技术和应用的普及,两个传统的IT概念可能要消失了:一个是高可用性(HA),另一个是容灾。举例来说,云计算系统是分布式的,当系统中的某台机器宕机,其上的应用会迅速自动转移到另外一台机器上。从这个角度说,传统的高可用性的概念就不复存在了。
贯穿底层架构与上层应用
刘保华:您觉得云计算有哪些主要的技术特征?
周松年:云计算最重要的是结构和设计。就像一幢楼的基础结构决定了楼的高度、楼的功能一样,云计算的系统结构决定了它的特征。从主机系统到网络系统再到今天的云系统结构,IT系统结构经历了一个螺旋式上升的发展过程。
云系统结构就是把标准化的零部件全部集中在一起,形成一个大机,称为云机。云机就像是一台主机,可以承载各种不同的应用,并且让用户分享。这台主机既可以供一个企业内部的不同部门使用,也可以作为一个公用设施,让企业外部的更多用户使用,还可以将内部使用和外部使用这两种模式结合一起。这就是人们常说的私有云、公共云、混合云的概念。
基于上述技术特征,云计算系统可以提供无尽的容量、各种资源以及服务。因此,云计算一定是基于异构平台的。云就是一台活着的计算机,而且永远不死,永远都在变化,就像人的皮肤细胞,每天都在进行新陈代谢。异构是云计算的一个基本特征。
由于云计算系统结构的需要,一个新的软件层出现了,即云中间件。原来,每台计算机都是各自为政,包括硬件、操作系统、应用,有的可能还有中间件。但是现在不同了,在云计算环境中,服务器不再是一立的设备,而是一个零部件。在零部件层与应用层之间需要一个云中间件来管理和调配这些零部件资源。
在云计算环境中,操作系统的作用也改变了。用户不必直接与Windows、Linux这样的传统操作系统打交道。云管理软件会根据用户的需求,将工作负载自动分配到适合的机器上,在得到最终的计算结果后再反馈给用户。云管理软件这一层其实可以分成两个部分,向下与基础架构打交道的是云管理平台,向上与应用对接的是云中间件。云管理平台可与多个不同的云中间件连接。不同的云中间件可以支持不同的云应用。
刘保华:业界有这样一种看法,云计算要经历从私有云到公共云再到混合云的发展过程。云计算的大规模应用还需要时间,但是现在确实有一部分应用已经逐渐转移到公共云上。您对此有何看法?
周松年:最开始的很多云应用都是公共云。从全球范围来看,公共云一直处在不断发展之中。State Street Bank提供的也是公共云服务。当公共云发展到一定程度,很多企业可能会想,不能总去饭店(好比公共云)吃饭,还是拥有自己的厨房(好比私有云)比较好。这样一来,企业就会慢慢转到私有云上。究竟采用哪种云计算模式,还要看应用的需求,有的应用只适合放在公共云上,有的应用则适合放在私有云上,还有的应用最好放在混合云上。
刘保华:虽然云计算的应用模式有很多种,但是对于用户来说,它们并不关心应用具体运行在公共云还是私有云上。因此,实现不同云之间的无缝连接和交互是非常重要的。Platform Computing的云中间件和云管理平台,可以实现跨云的交付吗?
周松年:Platform Computing的产品可以实现跨云的交付。目前,有几个用户正在使用Platform Computing的云中间件和云管理平台实现跨云的交付。当前,云计算还处于应用的初级阶段,采用这种跨云交付的用户还比较少,但是从技术的角度上看,实现跨云的交付并没有障碍,只要提供一个通用的接口即可。
应用不同,所需的中间件也不相同。Platform Computing的云中间件是处于系统底层的,并与应用流程相关。这个流程是通用的,可以是财务流程,也可以是工业制造管理流程。Platform Computing的云中间件是通用的,可以支持任何应用,而不会与某个具体的应用绑定。将应用涉及到的一些通用功能都放在中间件中,实现服务平台化,减轻应用开发者的工作量是Platform Computing要做的事。
在云计算方面,Platform Computing主要提供的是系统平台和运作平台,这两个平台是相辅相成的。Platform Computing的云中间件和云管理平台都是通用的,不涉及具体的行业知识,主要是在系统的底层实现资源的调度。
有所为有所不为
刘保华:Platform Computing进入中国已经有很多年了,并且在中国拥有庞大的研发团队和技术支持团队。Platform Computing在中国市场上是如何给自己定位的?
周松年:在中国市场上,Platform Computing一定要实现转型。第一,积极投身于中国市场,这并不代表Platform Computing一定要在中国销售出更多的软件许可证,而是要融入中国的云计算生态环境,成为大家的好伙伴,让其他公司都愿意与Platform Computing合作;第二,集中精力实现云落地,选择一些行业作为突破口,比如高性能计算、电信等,并占有一定的市场份额;第三,将公司总部的规范和经验都应用到中国市场上,树立更多的样板客户,与合作伙伴共同推动中国云计算市场的发展;第四,不断提升中国团队的管理和执行能力。
刘保华:Platform Computing要融入中国的云计算市场,将采取哪些策略?
周松年:Platform Computing将采取以我为主的策略,寻找更适合自己的合作伙伴。合作伙伴的规模不一定很大,但一定要在业务上与Platform Computing有契合点,双方能保持十分紧密的合作关系。具体来说,我们会采用“灯塔战略”,就是先做有影响力的大客户,然后以此为样板,辐射相关行业。尽管有困难,Platform Computing还是要坚持自己作业务的龙头,然后再去拓展合作伙伴关系。
记者手记
二次创业
Platform Computing的创始人周松年是地地道道的北京人。虽然在加拿大生活了30多年,他仍然操着一口流利的北京腔。
在北美市场,创立于1992年的Platform Computing虽然在计算机集群、网格计算甚至云计算方面都享有盛誉,但在中国市场上,Platform Computing还不为大众所知。近两年,周松年回中国的次数更多了。他对中国市场,尤其是中国的云计算市场充满期待。