云计算的技术原理范文
时间:2023-07-19 17:39:04
导语:如何才能写好一篇云计算的技术原理,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
[关键词]云计算 信息化 高职院校
Study on Application of cloud computing theory and technology in Higher Vocational Colleges
Wu HaimingZeng Wenfeng
(Jiangxi College of Applied Engineering,Pingxiang,Jianxi 337042)
Abstract: Cloud computing huge resources system through the Internet, providing service to the users in a new computing mode. Cloud computing for its safe and reliable data storage and computing power, will have a positive impact on the higher occupation education informatization construction.
Key Words: Cloud computinginformation technologyHigher Vocational Colleges
中图分类号: G648 文献标识码: A
一、云计算简介
1.云计算的定义
云计算是一种基于互联网的超级计算模式。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。云计算实质上是通过互联网访问应用和服务,而这些应用或者服务通常不是运行在自己的服务器上,而是由第三方提供。它的目标是把一切都拿到网络上,云就是网络,网络就是计算机。云计算依靠强大的计算能力,使得成千上万的终端用户不担心所使用的计算技术和接入的方式等,都能够进行有效的依靠网络连接起来的硬件平台的计算能力来实施多种应用。云计算的新颖之处在于它几乎可以提供无限的廉价存储和计算能力。
基于云计算的原理和其固有的特点,云计算比其它新技术更容易进入高职院校。云计算对用户端的设备要求很低,这一特点决定云计算将会在学校大受欢迎。
2.云计算的优势
(1) 可靠、安全的数据存储
云计算提供了最为可靠安全的数据存储中心,用户可以将数据存储在云端,不用再担心数据丢失,病毒入侵的麻烦,因为在“云”里有世界上最专业的团队来帮你管理信息。同时,严格的权限管理策略可以帮助你放心地与你指定的人共享数据。这样,你不用花钱就可以享受到最好、最安全的服务。
(2) 方便、快捷的云服务
云计算时代,用户将不需要安装和升级电脑上的各种应件,只需要具有网络浏览器,就可以方便快捷地使用云提供的各种服务。这将有效地降低技术应用的难度曲线,进一步推动Web服务发展的广度和深度。
(3) 强大的计算能力
云计算为网络应用提供了强大的计算能力,可以为普通用户提供每秒1O万亿次的运算能力,完成用户的各种业务要求。这种超级运算能力在普通计算环境下是难以达到的。
(4) 经济效益
据预计,相对于机构自身运营的数据中心而言,云计算提供商的存储成本一般只有其十分之一,而带宽成本只有二分之一,计算处理能力成本只有三分之一。这将帮助一些机构以比较低廉的架构成本进行运作。
二、云计算为高职院校教育信息化建设提供新的思路
1.云计算能大大节约信息化的资金投入
目前的高职院校信息化建设中成本主要来源于软硬件的购置、日常维护及设备更新等,如果将这些建立在云计算和服务的基础之上,将大大减少资金投入。其一,整个网络课程建设的基础平台将是云服务提供商提供的跨平台、运算能力强大、资源丰富的统一的通用信息平台,无需购买本地服务器,仅需投入少数管理终端及云接入设备即可;其二,所有的服务提供均由云端提供,无需为保证服务器运行的可靠性、保证存储在服务器中的数据资源的安全以及避免因网络访问异常导致服务器瘫痪而对网络服务器响应及接入数量等进行限制,因此原来维护、升级等工作几乎降至最低,管理成本也相应可以大大降低。
2.真正实现资源整合,建立统一的资源平台
将高职院校信息化建立在云计算和服务的基础之上,将繁重的网络信息平台建设、服务器的配备、课程资源的存储与管理等工作交给云服务提供商,那么现有分散的、自成一体、本地化的网络信息平台将转变成为一个与具体网络运行环境、网络服务器系统、网络操作系统无关的强大的统一的通用信息平台,在这个平台上以成千上万的云服务器为依托,拥有着极其强大的计算功能、海量的网络资源,现有的网络课程建设中存在的软、硬件资源重复投入、虚拟化教学设备运行能力支持等问题将迎刃而解。
3.云计算的应用能够保证高职院校师生的信息安全
校园网内的计算机病毒的防控一直是一个十分棘手的问题,尤其在多媒体教室及计算机实验室。一台机器中毒,很快就会传遍所有机器。杀毒软件授权使用费用对高职院校来说也是一笔不小的开支,但对病毒仍不能有效的防控。而在云计算环境下,云计算提供商拥有先进技术和专业团队来负责这些资源的安全维护工作,师生们只需通过网络,就能访问自己的数据。本地不再存储任何数据,因而不用担心病毒入侵造成的破坏。所以,云计算在高职院校的应用既省去了高职院校在信息安全方面的开支,又确保了高职院校师生的信息安全。
三、结束语
云计算能为高职院校信息化提供所需的基础设施和软件环境,帮助高职院校摆脱资金不足、专业技术人员匮乏等各种困扰,其在高职院校教学、科研中的应用前景十分广阔。云计算的发展趋势已经呈现,一定会为高职院校的教学质量、科研水平等方面的提升贡献出自己的力量。信息技术已经从计算机时代走向互联网时代,教育信息化也将从以计算机辅助教育应用为中心走向以数据、计算和服务为中心。云计算为这种转变提供了机会和技术实现,并使之成为可能,为高等学校教育信息化的发展和建设提供了新的模式。
参考文献:
[1] /.
[2]周洪波.云计算:技术、应用、标准和商业模式.北京:电子工业出版社,2011
[3]万利平.云计算在教育信息化中的探究[M].中国教育信息化.2009年7月
[4] GERMAIN-RENAUD C,RANA O F.TheConvergence ofClouds,Grids,andAutonomics[J].IEEE internet Computing,2009,13(6):9.
篇2
【关键词】云计算技术 档案管理
教学档案作为学校管理的重要组成部分,直接关系到学校教学改革的质量。在网络信息时代背景下,中职院校档案管理也需要借助信息技术的辅助提高管理效率。云计算具有强大的功能,将云计算应用到中职学校档案管理中对提高教学水平具有积极意义。
1 云计算技术
1.1 云计算的概念
云计算指的是将传统计算机技术与网络技术结合所形成的新产物。通过云计算技术,用户可以便捷地获取各项服务,对云中的各种资源都可以实现共享,并随时扩展,按照实际的使用情况支付相应的资费。云计算的目的在于通过网络技术将各种计算资源整合为一个整体,统一化管理,形成一个大规模的计算资源池,为不同用户提供个性化的服务,这对于信息资源的高效利用具有重要意义。
1.2 云计算技术的特点
云计算技术融合了软硬件多类资源,并以分布式分享的形式存在,可以快速地进行动态扩展与配置,拥有强大的功能。云计算拥有着大规模数量的服务器,计算能力很强,同时虚拟化的云计算也可以看作是虚拟的资源库,能够满足用户的不同需求,只要网络存在就可以快速地获取所需的服务。云计算技术还具有较高的可靠性,分布式数据中心能够及时地收集相关信息数据,并储存备份到地理位置相隔离的数据库主机中,这样一来,即便是用户自己也无法准确了解数据信息的存储备份地点,网络黑客与病毒就难以侵入系统,这在很大程度上提高了数据信息的安全性。云计算还可以自主进行调节控制,系统的软硬件及存储都可以自动配置,按需使用云资源,有效提高了资源的利用率。
2 云计算技术在学校档案管理中应用的可行性
近几年,随着中职院校教育信息化程度不断提高,教学活动也更加的智能化、网络化,很多教学管理活动都是依托于网络服务,因此,在教学管理活动中也产生了大量信息化的教学档案信息。海量的教学信息对存储空间与存储模式都提出了更高的要求,云计算技术能够有效解决数据信息的大量存储于管理问题,促使数据信息更加的智能化,这对于教学档案信息的信息化管理具有重要意义。
3 云计算在学校档案管理中的应用
3.1 为数字档案提供存储空间
云计算拥有着超大的存储空间与数据处理能力。近几年,中职院校的教学档案信息化程度不断提高,产生了大量的数字档案,包括声音、文字、视频等多种媒体类型,数据信息存储量日益增长,这对数字档案的存储空间提出了更高的要求。云计算技术为数字档案提供了云存储的空间,教师和学生可以通过云存储快速高效地获取各类教学资源,为学校的教学资源共享提供了辅助。此外,云计算技术能够智能优化分配档案信息,正确处理数据,统筹整合,教师和学生可以更加便捷地检索利用所需的档案资源提高了档案字的利用效率,对实现教学档案信息共享具有重要的辅助作用。
3.2 实现数据的快速共享
云计算技术能够有效促进数据信息的共享。云计算技术借助网络能对海量信息进行快速处理,促进数据资源的快速共享,这在很大程度上提高了档案的利用效率,同时避免了不同档案部门对同一方案信息的重复建设。当前,我国中职院校数字档案建设发展非常快,有着大量的档案资源,但在资源共享上却仍存在一定的不足,很多档案资源都未能得到充分利用,造成了档案资源的浪费。为了更为高效地利用档案资源,实现档案资源的快速共享,学校可以利用云计算技术对数据信息进行分类,将开放的数据信息存储于公有云平台中,这样一来,不同用户便可以通过公有云快速获取相关资源,实现档案信息的共享。对于具有安全保密需求的档案资源可以存储于私有云平台中,为特定用户提供档案查询服务,切实保护档案资源的安全。
3.3 提高数据的可靠性
就我国当前大部分的中职院校档案管理情况来看,其教学档案信息基本都存储于教务管理系统服务器上。然而很多院校都未能安排专业的计算机维护人员对服务器进行维护,这样一来,一旦出现计算机故障,就需要重新安装操作系统,照成无法及时为教师和学生提供正常服务,甚至在计算机维护期间发生档案信息丢失、损坏的情况,这对于档案信息的利用造成了极为不利的影响。云计算技术利用多台计算机或服务器,即使其中的一台计算机或服务器出现故障,其他计算机或服务器也可以快速地完成数据备份存储,利用新的服务器实现不间断服务。
3.4 为档案信息用户提供便捷服务
云计算技术充分体现了以人为本的管理理念,在云计算技术的辅助下,不同用户都可以根据自身的实际需求利用云平台进行数据查询与利用。云计算强大的计算能力与通用扩展性为档案信息用户提供了更为便捷的服务,为档案信息资源的共享提供了良好的信息交互平台,使档案信息管理部门可以快速地对档案信息进行统计分析与管理。此外,云计算技术整合了多种服务技术,进一步提升了档案信息的个性化服务能力,能够满足不同用户的个性化需求。用户可以利用云计算技术将教学资源存储于云端档案,构建统一的教学档案信息平台,这样一来,不同用户都可以随时通过网络连接到云端,随时随地地获取所需资源,利用相关的数据信息,不必受到地点与固定的档案资源限制,便可以实现档案资源的远程查询与利用。
3.5 降低档案信息化建设的投入
中职院校的不同教学单位与部门可以通过云计算技术,实现资源共享,利用云计算平台的基础软硬件资源,获取相关的资源信息,这样可以有效促进档案信息化,实现档案信息的资源共享,同时降低档案信息化建设的投入,避免发生重复建设的情况,克服了各单位间服务器的访问限制,并有效降低了在硬件设备与软件设备上的投入与\行维护费用,在降低档案信息化建设投入的同时,有效提高了档案管理的效率,促进了档案信息的共享与利用。
4 结语
随着国家加大对各中职院校数字化校园的投入,中职院校需要充分利用云计算技术,针对学校自身的实际情况,设计完善的管理系统数据加密方案,建立完善的教学档案管理系统,全面提高教学档案的管理水平。
参考文献
[1]李敏,张永进.云计算在高校教学档案管理中的应用初探[J].山东档案,2016(01):43-44.
[2]严瑛,王卓平.云计算技术在教学档案管理中的应用探索[J].兰台世界,2015(23):94-96.
篇3
【 关键词 】 云计算;多维免疫;数据安全
【 Abstract 】 With the development of information technology in the electric power system, the requirement for data security is also more and more high. The problem of data security has become a common problem. This paper mainly analyzes the multidimensional immune cloud data security technology, analyzes the concept of cloud computing and data security, data security in cloud computing model, has made the thorough discussion on multidimensional immune security cloud data, for reference.
【 Keywords 】 cloud computing; multidimensional immune; data security
1 引言
云计算是目前计算机领域研究的重点课题,采用云计算技术可以设计出一种先进的信息应用模式,充分利用计算机资源。随着互联网技术的发展,计算机技术促进了云计算的开发和应用,使云计算的应用更加廉价和强大。基于多维免疫的云计算,可以给用户的硬件使用带来方便,云计算使用的是先驱简单存储服务和弹性云计算服务。随着世界各大企业开始关注云计算,关于云计算安全的问题也出现了。只有保证云计算系统的数据机密性和完整性,才能促进云计算系统的科学性和安全性。云计算的安全正面临着威胁,通过研究云计算技术,建立云计算的数据安全模型,多维免疫的云计算模型,这个模型是建立在云计算技术架构上的。运用免疫学原理,提出适合云计算架构的多维免疫算法。这个算法的优势是以克隆算法为主要对象,是一种面向云计算的免疫算法。
2 云计算数据安全模型
云计算是下一代的IT架构。运用云计算,可以把应用软件和数据迁移到很大的数据中心。云计算的这一特点带来了很大的安全问题。要研究云计算数据的安全特征,就要首先了解云计算的数据安全模型。
2.1 云计算数据应用系统模型
云计算的平台构架主要技术有并行编程的模式,分布式文件系统,数据处理模型。其层次如图1所示。
云计算的数据应用共分为三个层次:应用层、索引层和数据存储层。同时要了解云计算数据应用系统的三个要素:用户、应用服务器和数据中心。这三个要素各有着不同的功能,用户的功能是存储数据,在数据计算的基础上,计算个体用户和组织用户的数据。应用服务器的功能是维护云计算的系统。数据中心的功能是存贮实际的数据信息。但是,在云计算数据应用系统模型中,存在着很大的安全威胁,主要是来自传统数据的威胁,容易受到影响的对象有客户端、主从结构和病毒的传播,通信的安全性。其中,病毒的传播主要是通过互联网的数据交易服务,病毒侵入计算机网络系统,它的破坏性远远大于单机系统,用户也很难进行防范。现在的互联网中,病毒一般有隐蔽性,传播速度也很快。另外,病毒的制造技术也越来越高级,不仅可以破坏用户的程序,还可以窃取信息,造成系统的交叉感染。这种感传染性的病毒危害性非常大。对于通信故障,网络中通常分为两种类型的安全攻击类型:主动攻击和被动攻击。常见的攻击手段有偷窃、分析、冒充、篡改。对于数据安全来说,除了上述的数据安全,还有新数据的安全威胁,主要表现在几个方面:保密失效威胁、分布式可用威胁、动态完整性威胁。
2.2 云计算数据安全模型
该数据安全模型主要分三个层次:第一层的功能是负责验证用户的身份,保证云计算中数据的安全;第二层的功能是负责对用户的数据进行保密处理,保护用户的隐私;第三层的功能是恢复用户误删的数据,是系统保护用户数据的最后一道防线。这三层结构是相互联系,层层深入。首先要验证用户的身份,保证用户的数据信息不被篡改。如果非法用户进入的系统,则进入系统后还要经过加密保护和防御系统。最后是文件恢复的层次,这一层次可以帮助用户在数据受损的情况下修复数据。
3 多维免疫的云数据安全
3.1 多维免疫算法
多维免疫算法的组成主要依靠生物原理、免疫系统的多维模型、多维免疫的基本原则组成。其中,生物原理是把生物学的理论应用在云计算中。人工免疫系统发展到现在,在免疫能力的发挥方面有了很大的发展。免疫能力的增长是一个漫长的过程,后天的免疫的生成更是一个艰难的过程。在一个系统生成初期,完全没有后天的免疫能力,但是随着身体的成长,免疫细胞逐渐增多,免疫系统也开始形成。多维免疫系统的形成也是这样的。
3.2 多维免疫的数据安全原理
阻碍多维免疫的数据安全的因素主要有不可靠网络、节点故障、超大规模的用户访问、数据更新引起的数据不一致性等。为了提高数据管理的安全性,云计算为用户提供了一个一致的入口,只有向用户提供透明的文件,进行文件数据的定位数据选择。对于数据管理服务,应该注意,这项服务是连接用户和系统的。应用服务器和数据中心共同组成了云计算数据应用系统。应用服务器主要目的是方便用户访问历史和相关的文件信息。
3.3 多维免疫的云数据安全策略
主要包括文件分布的策略,HDFS 文件冗余度计算,多维免疫的文件分布,数据块选择机制等。对于云计算中的用户文件,需要考虑到数据块的数量分布、数据块的颗粒度和数据库的创建时间。多维免疫的文件分布中,首先要掌握文件分布的原理,多维免疫算法和云计算中文件的创建和文件块的分配法是一致的。
4 结束语
多维免疫算法及其数据安全应用非常重要,首先需要制定科学的多维免疫算法的实现方案,通过研究云计算技术,建立云计算的数据安全模型,多维免疫的云计算模型,这个模型是建立在云计算技术架构上的。运用免疫学原理,提出适合云计算架构的多维免疫算法。然后全面了解多维免疫算法的数据安全的原理,掌握云计算的数据安全要素的特征。采用定量分析的方法,才能完善多维免疫的云计算数据安全管理内容。只有保证云计算系统的数据机密性和完整性,才能促进云计算系统的科学性和安全性。
云计算的安全正面临着威胁,通过研究云计算技术,建立云计算的数据安全模型,多维免疫的云计算模型,保证云计算数据的安全性。
参考文献
[1] 戴跃发.基于多维免疫的云计算数据安全技术研究[D].国防科学技术大学,2010.
[2] 李志勇,易灿,刘彦姝等.云计算数据保密与安全问题研究综述[J].硅谷,2014,(19):52-52,66.
[3] 赵莉,王魁t.基于加密机制的云计算数据可靠存储方案研究[J].信阳师范学院学报(自然科学版),2014,(4):593-596.
[4] 叶志伟.面向云计算数据隐私保护的访问控制策略研究[D].哈尔滨工业大学,2012.
篇4
关键词 云计算 云平台 原理 经管类实验教学
中图分类号:G424 文献标识码:A
1 “云技术”的定义
所谓“云技术”,就是基于云计算的网络技术、信息技术、整合技术、管理平台技术、应用技术的总称。它的核心就是云计算,何为云计算呢?百度上给云计算的定义是:云计算是一种基于互联网的计算方式,通过网络以按需,易扩展的方式获得所需的服务。还有一种通俗的说法:云计算就是一种按需调用的资源池,使用者能够很方便地获得共享资源,比如应用程序、网络空间等。其实,简单的云技术早已运用于网络服务之中,如各种搜索引擎、电子邮箱等,我们只需输入关键字等指令,即可得到大量的信息。
2 云技术的基本原理及其特点
云技术的基本原理:使用者无需事先安装应用程序,只需使用自已的电子设备作为登陆终端,直接登陆远程服务器进行操作,所产生的数据不是存储在本地设备上,而仍是存储于远程服务器当中,这些远程服务器的运营和管理是由专门部门负责,他们必须提供给用户足够的应用程序和存储空间,并保证服务器的运算能力。云技术的特点在于它使用的灵活性,与其他网络技术不同之处就是用户在使用时无需安装任务客户端,实现有网络即可使用资源。
云技术主要的架构模式可分为3种:基础设施云、平台云和应用云。这三种模式既可独立存在,又是相互依赖的关系。
这种架构方式充分利用了信息自动化技术,把网络平台的硬件和软件资源都进行了有效整合。因此,我们可以把云技术的特点总结为以下几点:(1)用户可以随时随地通过某种电子终端获取信息。(2)云平台的存储能力高且运营成本低。(3)信息自动化种度高,云计算能够高效地对网络海量信息进行多种筛选、智能分析,尽可能把准确的信息提供给用户。
3 云技术在经管类实验教学的应用
3.1 经管类实验教学的现状
近几年来,随着各个高校对经管专业实验教学重视程度日益加深,经管类实验教学体系也随之日益发展和完善。
现如今,无论是经济类课程还是管理类课程,皆可进行实验操作。如:计量经济学课程,有专业软件Eviews,学生们利用此软件在实验室就能实现对社会经济关系与经济活动的数量规律进行观察;会计学课程,有用友财务软件、金碟财务软件等,这些软件几乎涵盖了一个企业财务处理的整个流程,会计学专业的学生就可以通过在实验室操作此软件,了解并掌握从建帐、日常业务至月末结帐等全部财务处理工作;管理学课程,有企业ERP物理沙盘及软件沙盘,学生们通过参与模拟经营,对抗演练等一系列的实验环节,全面领悟管理规律,掌握管理知识。由上可知,经管类专业实验教学基本上是依托于软件平台,对现实环境进行模拟,赋予学生更加直观的感受,增强了学生们对理论知识的理解,同时也掌握了相关的专业技能。根据经管类专业实验的特点,云技术的引入完全是可以实现的。
3.2 云计算平台的介绍
云技术的实现必须是以云计算平台为基础,云计算平台在用途上可分为三类:(1)以数据存储为主的云平台;(2)以数据处理为主的计算型云平台;(3)同时具备存储与数据处理功能的综合云平台。
用以实验教学的云计算平台必须是具备存储能力和数据处理的能力的综合云平台,它是服务教学管理与应用的信息化中心,通过搭建一个云教育平台,可以实现对院校实训资源、教学资源、科研资源、社会服务资源进行有效的共享及应用。平台运用于计算以及存储虚拟化技术,通过将业务系统、测试系统和桌面系统整合到 vSphere 环境中运行和管理,能够把不同物理位置,不同平台下的软硬资源有效整合,实现资源的有效共享和应用。实现软硬件资源的最大整合不共享,实现对实验室进行有效的管理,有效地提高信息安全,降低管理成本,降低硬件成本,减少资源的重复建设,提高设备和资源的利用率。
3.3 云技术在实验教学中的具体实现
在搭建完一个云教育平台之后,把实验教学中所需的应用程序,信息资源、课程资料全部存储于网络服务器之中,形成标准化环境建设,实现云端实验室,也就是虚拟实验室,通过虚拟桌面的方式完成远程访问。其虚拟实验室和桌面操作系统或应用服务等通过云端网络在后台数据中心服务器上运行,而操作过程则在终端客户界面上展示。
云技术的优势就在于它的资源整合能力,只要通过协同集成配置工具,用户应用组合管理器,可实现基于某一主题或业务链进行自定义应用组合管理;应用组合数据库管理器:按数据同步和数据挖掘的要求对应用组合进行应用组合数据库定义,实现真正的业务通,并具有自由配置功能。学生通过云平台的模块整合,可以进行企业整个生产、运营、管理、财务、营销等一系列活动的实训,而不仅仅是限于本专业。
云平台的其他辅助工具也是非常有用的,比如:同步课堂教学工具:实现远端学生与老师实时场景教学,包括视频、信息文字沟通和语音交流;远程互动虚拟课堂工具:教师资源共享,提升优秀教师优质课程的上座率,增加学生参与互动能力;互助式学习系统:互助学习邀请、协作交流探讨、感应学习邀请,即时在线交互,知识、答案即时共享展示;课程资源中心管理系统:课件的制作、开发、转换、上传、审核、组装、、集成、检索、下载等等。
3.4 云技术使用的成功案例
国内许多高校已经开始把云技术运用到实验教学之中,在我省,唯一一家拥有国家级的实验教学示范中心的大学――江西财大,就是以“云”为发展特色:应用虚拟、仿真技术将网络化企业运营模拟训练平台服务集中于服务器,建设“云端创业模拟实训中心”,实现“能上网就能实验”;应用物联网管理服务思想和技术搭建“综合仿真实习控制中心”,立体化网络实时管控系统实现“有网络就可管理”,网络视频会议系统使仿真实训过程实现“有问题就有指导”。
4 结语
在以云计算为核心理念带动下的教育信息技术的发展推动了教育领域中的新一轮革命,利用云计算核心技术,结合物联网技术、融合通信技术,构建多层次、跨时空和宽辐射的教育服务体系,营造开放、共享、可持续发展的教育服务环境。有效带动教育资源的整合利用,促进不同学科专家、学生间的交流与合作。全面提升学校的教育教学质量和教育效率,尤其对经管类实验教学模式是一种跨越式发展和创新、提供了全方位的信息化支撑;形成“感知教育,智慧教育”的新的教学理念。
参考文献
[1] 郑力.浅议云计算及其在教育方面的应用[J].科教文化,2011(9).
[2] 薛慧丽.基于云计算的高校教育资源平台设计研究[J].计算机与网络,2010(10).
篇5
关键词:计算机网络专业;大数据;云计算;Hadoop
中图分类号:G642.0;TP393 文献标识码:A 文章编号:2095-1302(2016)12-0-02
0 引 言
随着云计算、物联网以及“互联网+”技术的兴起,数据正以前所未有的速度在不断增长和累积,互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月,美国奥巴马政府公布“大数据研发计划”,旨在提高和改进人们从海量、复杂的数据中获取知识的能力,发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展,中国互联网三巨头BAT(百度、阿里、腾讯)纷纷建立大数据研究院、大数据实验室等,提供大数据专业服务,一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临,同时对专业人才的需求也日益增长。
大数据的发展与计算机网络密切相关,因此适时调整高职计算机网络专业方向的培养目标,可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识,实践能力强、职业道德素养高,具备云平台的管理能力和网络软件开发能力,能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。
1 大数据与云计算
根据维基百科的定义,大数据[2,3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2],即数据体量巨大(Volume)、数据种类繁多(Variety)、流动速度快(Velocity)、价值密度低(Value)。
从技术角度上看,大数据必然无法用单台计算机处理,必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop,Hadoop是由Apache基金会所开发的分布式系统基础架构,能够对大量数据进行分布式存储、分析和处理的云计算平台,已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究;Facebook使用1 000个节点的集群运行Hadoop,存储日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200 TB的数据,进行搜索日志分析和网页数据挖掘工作;淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。
2 课程体系改革研究
2.1 课程体系现状
目前,高职院校计算机网络专业类课程大多围绕计算机网络工程和计算机网络开发两条主线,主要课程包括网络基础、路由器及交换机配置与管理、Windows网络服务器配置与管理以及动态网站开发相关技术等。这些课程内容传统,课程内容严重同质化,教学内容已不能满足大数据时代人才培养的要求,这些将直接影响学生的理论实践能力和就业机会。
大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战,与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐,不断进行专业课程的创新性研究,重视实践类课程和教材的研发,适时调整人才培养目标和专业教学计划,以期满足工作岗位的实际要求。
2.2 研究思路
计算机网络专业经过多年的发展,其课程体系比较成熟,形成了各自的特色教学。因此,本文的研究内容是对原有课程体系的补充和完善。
2.2.1 有针对性的进一步优化传统的专业职业技能课程
传统的专业职业技能课程已经比较成熟,经过了实践的考验,也已得到了学生的认可。尽管如此,还要有针对性的进一步优化,使得课程体系的理实比达到更优,提升课程教学实施的效果。
2.2.2 采用增加模式,补充完善课程体系
基于大数据和云计算技术研发新的职业技能课程,充实现有的课程体系。大数据和云计算紧密相联,因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中,以岗位需求为导向,以培养技能型人才为目标,合理安排理论教学内容和课时,着重开发实践教学案例和内容,明显区别于本科课程教学设置。
2.2.3 课程体系相互作用,相互促进
网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践,又是对传统课程的有效扩展和提升。
2.3 具体内容
由于大数据、云计算技术是基于网络的技术,因此,计算机网络专业人才培养具有先决条件。根据以上研究思路,具体方案主要包括强化现有课程体系,增加基础理论课程、完善知识体系,增加实践课程、锻炼岗位能力三个部分。
2.3.1 强化现有课程体系
针对现阶段存在的问题,学校应强化现有课程体系,使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型,并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器,熟悉使用常见的网络命令,具备远程网络控制学习能力。掌握程序设计语言Java,具备Windows和Linux下的程序开发能力,包括编写shell程序。能够配置交换机和路由器,具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。
2.3.2 增加基础理论课程,完善知识体系
针对人才需求,增加大数据、云计算等基础理论课程,完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能,但基础理论仍非常重要,主要包括熟悉大数据的基础概念和常见技术架构;熟悉云计算原理和架构,并了解虚拟化技术如KVM;熟悉分布式系统和分布式计算原理;了解大数据、云计算的最新应用。
2.3.3 增加实践课程,锻炼岗位能力
在课程体系设置中,实践课程比例应超过理论课程。增加大数据、云计算等实践课程,锻炼学生的岗位能力。主要包括主流云平台管理软件的使用,如华为FusionSphere、VMWARE等;分布式系统管理、分布式并行计算以及Map/Reduce编程;Hadoop集群、HBase分布式数据库的构建与管理;Hadoop、HBase等案例实践与应用。
通过以上方法,使得计算机网络专业学生在原有专业基础上,掌握大数据和云计算的原理,具备云平台的管理能力,并能基于Hadoop等云计算平台实现大数据程序,对大数据进行计算分析。
2.4 Hadoop课程实施
通过以上分析可知,增加的课程内容主要是大数据、云计算相关课程,最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学,使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学,使得学生能够掌握Hadoop集群的配置与管理,并且能够基于Hadoop实现大数据程序设计,使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。
2.4.1 Hadoop原理
Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储,而MapReduce则为海量数据提供了计算。如图1所示,Hadoop运行的基本过程如下[4,5]:
(1)客户端可以将文件上传至HDFS文件系统,NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块,并分布式存储至DataNode数据节点,同时将块存储信息保存至NameNode节点,以方便文件进行资源管理。
(2)文件上传完成后,客户端提交具体Job任务至Hadoop集群,各DataNode节点根据任务要求可以读取相应的文件Split,并完成Map和Reduce计算任务,将结果作为输出文件传输至HDFS文件系统。
(3)在任务执行过程中,可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。
2.4.2 Hadoop教学平台配置与部署
Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境,网络服务器系统采用Linux Ubuntu,构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。
2.4.3 Hadoop分布式文件存储及大数据处理实现
Hadoop分布式文件存储及大数据处理实现包括:HDFS文件系统的使用;HBase的使用;MapReducer程序实现;大数据案例分析与实现。
3 结 语
本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路,在优化计算机网络专业传统课程的基础上,增加大数据、云计算等相关课程,并以Hadoop课程的具体教学实施来培养学生的实践能力,使得学生能够紧跟大数据、云计算的技术步伐,满足工作岗位的要求。
参考文献
[1]赵伟艇,夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术,2016,12(2):167-169.
[2]陶雪娇,胡晓峰,刘洋.大数据研究综述[J].系统仿真学报,2013(S1):142-146.
[3]孟小峰,慈祥.大数据管理概念技术与挑战[J].计算机研究与发展,2013,50(1):146-169.
[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春:吉林大学,2014.
[5]陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学,2013,35(10):25-35.
[6]曾文英,吴积军,曾文权,等.基于云计算的IT课程体系改革[J].计算机教育,2014(17):40-44.
[7]鲍爱华,陈卫卫,刘鹏,等.云计算课程内容体系的建设与实践[J].计算机工程与科学,2014,36(A02):42-45.
篇6
伴随着我国电力行业的迅速发展,特别是南网、国网、华电等大型的电力企业,它们的发展速度更是非常迅速的,目前,电力行业在我国经济的发展当中发挥着中流砥柱的作用,并且是确保整个社会稳定剂经济健康迅速发展的根本性要素,可是,最近几年随着先进科学技术的不断研发,电力企业信息开始面临着泄漏、不可掌控等一系列的安全性威胁,并且,自云计算出现,其依赖于自身优质的性能与全新的有效计算、存储模式受到了各行各业的喜爱,云计算电力与以往的电力企业信息储存系统及运行性能相比具备非常明显的优势。为此,云计算环境下电力企业信息安全是目前整个电力行业急需探究的重要问题。
1 云计算的概念与基本原理
在分布式处理、并行式处理及先进网络计算科学技术不断发展的基本前提下形成的一种新型计算模式即云计算,其面对的是超大规模的分布式氛围,主要发挥着将供应数据储存及网络服务的作用,并且具体的实现平台、服务于应用程序都是在整个云计算环境下得以实现的。云计算能够把全部的计算资源融合在一起,通过具体软件促使自动化管理、无人为参与,并且能够提供各种各样的认为服务。
云计算的基本原理是把相关的计算逐一分布在多个分布式计算机当中,在远程服务器的具体计算当中可以促使电力企业信息处于正常的运行状态,有利于企业将资源更改为具体的需求得以运用,并且能够按照实际需求对计算机进行访问。云计算基本原理为一场历史性的转变创举。
2 目前我国电力企业信息安全结构状况
2.1 电力企业信息网络结构
随着电力企业逐渐进入网络自动化及智能化阶段,为此,目前电力企业信息安全结构一般是以公共网络与专用网络有效综合的一种网络结构形式,其中,专用电力信息网络指的是在因特网进行连接的基础上形成的一种电力企业信息网络及调度信息网络相互综合的形式。
2.2 电力信息安全系统结构
以信息中的信息性能及信息业务为出发点将电力企业信息划分为三种层面:自动化、生产管理、办公室自动化及电力企业信息管理。其中,办公室自动化及电力企业信息管理是与电力企业信息网络结构紧密联系在一起的,形成的是一个安全工作区域,在这个安全区域当中SPDnet支撑的一种自动化,可具备监控性能的实时监控,譬如,配电自动化、调度自动化、变电站自动化等,同时,安全生产管理区域同样也是SPDnet来作为基本支撑的。
3 云计算环境下电力企业信息安全技术的运用
3.1 数据传输-存储安全技术
在整个电力企业信息当中,涵盖了大量的有关电力企业发展的资料及所有数据信息,譬如:电力企业的财务信息、用户信息、经营管理信息等等,所以,对于整个电力企业而言,数据的传输-存储安全技术在其中发挥着极为重要的作用。
一般情况下,云计算环境下,严格加密技术可促使电力企业信息数据在具体的传输过程中将会处于非常安全的一种状态下,主要是由于云计算能够利用加密技术将那些潜存的非法访客完全的拒之门外,预防数据传输过程中发生窃取的事件。
从电力企业信息数据存储技术的角度进行分析,其涵盖了数据恢复、数据分离、数据备份、数据存贮位置的选择等几方面内容,而云计算环境下,电力企业便能够利用私有云这一高度集中的存储技术把相关的数据信息以基本性能、重要系数为依据来选择不同的存贮方位,这样可以促使不同种类数据间隔离的实现,并且可起到预防数据信息泄露的作用。
云计算的运用可促使电力企业信息能够实现实时备份,使得电力企业信息在有突况出现的时候能够在第一时间达到相关数据的及时恢复。
3.2 权限认证及身份管理安全技术
云计算能够成功的预防非工作人员使用非法用户对电力企业信息系统进行访问,这主要是由于在私有云的内部全部的企业信息都能够实现禁止访问技术,电力企业信息管理工作者能够通过私有云进行身份管理、权限认证技术的相关设置,按照企业工作人员的级别及具体的规定对于相关数据及应用业务作出明确的规定及权限的划分,这样可成功的预防了非法访问的事件发生,同时实现合法用户根据个人权限来进行企业信息的具体操作。
3.3 网络安全隔离技术
对于整个电力企业信息来讲,云计算实则是互联网当中的一种内部性系统,通常情况下,电力企业信息网络能够从网络安全的被动保护层面来促使入侵检验技术、防火墙设置等安全防火技术得以实现,可是,云计算环境下,电力企业信息安全采用的是防火墙技术、物理隔离技术、协议隔离技术等先进的科学技术,其中,防火墙技术是对于企业外部网络及电力企业信息网络而创建的一道安全性保护屏障,通过对个人信息的严格检测、审核,将具有破坏性入侵的访客实施的一种有效防护,能够最大限度上将那些越过防火墙对电力企业信息安全网络及正常运行造成破坏的数据流进行完全性的屏蔽;物理隔离技术指的是在云计算环境下对于电力企业内外部网络实施的一种分割,这样能够有效的将内外部网络系统的连接状态完全阻断;
协议隔离技术指的是在云计算环境下利用网络配置隔离器对内外部网络进行的一种隔离,在协议隔离技术的支撑下,内外部网络是完全分离的一种状态,而唯有云计算环境下的电力企业信息进行相互交换的过程当中,内外部网络才能够通过协议由隔离的状态转变为正常连接状态。
4 结语
通过上文针对云计算环境下电力企业信息安全的浅析,我们从当前电力企业信息安全的状况进行分析,云计算环境下用户信息安全依然是一个较为严峻的问题,一部分问题并未得到根本性的解决,在今后的工作当中,需要针对云计算环境下用户信息安全供应相应的帮助,这样才能够促使用户信息安全水平得到较为显著的提高。我们坚信,在未来的工作当中,云计算环境下的电力企业信息将会更加安全,用户信息的安全性能将会得到最大程度上的保障。
篇7
【关键词】云计算;云数据管理;技术
中图分类号: C37 文献标识码: A 文章编号:
一、前言
云计算和云数据管理技术越来越受到人类的重视,目前科技越来越发达,云计算和云数据的管理技术成为了科技研究的热点问题之一,云计算作为一个新兴的技术,已经和云数据管理一起,为人类的文明作出了进一步的贡献。
二、云计算概念
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。它意味着计算能力也可作为一种商品通过互联网进行流通。
三、云计算的关键技术
1虚拟化技术
虚拟化技术是指计算元件在虚拟的基础上而不是真实的基础上运行,它可以扩大硬件的容量,简化软件的重新配置过程,减少软件虚拟机相关开销和支持更广泛的操作系统方面。通过虚拟化技术可实现软件应用与底层硬件相隔离,它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。
2分布式海量数据存储
云计算系统由大量服务器组成,同时为大量用户服务,因此云计算系统采用分布式存储的方式存储数据,用冗余存储的方式(集群计算、数据冗余和分布式存储)保证数据的可靠性。
3海量数据管理技术
云计算需要对分布的、海量的数据进行处理、分析,因此,数据管理技术必需能够高效的管理大量的数据。云计算系统中的数据管理技术主要是Google的BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase。
四、云数据管理系统(CDMS)基本原理
虽然 GFS、HDFS、S3 等分布式文件系统较好地解决了云计算中海量数据的组织问题,能够高效读写“云端”海量数据,但对于结构化数据的管理仍需要借助专门的数据管理系统。 两者之间的关系或分工,类似于操作系统中负责文件组织的文件系统和负责结构化数据管理的数据库管理系统(DBMS)。 云数据管理必须有效地解决云计算中大数据集的高效管理、海量数据定数据的快速定位等问题。Google 的 BigTable、Hadoop 的 HBase、Sector/Sphere都是目前相对比较成熟的云数据管理系统。BigTable 是 Google 为有效管理大规模结构化数据而设计的分布式存储系统,例如数千台服务器的上 PB(petabytes)级规模的数据。
1 BigTable 原理
BigTable 在很多地方与数据库很类似, 使用了很多数据库的实现策略。 但不支持完全的关系数据模型,而是为客户提供了简单的数据模型。 BigTable 对数据读操作进行优化,采用列存储的方式,提高数据读取效率。 BigTable 的基本元素包括行 (row)、 列族 (column families) 和时间戳(Timestamps)等。 其中,行关键字可以是任意字符串(目前支持最多 64 KB,多数情况下 10~100 字节足够),在一个行关键字下的每一个读写操作都是原子操作(不管读写这一行里有多少个不同列), 这样在对同一行进行并发操作时,用户对于系统行为更容易理解和掌控。 列族由一组同一类型的列关键字组成,是访问控制的基本单位。 列族必须先创建,然后能在其中的列关键字下存放数据;列族创建后,族中任何一个列关键字均可使用。时间戳可以由 BigTable 来赋值,表示准确到毫秒的“实时”或者由用户应用程序来赋值。 不同版本的表项内容按时间戳倒序排列,即最新的排在前面。 为了简化对于不同数据版本的数据的管理,对每一个列族支持两个设定, 以便于 BigTable 对表项的版本自动进行垃圾清除。用户可以指明只保留表项的最后 n 个版本,或者只保留足够新的版本(比如只保留最近 7 天的内容)。
SSTable 提供一个从关键字到值持续有序的映射,关键字和值都可以是任意字符串。 块索引(block index)存储在 SSTable 的最后,用来定位数据块。 Chubby是 BigTable 采用的一个高度可用的持续分布式数据锁服务。 每个 Chubby 服务由 5 个活的备份构成,其中一个为主备份并响应服务请求。 只有当大多数备份都保持运行并保持互相通信时,相应的服务才是活动的。 当有备份失效时,Chubby 使用 Paxos算法来保证备份的一致性。
2 、HBase 原理
HBase是 Hadoop的子项目,是目前比较成熟的云数据管理开源解决方案之一。 HBase 采用与 Bigtable 非常相似的数据模型。 用户存储数据行(data row)在一个标识表(labelled table)中,一个数据行有一个可排序的主键或分类键 (sortable key) 和 任 意 数 量 的 列 (column)。 表 是 疏 松(sparsely) 存储的 ,因此用户可以根据需要给同一表中的不同行定义各种不同的列。 每张 HBase 表的索引是行关键字(row key)、列关键字(column key)和时间戳(timestamp)。 如图 3所示, 每个值是一个很难解释的字符数组, 数据都是字符串,不区分类型。
列名字的格式是“:”,都是由字符串组成,每一张表有一个族(family)集合,这个集合是固定不变的, 相当于表的结构, 只能通过改变表结构来改变。 标识(label)值相对于每一行来说都是可以改变的 。 Hbase 把同族里面的数据存储在同一个目录下, 而 Hbase 的写操作是锁行的,每一行都是一个原子元素,都可以加锁。 所有数据库的更新都有一个时间戳标记,每个更新都是一个新的版本,系统会保留一定数量的版本,这个值是可以设定的。 用户可以选择获取距离某个时间最近的版本,或者一次获取所有版本。Hbase 遵从如图 4 所示的简单主从服务器架构, 每个Hbase 集群通常由单个主服务器 (master server)、 数百个或更多区域服务器(region server)构成。 每个 Region 由某个表的连续数据行组成,从开始主键到结束主键,而某张表的所有行保存在一组 Region 中。 通过用表名和开始/结束主键,来区分不同的 Region。 区域服务器主要通过 3 种方式保存数据:Hmemcache 高速缓存, 保留的是最新写入的数据;Hlog 记录文件,保留的是提交成功了,但未被写入文件的数据;Hstores 文件,数据的物理存放形式。
3 、Sector/Sphere 原理
参考文献[43]还从通信协议、数据传输协议、程序设计模 式 、 安 全 模 型 等 方 面 对 GFS/BigTable、HDFS/HbaseSector/Sphere 进行了比较 。 Robert L Grossman 等在设计并实现 Sector/Sphere的基础上,利用数据发掘应用进行了性能方面的实验。
五、云数据管理技术分析
在新兴的云计算数据管理领域Google的BigTable,MapReduce和亚马逊的Dynamo技术针对云计算海量数据的问题和应用特点有了很多创新,综合来看未来云计算数据管理主要包括以下几个层次.其总体架构如图6所示:如图6所示云计算数据管理层次分为4层,分别为:数据组织与管理,数据集成与管理,分布式并行处理,数据分析.最终实现对非确定性数据的管理与集成,为用户提供高效的查询等服务.
六、结束语
通过分析和研究,我们发现,云计算虽然成为了人们热捧的新技术,但是它和云数据都面临着很多的挑战,未来需要我们对云计算和云数据的管理作出进一步的分析和探讨,以便于更好的使用这两个新兴的技术。
参考文献
[1]吴吉义,傅建庆,张明西,平玲娣 云数据管理研究综述[J].电信科学. 2010(05)
[2]周傲英,金澈清,王国仁,李建中.不确定性数据管理技术研究综述[J].计算机学报. 2009(01)
篇8
关键字:云计算GFSBigtable数据存储
中图分类号:C37文献标识码: A
0 绪论
云计算是一种新近提出的计算模式,是分布式计算、并行计算和网格计算的发展。在各大企业以及学术界的共同推动下,在大数据时代,云计算融合物联网将进一步推动数据价值的挖掘,促进产业爆发。
1 云计算
1.1对云的定义
云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应商进行很少的交互。
1.2云计算的基本原理
通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,企业数据中心的运行将更与互联网相似。
1.3云计算的特点
1.3.1虚拟化
云计算支持用户在任 意位置使用各种终端获取服务。
1.3.2极其廉价
“云”的特殊容错措施使得可以采用极其廉价的节点来构成云。所以云计算造价低廉。
1.3.3高层次的编程模型
用户通过简单学习,就可以编写自己的云计算程序,在“云”系统上执行,满足自己的需求。
1.3.4高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。
1.3.5按需服务
“云”是一个庞大的资源池,你按需购买;云可以像自来水,电,煤气那样计费。
2云计算的体系架构
2.1 核心服务层
基础设施即服务层(IaaS)、平台即服务层(PaaS)、软件即服务层(SaaS)。
IaaS提供硬件基础设施部署服务,为用户按需提供实体或虚拟的计算、存储和网络等资源。
PaaS是云计算应用程序运行环境,提供应用程序部署和管理服务。
SaaS是基于云计算基础平台所开发的应用程序。
2.2服务管理层
服务管理层对核心服务层的可用性、可靠性和安全性提供保障。云计算服务提供商需和用户进行协商,并制定服务水平协议(SLA),使得双方对服务质量的需求达成一致。
2.3用户访问接口层
用户访问接口层实现了云计算服务的泛在访问,通常包括命令行、web服务、web门户等形式。
3云计算的关键技术
3.1数据存储技术
为保证高可靠和经济性,云计算采用分布式存储的方式来存储数据,采用冗余存储的方式来保证存储数据的可靠性。云计算的数据存储技术主要有GFS和HDFS。
GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行。GFS与传统分布式文件系统的区别在于将写操作控制信号与数据流区分开。
3.2数据管理技术
BigTable是一个很庞大的表,它将所有数据都作为对象来处理,形成一个巨大的表格。有很多Google的应用程序建立在BigTable之上,基于BigTable模型实现的Hadoop Hbase也在逐渐发挥作用。
是一个稀疏的、多维的和排序的Map,每个单元格由行关键字、列关键字和时间戳来进行三维定位。在任意时刻每个Tablet只被分配到Tablet服务器。依靠一个master服务器监视子表server的负载情况,根据所有子表服务器的负载情况进行数据迁移。
4 结语
云计算的出现给人们的生活带来很大的便捷,使用某个软件时无需耗费大量的资金进行购买,而是利用云上虚拟机,以租赁的方式进行使用。在各大企业和各大高校的推动下,云计算具有十分广阔的发展前景。
参考文献
[1]张金玉.狄卫华基于云平台的建设工程项目招标评标模式的探讨[期刊论文]-项目管理技术 2013(5)
[2]张程基于云计算的荆门烟草信息系统优化[期刊论文]-中国科技信息2013(24)
篇9
关键词:云桌面;高校;QuickDcsktop
云计算(Cloud Computing)是近几年IT技术热点和发展趋势。维基百科对于云计算的定义是:一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。
云计算技术的关键技术是虚拟化技术,包括服务器虚拟化、存储虚拟化、应用程序虚拟化、桌面虚拟化,其中桌面虚拟化技术是与用户最有直接关联的技术,是指将计算机的桌面进行虚拟化,以达到桌面使用的安全性和灵活性。可以通过任何设备,在任何地点、任何时间访问在网络上的属于个人的桌面系统。云桌面的核心技术正是桌面虚拟化,是一个全新的解决方案和基础架构理念,是“云计算”的一种最直观体验。
1云桌面概述
计算机中的桌面是指用户打开电脑登录操作系统后看到的主屏幕区域,即用户电脑的工作桌面。云桌面同样是显示在用户电脑屏幕上的工作桌面,但这个桌面是虚拟的,该桌面不是由当前运行的计算机提供的,而是由通过网络连接的远端服务器提供的,所有的数据计算均在远端服务器,云桌面只显示桌面图像并接受键盘、鼠标等外设的输入操作。
云桌面的接入终端一般是普通Pc机或瘦客户端,如智能手机、PAD等接入终端。这些终端连接网络,通过浏览器或专用程序,访问驻留在服务器中的个人桌面,用户使用时,与使用传统的个人电脑无异。
一个云桌面系统的典型架构如图1所示。
2云桌面运用解决方案
当前在桌面虚拟化领域的厂商众多,但主流的产品主要有3个厂商即主要的服务器虚拟化厂商:微软的MED-V,Citrix和VmWare。
2.1微软桌面虚拟化方案MED-V
MED-V(Microsoft Enterprise DesktopVirtualization)是微软为企业提供的一款桌面虚拟化解决方案,是微软为企业提供的微软企业桌面优化套件MDOP(Microsoft Desktop Optimization Pack)中的核心元件。通过MED-V可以使企业环境中操作系统的更新变得更简单,提高了系统的兼容性,也加强了IT部门的控制力度。
MED-V通过运用重复数据删除技术,缩短了通过网络下载初始和更新后的虚拟个人电脑映像的时间,实现了诸多IT任务的自动化,如网络的初始化设置,DNS同步,分配计算机名以及加入到活动目录域。
2.2 Citrix XenDesktop
XenDesktop是Citrix公司为用户提供的一套桌面虚拟化解决方案,通过XenDesktop,任何用户可以在任何地点,使用PC机、智能手机、瘦客户端等任何一种终端设备享受XenDesktop为其提供的满足个性化需求、量身定制的桌面。
利用XenDesktop的FlexCast交付技术,可以向用户交付所有类型的虚拟桌面,包括托管桌面或本地桌面、物理桌面或虚拟桌面。
利用XenDesktop的Citrix HDX技术,XenDesktop可以比其他虚拟桌面解决方案更少的带宽为用户提供Flash多媒体、三维图像等方面的卓越体验。
2.3 VMware View
View是VMware公司推出的一套桌面虚拟化解决方案,其以托管服务的形式从虚拟平台向用户交付丰富的个性化虚拟桌面,同时还显著地提高了安全、性能、可伸缩性和可管理性。通过VMware View,用户可以将虚拟桌面整合到数据中心的服务器中,并独立管理操作系统、应用程序和用户数据。
本文以国内一家专业从事高性能桌面虚拟化技术的公司产品PNS QuickDesktop高性能桌面云为例说明桌面云的应用。
PNS QuickDesktop是基于公司自主创新的PNS Virtuo虚拟化和微虚拟化技术而发展的私有云架构的商性能云桌面系统,可以适用于需要集中管控桌面的应用场合,特别是具有桌面高性能计算和图形计算要求和桌面信息安全要求,如设计与研发、生产线管控、办公、教学和科学研究等应用。因此,该产品非常适合应用于高校及科研机构。
PNS QuickDesktop系统实现了计算机的集中管理控制、远程维护监控、方案自动切换、用户个性化设置功能。客户端计算机可以从服务器上的同一虚拟桌面文件(即镜像文件)启动计算机,也可以由本地操作系统启动。服务器端可以方便地把镜像文件分发到每台客户端计算机。客户端计算机就能快速地从该操作系统启动,而不需要重新安装操作系统。镜像文件集中存放在服务器端,因此对镜像文件的新建、编辑、修改等操作都可以在服务器端设置。计算机统一登录到服务器和镜像文件在服务器上的集中管理,实现了由QuickDesktop桌面虚拟化系统集中管理维护计算机。
2.3.1 PNS QuickDesktop技术原理
PNS QuickDesktop的技术原理如图2所示。
最上层是操作系统容器(OS Container),在容器中可以容纳多个操作系统包,操作系统包通过推送器(OSDelivery Layer)进行服务器和客户机之间的系统推送,网络媒体可以是局域网(LAN)或互联网(Internet),操作系统推送到客户机后,由操作系统执行器(OS Executive)或虚拟机(VMS)执行,从而驱动硬件。
2.3.2 PNS Quickdesktop的关键技术
(1)RMV技术。RMV(Real Mode Virtualization)技术降低了“云”的计算负荷,而又使终端运算获得高性能。在实模式虚拟化云端计算模式中,操作系统是通过“云”实现虚拟化并向客户端进行推送,并在客户端执行系统运算的计算模式,虚拟的操作系统是在终端实模式下运行的,而不是在虚拟模式下运行,从而使终端计算能够充分利用本地硬件性能。在这种实模式虚拟化的云端计算技术的分工中,云计算主要处理终端管控、操作系统数据定位、发送和控制等运算,而客户端计算则是操作系统指令的执行计算。而对于传统云计算原理而言,这种云端计算原理决定了服务器不执行操作系统指令,从而大大降低服务器的计算负荷,而客户端的性能则可以充分运用硬件性能。
RMV在服务器端建立操作系统镜像,在终端引导过程中,通过PNS Boot引导,动态地将操作系统数据按照请求通过网络顺序发给终端,在客户端执行操作系统指令,从而大大降低了服务器的计算负荷,充分利用了终端的计算能力。
(2)HPLC高性能安全缓存技术。HPLC(HighPerformance Local Cache)是一种操作系统的本地高性能缓存技术,在RMV的基础上使系统进一步降低终端桌面对服务器性能的要求,并大幅度降低网络带宽使用。
终端在服务请求并接受所需要的操作系统数据的同时,将在本地存储介质(内存和硬盘等)得到的操作系统数据进行相应的数据写操作,并做“已读”标记。当客户端再次请求相同数据时,客户端先检查数据标记位,如果标记为“已读”,则客户端不再向服务器请求读取数据,而是直接从本地存储介质上读取缓存数据,从而在RMV技术的基础上,再进一步减少对服务器的数据请求,随即也大幅度地减少了通过网络传输的数据流量,从而降低桌面云对服务器性能的压力,在服务器(数据中心)性能相同的情况下,可以支持的桌面终端数量增加10倍以上。而且该技术还可以使计算模式从纯粹的云计算模式转变为云一端计算模式,从而使得终端桌面性能大幅度高于Citrix HDX和基于ICA或RDP等主流“高性能”终端。
(3)DML动态元数据关联技术。DML(Dynamic MetaLinking)将操作系统镜像数据中的关键数据如FAT表、读写标志等和随机生成的部分数据(元数据)从镜像数据中分离出来,从而在向终端设备传送操作系统数据时,这些元数据将不在终端上缓存,破坏了终端缓存的数据完整性,加上透明加密技术的使用,使得终端设备上的缓存数据完全不能独立使用,从而保证了数据的安全性。
篇10
《激光雷达技术原理》以测量学和数据处理理论和方法为基础,讲授激光雷达技术的基本原理和数据后处理方法,同时结合实际案例讲解激光雷达技术在测绘、地质和工程等领域的应用前景和亟待解决的问题。由于激光雷达是一项测绘新技术,国内还没有成熟的教材,因此结合国际上较为权威的专著《AirborneandTerrestrialLaserScanning》[5]以及国内外相关的研究和应用成果自编了教程,对学生采取了“了解—新型传感器原理”“熟悉—激光扫描仪操作”和“掌握—激光点云数据后处理方法”的教学模式,以达到从理论到实践的教学效果。
1.1了解新型传感器原理
首先,以学生熟悉的全站仪为对照,让学生了解激光雷达是一种集成了多种高新技术的新型测绘仪器,具有非接触式、精度高(毫米级/亚毫米级)、速度快(可达120万点/秒)、密度大(点间距可达毫米级)的优势,且数据采集方式灵活,对环境光线、温度都要求较低。其次,让学生理解LiDAR的测量原理主要分极坐标法和三角测量法两种。其中,对于极坐标法测量,使学生了解测距的关键在于时间差的测定,引出两种常用的测时方法:脉冲法和相位法;让学生理解直接测时和间接测时的区别以及各自的优缺点,从而进一步了解脉冲式和相位式激光扫描设备的优势、局限性以及应用领域。最后,通过介绍激光雷达采集数据的扫描方式,让学生了解不同平台上的激光雷达传感器的工作特点,如固定式激光扫描仪适合窗口式和全景式扫描,车载、机载以及星载平台适合移动式扫描等。
1.2熟悉激光扫描仪操作
考虑到各类平台激光雷达的作业特点以及现有设备的情况,《激光雷达技术原理》课程以地基三维激光扫描仪为重点,让学生熟悉仪器的外业操作。尽管激光扫描仪数据采集的自动化程度较高,外业采集仍然需要解决扫描设站方案设计和不同扫描站间连接点选择等问题,要求学生在熟悉激光扫描仪软硬件操作的同时,还要掌握激光扫描仪外业采集方案的设计:踏勘工作区,分析研究最优化的扫描设站方案和坐标转换控制点选择,画出相关的设计草图,并设置主要扫描设站的标志。要求设站位置既要保证与相邻站的重叠,又要覆盖尽量大范围的被扫描对象,以减少设站数,从而提高外业数据采集效率。
1.3掌握激光点云数据后处理方法
利用点云数据可视化与点云原始存储格式之间的明显反差,让学生了解激光点云数据后处理的重要性和难点,及其已成为制约激光雷达技术应用瓶颈的现状。根据学生的理解程度,选取了点云的拼接/配准、点云的滤波和分类、点云的分割和拟合等后处理方法,要求学生掌握相关的算法并编程实现。
1.3.1点云的拼接/配准点云拼接是将2个或2个以上坐标系中的大容量三维空间数据点集转换到统一坐标系统中的数学计算过程。要求学生掌握如何解决点云拼接的两个关键问题:同名特征的配准以及旋转矩阵的构造。对于同名特征的配准,使学生了解常用配准方法的特点和适用范围,如ICP方法适合用于精拼接,而基于特征面的方法对场景特征分布要求较高等。着重让学生掌握最常用的人工标靶识别,以及特征面匹配,后者有别于学生所熟知的点特征匹配;对于旋转矩阵的构造,拓展学生在《摄影测量学》[6]中学习的基于欧拉角的旋转矩阵构造,掌握角-轴转角系和单位四元数方法。
1.3.2点云的滤波和分类要求学生了解滤波和分类的目的是解决激光脚点在三维空间的分布形态呈现随机离散的问题。掌握基于高程突变和空间形态学的点云滤波和分类方法。让学生理解单一的信息量会导致算法不稳健,从而引出多源数据融合的思路。目前,已经有很多激光扫描仪生产厂商推出的新产品中实现了多传感器平台的集成,如激光扫描仪会搭载小像幅的数码相机,甚至有些系统还提供由集成传感器生成的红外影像。每种数据源都有其自身的优点和局限性,将多源数据融合能够弥补各个单数据源的局限性,增大信息量,从而提高滤波和分类方法的稳健性。
1.3.3点云的分割和拟合要求学生掌握实现点云分割的相似性原则:平面性、曲面平滑度和邻域法向,以及常用的点云分割方法表面生长法。考虑到点云拟合是由离散激光点坐标计算特征模型参数的过程,要求学生掌握点云拟合中两个主要问题的解决方法:粗差剔除及最优解获取。
2实践教学法
实践教学是卓越工程师培养体系中一个重要的组成部分。作为技术性的测绘工程学科,除应用测量仪器采集数据、应用计算机处理数据的基本能力外,还需要构建实践教学体系以培养学生在实践中选用适当的理论、技术、仪器设备和作业方法解决测绘工程与地理空间信息产品生产实际问题的能力,从而使学生接受测绘工程与地理空间信息产品生产方案设计、实施以及实际应用中测绘工程解决方案确定等系统化训练。《激光雷达技术原理》课程实习要求学生全面应用所学知识,利用实习场地,依据实习目的和要求在老师的指导下分组独立完成全部实习内容。实习仪器为中国地质大学(北京)遥感地理信息工程教研室使用教育部采购专项购买的RIEGLLMSZ620三维激光扫描仪。《激光雷达技术原理》课程实习的目的主要是使学生通过三维激光扫描仪的使用,进一步巩固和加深理解相关理论知识和技术方法。要求熟悉三维激光扫描仪数据采集与处理(包括DEM、等高线和剖面图生成以及三维建模等)的全过程。通过实践性教学,不仅能够让学生掌握基本的软、硬件使用操作方法和LiDAR测量项目的作业流程,而且能够加深学生对所学专业理论知识的理解。培养学生的应用能力、创新能力以及严肃认真、实事求是、吃苦耐劳、团结协作的精神。要求学生必须参加每一个实习环节,协作完成实习任务,独立完成实习报告。实习内容主要包括以下部分。
2.1三维激光扫描
数据的外业采集要求学生分组完成测区划分和踏勘,确定测站位置,根据测区地形,设计外业数据采集方案,完成外业设站、反射标靶布设和数据采集工作。学生需要完成校园内建筑物点云数据和奥林匹克森林公园地形点云数据的采集。
2.2点云数据预处理
要求学生分别利用随机软件RiSCANPRO和上机C语言编程对外业采集的三维点云数据进行预处理,包括点云数据的滤波和拼接。
2.2.1点云滤波1)手动滤波要求学生利用RiSCANPRO对点云数据进行滤波。RiSCANPROv1.7.0有两种模式,即Filterdata和Terrainfilter。前者针对一般数据,后者对于提取地形的数据有明显效果。2)自动滤波要求学生上机应用C语言编程实现数学形态学方法、移动窗口滤波法、迭代线性最小二乘内插法、基于可靠最小值的滤波方法等常用的地形滤波算法,对外业采集的数据进行滤波,并对各算法的结果进行比较和分析。图1为学生基于虹湾地区嫦娥一号激光测高数据,利用五种滤波方法滤波后的数据点残差值分布图[7]。
2.2.2点云拼接1)基于反射标靶的点云拼接要求学生利用RiSCANPRO软件,结合外业数据采集时布设的标靶连接点,对地形和建筑物点云数据进行拼接。激光点云数据的拼接有两种方式:公共反射体的方式和采用使所有的反射体处于同一坐标系统的方式。在实际操作过程中,要求学生对两者结合使用,以期达到更好的拼接效果。2)基于特征面的点云拼接要求学生在对点云进行拟合的基础上,选取至少三对相互正交的特征面,利用C语言上机编程,实现基于特征面的点云拼接,并与单纯基于点的拼接结果进行对比,分析不同方法的优缺点。
2.2.3地形数据处理对地形数据的处理主要包括三角化、平滑、生成等高线和剖面。三角化参数的设置可参考量测工具量测出的点云中两点之间的距离初步设定,这个值可适当调整,目的在于使图中的点云数据彼此之间能尽量大面积地构成三角网;要求学生对已经完成三角化的数据进行平滑处理;针对已经完成平滑的数据,利用RiSCANPRO软件生成等高线。剖面图的显示既可以针对三角化之前的数据,也可以针对三角化之后(包括完成平滑的数据)来操作。
2.2.4建筑物几何模型重建针对《激光雷达技术原理》数据处理方法的教学内容,指导教师结合自身的研究成果组织研究生开发了点云分割和拟合以及三维建模等软件模块,考虑到学生的掌握程度和实用性,要求学生在利用软件模块实现点云数据分割和拟合的基础上,利用AutoCAD软件手工建立建筑物的几何三维模型,基于3DSMAX软件建立建筑物纹理模型。图2为暑期教学实习中指导学生利用商业软件和自主开发的软件模块重建的地大校园主要建筑物的三维模型。
3结束语