云计算基本架构范文
时间：2023-07-18 17:36:29
导语：如何才能写好一篇云计算基本架构，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
篇1
关键词：云计算；虚拟化；VMware;VMware vSphere；架构
中图分类号：TP303文献标识码：A文章编号：16727800（2012）008000602
作者简介：连鸿鹏(1987-)，福建师范大学协和学院初级网络工程师，研究方向为云计算。
0引言
虚拟化技术是伴随着计算机的产生而发展的，虚拟化意味着对计算机资源的抽象。虚拟化技术实现了物理资源的逻辑抽象和统一表示，通过它可以提高资源利用率，并能够根据用户业务需求的变化，快速、灵活地进行资源部署，因此，虚拟化技术已经成为构建云计算环境的一项关键技术。
VMware 云基础架构能够让现有的用户从虚拟化中获益，加速了现有数据中心云计算的转移，与公共云基础兼容，铺平了向混合云模式前进的道路，成为云计算的新里程碑。
本文主要讨论作为X86体系结构虚拟化技术的代表，VMware公司基于已有的虚拟化技术和优势，提供了云基础架构及管理、云应用平台和终端用户计算等多个层次上的解决方案，主要支持企业级组织机构利用服务器虚拟化技术，实现从目前的数据中心向云计算环境转变方面的架构分析。
1VMware vSphere 简介
VMware vSphere是在原来的VI3基础上推出的系统，被成为业界首款云计算操作系统。vSphere将应用程序和操作系统从底层硬件分离出来，从而简化了 IT 操作。现有的应用程序可以看到专有资源，而服务器则可以作为资源池进行管理。vSphere以原生架构的ESX/ESXi Server为基础，让多台ESX Server能并发负担更多个虚拟机。主要包括3部分：一是虚拟化管理器VMM部分的VMware ESX 4，VMware ESX Server主要是用于调配物理服务器中内存、CPU、存储及网络各种硬件资源，运行在物理服务器上的一个虚拟层并根据预定好的策略将这些资源分配到运行在其中的各虚拟机中，这些虚拟机以安全独立的模式并行运行；二是用于整合和管理VMM的VMware vCenter，提高在虚拟基础架构每个级别上的集中控制和可见性，通过主动管理发挥 vSphere 潜能，是一个具有广泛合作伙伴体系支持的可伸缩、可扩展平台；三是用于管理客户端的软件VMware Infrastructure Client。
VMware vSphere 主要通过虚拟化技术将数据中心转变为云计算基础架构，通过虚拟化提供自助部署和调配的功能，将IT基础架构作为服务来交付使用。vSphere是一个整体架构而非单个产品，基本架构如图1。
图1VMware vSphere 的基本架构
2.1vSphere的云端部分
vSphere所谓的云端是指平台及架构部分（PaaS和IaaS）,可以分为内部和外部云端。内部云端由各种硬件资源组成，并有vSphere负责统合云端资源，在IaaS及PaaS中，资源为硬件及OS资源。外部云端vSphere可以将这些第三方提供的资源集成到企业的IT架构中。
2.2vSphere的底层：架构服务（Infrastructure Service）
有了硬件资源之后，就需要一个Hypervisor将资源集成，然后ESX和ESXi服务器将负责硬件资源虚拟化。Infrastructure Service主要可以分为运算部分的vCompute、存储部分的vStorage以及网络部分的vNetwork。
（1）vCompute部分。vCompute包括了ESX/ESXi以及DRS。ESX/ESXi主要实现服务器整合、提供高性能并担保服务品质、流水式测试和部署及可伸缩的软硬件架构。DRS确保按需调整资源配置，根据需要和优先级压缩和增加应用系统的资源，动态的响应负载平衡。
（2）vStorage部分。vStorage包括VM所在硬盘的文件系统VMFS以及动态分配大小的Thin Provisioning，提供多种存储虚拟连接选择，通过vStorage VMotion减少或消除计划内停机，通过精简部署降低虚拟环境的存储要求，通过vStorage API简化管理并提高存储操作的效率。VMFS是专门为虚拟机设计的高性能集群文件系统，该系统可以在VMware虚拟机的VMware虚拟数据中心环境中访问共享存储。
（3）vNetwork部分。VMware的网络虚拟化技术主要通过VMware vSphere 中的vNetwork网络元素实现。通过这些元素，部署在数据中心物理主机上的虚拟机可以像物理环境一样进行网络互连。vNetwork的组件主要包括虚拟网络接口卡Vnic、vNetwork标准交换机vSwitch和vNetwork分布式交换机dvSwitch。vSphere提供了一个Distributed Network的架构，不但有完整的Bridged/NAT/Host only架构，更和Cisco合作推出一个专门安装在vSphere上的分布式网络。
2.3vSphere的Application Service
篇2
关键词：云计算；数据中心；资源管理
中图分类号：TP315
21世纪以来互联网技术的发展十分迅速，随着时间的增长，一些陈旧的网络设施不断的被淘汰，开始进行更新换代，换代的同时计算机技术的应用也不断的被广大的人们所熟知，互联网技术中有一个重要的环节对网络的发展起到承上启下的作用，那就是数据的存储，如今随着计算机技术的不断发展这种设备的成本也随之降低，这也促使互联网的用户不断的提高。人们慢慢的都进入了互联网的时代，使得当今社会也变的越来越信息化，同时也有很多的数据要进行处理，使得传统的一些数据的计算方法不再适合当今互联网的发展速度，因此传统的一些数据中心也满足不了当今的需求。本文主要结合当今云计算的发展状况，研究了云计算的基本理论和概念以后，深入分析了云计算的基本架构。
1 云计算数据中心的概述
1.1 云计算的概念。云计算的定义比较多，与之关联的理论也比较多，但是总体来讲主要有以下3个方面：第一分布式计算；第二信息海量计算；第三，并行数据计算。这些概念基本上都是美国标准语技术研究中心提出的，是国际上通用的概念。云计算并不是无偿的服务，它是需要收取一定费用的，收取费用的计算主要是客户使用网络流量的费用。目前移动网络也不断的发展已经从2G发展到了4G网络，互联网时代开始更新换代。这也使得云计算技术运用越来越广泛，用户可以随时随地的通过访问面来获取自己想要的数据服务，或者计算的结果，并且获取的过程是简单而轻松的。与此同时工业的生产也不断的运用云计算技术开展生产活动，随着时间的推移，云计算在工业生产中的运用不断的扩大和普及，也越来越成熟，涉及的工业领域也越来越多。
1.2 云计算的原理。云计算的原理和云计算涉及理论领域有着密切的关系。从这些领域我们可以看出云计算技术的主要目的是将需要处理的数据在网络上的其他计算机上进行处理和计算。而对于企业的一些数据中心来讲，云计算的运行原理和和网络上的一些原理是相似的。唯一不同的就是企业的数据是根据需求来定的，随着网络的普及以及网络速度的加快，移动客户端数据也不断的发展，云计算的服务也越来越广泛，比如利用手机进行购物等都是云计算衍生的产品。这些技术与以往传统的网络相比变的越来越开放，不像以往使用单机进行数据处理，如今随时随地都可以操作，这样也使得互联网在一定的程度上越来越普及。
2 ITIL架构
目前应用最为广泛的架构就是ITIL架构，这种架构主要分为6个不同的模块这些模块在一定的程度上有很大的联系，它们并不是孤立的，在实际的工作中要相互作用的，这样才能完成各自的任务，下面分开介绍这6个不同的模块：
2.1 服务支持。该部分主要是对执行某项任务时，都由哪些人员参与，他们分别扮演何种角色，以及整个任务执行的具体细节进行描述，将联系用户以及细节的“服务台”功能进行明确的定义。服务支持在整个云过程中所关注的重点是，IT组织是如何按照SLA标准向具体客户提供IT服务的。
2.2 服务交付。该部分主要是用来对客户开展某项业务所需要的服务，主要的服务内容就是对客户的要求进行任务分工以及IT组织在提供这项服务时所需要具备的资源进行描述。在服务的过程中一些不同的人员要执行不同的工作内容，服务交付在整个云过程中所关注的重点是，IT组织如何与客户签订具体的SLA等级协定，并在具体工作开展的过程中对SLA目标实施监控。
2.3 安全管理。安全就是保证用户信息的安全，此模块记录很多用户的数据，这些数据的主要内容是记录一些具体的规划和管理信息及IT服务所达到的安全流程水平，用以评估和控制所存在的风险，同时根据评估结果给予相应的解决。进行安全管理的目标就是要保证整个服务过程的保密性、完整性以及可用性。
2.4 IT基础设施管理。IT基础设施的管理十分重要，其关系到业务成本的问题，只有合理的对基础设施进行管理才能保证最大的业务需求，创造更大的利润，这个模块最主要的任务就是保证IT架构的运行效率，以最小的运行成本保证最大的运行效率是其最主要的任务，可以有效的保证IT基础设施的稳定建设。
2.5 应用管理。应用管理就是对客户端上的应用进行管理，这个模块的主要任务就是对各个应用的生命周期进行管理，并且对客户进行管理的指导，以使他们能够在最短的时间内从服务管理的角度对整个应用系统有着较为全面的了解。
2.6 服务管理规划与实施。该部分主要是对服务的组织、实施以及改善服务管理流程，对整个过程中所出现的问题以及具体任务进行再规划、设计，帮助客户确立远景目标，同时对服务改进方案进行全面的、持续的指导。
2.7 业务视角。所谓业务视角，是用来强调服务的开展应该从业务的角度触犯，而不是只关注服务的交付者，让IT服务人员明白其主要工作是为了实现具体的商业目标，是为了给用户创造最大的价值，做出最大的贡献。
3 ITIL的云计算数据中心管理理念
对于目前面向服务的数据中心架构来讲，如果要是这些架构能够稳定的、可靠的运行就必须有一些合理的管理模式，通过强大的管理模式把服务层的每个架构进行联系起来，才能够使得系统的运算结构有效的运行，也能使得网络的基本结构得到很好的改善，目前面向服务的数据中心架构能够最大的优化系统资源的配置。上一章详细的讲了ITIL的数据架构，这些架构在理论上是比较成熟的，也能够经得住长期的实践考验，在具体的实际应用中还要根据客户的需求进行设计，设计的标准很多，其中最主要的有；结果要能实施、对总体的需求能够准确的表达，既然主要是面向客户的架构，那么所有的设计都要根据客户的需求来定，这样才能满足客户需要的功能。
4 云计算资源的管理
4.1 云计算管理模型。主要分为两个部分，一个是被动式部件一个是主动式的部件，这两种系统的结构都具有层级的结构，其中主动式的部件就是系统的各种资源，就是对系统的数据进行反复的利用，作用的内容就是系统结构的内容，通俗的说就是执行传统以及非传统计算过程。而作业是整个层次结构的实体，调度的主要内容就是吧任务映像到资源，而不是将作业映像到资源。
4.2 云计算的资源调度。云计算中关键的系统就是云计算的资源调度系统，它直接影响着资源管理的有效性和可操作性，然而云计算的动态性能以及云计算的结构性能又直接影响着云计算资源的调度，直接影响云计算的系统复杂性。云计算资源的调度系统设计可分为3类，主要有集中式、分布式以及层次式等，在这3中调度的类型中，集中调度最为常见，它主要是通过一个中央的调度中心进行数据的交换，这种调度方式主要是通过一个程序进行的，其中所有能够使用的信息都能够在数据的中心体现。分布调度的原理主要是进行交互式的作业，主要把数据传送到远程的存储器中，用户可以通过网络访问这个服务器从而获得相关的数据，这种操作并没有中心的系统进行操作。
5 结束语
云计算技术越来越流行，都归功于计算机技术的发展，人们对网络的需求与日俱增，如今这种需求涉及到很多的方面和领域，不仅在企业中有所体现，在日常生活中都与人们息息相关，本文全面的接受了云计算的一些基本架构，分析了云计算的一些概念和原理，初步了解云计算技术有一定的作用，作者水平有限，没能在云计算的硬件和软件上深入分析，希望这以后的生活中继续研究。
参考文献：
[1]罗军舟，金嘉晖，宋爱波.云计算：体系架构与关键技术[J].通信学报，2011（07）：3-21.
[2]张亚娟.云计算数据中心资源管理软件设计[J].无线互联科技，2014（04）：90+94.
[3]罗兴宇.浅析云计算数据中心的资源管理[J].计算机光盘软件与应用，2014（05）：40-41.
篇3
关键词：融合媒体；云平台；规划；设计
1 融合媒体环境下云平台的规划问题研究
在建立相应的融合媒体云平台之前，应率先明确如下问题，即：自建自有云平台抑或租赁现成公用云平台。在选取时，应将自身实际和未来产业发展形式紧密结合，我们应该明确的是，日后的媒体业务均将建立在云平台基础之上，但这只是一个结果，其实现需要经历较长时间，其发展程度主要取决于以下二个方面：第一，播放终端的IT、IP及智能化改进，之前的通过数字信号传输的设备将被IT设备取代；第二，随着IT产业的不断完善，尤其是以光纤宽带和计算能力为主的快速发展，导致电视视频制播业务面临高码率、高存储、高计算能力的需求。综上，在很长时间里，融合媒体技术的发展将呈现多种云平台并存的局面。即：
（1）媒体自建云平台。该平台主要指卫视自行建立的基于虚拟云计算技术上的云系统。该平台主要用于解决目前制播系统向云体系过渡的问题。
（2）媒体专用云平台。该平台主要是在硬件上租赁公有平台上的各种设备及相应服务，选用云计算技术进行管理。媒体专用云平台主要针对于互联网业务。
（3）公有云平台。所谓的公有云平台主要是阿里云、亚马逊等公司提供的公共计算资源服务。使用者可以自由地在公有云平台上上传和下载需要的各类资源，对于一些高级资源，公有云平台提供付费服务。在融合媒体云平台系统中，公有云平台主要是满足社会服务功能[1]。
2 融合媒体环境下云平台的设计实现问题研究
在涉及到融合媒体云平台的设计实现方面，其中ONAIR云平台是融合媒体平台的代表作之一。作为媒体性质较强的云平台，ONAIR将专业化音视频处理技术同世界领先的云计算平台以及遍布全国的CDN网络二者深度融合，从而提高了云平台对视频端播放的控制作用，拓展了其内容制作、内容播控及网络新媒体等功能。该平台在设计时，严格遵循专业化导向，通过云平台基础服务提供商解决设施问题。
2.1 融合媒体环境下云平台的基本架构形式
通过分析ONAIR云平台可知，IaaS平台能够支撑各种最基本的云计算服务和功能，比如前文所述的阿里云、亚马逊云等公共平台。中间分布的PaaS层可以细化为6层，具体为：中间层（OM）和搜索引擎层（OCSE），这两层的主要目的为配合不同云技术服务商的不同接口，实现对不同服务商的统一封装；接口层（ESB）该层的目的是为实现其他复杂流程提供基础，并实现与老旧系统的实时交互；基础服务层（OBSP）基础服务层主要为各种音视频文件提供各类服务，比如：后期编辑、播放等功能；运营服务层（OBSS）为整个云平台的正常运营提供服务，实现对服务的管理、收费及日志记录等功能，确保平台的盈利能力；位于拓扑图最上一层的API层，将平台所有的服务以API的方式封装成接口给软件开发人员及其他合作单位。对于融合媒体环境下的云平台而言，其基本架构ONAIR的SaaS服务功能主要是为了满足融合媒体环境下的各类服务，比如网络电台、微电台、新闻云更新及自媒体云更新等。随着互联网技术的不断发展，促使人类社会的认识发生了巨大的变革，日后的互联网技术将朝着合作、开放的方向发展，因此，ONAIR的架构设计就充分体现了这一观点[2]。
2.2 IaaS服务的功能介绍
为了提高融合媒体环境下的云平台ONAIR的基础服务能力，日前，ONAIR系统已经成功和阿里云服务实现对接。就对接的成果而言，所获得的价值非常丰硕。从资源和硬件支持角度看，阿里云在国内已经初步建立了5个核心计算服务中心，计算服务器数量已经突破20万台次，这种计算规模完全可以支持目前的融合媒体环境下的云平台计算服务水平，并且还可以支持其一定程度的扩张。其中，华通云数据拥有骨干网及遍布全国各地的CDN节点，借助这一显著优势，确保了ONAIR云平台系统能够将各类音视频实时发送到全国的任何一个角落。
2.3 PaaS服务的功能介绍
（1）云平台转码服务功能：云平台的转码一般选用较为常用的集群转码方式，集群转码能很好地解决大内存的视频转码效率。因为转码系统设置在云平台上，其云计算方式可以无线放大，从而实现对视频的高效转码。在具体的视频转码操作中，高清视频的转码能力可以达到10倍率左右。因此，对于操作用户而言，仅需要给出输入输出的文件格式、码率和需要达到的转码速度即可，其具体的转码操作均可由ONAIR云平台系统自动完成[2]。（2）视频快速编译功能：选用BS架构形式，BS架构的界面部分采用低码率视频用于打点、浏览等交互操作。交互式操作完毕后，可将其上交到云平台系统，进而实现视频源代码的快速编译，从而确保视频传输和共享的清晰度。（3）视频采集服务：目前已有的SDI信号经制定编码器切换为IP形式后，可以将其实时传输至云平台端，并及时保存，当文件播放时，可将文件转移到特定系统下或者直接下载至客户端。（4）视频播放功能：IP播放系统传输至云平台后，可经过视频服务器实现与CDN的交汇对接，将播放内容实时推送至客户端口，其中包含PC端、手机移动端及互联网电视等。其中视频直播服务支持各种码率和互联网流协议。
2.4 SaaS服务功能
（1）网络电视播放：网络电视播放功能集成了视频资源集中管理和服务（VMS）及相应的网站发送模式。通过云传输形式，在发送前确定好需要沟通和交换的资源，便可快速在云端开通虚拟机，实现虚拟机与原有系统的对接。以前传统的电台建立形式需要提前购置必要的电子设备，而现在使用云端传送的形式，只要每月上缴固定的费用，便可实现资源实时获取，在计费方式上，不同于以往的以时间为单位的缴纳形式，云端传送采用按量计费，计费方式更加人性化。（2）云端媒体资源整合：以往的媒体资源整合方式主要采用本地数据流磁带库从而实现对海量数据和文件的存储和管理，由于该设备很容易出现故障，因此o后续的正常使用和维修保养造成了巨大的困难。基于存储设备生产技术的不断发展和完善，受到市场供求关系的影响，存储设备的价格逐步下滑，通过云端处理的方式实现对海量数据和文件的存储，同之前方法相比，显示出极高的性价比和稳定性，数据传送和访问更加稳定可靠[1]。（3）云端新闻更新：采用云端实时更新的方式布置新闻媒体系统，提高了新闻的推送效率，可以快速将互联网上上传的新闻推送至指定新闻系统。新闻和相关文章被推送至云端上，新闻工作者可以直接取阅并修改，提高了以往新闻文稿的更新效率。（4）体育赛事的云端播放：之前的体育比赛前实况直播系统都集成在IBC中心，节目制作者必须在比赛实地才能实现对比赛的实况转播。而云端赛事直播系统，是将IBC系统集成在云端，经过云平台将视频资料传输至相关媒体机构做进一步的编辑并第一时间，这样一来，极大地提高了赛事的制作和播放效率，压缩了工作时间，降低了相关成本，方便了节目部门的使用。比如在2014年的青奥会中，IBC系统建立了12条子系统，借助50M宽带，实现了在短时间内将实况节目传输至云平台供客户端实时收看[2]。
3 结束语
综上所示，云计算相关技术是保证融合媒体下云平台建立的基础，随着互联网及云计算技术的不断完善，云计算及配套的云平台系统必将成为新闻媒体中的生力军，必将引领新一代的技术潮流。
参考文献
篇4
关键词：云计算；教育资源；共享平台
中图分类号：TP311.52 文献标识码：A 文章编号：1674-120X（2016）35-0113-02 收稿日期：2016-10-13
作者简介：朱 林（1981―），男，讲师，硕士，研究方向：软件工程、电子商务。
一、研究背景
现阶段，各大高校的教育资源共享方式比较单一，效率也较低下，教育资源共享的方式通常有FTP共享、教师下发资料、通过打印实现共享或通过 U 盘进行传输，随着时代的发展，这些资源共享的方式存在的弊端越来越明显。
二、基于云计算的教育资源共享平台设计
使用云计算构建教育资源共享平台可以解决以上弊端，该平台主要实现对教育资源的高效共享和安全存储。用户包括管理员、教师和学生，用户都可以上传和下载教育资源，管理员主要可以添加教师和学生信息，并对上传的资源进行审核通过；教师可以录入试题，批阅试卷；学生则可以在线测试，并在教师批阅试卷后进行查看。主要从以下几个方面考虑平台的设计：
1.云平台系统架构的设计
系统可以采用Apache VCL云平台进行基本架构的设计，软件架构使用目前软件开发常见的N层结构模型：表示层、业务逻辑层、数据访问层以及数据存储层。其中，表示层与用户息息相关，用于显示平台输出的数据以及系统接收用户输入的信息，为用户提供一个可以进行人机交互操作的平台；业务逻辑层是整个系统中的核心部分，主要功能在于系统业务规则的制订、业务流程的实现等与业务需求密切相关的系统功能，它应对的是系统的领域逻辑，其处于数据访问层与表示层之间，以弱耦合的结构在数据交换中起着桥接作用，在整体架构中的关键性不可忽视；数据访问层和数据存储层的功能比较纯粹，前者主要负责对数据库的访问，后者主要功能是进行文件的存取。
2.数据库的设计
任何一个软件系统都离不开数据库的支持，云平台也不例外。系统在当前的状况下运行，对于数据的储存，数据库基本上可以满足用户的需求，但考虑到业务系统的不断更新以及数据量的快速增加，平台在未来一段时间里在性能和易扩展性上的要求也会与日俱增。为此，根据云教育资源共享平台的现状和未来的发展，需要采用合理的、适应发展的存储架构，对数据存储与处理、扩展性、访问接口、调度策略等做相应的优化与改善，从而加强对各种数据资源的存储维护等行为操作。
3.角色及流程设计
在基于云计算的教育资源共享平台中，主要有三种用户角色，分别是系统管理员用户、教师用户以及学生用户。
（1）系统管理员是该系统的主要角色，在该系统中，系统管理员需要管理教师以及学生用户，可以创建教师与学生用户，还可以上传下载教育资源，对教育资源进行审核或删除，并添加课程信息，录入题库，添加题目。
（2）教师业务流程。
在该系统中，教师用户由管理员用户创建，需要从管理员处获取登录账号及密码，教师可以上传和下载教育资源，可以添加课程信息，录入题库，添加题目，新增试卷，录入试卷，并且在学生测试后，对学生的测试进行阅卷评分，注销退出。
（3）学生业务流程。
在该系统中，学生是主要使用者，学生用户也由系统管理员创建，因此也需要从管理员处获取登录账号和密码，登录后，学生可以上传和下载教育资源，并且在线测试课程，测试后提交试卷，由教师阅卷评分后公布成绩，学生可以查看课程测试的成绩。
三、云计算服务类型及开发框架选择
1.云计算服务类型
随着云计算技术越来越成熟，云计算的服务领域也越来越广泛，在广大领域中云计算的服务类型主要有以下三种：
（1）基础设施即服务。
消费者从一些完善的基础设施中获得相应的服务，其主要面向硬件需求的客户，用户只需要提供需要计算的数据。
（2）平台即服务。
将云平台作为服务模式，本系统的云计算即是云平台服务，需要用户自己写服务器，然后将所写的服务器部署到云平台上即可。用户也可以自己写云平台，在这里为了方便，直接将服务器部署到开源的云平台上。而本系统所选择的云平台为新浪云。
（3）软件即服务。
软件即服务，从字面意思理解，即通过软件的形式提供服务，在这种云计算服务中，用户并不需要购买软件，只需要向拥有软件的商家租用即可，通过租用的基于Web的软件管理经营的活动。
2.主流云平台
当前主流的云平台主要有阿里云、新浪云等。其中可以使用新浪提供的云平台开发本系统。在新浪云注册账号，然后进入新浪云服务，创建应用，在代码管理中上传自己的项目war包，下载新浪云的架包，然后将代码的war包上传到新浪云，并启动新浪云上的MySQL服务，配置相应的JDBC连接。
3.开发框架
本系统可以选择SSH框架进行开发，SSH框架由Spring，Struts，HibernateM成，其中Spring可以说是一个管理层，用来管理Struts和Hibernate之间的工作，Spring框架是一个轻量级的框架，主要有IOC和AOP两大机制。Struts是一个基于MVC模型的整合框架，即Model层、View层、Control层。因此Struts是用来做应用层，负责调用service层。Hibernate是系统的持久层，也可以说是数据访问层，它对JDBC调用数据库作了轻量级的封装，省去了大量的SQL语句。SSH框架是当前比较主流的Java Web框架。
四、系统构建关键点分析
（1）数据库设计是系统构建的重要组成部分。教育资源共享平台从总体上来说是属于教学管理类系统平台，在设计时，可以使用SQL Server数据库系统进行数据的存储管理。先要对系统的各个功能要有明确的定义，在此基础上设计出功能表，创建数据库。另外，必须明确表的有效属性，在建表初期，难免会有无用的属性，需经过反复的测试，只保留必要的属性，减少数据库的规模。
（2）对于需求的理解程度是系统的重点，需要分析平台设计背后所反映出来的供求关系，对资源的广度和效度进行深度挖掘，在基本要求和功能之上，创造尽可能多的创新点，并努力提高平台的安全性和效率。
（3）在具体功能都能实现的基础上优化页面的设计。页面如何布局是考虑的重要问题，既要体现美观大方，又要减少代码冗杂。不能一味地寻找网上的模板，必须对页面布局有足够的了解，才能省时省力，事半功倍。因此，用好HTML 5语言和JSP页面开发技术尤为重要。
篇5
【关键词】数据挖掘，Hadoop
1引言
1.1 数据挖掘技术概述
数据挖掘出现于 20 世纪 80 年代后期，90 年代有了突飞猛进的发展，并在进入 21 世纪后继续繁荣。随着科技的不断进步，在物联网、云计算、移动互联网等发展的推动下，数据发生了“大爆炸”，其规模呈几何级上升。如何将这些海量的、复杂的数据转化成人类可理解的、有用的知识，从而指导我们的决策正成为目前面临的重要的问题。
如今，随着云计算的出现和发展，数据挖掘技术迎来了新的机遇和挑战。现在的基于云计算的并行数据挖掘与服务的模式。数据挖掘的算法可以分布在多个节点上，并且这些算法之间是并行的。在进行数据挖掘的过程中，我们需要的资源会实现按需分配，具有很大的伸缩性。在分布式计算模型下，使用的是云计算模式。算法的实现采用 MapReduce 的方式，从而实现并行的要求。
1.2 Hadoop 框架
Hadoop是一个开源的分布式系统基础架构，由 Apache 基金会开发。Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多小部分，而每个部分都能在集群中的任意节点上执行或重新执行。此外，Hadoop还提供了分布式文件系统，用以存储所有计算节点的数据，这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计，使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据。现在普遍认为整个Apache Hadoop平台包括Hadoop内核、MapReduce、Hadoop分布式文件系统（HDFS）以及一些相关项目，有Apache Hive和Apache HBase等等。
2 Hadoop数据存储平台
2.1基本设计思想
我们的基本思想是：充分利用 Hadoop的集群特征，将数据挖掘系统中需要巨大计算能力的各个模块的计算和存储要求扩展到Hadoop集群中的各个节点上，利用集群的并行计算和存储能力来进行相关数据挖掘工作。系统采用MVC三层架构设计使结构更加清晰，系统易于扩展。在底层，使用 Hadoop来存储、分析和处理巨大的数据量，而在高层通过接口直接透明的调用底层的计算和存储能力。
在整个系统中，我们可以使用 HDFS 来存储文件和数据。HDFS 具有很高的数据吞吐量，并且很好的实现了容错机制。HDFS 提供了多种访问接口，包括 API以及各种操作命令。使用 HDFS，我们可以为原始的大数据集提供存储空间，对临时文件进行存储，为数据预处理、数据挖掘过程提供输入数据，同时输出数据我们也保存在 HDFS 中。系统整体架构如图1所示。
2.2系统结构模型
结合以上的基本设计思想以及典型的数据挖掘系统模型，采用分层的思想，自顶向下每层都透明的调用下层接口，最顶层为交互层，用于用户和系统之间的交互。最底层为分布式计算层，使用 HADOOP 来实现文件分布式存储和并行计算功能。使用分层，各层之间变得独立，易于系统的扩展。下面详细介绍我们得到的基于 HADOOP 的数据存储系统。如图2所示。
1、交互层
提供系统和用户之间的接口。通过提供具有良好表现形式的图形界面，使得用户可以登陆系统定制各种细粒度的业务，查看或者保存各种输出结果。
交互层具有的模块包括：
①用户管理模块：实现用户身份的识别以及相应权限的设置，同时也包括对用户登陆或者注销等常用的管理。
②业务展示模块：实现用户提交的各种业务，并对业务结果进行查看，分析和保存等功能。用来将系统的返回结果交付给用户。
2、业务应用层
提供了各种业务逻辑并实现了对各种业务流程的控制和调度。用户提交的业务在这一层被处理，控制和调度。
业务应用层具有的模块包括：
①用户界面：用户可以通过简单应用的操作界面工具，进行海量数据处理存储。
②业务响应模块：相应上层的业务模块，对完成业务所需的子业务进行调用、管理，并通过调用底层模块完成业务。
3、数据处理层
为业务应用层提供数据挖掘阶段业务流需要的各个模块，并且具有较细的粒度。如数据预处理，模式评估，数据挖掘等组件。这一层是整个系统的核心，在这一层，主要的任务在于实现各种任务过程中算法的并行化，并将任务提交到 Hadoop 分布计算层进行运算。并将结果返回给业务应用层。
数据处理层具有的模块包括：
①系统管理模块：对系统实现分布式管理。主要包括：负载平衡管理、系统日志管理、对象事务管理、系统远程部署管理等。
②数据加载模块：将挖掘所需的数据进行注册并放入系统的 HDFS 文件系统。
③数据存储模块：提供对海量数据的并行加载、处理和存储功能。将数据从其他外设中导入平台的HDFS；并行ETL 模块用来对HDFS中的原始数据进行处理得到存储数据；并行存储模块提供对处理后的数据进行存储.
④并行查询模块：提供对海量数据的并行查询、用户自定义事务处理等功能。
⑤备份恢复模块：提供对系统存储数据的备份管理、备份存储、备份恢复等功能，增强系统的安全
性和容错性。
⑥模式评估模块：Hadoop 框架自身提供了 HDFS，MapReduce 运行模式、运算环境以及自动管理。
4、分布式计算层
使用 HADOOP 框架来实现集群存储、计算。Hadoop 提供了分布式文件系统和并行的运行模式，同时实现了对分布式系统的管理。我们需要在此之上实现任务提交的 Server。
3总结
本文分析了对现阶段基于云计算平台实现的数据挖掘研究以及开源的集群框架Hadoop的研究现状作了分析。并在此基础上设计了基于Hadoop的数据存储系统的基本架构。采用以 Hadoop分布式平台作为基础，以 HDFS分布式文件系统和MapReduce 并行计算模型作为处理数据的方法。同时给出了系统的模型并简要介绍了各个功能模块。通过将数据挖掘技术与云计算时代下的集群框架 Hadoop结合起来，利用集群巨大的计算能力和存储能力，从而实现对超大规模数据挖掘的性能提升。
参考文献：
[1]维基百科 Apache Hadoop [EB/01] http：///wiki/Apache_Hadoop，2015
[2]Hadoop 技术 [EB/01] http：/// ，2010
[3]朱珠. 基于 Hadoop 的海量数据处理模型研究和应用[D].北京：北京邮电大学，2008.
[4]JeffreyDean， SanjayGhemawat. MapReduce： Symplified Data Processing on Large Clusters
[J].NewYork： ACM， 2008， 51（1）：107～113.
[5]韩家炜， 坎伯. 数据挖掘概念与技术[M]. 北京：机械工业出版社，2008.
[6]Dean J，Ghemawat S.MapReduce：Simplifier date processing on large munications of the ACM ，2008，51（1）：107-113
[7]B.Callaghan，B.Pawlowski，P. Staubach RFC 1813-NFS Version 3 Protocol Specification June 1995.
[8]Jeffrey Dean. Experiences with MapReduce， an abstraction for large-scale computation Proc.15th International Conference on Parallel Architectures and Compilation Techniques，2006：1.
[9]Yang Lai， Shi ZhongZhi. An Efficient Data Ming Framework on Hadoop using Java Persistence API. 2010 10th IEEE International Conference on Computer and Information Technology （CIT 2010）.
[10]Bhandarkar， M. MapReduce programming with apache Hadoop. Parallel & Distributed Processing （IPDPS）， 2010 IEEE International Symposium on， Atlanta， GA.
篇6
关键词：软件定义网络；架构；OpenFlow
中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）13-3071-03
当前，网络已经成为支撑现代社会发展以及技术进步的重要基础设施，它深深地改变了人们的生产、生活和学习方式；然而，传统网络架构越来越不能满足用户的需求，网络创新复杂困难。近年来，逐渐兴起的软件定义网络（SDN） 正试图打破这种僵局，它最终可能将取代现在不灵活且以硬件为中心的高速高性能多核处理网络。一旦实现软件定义网络，网络设备将配备软件开发套件和开放API，从而实现全新的网络应用程序。
1 软件定义网络（SDN）的概念
软件定义网络，又称为可编程网络，就是将网络设备配置平面从嵌入式节点独立出来到软件平台、由软件驱动的中央控制节点自动化控制的网络架构。软件定义网络以开放软件模式替代传统的基于嵌入系统的、不够灵活的控制平面。软件定义网络是新的网络控制平面实现方法，它适应了降低网络复杂度、虚拟化和云计算的网络需求。它的发展对专有控制平面技术产生的破坏性创新，将对网络变革产生巨大影响。控制平面和转发平面分离，转发平面特性专注而简单，减少了设备硬件，降低了成本。
2 软件定义网络架构分析
2.1 SDN架构的特点
SDN 架构分为三层，包括应用层、控制层和基础设施层。SDN 控制层是基于软件的控制器，负责维护全局网络视图，并且向上层应用提供用于实现网络服务的可编程接口；应用层运行在控制层之上，通过控制层提供的全局网络视图，控制应用程序可以把整个网络定义成为一个逻辑的交换机，同时，利用控制器提供的应用编程接口，网络人员能够灵活地编写多种网络应用，如路由、多播、安全、接入控制等；基础设施层位于控制层之下，通过控制数据平面接口与控制层相连，主要提供网络设备硬件。
同时，SDN在进行路径选择时更为灵活，从而为互联网业务的部署及网络优化创造了有利条件。传统路由协议能在一定程度上实现网络流量的负载均衡，因为这类路由协议在选择网络路径时，总是会尽量选择比较空闲的链路而避开拥堵的链路。这类协议的好处是能提高链路的利用率，其缺点是不易对互联网业务进行优先级管理。而SDN可以通过为业务流指派链路来方便地实现不同业务的优先级管理。
2.2 OpenFlow架构分析
这种控制和转发分离的架构对于L2交换设备而言，意味着MAC地址的学习由控制机来实现，V-LAN和基本的L3路由配置也由控制机下发给交换机。对于L3设备，各类IGP/EGP路由运行在控制机之上，控制机根据需要下发给相应的路由器。流表的下发可以是主动的，也可以是被动的，主动模式下，控制机将自己收集的流表信息主动下发给网络设备，随后网络设备可以直接根据流表进行转发；被动模式是指网络设备收到一个报文没有匹配的流查找表记录时，将该报文转发给控制机，由后者进行决策该如何转发，并下发相应的流表。被动模式的好处是网络设备无需维护全部的流表，只有当实际的流量产生时才向控制机获取流表记录并存储，当老化定时器超时后可以删除相应的流表，故可以大大节省空间。当一个控制机同时控制多个交换机/路由器设备时，它们看起来就像一个大的逻辑交换机，各个交换机/路由器硬件就如同这个逻辑网络设备的远程线卡。
3 软件定义网络应用分析
SDN 能够应用于多种网络环境，包括数据中心、企业网络、云计算等。
首先，在云计算时代，在数据中心网络环境中使用SDN，实现高弹性数据中心、优化物理资源利用率，让用户能整合各种计算、存储和网络资源，在数据中心内部，利用SDN 的优势，可以有效地进行数据中心的路径优化和负载均衡，提高数据中心资源利用率以及降低数据中心的能量消耗。另一方面，在多个数据中心之间利用SDN 网络虚拟化技术以及逻辑上集中式的控制技术，可以轻松地实现应用到虚拟专用网（VPN）的映射以及虚拟机的迁移，快速建立和运营虚拟数据中心。
其次，软件定义网络能简化大型企业网络的管理。在企业网络中利用SDN 技术，能够极大地减轻网络管理的复杂度，企业网络管理人员只需要通过定义整网的管理策略就能够直接对企业网络进行控制，而不需要进行逐个设备的配置，提高了企业网络的可靠性。
最后，软件定义网络能大大促进云计算的发展，因为软件定义网络技术大大简化了虚拟环境的资源分配。基于控制器的负载均衡应用程序能够利用控制器中关于各个网络设备的大量容量信息，自动地在虚拟机之间迁移工作负载。基于控制器的应用程序与部署在虚拟机上的虚拟网络服务设备很相似，但是与使用物理设备的常规模型相比，它们具有更高的可扩展性、灵活性、效率和可管理性。
4 结论
通过控制与转发的分离，软件定义网络能够降低网络管控的复杂度，提高网络的可靠性及安全性，提供多种粒度的网络控制。未来网络将越来越依赖于软件，软件定义网络这种新颖的、动态的网络架构将得到更广泛的应用，进而促进网络技术的不断创新应用。
参考文献：
篇7
关键词：云计算；Google；水利信息系统
中图分类号：TP3文献标识码：A文章编号：1007-9599 (2012) 06-0000-02
一、云计算
美国国家技术与标准局（NIST）是这样定义云计算的：云计算是对基于网络的、可配置的共享计算资源池能够方便地、按需地访问的一种模式。所谓的共享计算资源池包括网络、服务器、存储、应用和服务。这个共享计算资源池，就是我们所说的“云”[1]。
从云计算服务的封装方法上讲，云计算可以提供三种类型的服务：IaaS（Infrastructure as a Service，基础设施即服务）、PaaS（Platform as a service，平台即服务）和SaaS（Software as a Service，软件即服务）。
图1-1 云计算的服务类型
如图1-1所示，IaaS将虚拟化的计算资源直接按需提供给客户；PaaS在虚拟化的云计算平台上建立支持多种业务的应用平台，再将开发环境、运行环境提供给客户；SaaS在虚拟化的云计算平台上提供按需定制和快速部署的应用软件服务。
二、Google云计算的关键技术
Google云计算技术的关键技术包括：分布式文件系统GFS、分布式编程模型MapReduce和分布式数据库Bigtable等。其中，GFS提供了海量数据的高效存储和访问的能力，MapReduce提供了一种简单、高效的海量数据的并行处理方法，Bigtable为海量数据的组织和管理提供了方便。
（一）GFS
Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供高效的海量数据存储和访问能力，GFS的系统结构如图2-1[2]所示，GFS将整个系统的节点分为三种角色：Client（客户端）、Master（主服务器）和Chunk Server（数据块服务器）：
图2-1 GFS的系统结构
如图2-1所示，GFS系统为上层提供文件服务的过程是：Client首先访问Master节点，获得GFS分配的、将要为其服务的Chunk Server节点的信息，然后Client直接去访问这些Chunk Server以完成数据的存取。
GFS的这种设计思想实现了数据流和控制流的分离。首先，Client与Master节点之间只有控制流，而没有数据流，这就极大地降低了Master节点的负载；另外，Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使整个文件系统的I/O高度并行，系统的整体性能得以提高。
（二）MapReduce
MapReduce[3]是Google提出的一种提供海量数据处理的并行编程模型，用于对大规模的数据集（大于1TB）进行并行处理。MapReduce的核心思想是将需要运算的问题拆解成“Map（映射）”和“Reduce（化简）”这样两个简单的步骤来进行处理，用户只需要提供自己的编写的Map函数和Reduce函数就可以在系统上进行大规模的分布式数据处理。如图2-2所示，是MapReduce的运行模型，假设共有M个Map操作和R个Reduce操作。
（1）Map：一个Map操作就是对部分输入的原始数据进行指定的操作。每个Map操作都针对不同的原始数据，因此Map与Map之间是互相独立的，从而实现并行化的处理。
（2）Reduce：一个Reduce操作就是对每个Map所产生的一部分中间结果进行合并操作，每个Reduce所处理的Map中间结果是互不交叉的，所有Reduce产生的最终结果经过简单的连接就形成了完整的结果集，因此Reduce的执行也是并行化的。
图2-2 MapReduce的运行模型
具体地，在使用MapReduce开发并行处理程序时，用户需要编写以下两个函数：
（1）Map：(in_key，in_value){(keyj，valuej)|j=1…k}；
（2）Reduce：(key，[value1，…，valuem])(key，final_value)。
Map函数和Reduce函数的输入参数和输出结果根据具体应用的不同而不同。Map的输入参数是in_key和in_value，它表示了Map需要处理的原始数据。Map的输出结果是一组对，这是经过该Map操作后产生的中间结果。在进行Reduce操作之前，系统已经将所有Map产生的中间结果进行了分类处理，使得相同key对应的一系列value能够集合在一起提供给一个Reduce进行统一处理，则Reduce的输入参数就是（key，[value1，…，valuem]）。Reduce的工作就是对这些对应相同key的value值进行归并处理，最终形成（key，final_value）的结果。这样，一个Reduce就处理了一个key，所有Reduce的结果合并在一起就是问题的最终运算结果。上述过程中，无论是各个Map还是各个Reduce，都是并行执行的。
（三）Bigtable
Bigtable[5]是Google开发的，以GFS、MapReduce、Chubby为基础的分布式存储系统。
如图2-3所示，是Bigtable的基本架构。其中，Google WorkQueue是一个分布式的任务调度器，主要用来处理分布式系统的队列分组和任务调度。
图2-3 Bigtable基本架构
如图2-3所示，逻辑上，Bigtable主要由三个部分组成：客户端程序库（Client Library）、一个主服务器（Master Server）和多个子表服务器（Tablet Server）。客户端需要访问Bigtable的服务时，首先要使用其库函数执行Open()操作，通过Chubby打开一个锁（即获取文件目录），锁打开以后客户端就即可和子表服务器进行通信。
三、基于Google云计算的水利信息系统
（一）水利信息系统的特点
水利信息系统的业务管理范围较广，主要包括水雨情信息、汛旱灾情信息、水量水质信息、水环境信息等。系统规模较为庞大，各个模块之间存在着较大的信息关联性，同时要处理图形数据和常规数据，还需要保证海量数据的准确性和及时性。云计算作为一种新的技术提供了更高的效率、巨大的可扩展性和更快、更容易的软件开发。因此，水利信息系统需要云计算。
（二）基于Google云计算构建水利信息系统
基于Google云计算的水利信息系统总体框架包括物理资源层、虚拟化支持层、服务管理层、信息资源层、应用层、表现层六个层面，见图3-1，主要为政府、企业、公众提供服务。
图3-1基于Google云计算的水利信息系统总体框架
Google云计算关键技术在构建水利信息系统时可以从以下几个方面得以应用：
1.编程模型
MapReduce是Google开发的java、Python、C++编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算。严格的编程模型使云计算环境下的水利信息系统编程十分简单。
2.海量数据分布存储技术
水利信息系统数据量大，其存储由大量服务器组成，同时为大量用户服务，因此系统采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。在水利信息系统云计算系统中可采用GFS和Hadoop团队开发的GFS的开源实现HDFS。所有数据方面的通信都直接和块服务器联系，这大大提高了系统的效率，防止主服务器负载过重。
3.海量数据管理技术
水利信息系统需要对分布的、海量的数据进行处理、分析，因此，数据管理技术必需能够高效的管理大量的数据。因此在水利信息系统中的数据管理技术可以采用BT(BigTable)数据管理技术和Hadoop团队开发的开源数据管理模块HBase，提供灵活高效的服务。
4.虚拟化技术
在水利信息系统框架中的虚拟化支持层采用虚拟化技术实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。
5.云计算平台管理技术
基于云计算的水利信息系统资源规模庞大，服务器数量众多并分布在不同的地点，同时运行着数百种应用，Google云计算系统的平台管理技术能够使大量的服务器协同工作，方便的进行业务部署和开通，快速发现和恢复系统故障，通过自动化、智能化的手段实现大规模系统的可靠运营。
（三）基于Google云计算的水利信息系统的优势和不足
基于Google云计算的水利信息系统与传统水利信息系统相比有很多优点：
（1）成本低。由于应用程序在云中，故各终端电脑并不需要传统的桌面软件所要求的处理能力和硬盘空间。
（2）性能高和计算能力强。在云计算中，用户计算机的启和运行速度将会更快，因为他们只需将少量的程序和进程加载到内存中。云计算使用了数据副本容错、计算节点同构可互换等措施来保障服务的可靠性，使云计算比本地计算机更可靠。
（3）存储容量大和数据高效安全。所有数据存储在云中，容量比现有的台式机或笔记本电脑大很多。此外，云计算在一定程度上保持了数据的安全性。
（4）兼容性和群组织间的协作较强。云计算不针对特定的应用，在云的支撑下可以构造出各种应用，增强了多用户间的协作能力。
（5）扩展性强及用户使用方便。云的规模可以根据实际情况进行伸缩，满足用户和应用增长的需求。同时也消除了用户对特定设备的依赖。
由于云计算计算本身还有很多需要改进的问题，例如需要持久的网络连接。利用云计算，必须链接到因特网上才能利用自己的应用和文档，失效的网络连接就意味着用户在此期间内不能工作及访问云中的内容。一些因特网连接很少或本身不稳定的地区，也是可能影响云计算使用的决定性因素[6]。
参考文献：
[1]刘鹏.云计算[M].北京:电子工业出版社,2010
[2]Sanjay Ghemawat,Howard Gobioff,Shun-Tak Leung.The Google File System[A].SOSP'03[C].Bolton Landing,NY,USA: ACM,2003:29-43
[3]Jeffrey Dean,Sanjay Ghemawant.MapReduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113
[4]Mike Burrows.The Chubby lock service for loosely-coupled distributed systems[A].OSDI’06[C].CA,USA:USENIX Association Berkeley,2006:335-350
[5]Chang F,Dean J,Ghemawant S,et al.Bigtable:a distributed storage system for structured data[J].ACM Trans ComputSyst,2008,26(2):1-26
篇8
关键词:结构强度; 软件平台; 应力计算; 强度计算; CAESAM; StrenBox
中图分类号:U215;TB115文献标志码:A
Method and application of StrenBox-automatical calculation
software platform of structural strength
MU Quanchen1, LI Xiaopeng2, YU Hualong1
(1. Samtech S.A Beijing Representative Office, Beijing 100022, China;
2. Xi’an Aircraft Design & Research Academy, Xi’an 710089, China)
Abstract: To improve the efficiency and enhance the cooperativity and inheritance of structural strength calculation work, the automatical calculation platform of structural strength which is named as StrenBox is built up. Its theory and method is illustrated and the calculation process is shown through an industrial application example on part of an aircraft fuselage. Based on the present status of strength calculation, the further work on automatical calculation platform of structural strength is forecasted.
Key words: structural strength; software platform; stress calculation; strength calculation; CAESAM; StrenBox
收稿日期:2009-05-21
作者简介: 牟全臣(1968―),男,黑龙江哈尔滨人,博士,研究方向为有限元分析,(E-mail).cn
0引言
随着飞机等结构强度计算工作的深入,其工作量、效率和协作等问题得到越来越广泛的认识和关注,从客观上促进结构强度自动化计算平台的设想和构建. 在飞机和火箭的结构设计中,包括静强度、动强度、疲劳和损伤容限等强度设计过程,大体可分为应力计算和强度计算两部分工作. 前者根据结构的几何、材料和载荷等数据构筑有限元模型,并应用通用CAE软件计算结构的应力(内力)得到应力分析结果;后者用应力分析结果,根据结构实际工作状态,引用行业强度标准、规范和判据进行强度计算,得到计算结果,并据此得到结构强度的结论,完成强度校核工作. 近年来,应力分析工具得到长足发展,应力计算工作的效率明显提高,但由于需要结合各行业用户不同的方法和要求,具有很强的特殊性,强度计算工作的效率仍很受限制. 有经验表明,对机等复杂结构,强度计算在单一强度校核流程中所占的工作量比例在70%以上. 因此,构建结构强度自动化计算平台的首要目的就是通过行业用户特殊方法(包括行业标准、规范和判据等)的软件化,缩减强度计算的工作量,提高计算效率.
为适应大规模结构设计的要求,规范强度校核流程和加强设计人员间的协作成为当务之急. 这为强度计算平台的构建提供客观需求. 依靠结构强度自动化计算平台,有望从根本上解决长期困扰强度分析人员的任务管理、数据管理和版本控制等问题. 应该指出,该平台的建设是项复杂的系统工程,除框架的构建和完善外,更主要的任务是总结和集成用户数据和方法.对机结构而言,强度计算平台需要处理大量的材料特性、截面特性、载荷理论或实验数据,并且有针对性地研究静强度、复合材料、疲劳和损伤容限等分析方法.
在国际知名的结构强度自动化计算平台中,比较成熟和取得成功工业应用的是空客的ISAMI软件系统,它是比利时SAMTECH有限公司的CAESAM平台框架、空客的数据库以及空客方法库的有机集成平台. 伴随中国航空工业的快速发展,以大飞机等为标志的项目客观上迫切需要建立自主的强度计算平台以改善目前的强度分析流程、缩短设计周期、优化结构性能. 同样借助于CAESAM平台框架的StrenBox飞机结构强度自动化计算软件系统是SAMTECH公司与国内重要飞机设计研究机构合作的成果. 它汲取ISAMI系统的开发经验,结合国内的数据、方法和规范,形成完整的强度自动化校核体系. 该软件目前在某些型号的飞机上已得到初步应用,其有效性也得到初步证实. 随着开发和维护升级工作的深入展开,其全面推广和广泛应用指日可待.
1StrenBox平台
目前飞机结构应力计算多采用MSC Nastran进行,其应力计算模型为bdf文件,包含结构的单元、特性、材料和载荷等信息,输出为OP2文件,包含位移、内力和应力等信息;强度计算需要在StrenBox平台环境中进行,其模型(有时也称为广义应力模型(General Finite Element Model,GFEM))以czm文件格式存储,它除包含上述应力计算和结果的信息外,还要包含应力单元与结构单元(Structural Element, SE)的对应关系,工程特性(Engineering Object, EO)的截面和材料特性初值等信息.
应力计算模型和强度计算模型的关系见图1. 两者的区别可以概括为:(1)后者除包含应力计算模型的信息外还包含其结果信息;(2)1个SE可以对应1个或多个应力计算单元;(3)强度计算模型的EO包含如截面积、杨氏弹性模量和破坏强度等应力计算模型的EO,还应包含界面型材类型和参数,材料屈服参数及铆钉连接特性等必需的强度计算信息;(4)强度计算模型可以对应应力计算模型的全部或部分.
图 1应力计算模型和强度计算模型之间的关系
在完成应力计算模型和强度计算模型的建模后,可以构筑完整的强度设计流程,其过程见图2.
图 2基于StrenBox平台的结构强度设计流程
在整个流程中,有两个循环:(1)涉及细节结构参数修改的强度计算循环,也称为“小循环”;(2)涉及全局结构参数修改的应力计算循环,也称为“大循环”. 前者的前提假设是局部结构参数修改不影响整体内力分布,这已为工程实践所证实. 两种循环互相嵌套,可以实现结构强度的快速和多轮次计算,为基于强度的结构优化设计奠定基础. 从图2可知,StrenBox完成所有的强度计算循环工作,并通过应力模型自动修改功能,为“大循环”提供随时更新的有限元模型. 实际的应力计算可以在其他通用的有限元分析软件如MSC Nastran中进行.
作为软件,StrenBox的上述各项功能通过各个模块实现,子模块及功能框图见图3.
图 3StrenBox平台的模块及功能
在各个模块中,CAESAM界面环境提供用户操作的基本架构,SDK二次开发包提供在这个基本架构上实现用户化集成开发的工具.
鉴于强度计算模型的复杂性,建模模块提供手工和自动的强度计算模型生成功能,可以方便地由有限元模型和结果生成SE和EO等输入文件和czm格式的强度计算模型;建模模块还提供应力模型更新功能,这对实现图2中以应力重新计算为标志的“大循环”至关重要.
实现强度计算的重要前提是引入和调用强度判据,这是强度判据插件模块的功能. 目前StrenBox平台已集成金属材料机身和机(尾)翼结构的大部分静强度判据,包括破坏准则、屈曲失效准则和后屈曲失效准则等. 各准则中分别包含众多的针对长桁、腹板和框(翼肋)的特殊失效模式,如框弯曲破坏、长桁压损、腹板张力场失效和加筋壁板柱失稳失效等,共计50余种.
在进行强度计算时,需调用材料、截面特性、铆钉和曲线等库参数,这要用到数据库模块的功能. 目前,StrenBox已附加国内外大部分常用金属材料的力学性能数据,包括铝合金、钢和钛合金等,以及多种标准型材数据,包括“L”型材、“T”型材、“帽”型材等. 数据库模块还附加常用铆钉和螺栓等的力学特性,为连接结构分析提供数据. 在实际计算中会用到大量工程曲线,这些曲线构成曲线库,方便强度判据插件模块的随时调用. 另外,考虑到用户可能需要现有库参数以外的数据,或用户希望建立由常用参数构成自己的数据库系统,程序提供用户自定义数据库功能.
最后,为便于模型的统一和强度分析工作的协同,StrenBox平台还构建任务和数据管理系统,对强度计算工作在系统管理、任务管理、数据管理和版本控制等方面给出解决方案.
2StrenBox平台的应用实例
以某机身舱段为例介绍StrenBox进行强度计算的过程和实例.
2.1强度模型建模
进行强度分析的首要任务是生成强度计算模型,其过程见图4,大致为:选择和导入应力计算模型(有限元模型);选择生成强度计算单元的位置和类型;生成强度计算模型.
图 4强度计算模型生成过程
为方便后面的批量分析计算,可以针对不同部件或不同分析类型,定义不同单元分组,如普通框、长桁、壁板和地板等,可以基于以上分组进行以后的强度计算. 机身舱段模型分组见图5.图 5机身舱段模型分组
2.2强度计算
用强度计算模型,可以进行强度计算,其过程见图6.
图 6强度计算过程及界面操作
图 7加筋板单元
结构形式
强度计算的基本步骤可总结为:
(1)定义分析的单元或分组. 本例分析机身舱段的整个机身壁板,其SE为加筋板,见图7. 本例的计算单元共计452个.
(2)定义或修改材料、截面或铆钉等特性. 本例中,蒙皮材料采用2024-T3铝合金,长桁采用7075-T761铝合金,框截面采用“Z”型材,长桁截面采用“L”型材.
(3)定义分析类型,亦即强度判据. 本例对蒙皮加筋壁板结构进行柱失稳计算,因此采用“Column Buckling Failure for Stiffened Panel”的强度判据. 根据软件的帮助文档可以知道,该分析判据采用Johnson-Euler公式计算加筋板结构柱失稳失效的许用应力,对比实际工作应力,可以得到该失效模式实际结构的安全裕度. Johnson-Euler公式的形式为σc=σcrip-σ2crip4π2Estl′ρ2(4)定义载荷工况. 本例中考虑气动载荷、惯性载荷和结构载荷在内的21种载荷工况.
(4)执行分析计算. 本例分析计算时间为83 s.
2.3计算结果后处理
强度计算结束后就可以对计算结果进行处理和显示,得到用户需要的关键数据和结果. 后处理结果分为云图和表格两类,见图8. 云图可以显示工作应力,许用应力、安全裕度或其他计算参数的分布. 表格则可以显示所有单元针对不同载荷工况的各种计算结果,也可以汇总特定单元不同载荷工况的计算结果.
图 8结果后处理:表格和云图
2.4报告生成
根据强度计算结果,可以汇总成强度计算报告. 在形成报告之前,需要用户提供报告模板,以定义首页、扉页、目录以及各个章节的格式和要求,StrenBox可以方便地提供在这些格式的框架内附加文字内容、图片和表格的功能,见图9.
图 9报告模板和形式
2.5应力模型更新
在强度计算之后,用户可对结构的安全性、可靠性和经济性进行评估,根据评估结果决定设计参数更改和优化设计方案. 如前所述,如果更改参数数量积累到一定程度,需更改有限元模型并重新进行应力计算. StrenBox提供汇总模型参数更改内容,并最终自动更新应力计算模型(有限元模型)的功能,并对更改情况进行有效的监测和跟踪,见图10.图 10应力模型更新和其版本控制
3进一步工作
应该指出,鉴于强度分析工作的复杂性,StrenBox强度自动化计算平台目前完成的是基础框架性工作和针对金属杆板结构的静强度计算,所以功能的拓展和完善将是一项长期的工作,需要持续不断的努力. 目前可预测的进一步工作包括:将批处理功能用于强度计算过程,以加快强度计算循环效率;气动网格与有限元网格的自动匹配;单位载荷方法计算结构的静强度;通过子单元和子结构方法实现接头或开口等局部细节模型与整个机身(或机翼)结构的整体模型的融合和互相驱动;任务和项目管理的进一步实用化;复合材料结构分析;疲劳和损伤容限分析等.
篇9
关键词：CAPWAP协议；系统架构；平台搭建；测试结果；网络性能
中图分类号： TP393.04
文献标志码：A
Abstract：
In view of maintenance difficulties and high cost in largescale development of Wireless Local Access Network （WLAN）， the Control and Provisioning of Wireless Access Points （CAPWAP） protocol that applied to communication between Access Controller （AC） and Wireless Terminator Point （WTP） was researched and implemented. In Linux environment， main features were realized， such as state machine management， and WTP centralized configuration. A platform of WLAN centralized management system based on local Medium Access Control （MAC） framework was built up. Wireshark capture tool， Chariot and Iperf were used to test the platform. The capture test results verify the feasibility of the framework， and the results of throughput and User Datagram Protocol （UDP） test also show that network performance is efficient and stable.
Key words： Control and Provisioning of Wireless Access Points （CAPWAP） protocol； system architecture； platform construction； testing result； network performance
0引言
随着通信技术的发展和智能化技术的推进，人们对移动网络的依赖性提高，大规模部署无线局域网（Wireless Local Access Network， WLAN）将成为必然趋势。发展初期，传统的WLAN中“胖”接入点（Access Point， AP）集成度高，对硬件要求也高，后期维护的弊端凸显。随之，集中管理式的WLAN架构成为了研究热点。集中式WLAN架构中的无线终端（Wireless Terminator Point， WTP）通过接入控制器（Access Controller， AC）进行统一配置管理，把用户流量进行桥接、转发和加密，提高了WLAN的性能。文献[1]详细分析了CAPWAP（Control and Provisioning of Wireless Access Points）协议的基本原理和架构，搭建简单的实验平台，对WLAN网络中负载均衡等性能进行测试；文献[2]中将CAPWAP协议应用于某一通信设备上，实现了轻型接入点协议（LightWeight Access Point Protocol， LWAPP）协议和CAPWAP协议兼容，构建报文分片攻击模型；文献[3]中搭建了数据隧道和控制隧道以实现一体化交换机管理和控制无线终端；文献[4]中设计了CAPWAP客户端的多线程信息采集和上报的方案，以实现无线接入点的管理。
本文基于CAPWAP协议的研究的基础上，在Linux操作系统下实现了CAPWAP协议的本地转发架构的WLAN集中管理系统并进行了测试，测试结果验证了其正确性与可靠性。
1CAPWAP协议
Internet工程任务组（Internet Engineering Task Force， IETF）在2005年成立了CAPWAP工作组标准化WTP和AC间的隧道协议。2009年4月，了描述CAPWAP协议的RFC 5415（Request For Comments 5415）[5]文件以及只支持CAPWAP协议的Binding协议文件（RFC 5416）[6]。
1.1功能概述
CAPWAP协议的基本功能可以分为4大模块：
1）状态机管理模块。解析状态机事件，实现状态迁移和驱动，以及状态机管理。
2）报文管理模块。实现AC与WTP和STA之间传递的报文的解析与转发。
3）分片重组模块。对超过最大传输单元（Maximum Transmission Unit， MTU）的长度的报文进行分片，对收到的分片进行重组。
4）隧道保活模块。快速检测对端是否运行正常，控制通道是否顺畅，依靠Echo进行保活。
1.2系统架构
CAPWAP协议有两种模式：分离MAC（Medium Access Control）和本地MAC[1]11-12，[7]。
1）分离MAC（Split MAC）。分离模式下所有二层的无线数据和管理帧都会被CAPWAP协议封装变成802.3类型的数据，首先在WTP端在无线帧前面加上802.3帧，然后在隧道中传输过程时再加上CAPWAP头。
2）本地MAC（Local MAC）。本地转发模式允许数据帧可以用本地桥或者使用802.3的帧形式用隧道转发。如果是本地桥转发，STA传过来的业务数据不经过AC处理直接转发出去，AC只处理控制数据。
Local MAC与Split MAC主要的区别在于对无线帧的处理，根据802.11协议定义，802.11无线帧分为控制帧、管理帧和数据帧。控制帧在Local MAC和Split MAC架构下都是在WTP端进行处理；管理帧，Local MAC架构下在WTP或者AC端处理，Split MAC架构下将其中实时部分放在WTP端处理，非实时部分放在AC端进行处理；数据帧，Local MAC架构下在WTP转变为802.3帧进行传输，Split MAC架构下，802.11数据帧透传至AC端进行处理。
5结语
本文介绍了CAPWAP协议两种系统架构的不同之处，提出了实现CAPWAP协议的基本架构，最后具体给出了实现平台的搭建步骤，并测试实现平台。Wireshark软件的抓包结果不仅证实了系统实现的正确性，而且对CAPWAP协议中报文管理和状态机的管理两部分功能提供了依据；另一方面通过Chariot软件和Iperf软件测试了ACAP架构下无线网络吞吐量等性能，结果显示搭建的平台性能高效稳定。
参考文献：
[1]BERNASCHI M， CACACE F， IANNELLO G， et al. OpenCAPWAP： an open source CAPWAP implementation for the management and configuration of WiFi hotspots [J]. Computer Networks， 2009， 53（2）： 217-230.
[2]NIE Y. Research on CAPWAP protocol system implementation technology [D]. Wuhan： Huazhong University of Science and Technology， 2011.（聂勇.CAPWAP协议系统实现技术研究[D].武汉：华中科技大学，2011.）
[3]ZHANG G. CAPWAP protocol and its application in integrated switch [D]. Xian： Xidian University， 2009.（张弓长.CAPWAP协议及其在有线无线一体化交换机中的应用[D].西安：西安电子科技大学，2009.）
[4]GUO Z. Design and implementation of wireless access point extensions based on CAPWAP protocol [D]. Xian： Xidian University， 2011.（郭子明.基于CAPWAP协议的无线接入点扩展的设计与实现[D].西安：西安电子科技大学，2011.）
[5]CALHOUN P， MONTEMURRO M， STANLEY D. RFC 5415， Control And Provisioning of Wireless Access Points （CAPWAP） protocol specification [S]. Fremont， CA： IETF， 2009.
[6]CALHOUN P， MONTEMURRO M， STANLEY D. RFC 5416， CAPWAP protocol binding for IEEE 802.11 [S]. Fremont， CA： IETF， 2009.
[7]China Mobile Communications Corporation. China mobile WLAN ACAP interface interoperability test specifications： basic protocol volume （Version： 1.0.5） [M]. Beijing： China Mobile Communications Corporation， 2011.（中国移动通信集团公司.中国移动WLAN ACAP接口互通测试规范（基本协议分册）（版本号：1.0.5）[M].北京：中国移动通信集团公司，2011.）
[8]RESCORLA E， MODADUGU N. RFC 4347， datagram transport layer security [S]. Fremont， CA： IETF， 2006.
[9]LIANG W， DONG P， ZHANG H. Research and implementation of centralized management and configuration based on CAPWAP [J]. Compute Technology and Development， 2011， 22（11）： 69-72.（梁文波，董平，张宏科.基于CAPWAP 的集中配置管理机制的研究与实现[J].计算机技术与发展，2012，22（11）：69-72.）
[10]HUANG J， DAI Q， JIANG W. Implementation of centralized WLAN based on CAPWAP [J]. Mobile Communications， 2011， 35（8）： 68-72.（黄军记，戴青云，姜文超.基于CAPWAP的集中式WLAN实现[J].移动通信，2011，35（8）：68-72.）
[11]HUANG J. Improvement and implement the CAPWAP protocol on the fit AP system [D]. Guangzhou： Guangdong University of Technology， 2011.（黄军记.瘦AP系统中CAPWAP协议的改进与实现[D].广州：广东工业大学， 2011.）
[12]BERNASCHI M， CACACE F， DAVOLI A， et al. A CAPWAPbased solution for frequency planning in large scale networks of WiFi hotspots [J]. Computer Communications， 2011， 34（11）： 1283-1293.
[13]XIANG W， WANG Z， GAO C. Communication protocol of centralized WLAN architecture [J]. Computer Engineering， 2008， 34（22）： 115-117.（向望，王志伟，高传善.集中式WLAN体系结构通信协议[J].计算机工程，2008，34（22）：115-117.）
篇10
关键词：云存储；Hadoop；分布式存储
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（20015）02-0003-03
Abstract：Google launched "Google101 program" in 2006. This is when truly specific concept of the "cloud" and related theories appear.Many companies have launched their own cloud platform. Facing the possibility of upcoming massive data of the library，cloud storage can linearly extend inactive data mass. This paper firstly outlines the basic architecture of the cloud platform， and introduces Hadoop distributed storage technology ， then a program for the cloud storage in small files is designed.Finally a summary and recommendations for future improvements are put forward.
Key words： cloud storage； Hadoop；distributed storage
目前随着移动设备和无线网络的迅速普及，在移动互联网上创建虚拟3D世界变得非常流行，已成为一个新兴数字媒体产业，并显现出巨大的市场潜力和光明的产业化前景。同样，为了推动这一产业的发展，那么集合大量的Web3D素材是极其有必要的。但是，由于Web3D素材的特性，不可避免的包含大量贴图，从而其数据大小不同于文字和普通的图片，级别普遍在十几兆到数十兆之间。随之而来的就是数据的存储和管理问题，存储方面，目前行业中的素材数量没有具体统计，但粗略估算在千万量级甚至以上。数据量庞大，以及数据传输效率的要求，云存储系统是最合适的解决方案。
1 云平台的基础架构
云计算涉及在现有网络上进行分布式计算，借此用户的程序或应用可以同时在一台或多台连接到这个网络的计算机上运行。一个或一组物理存在的计算机通过互联网（Internet）、内网（Intranet）、局域网（local area network）或者广域网（wide area network）连接到一起，作为一个整体以服务器的形式呈现给外界，这样的形式就是云计算的具体表现。任何有权限访问这个服务器的用户可以使用它的计算能力来运行应用、存储数据或者执行其他任务。
云计算服务的模式主要有三种：基础设施即服务（Infrastructure-as-a-Service， IaaS），平台即服务（Platform-as-a-Service，PaaS）和软件即服务（Software-as-a-Service，SaaS）。其逻辑上的关系见图1。
IaaS，基础设施即服务是最基本的云服务模型，主要功能是将计算机偏底层的资源作为服务提供给用户，其中主要是提供计算机服务，可以根据用户的性能需求进行相应的配置调整，如CPU核数，内存大小，硬盘容量等等。用户通过互联网从这些集群设备中去申请服务。
PaaS是把计算平台（Computing Platform）作为一种服务提供的商业模式。其中，计算平台主要包括操作系统，程序语言执行环境，数据库，Web服务器等平台级产品。
SaaS模型的服务是将应用软件作为服务提供给用户。在这个模型中，运行应用软件所需要的软硬件资源皆由SaaS的提供商管理、维护。
云平台是用来提供各种云计算服务的平台。用户可以在云平台上购买、使用云计算服务，方便用户组合使用云计算服务以达成用户的目标。国外较为知名并具有代表性的有谷歌的云计算平台（Google Cloud Platform），IBM的“智慧云”计算平台（SmartCloud）和Amazon的弹性计算云（Elastic Compute Cloud）。国内也开始推出自己的云平台，比较大的有百度云平台和阿里云平台，为客户提供各类云服务。
2 分布式存储系统Hadoop介绍
Hadoop作为分布式存储系统的典范，是一个能够对大量数据进行分布式处理的软件框架，具有高容错性和高扩展性等优点，允许用户将Hadoop部署到价格低廉的服务器上，实现了将一项任务分发到由多台机器组成的集群上，并有一系列的高容错机制支撑。在具体实现时，开发人员直接搭建，实现整个云平台的管理，而又不需要知道内部机制，这种智能化便捷化的分布式集群对开发人员技术的要求门槛较低。
Hadoop与GoogleGFS几乎一致，因为Hadoop就是根据GFS创造的，包含HDFS、MapReduce、HBase。
2.1 HDFS
HDFS最上层是一个NameNode，下面有许多DataNode，关系像Master和slave一样，所以有时候也称NameNode为Master，DataNode为slave。NameNode对管理文件系统的元数据进行管理。DataNode中存储实际的文件数据。客户端和NameNode进行通信，获取到文件的元数据后，然后直接和DataNode进行文件的I/O操作。
HDFS最常见的部署方法就是将NameNode部署在一台专门的服务器上，在集群中的其他机器上运行一个或多个DataNode；同时也可以在NameNode所在的服务器上运行一个或多个DataNode。采用一个NameNode使整个系统的架构非常简单。
NameNode中会记录HDFS中元数据的变化，采用的是EditLog形式记录。NameNode中使用FsImage来存储文件系统的命名空间，命名空间包括文件与块之间的映射，文件本身的属性等。EditLog和FsImage都存储在Namenode上。
HDFS中为了维持系统的稳定性，还设立了第二个NameNode节点，称作Secondary NameNode节点，它会辅助NameNode处理FsImage和EditLog。NameNode启动时会将EditLog和FsImge合并，而Secondary NameNode会周期性地从NameNode上去复制这些FsImage和EditLog到临时目录中，合并生成新的FsImage后再重新上传到 NameNode，这样当NameNode宕机后，Secondary NameNode还可以继续工作，所保存的FsImage信息还存在。
2.2 HBase
HBase系统在架构层面由一个Master和多个RegionServer组成。如图2所示。
其中，每个RegionServer对应集群中的一个节点，一个RegionServer负责管理多个Region。一张表上有很多数据，每个Region只是一张表上的部分数据，所以在HBase中的一张表可能会需要很多个Region来存储其数据。HBase在对Region进行管理的过程中，会给针对每一个Region划定一个范围，也就是Row Key的一个区间，在这个特定的区间内的数据就交给特定的Region，这样能够保证负载相对均衡，能够分摊到各个节点之上，这也是分布式的特点。此外，HBase也会自动地调节Region所在的位置。如果一个RegionServer变得比较活跃，使用的比较频繁，HBase会把 Region转移到不是很忙的节点，如此集群环境可以被合理使用。
Table在行的方向上划分成多个Region，Region是按照空间来划分的，最初建立Table时，Table内的Region数量只有一个，随着系统的投入使用，Table内开始被不断的插入数据，Region内会不断的存入数据，当数据量达到某个特定的阀值，Region就会等分，变成两个Region。Table是面向列的数据库，行数会不断的增加，HRegion数量也会不断增多。在HBase中，分布式存储的最小单元是HRegion，但是一个HRegion内又有一个或多个store构成。如图3所示：
3 基于HBase的Web3D素材存储设计
3.1 存储系统的整体设计
由于素材本身数据的属性，比如名称、别名、文件类型等，这些信息存储在MySQL中，同时为素材分配一个ID，在HBase存储这个ID信息和一些简单的关系稀疏的文件属性。如图4所示：
3.2 小型素材文件在HDFS上的存储
系统素材文件[19]本身存储在由HBase管理的HDFS中，而HDFS是专门为了大数据存储而设计的，针对Web3D素材普遍是小文件的情况，就采用将素材文件进行合并，形成一个个大文件，然后将这些大文件存储到HDFS中的做法实现小文件的存储。
将素材文件合并后，我们不仅仅是存储进系统，平台本身还需要随时查询这些小文件，所以我们必须建立素材小文件与合并后的块的对应关系。我们在文件名中标注合并后的大块的ID以及块内的偏移量加上文件块内的长度来标记这个文件。
假设素材文件大小为2M，默认的一个块的大小为64M。首先Master会在集群内找到一个空余剩余超过2M的块。假设块的ID为1234，且已经存储了32M的数据，块内的偏移量是通过页来记录的，一页的大小为16k，那么目前32x1024/16=2048，那么素材存储的位置就是从2049开始的，并且2M大小的数据占空间为128页，那么该素材文件标记为（1234，2049，128）。
但是HDFS中的Master部分并没有关于文件和块的映射关系，我们需要在Master中设计这样的查询功能，新系统的架构图如图4所示：
当客户端想要读取某个素材文件时，首先从NameNode中的查询模块，从而获得素材文件与块之间的映射信息。
4 结束语
本文部署了Hadoop集群作为系统的分布式云存储平台，将用户的资料等结构化数据存储在MySQL中，并在MySQL中存储部分关联性强的素材元数据，并且指定ID。将素材本身存入Hadoop集群中，通过小文件打包的形式，改善了Hadoop集群中不适合存储小文件的情况。但是关于系统文件打包机制，存储后的删除问题，仅仅从MySQL中删除了素材文件的源信息，实际的文件还部分残留在系统中，这一点应该对文件与块的关系上继续深化研究下去。
参考文献：
[1] Bhardwaj Sushil， Leena Jain， Sandeep Jain. Cloud computing： A study of infrastructure as a service （IAAS）[J]. International Journal of engineering and information Technology， 2010（2.1）： 60-63.
[2] Vaquero， Luis M. A break in the clouds： towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review， 2008，39（1）： 50-55.
[3] Cloud， Amazon Elastic Compute. Amazon web services[J]. Retrieved November， 2011（9）： 2011.
[4] 黄贤立. NoSQL非关系型数据库的发展及应用初探[J]. 福建电脑， 2010（7）： 30.
[5] 黄晓云. 基于HDFS的云存储服务系统研究[D]. 大连： 大连海事大学. 2010.
[6] 余思， 桂小林， 黄汝维. 一种提高云存储中小文件存储效率的方法[J]. 西安交通大学学报：自然科学版， 2011（6）： 59-63.
[7] MACKEY G， SEHRI S， WANG Jua. Improving metadata management for small files in HDFS[C]. 2010.
[8] 肖桐. 应用于海量数据处理分析的云计算平台搭建研究[D]. 天津： 天津科技大学， 2013.