云计算技术在计算机数据处理的应用

导语：云计算技术在计算机数据处理的应用一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

摘要：大数据及云计算信息技术的不断发展，使得不同行业都开始借助于云服务器、后台数据库，进行网络海量数据资源的虚拟化处理、分布式计算、并行计算处理，以实现对多源数据的高效搜集、统计处理与存储。该文从云计算的Hadoop架构、SOA服务体系、数据挖掘、分布式计算和HDFS存储等技术着手，探讨将多种云计算技术，应用到海量数据信息处理中的实施策略，来为网络大数据服务系统的正常运转提供保障。

关键词：云计算技术；计算机；数据处理；应用

移动互联时代下的数据处理，面临着数据信息的海量化、实时化、低质化，如何对多种网络数据资源进行快速筛选、及时处理与分类存储，成为各企业网络数据信息传输、业务处理的主要困境。因而引入大数据及云计算技术，依托云服务器、数据中心交换机、后台数据库等硬件设备，对广域网或局域网内的数据资源，进行采集、处理、分析与存储，将数据处理结果发送至客户终端设备进行显示，实现对计算机数据的实时掌控与应用。

1云计算技术的主要内容及其与计算机数据处理的关联性

1.1大数据及云计算技术的内容概述

“云计算”是美国国家标准与技术研究院提出的概念，其作为一种分布式计算技术，主要根据不同客户的数据资源处理需求，通过网络“云”将巨大的数据计算处理任务，分解为一个个小的数据计算任务，在多个后台服务器上进行数据处理、分析的工作执行。特别随着虚拟化技术、并行计算技术的快速发展，网络云计算平台也开始将多种软硬件虚拟化，包括网络通信接口、服务器、存储模块等的虚拟化。之后利用虚拟化计算机，进行虚拟系统多个主节点、从节点的任务分配，来完成数据资源的配置、处理与存储工作。因而现阶段云计算技术基础架构，通常由SOA服务体系、物理资源层、资源虚拟化层、用户与映像管理层等层级组成，具体如图1所示。图1云计算技术基础架构1）SOA服务体系层。SOA服务架构主要为不同应用程序的功能服务，提供相应的网络通信协议、服务接口，通常包含服务接口、服务注册、服务查找、服务访问、服务工作流等组件。根据网络应用组件的粗粒度、调用需求，对多个分布式的服务模块进行封装，再通过相应面向对象的定义接口，提供客户需要的Web服务。2）映像管理层。映像管理层是对不同客户权限请求、虚拟资源管理的层级，包含用户管理、映像管理、资源管理等安全管理等内置组件。其中用户管理负责对用户访问权限、数据处理请求等进行管理，映像管理层则用于任务映像建立、映像排布与映像库管理，控制后台服务器端、客户终端之间的映像周期。而虚拟资源管理，主要是对虚拟计算机负载状况的监测、统计，以保障数据资源处理过程中的虚拟机负载均衡。3）资源虚拟化层。资源虚拟化层是在物理资源层的基础上，依托网络计算机、存储器和数据库等硬件，构建起存储资源池、计算资源池、数据资源池等虚拟模块，为后台服务器中硬件资源的虚拟化提供支持。而硬件资源虚拟化层，在收到客户端数据处理的任务请求后，会向其分配相对应的数据在云计算基础架构中间的任务管理层，会在收到用户相应的任务请求后，将与之匹配的虚拟资源。

1.2云计算技术与计算机数据处理的关联性

网络大数据信息传输环境下，不同企业局域网内的海量计算机数据处理，通常具有数据资源海量化、多元化与低质化的特征，且各种数据之间存在着紧密的关联性。因而如何对不同网络平台的计算机数据、业务服务等，进行更为实时高效的采集、分类、预处理、处理分析与存储，成为计算机数据处理系统面临的主要难题。而云计算作为一种分布式计算、数据分类管理技术，其通常可以借助于云计算管理平台、Hadoop分布式架构、后台服务器等软硬件，在计算机任务请求访问控制、数据资源共享，以及数据信息搜集、分析、处理与存储过程中，负责多种虚拟化资源的配置、数据任务分配、信息处理工作。通常云计算数据信息处理平台，包括平台即服务、软件即服务、基础架构即服务等服务类型，其中基础架构层为云计算平台的最底层，包含大量的云服务器、存储器、后台数据库等硬件。而Hadoop分布式数据处理架构，存在于平台即服务层级，主要负责明细数据的汇总(Collect)、(Map)、归约(Reduce)，对某一类型某一数据进行规则映射、归约服务，并动态分配虚拟主机主节点、从节点的处理任务。最后，软件即服务层级，则为面向软件开发的服务类型，通过不同主节点中虚拟化运算模块的分配，对相关的计算机数据处理任务，做出按需匹配。来为客户终端的Web远程访问、数据资源处理与控制管理的工作提供支持。

2计算机数据处理中的云计算关键技术

2.1数据挖掘技术

数据挖掘技术是从大量网络数据资源中，快速找到自身需要的有效数据信息的技术，这一技术是对网络原有数据资源的深度加工与开发。当下对于局域网中计算机数据信息处理，通常围绕海量化、复杂程度高、关联性差的数据资源，对其中存在的有价值、关联性数据内容进行挖掘，包括数据收集、数据预处理、数据清洗、数据变换、数据挖掘等执行流程，通过数据挖掘技术强大的运算、筛选、整合能力，才能从庞大的数据库中寻找到有用数据资源，将其提取至相应的数据仓库库来完成存储管理。这里数据挖掘的预处理技术，主要采取均值法、平滑法和预测法等方式，对网络中错误率、冗余度、重复率高的数据信息，进行空值、噪声等的主动过滤处理。如采用均值法的数据挖掘预处理技术，其计算公式为Ci＝(i-1)∑(i-k)Cj|K，是对数据所有已知属性的均值作出处理，然后按照既定规律进行数据排布，，整理出的数据处理结果最接近于真实情况。

2.2分布式计算技术

分布式计算包括Agent技术、Webservice技术和中间件技术等，主要将步骤复杂的数据处理问题，分解为若干个并行处理应用服务，在计算机虚拟化硬件资源中，完成多种数据资源处理任务的执行工作。这一虚拟化系统的联合信息处理过程中，通常存在多个节点，不同节点负责不同分布式任务分配、资源调度活动，可以将单个任务的数据处理分配给多个虚拟机，对于数据批量处理的效率较高，往往被用于多线程的数据信息处理执行中。

2.3HDFS存储技术

HDFS云计算数据存储文件系统，是以分布式形式对数据进行存储，该系统囊括多种数据管理节点、存储节点。其中HDFS框架的中心服务器为Namenode，在客户端的数据文件访问过程中，主要通过Namenode管理系统对数据信息做出访问控制。而且HDFS云计算存储系统底层，会自动分割已创建的目录文件，生成便于存储的Block数据文件，来完成对不同数据资源的处理与存储。

3云计算技术在计算机数据处理中的应用流程研究

3.1数据采集

基于云计算技术的海量数据处理系统，通常包含数据采集、数据判比、数据读取、数据分析、信息互通等模块，具体组成架构如图2所示。其中数据信息采集模块，主要用于局域网内海量的计算机数据信息、文档信息采集。当前在不同企业数据资源采集方面，通常涉及财务数据、产品数据、经营数据、商贸数据、销售数据等，对于大量临时文件信息、文档信息或日志信息的采集，要保证信息来源的准确性。

3.2数据处理

在完成数据信息采集后，对网络计算机一周内存在的数据资源进行处理，设置时间系数为Q、负荷系数为W、缓存系数为E。以企业财务数据信息的搜集与处理为例，当海量数据资源上传至云服务平台后，其在虚拟化资源池中的处理时长，分别设定为一、二、三的时间等级，依次对应时间系数Q的A1、A2和A3预设值。而虚拟化硬件设施在不同工作时长下，分别对应的负载系数W，依次为B1、B2和B3；云计算平台的数据资源缓存量，也分为高量级、中量级和低量级，分别对应着缓存系数E的C1、C2和C3预设值。之后根据不同等级，依次设置不同数据处理过程中，虚拟化资源池使用程度的权重，分配预设值q、w和e，且q﹤w﹤e。则利用云计算服务平台的数据处理公式为：R=Q·q+W·w+E·e再将以上数据处理后的结果，传输至数据判比模块。判定云计算数据处理的系数R，与预设值r之间比较情况。在满足R≧r情况下，生成云计算任务处理的过度使用信号，否则生成正常使用信号，并将最终信号传输至数据分析模块。

3.3虚拟化资源任务调度

整个云计算任务调度的流程，需要将m个任务Task，调度到n个Resources进行任务执行。由于云计算数据处理的动态异构性，在NP-hard目标函数下的虚拟化资源任务调度。只能得到约束条件内的最优解。设置任务执行时间为TET(TaskExecutionTime)，则第i个任务在第j个资源中的执行时间为：ETC(i,j)=starttime(j)+TET(i,j)。所有数据处理任务在虚拟化资源集合Resources中的完成总时间为：T=Min{C1，C2，C3...Ci}。

3.4数据分析

当控制器接收到数据分析模块的传输信号后，控制器与指示灯之间形成通信，控制指示灯开始闪烁。从控制读取模块中，提取出一周内数据信息处理，存在的云服务器、存储器、后台数据库等硬件占用率，依次标定为Ti、Yi和Ui。最后，将不同硬件占用率的平均变化量值，与虚拟化资源分配的预设值t、y和u进行比较，得出数据处理过程中，非常客观准确的云计算平台使用程度结果。

参考文献：

[1]陈栋栋.云计算技术在计算机数据处理中的应用与发展对策探究[J].现代信息科技,,3(18):-.

[2]杨洋.云计算技术在计算机数据处理中的应用[J].数字通信世界,():.

[3]崔瑶.云计算技术在计算机数据处理中的应用——评《云计算：概念、技术与架构》[J].中国科技论文,,14(7):2.

[4]杨秋红.云计算在计算机数据处理中的有效性研究[J].信息与电脑(理论版),0,(24):1-157.

[5]郑洋.云计算技术在计算机网络安全存储中的应用[J].无线互联科技,,16():24-25.

作者：廖宇翔 单位：山西万合佳宜科技有限公司