大数据在云计算中的应用范文

导语：如何才能写好一篇大数据在云计算中的应用，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：煤矿 物联网 大数据 云计算 安全生产

中图分类号：TD672 文献标识码：A 文章编号：1672-3791（2017）03（c）-0028-02

The Internet of Things， Big Data and Cloud Computing Technology in the Application Research of Coal Mine Safety Production

Yang Jingjie

（LiaoNing JianZhu Vocational University， Liaoyang Liaoning，111000，China）

Abstract： The development and construction process of coal mine integrated automation， points out that the three kinds of technology in coal mine safety production guarantee of the position， the role of safety production in coal mine relationships： coal mining technology of each system framework and roadmap， by the Internet of things and big data to establish， for large data processing， adopt cloud computing， Internet of things， big data and cloud computing technology monitoring system will be ZhuLiuShi， make its present early warning and monitoring system function， improve the safety in production.

Key Words： Coal mine； The Internet of things； Bigdata； Cloudcomputing； Production safety

物联网、大数据及云计算技术作为多个管理方法及管理系统提出，主要是为了确保煤炭企业的安全生产与发展；我们在此方面投入了资金及设备，用这样的方法来保护安全生产系统及设备。在过去的生产实践中，缺乏系统技术的瞻远性，缺少有效的技术处理手段，缺少互联互通的关系，导致了原有的系统和设备不能够提高煤炭企业的安全生产水平，且使煤矿安全生产系统不能有机生产，在逻辑和功能方面均有不足之处。那么，为了能够更好地提高煤矿的安全生产，我们就必须对物联网、大数据、云计算这几类技术进行深入研究，并有效地应用到煤矿生产中去。

1 物联网、大数据及云计算技术

1.1 物联网、大数据技术

美国工科学院第一次列举出“物联网”的技术核心，无线识别频率这一特性正是物联网技术的核心所在，可实现清晰的通信协议，更完美的信息联通。发达国家指出互联网技术产业发展的重要性，并资助了一些物联网核心技术的企业，相较于落后国家，发达国家较为重视互联网技术的发展。我国早已看到这种新兴产业的优势，正在对物联网，实现战略协调，投入政策和资金来支持物联网事业及互联网的发展，开始了长远的研究和建设。

大数据的概念是抽象的，一般是由它的功能推出，代表定义“3V”，它有“大容量，多样性，快”的数据库特性。数据中心网络标识具有“低价值密度”的大型数据库的重要特征。数据存储，管理和分析数据引发的挑战，皆为大数据所影响。因此，基于数据收集和集成方法的ETL、数据抽取、变换和加载已经提出了基于Hadoop的数据存储方法。

1.2 云计算技术

现今，新兴的云计算技术是非常流行的，其具备按排需求、规模庞大、虚构能力强、模拟能力高、真实性强、发展空间广阔等特征。在这些技术中，云计算的商用能量也是不可比拟的，因此得到广泛性运用，软硬件架构体系也由此诞生，例如百度、亚马逊、微软等公司都是系统运用的代表性企业。

2 煤矿信息化技术

2010年开始，我国对煤矿行业信息化的介入有了新的起点。现今的科技人员掌握的煤矿信息大体上一致，没有突破性进展，因此实施起来不能够做到尽善尽美，它所实现的无非是对各个子系统设备进行联网及远程控制，不能够完善有效的改造计划。

3 物联网、大数据及云计算技术提升煤矿安全生产水平的思考

3.1 3种技术的地位和作用

3种技术的应用，可使环境监测监控系统得到扩容，电视数字化实现共享，有效防止数据瘫痪，因此大大减少了煤矿生产的安全隐患，3种技术介入煤矿有其必要性。

3.2 应用展望

煤矿物联网改造建设后终将迎来煤炭企业质的飞越。我们可以直观地预测到，矿山物联网改造建设后，煤矿安全生产监测监控系统提高了预警能力，使其由被动监测系统转换为主动监测系统，图1展现了其特有的功能，只有根据相应变化，实时抓取安全信息并掌握信息系统的煤矿工作人员情r，使其呈现主动状态，主动知道预警情况，可迅速离开危险区域或即将发生的灾难。只有实现这一转变，才能提高煤矿安全生产水平。

4 结语

物联网、大数据及云计算技术应成为提高煤矿安全水平的必要技术核心方法。为使中国的煤炭科技腾飞，中国的信息工作者应把握机会，率先进入国际化先进行列，真正迈入物联网、大数据及云计算技术的应用研究领域中去。

参考文献

[1] 邬贺铨.物联网与大数据[C]//2013中国物联网大会暨2013中国（北京）国际物联网博览会.2013.

篇2

关键词：大数据；计算机；信息安全

一、前言

随着信息技术的不断发展，正在给人们的日常工作和生活带来着深刻的变革，促进了工作效率的不断提高，给人们的生活带来了诸多便利。但是在信息技术的应用过程中，其信息安全会受到外界各种不利因素的影响，这就给信息技术的顺利推广应用造成了不小的阻碍。大数据作为当前一种非常先进的处理技术，通过将其有效的运用于计算机的信息安全工作，能够在一定从程度上提高信息安全等级，进而为计算机的信息安全提供可靠保障。

二、计算机信息安全中的大数据技术

（1）云计算技术。云计算技术是大数据时代的典型代表，其也是促进大数据技术快速发展的关键技术，对于大数据技术的顺利推广应用具有十分重要的现实意义。云计算技术是建立在分布式和并行式计算方法的基础之上，进而对相关的计算机数据进行系统全面的梳理统计，再结合互联网中丰富的信息资源，然后进行并行式的网格化计算，从而能够对各种不同的信息资源进行统筹规划、合理安排。当前，由云计算技术发展而来的大数据技术，能够结合计算机信息系统的安全要求采取相适应的保障措施。同时，云计算技术的有效应用也带来了计算机数据处理能力的极大提升，并且还在一定程度上改善了计算机信息系统的交互性，提高了其适用范围。此外，在云计算技术的实施过程中，需要存储大量的信息数据，这就促进了数据存储能力的不断提升，进一步拓展了数据信息的空间，为基于大数据技术的计算机信息安全向多样化领域的不断渗透起到了一定的促进作用。（2）数据备份技术。信息技术给人们的交往和经济生活带来了良好的交互性，但是也对计算机的信息安全提出了挑战，大数据技术的有效应用能够进一步提高信息的安全等级，为人们的重要信息安全提供可靠保障。数据备份作为大数据技术中的重要技术，其在信息安全保障方面发挥着至关重要的作用。在大数据技术的应用过程中，尤其是在企业的信息系统中引入大数据技术，数据备份技术能够最大限度提高企业的信息安全，为企业的重要信息提供一个安全可靠的存储空间。当前是一个信息爆炸的时代，在人们享受海量信息的同时，也伴随着隐私信息泄露的风险，不论是对于个人还是企业而言，信息安全都具有非常重要的实际意义。数据备份技术能够从根本上解决各种突况而造成的重要数据丢失问题，降低信息数据的丢失概率，最大限度的保障信息安全。

三、计算机信息安全中的大数据技术应用

（一）云计算技术在计算机信息安全中的应用云计算是将互联网和云平台进行有机结合而形成的技术，其能够通过构建模型将全部的信息数据存储在云端，这就能够显著降低计算机处理各种数据信息的费用，为企业带来良好的经济效益。在进行云计算的过程中，配套的技术服务软件能够通过无线局域网构建一个相对稳定的数据传输网格，针对大数据的信息处理要求，能够进一步升级成为闭环反馈信息处理模型。在采用云计算处理数据的过程中，整个计算过程能够通过一个有向无环的数据流程图进行系统全面的展示，在此基础上，能够结合云计算所具有的并行计算特点，形成一系列的组和一系列的传输远程数据所用的隐性通道组成了云计算的计算服务模式。

（二）数据备份技术在计算机信息安全中的应用随着企业规模的不断发展壮大，在其生产经营过程中会产生大量的生产信息数据，这就需要为其提供充足的存储空间，但是在实际的数据存储过程中，存在大量的不利影响因素，这就会给数据的安全存储带来不小的隐患，因此，将数据备份技术运用于计算机的信息安全工作中，能够最大限度避免重要数据丢失，将企业损失降低到最少。在数据备份存储过程中，为了能够从根本上保障企业信息安全，不仅要定期对重要的生产数据进行备份，而且还要注重备份其中的工作细节。在传统的数据备份过程中，通常采用U盘和移动硬盘等存储设备进行数据存储，但是随着数据信息总量的逐渐增多，这些传统的存储设备已经无法满足数据备份的要求。为了能够提供更加广阔的存储空间，这就需要借助云备份，云平台能够提供海量的存储空间，并且还具有非常高的安全性。

（三）Hadoop在计算机信息安全中的应用当前数据的类型逐渐增多，呈现多样化的发展，对于部分对存储有特殊要求的数据，传统的存储方式已经不再适用，这就会给计算机的信息安全带来潜在的隐患。通过将Hadoop运用于计算机信息系统中，能够满足数据存储多样化的要求，其也是大数据未来的发展方向。Hadoop系统在复杂数据的整合储存和集中管理方面表现出极大地优越性，能够对数据管理的整个过程进行系统全面的有效控制。Hadoop系统的各个部分在运行过程中，能够进行相互协调配合，为计算机数据的安全处理提供相应的功能支持。同时，Hadoop系统也处于不断完善的阶段，其各个组成部分的功能分工更加明确，划分更加细致，逐渐能够形成一套功能丰富、作用完善的大数据信息分析平台应用系统。

篇3

【关键词】大数据 信息技术 大数据 发展现状

“大数据不是忽悠，它确实是一个真事，是产业大的变革。对it产业、经济都是一次重要的机遇。”2012年4月2日，微软全球资深副总裁张亚勤在博鳌亚洲论坛“大数据、移动、社交媒体：改变商业的创新力量”上如此表示。就其主要言论而言，主要是：第一，大数据需要大量的数据、软件、应用，把它简化放在云，其实质是一中简化；第二，大数据最重要是应用软件；第三，大数据的发展是一个长期的过程；第四，大数据不是忽悠，它是产业大的变革，对it产业、经济都是一次重要的机遇。

从这一段资料分析可以看出，大数据计算机信息处理技术是在不断发展的计算机技术中脱颖而出的能够处理大量数据、计算大量数据的超级计算技术。这种技术必须要有完善的硬件与软件资源作为支撑，需要虚拟化的调度完成各项数据服务功能。各it企业已经注意到了大数据商业价值，基于大数据的各项数据服务已经不断应用于各个行业的创新领域。

1 大数据的概念

目前，it界对大数据的定义不下于20种，但就其本质和应用领域来看，其实是一种基于大数据应用而新兴的商业计算模式。相较于传统计算，大数据具有虚拟化、超大规模、按需服务、资源利用率高、低成本等特点。

从用户角度来看，大数据能为多个大数据用户（企业或个人等）提供似乎是无限的互联网计算资源，便于用户虚拟拥有和按需使用共享在“云”上的网络计算技术资源服务，大数据用户可以对自己所需的服务只需付费就可以直接得到，不需要到处跑去跑来去买、去找、去打听。实际上它所提供的是一种超大规模的网络资源共享。另外，简单的说，“云”就是资料存储以及应用服务的中心，把你想要的都放进“云”里，当你想要的时候，基于互联网，你可以随时随地拿到，当用户不需要这些数据资源时，就可以删除、释放这些资源，从而提高了使用资源上的多样性。

2 大数据下的信息处理关键技术

大数据的应用核心是按用户需求进行网络大数据资源分配。在解决好资源分配之前，最主要的是解决好超级资源云系统的构建和存储，以及自动化资源部署分配等问题。所以，大数据除了需要仔细研究其体系结构外，还应该在其虚拟化技术、高性能云存储技术、高速的云处理技术、以及相关的对数据安全技术上进行突破。

2.1 虚拟化技术

所谓虚拟化技术是通过利用虚拟的网络设置、资源配置进行数据的存储与管理。而虚拟化技术是大数据计算机信息处理技术的基础，虚拟化技术构建的大数据信息处理技术一方面可以搜集与整合各项有利资源，对必要的信息资源进行存储；另一方面可以通过这种技术对大数据处理任务进行资源优化、灵活调度来提高对大量数据的运算、处理能力与效率。可见，虚拟化处理技术也是大数据下的信息处理的关键技术。

2.2 云存储技术

云存储实际上是由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以实质上，云存储就是大数据存储的核心技术，为大量数据的保存提供了关键性的作用。

其中，因为大数据系统需要同时满足大量用户的需求服务，并要为对大数据集进行处理、分析向用户提供高效的服务。这样云存储技术必须具有高吞吐率和高传输率的特点，数据管理技术也必须能够高效的管理大数据集。因此，云存储技术对于大数据信息处理的顺利展开起到了关键性的作用。首先，为了保障大数据处理任务的顺利完成，云存储技术要对大数据系统内的海量数据进行管理与分析，在利用云存储技术进行大数据管理时读操作要远远多于数据更新操作，云存储技术实际是对大数据系统中数据的读优化处理。其次，分布式的数据存储方式在云计算中起到高效计算的

作用，云存储技术中对于数据库采用了高效的列存储模式，这也为海量数据中查询到某一数据带来了方便，查询效率非常高。可见，云存储技术对于提高大数据运算效率必不可缺。

2.3 大数据自动化资源调度

大数据在服务过程中，将虚拟云资源中的信息数据进行划分、安装和调度成可以为用户提供各种服务和应用的过程。大数据信息处理技术还离不开自动化资源调度技术，所谓资源调度就是将所有的大数据信息资源进行合理的配置与整合，以更好的为服务程序提供便捷。这些资源除了重要的数据库信息资源以外，还包括大数据系统涉及到的各类软件资源、硬件资源以及网络资源等等。

2.4 云安全技术

海量数据的管理与运行需要安全可靠的安全防范技术作为保障，云安全技术就是在这种背景下产生的专门为大数据信息处理保驾护航的安全保障技术。云安全技术可以对外来网络干扰信息进行识别，对黑客的刻意侵犯做出防范，对网络信息中存在的病毒进行查杀。近年来，行业内也逐渐在完善和出台相应的网络安全政策，云安全技术在良好的政策扶持下，对于大数据信息网络安全的构建更加游刃有余。由此可知，云安全技术对于大数据信息处理的安全有重要作用。

3 大数据的应用发展现状

3.1 大数据应用产品形式

当前大数据开发应用产品有很多，it行业及其他行业对于大数据都有着各自的理解，因此当前对大数据的产品形式仍然存在较大的差异，但是最基本的应用服务主要有一下三个层次构成：基础设施作为服务交付（infrastructure as a service，简称iaas）、平台即服务（platform as a service，简称paas）及软件即服务（software as a service，简称saas）。

将开发和计算环境通过大数据的软件平台提供给用户的模式被称为大数据平台服务模式，这种模式需要web支持。例如azure、force.com、google app等都是比较实用的大数据软件平台。还有比较知名的elastic compute cloud平台也是通过web对数据与软、硬件资源进行优化与管理的大数据平台模式。

3.2 大数据的应用发展现状及趋势

现今社会已经步入了信息化快速与高度发展的崭新时代，无论是医疗、交通、教育、军事等等方面都涉及大量信息数据的录入、存储与计算，海量数据的管理需要有基础技术、高效技术与安全技术作为支撑。目前it行业中应用的例如360“安全云计划”、 “蓝云”计划等都是大数据信息技术的典型应用。

未来的大数据信息技术对于信息处理必然会更加高效、快捷，大数据系统的应用也会越来越普遍。例如美国最新体术的disc数据密集型的超级计算、谷歌即将推行的大数据服务academic cloud computing initiative，都意味着大数据高效信息时代很快就能到来。

4 结语

总之，大数据为我们的云用户、企业、以及网络服务提供商都带来了好处，并且也成为一个新兴的产业模式。但就目前的大数据发展状况来看，我国的大数据还处于刚起步阶段，在未来，随着各种技术的不断纵向发展，人类社会在迎来高度信息化同时，相应的大数据带来的一些弊端也会凸显，只有在实践中不断的完善和加以改进，真正的让大数据显示出优势，发挥其作用，才能使得大数据惠及普通个体用户、企业、乃至国家的发展。

参考文献

[1]王秀苏.计算机信息处理技术在办公自动化上的应用[j].科技经济市场，2010（03）.

[2]张连杰.企业管理中计算机技术的应用[j].电脑知识与技术，2011（26）.

[3]陈静.浅谈计算机处理技术[j].科技与企业，2012（11）.

作者简介

李春辉（1973-），男，山东省德州市人。硕士学位，副教授。主要研究方向计算机应用技术、计算机网络、物联网。

篇4

【关键词】云计算技术 电力大数据 属性约简

自进入二十一世纪以来，人类社会便正式进入了网络信息化时代，在信息化大背景的影响下，企业信息化和管理系统化已经成为主流趋势，而在电力企业中，由于其自身数据处理的复杂性和庞大性，其不仅实现了信息化管理，更在此技术上，对云计算技术进行了全面应用，以实现大数据处理。但是，由于受发展时间短以及相关技术人员和管理人员技术水平和职业素质不高的影响，其在云计算以及大数据处理等应用方面依旧存在一定缺陷，需要加强人员和技术投入，不断加强对技术的研究和创新，使其能够更好的满足电力企业的经营和管理需求；因此，接下来，本文就以更好的提高电力企业云计算应用技术为主要目的，对基于云计算技术的电力大数据预处理属性约简方法进行深入研究。

1 电力大数据预处理属性约简方法的发展

在电力企业的经营和管理中，为了能够更好的提升供电的稳定性和质量，并对自身的经济效益进行有效保障，就需要对电网数据进行详细分析，尤其是对大数据进行科学、高效的预处理。电力大数据预处理主要包括数据清洗、集成、转换以及约简等众多环节，其中任何一个环节出F问题，都可能对电力企业的最终决策目标造成影响。因此，在大数据预处理过程中，就需要提高数据的分析效率，并以此为基础对各个环节中的决定性因素进行有效控制，设法降低电网的数据处理规模。比如，在对风速进行预测的过程中，相关技术人员便应用了经典粗糙集理论方式，约简出了影响风速的关键属性；在电力大数据预处理中同样如此，需要根据不同情况采用不同的约简方式约简出其关键属性。

在之前的电力企业经营和管理中，所应用的约简算法虽然也能够在一定程度上降低时间复杂度，也相应的提高了数据预处理属性约简效率，但是这种算法是一次性将所有数据都存入内存中，因此，这种算法只适合应用于传统的电力数据处理中，而不适合应用在现代化的电力大数据处理中。

因此，为了能够有效解决该方面问题，电力企业便开始对CPU、内存以及计算机硬盘等进行扩充和升级，但是这种方式虽然能够在一定程度上解决属性约简中数据规模和时效受硬件制约的问题，可却也提高了成本，会对电力企业的经济效益造成影响。而随着网络以及信息技术的不断发展，云计算技术的出现很好的解决了该方面所存在的问题，与传统网络以及计算机技术相比，利用云计算技术不仅能够提高对计算机硬件资源的有效应用，同时也全方面，大幅度提高了数据处理技术，为电力大数据预处理属性约简提供了科学有效的新途径。

2 MapReduce在电力大数据预处理属性约简中的应用

MapReduce这种比较高效的并行编程模型，就能够很好的解决电力大数据预处理属性约简问题，如下，便是其中较具代表性的定义和定理：

定义1：假设电力知识表达系统为决策信息表S，S=（U，A，V，f），表中，U为对象集合，A=CυD，C为条件属性集，D为决策属性集，V为属性值集合，f为信息函数，并明确对象属性值。

定义2：令P，QA，P∩Q=|，P是Q的正域，记posp（Q）=∪x| U/QPX，Count（posp（Q））表示P中所包含的元素个数。

定理1：假设电力知识表达系统S=（U，A，V，f），P，QA，P∩Q=|，RP，Count（posR（Q））= Count（posp（Q））为posR（Q）= posp（Q）的充要条件；

必须性证明：因为posR（Q）= posp（Q），所以Q的P正域）与Q 的正域R相同，Count（posR（Q））= Count（posp（Q））；

充分性证明：通过反证法进行证明，即设posR（Q）= posp（Q）不成立，而因为RP，所以posR（Q）posp（Q），而因为posR（Q）= posp（Q）不成立，所以posR（Q）posp（Q），则Count（posR（Q））< Count（posp（Q）），与Count（posR（Q））= Count（posp（Q））矛盾，姑不成立。

以上为MapReduce并行编程模型中的部分定义和定理，从中能够看出，在对一个电力知识表达系统属性约简的过程中利用粗糙集理论，可以有效降低关键属性约简的复杂度，不仅能够有效降低整个约简过程的计算量，还能够更好的降低时间和资源的消耗，而基于云计算技术的电力大数据预处理属性约简，就是在由此为基础的前提下，通过加强对云计算技术的应用，来进一步提高其约简效率。

3 基于MapReduce技术的电力大数据预处理属性约简

在基于云计算技术的电力大数据预处理属性约简中，可以将一个电力大数据集当成是一个电力知识表达系统，而在此前提下，再进行属性约简，就可以看作是计算正域的势，其计算方式也可以如下进行：

（1）map函数在同一时间对多个数据分片进行访问，并根据具体要求对其属性以及属性值进行提取，并形成键值对；

（2）Reduce函数对来自不同节点map发送的key值相同的键值对序列，并对其相同等价类的个数进行计算。

而利用Hadoop在对复杂任务进行处理的过程中，其重点在于增加任务数量，而非对map和Reduce函数的复杂性进行增强。因此，在基于云计算技术的电力大数据预处理属性约简中，针对性的设计了两个map，三个Reduce以及一个call_job函数，外带一个主程序，然后，再针对其具体需求，分别给出了相应算法，通过这些给出的算法，便能够对大数据预处理属性进行有效约简。

与传统约简方式相比，基于云计算的约简方式，不仅解决了其不能够对大数据集进行处理的问题，还更进一步提高了整个约简计算的效率，降低了复杂度，节省了时间和空间，因此，在当前的电力企业中，其已经成为电力大数据预处理属性约简的主要方式。

4 结束语

伴随着电力行业的快速发展以及电网规模的不断扩大，传统属性约简方式已经满足不了电力大数据的处理和计算需求，在一定程度上影响了电力企业的经营和管理决策。因此，电力企业应该加强对云计算技术的研究和应用，并基于云计算技术实现电力大数据预处理属性约简，提高电力大数据处理效率，为企业经营和管理决策提供可靠参考依据。

参考文献

[1]杨传健.基于冲突域的高效属性约简算法[J].计算机学报，2012（02）.

[2]翟俊海.基于样例选择的属性约简算法[J].计算机研究与发展，2012（11）.

作者简介

崔晓优（1975-），男，河南省许昌市人。大学本科学历。现为许继电气股份有限公司工程师。

篇5

本文从云计算和大数据概述入手，分析了云计算与大数据的关系，之后阐明了电子政务大数据管理的重要意义，最后以云计算为基础，探讨了电子政务大数据的管理模式，旨在更好的让电子政务数据服务于政府管理和相关服务工作。

【关键词】云计算 电子政务 大数据 管理

相关数据显示，政府部门集成数据占社会数据总量的九成以上，大数据时代下，政府部门数据呈现多样化的发展趋势，不仅涉及到在数据库存储的结构化数据，还涉及到大量的半结构化和非结构化数据，如何对电子政务数据进行有效的处理是当前政府部门工作的重中之重。基于以上，本文以云计算为基础，探讨了电子政务大数据管理的相关问题。

1 云计算与大数据概述

云计算是以互联网为基础的一种相关服务增加、使用和交付的模式，是并行计算、网络计算以及分布式计算融合发展的产物，其主要目的是通过互联网来更好的实现数据拓展、管理、计算和存储。

大数据是种类繁多、数量巨大以及类型复杂的数据，大数据的目的是挖掘海量数据中的信息和价值，其着眼于数据。电子政务大数据则指的是公务机构在管理和服务过程中产生的大数据。

2 电子政务大数据管理的意义

（1）大数据的包容性能够有效打破政府各部门之间以及政府与社会大众之间的信息壁垒，有效避免了信息孤岛现象发生，实现数据共享，为政府管理提供信息支持，提升政府管理能力和公共服漳芰Α

（2）对电子政务大数据的管理能够实现对社会舆情和相关危机的动态监测，并对其进行深入分析，这对于提升政府的危机预警能力和危机应对能力有着重要的意义。

（3）对电子政务大数据的管理能够转变政府决策模式，以实证为基础制定相关决策，对于提升政府的决策有效性和决策效率至关重要。

（4）对电子政务大数据的管理能促进数据的开放性和流动性，政府管理的过程中能够实现对大数据的深度挖掘和广泛应用，从而提升政府管理和公共服务的开放性与透明性。

3 基于云计算的电子政务大数据管理

传统电子政务数据管理主要为对数据的收集和存储，在云环境下，凭借着强大的云计算能力，能够实现对电子政务大数据的分析和挖掘，创新管理形式和管理模式，从而更好的让电子政务大数据服务于政府的管理和决策.

3.1 数据采集

电子政务大数据采集不仅涉及到政府机构内部大数据的采集，同时涉及到政府机构之间数据的采集，一般有分布式采集和集中是采集两种方式，二者有着各自的优点和缺陷，在云计算下，可以利用云计算分布式并行计算特点来将两种采集方式整合，提升电子政务大数据采集效率。将电子政务大数据集中式采集模式应用到政府机构内部，将电子政务大数据分布式采集模式应用到政府机构之间，将一定数量的中心服务器设置在政府机构内部，作为集中式数据注册机构，来存储共享数据，采用分布式数据采集模式来组织各个机构服务器。

上文中提到，电子政务大数据类型有着多样性的特点，因此需要以不同类型数据为基础进行云计算分布式采集，实现数据的分类存储。此外，可以借助云计算的扩展性和容错能力来实现相似数据或相同数据的同构化，借助几圈技术和虚拟化技术实现政府机构之间的对接和数据超级共享。

3.2 数据存储

在云计算下，采用列式存储方式来进行电子政务大数据的存储，以属性列为基础，将数据存储在列式数据仓库中，不同属性列数据分离开来，只需要查询属性列即可以实现数据投影，降低了系统损耗。在云计算列式存储模式下，相邻数据之间有着较高的相似性，压缩率较好，数据的压缩能够降低系统输出与输出的开销，这对于提升电子政务大数据仓库的管理性能有着积极的意义。

3.3 联机分析

联机分析处理是电子政务大数据管理的重要方面，其能够实现对数据的复杂分析和操作，从而为政府决策制定提供支持，其查询效果十分直观。基于云计算的联机分析从综合数据着手，能够提供多维模型和多维分析方法来进行多维数据分析，让政府决策者能够更加全面的对电子政务大数据进行分析。基于与计算的联机分析处理中的多维数据分析能够与数据仓库多维数据组织结合，互为补充，能够实现大量数值计算，实现海量电子政务数据的处理。

3.4 数据挖掘

联机分析能够获得数据表层信息，而对数据属性内在关系以及隐含信息的进一步揭示则需要依赖于数据挖掘，基于云计算的电子政务大数据挖掘以分布式并行挖掘技术为基础，相较于其他数据挖掘技术而言，基于云计算的分布式并行挖掘技术能够对大规模数据进行挖掘处理，其挖掘能力更强，消耗时间更短。其将机器群看做是硬件数据池，能够拆分并行任务，利用空闲机器来进行数据处理，这就能够有效提升对数据的计算效率，且数据的无关性能够促进计算集群的扩展。

3.5 数据可视化

电子政务大数据可视化是政府决策和管理服务的重要保证，在云计算下，多维非空间数据可以由图像展示，更好的帮助用户对数据含义进行理解，此外，形象的图像能够实现对检索过程的指引，这就大大提升了检索效率。发达国家对数据可视化十分重视，例如美国能源部门投资2500万美元来进行数据可视化研究，更好的实现对数据管理，促进其环境研究计划和核数据计划的实现。

4 结论

综上所述，在大数据时代下，对电子政务大数据加强管理是有着积极意义的，传统的数据管理方式有着一定的局限性，难以充分发挥电子政务大数据的重要作用，本文提出了一种基于云计算的电子政务大数据管理模式，探讨了电子政务大数据采集、存储、联机分析、挖掘和可视化等管理工作，旨在充分发挥电子政务大数据对于政府工作的重要服务作用。

参考文献

[1]王书伟.大数据时代政府部门间信息资源共享策略研究[D].吉林：吉林大学，2013.

[2]赵志超.电子政务大数据系统应用云计算架构[J].计算机与网络，2014（14）：62-65.

[3]赵震，任永昌.大数据时代基于云计算的电子政务平台研究[J].计算机技术与发展，2015（10）：145-148.

[4]董凌峰，.基于云计算的政务数据信息共享平台构建研究――以“数字福建”为例[J].现代情报，2015（10）：76-81.

篇6

关键词：大数据技术；电子商务；问题；对策

中图分类号：F713.36 文献标识码：A

收录日期：2016年11月7日

一、电子商务与大数据技术概述

（一）电子商务。电子商务作为当今互联网时代最具发展潜力的一种商业模式，以电子和信息技术为基础，以商务为核心，打破了空间与时间的束缚，使生产、销售、管理各环节的水平得到极大的提高，降低了贸易活动的成本，并且因为服务个性化、方便、快捷等特点，使得客户的满意度大幅度提升。此外，在“互联网+”的时代背景下，新一代互联网技术在电子商务中得到广泛应用，无线互联网功能不断完善，大批优秀的电子商务平台服务功能完成了向移动端的移植。移动终端应用在用户规模和信息交互维度的实时性、实地性、多样性等方面的优势得到了充分发挥。大数据和云计算技术被大型电子商务平台广泛应用，为百亿数量级别的查询以及数十亿级别的各类业务处理提供了良好的支撑。可见，电子商务前景广阔。

（二）大数据技术。大数据技术能够从海量的数据中提取出最有效的信息，在电子商务企业中发挥着至关重要的作用。大数据技术可具体划分为以下几种：

1、数据采集技术。快速而广泛的搜集分布在互联网上的数据，并且将一些其他平台中的数据源中的数据导入到该工具中，对数据进行清洗、转换、集成等。

2、数据处理技术。运用分布式系统对超大规模的数据进行快速统计、归纳、分类，便于高质量、高效率地存储数据和提取数据。

3、数据分析技术。根据单组数据的对应分析和多组数据的聚类分析，通过定量描述对于不同现象的各种利害要素的相关程度，让数据开发更接近人们的应用目标。

二、大数据技术在电子商务领域的应用

大数据技术在电子商务领域的应用主要体现在以下方面：

（一）应用于客户体验。电子商务平台网站的界面结构和功能是吸引大量客户的关键，多数电商企业为提高客户在交易过程的第一体验，根据大数据技术分析客户消费行为的历史记录建模，然后在此基础上使用web挖掘技术改进关键字加权法，有效地将用户输入的关键字合理地拓展延伸，提高商品信息检索功能的精准率，并且针对不同的消费习惯，动态地调整页面布局，全方位地把握客户的实际需求，实现对商品的合理聚类和分类，呈现商品信息的初步浏览效果，如淘宝网根据客户关心某些产品的访问比例和浏览人群的分类来决定广告的排版布局，增加广告的投资回报率。通过大数据技术的应用，能满足消费者个性化的需求，改善了客户的购物体验，有利于提高客户的购物满意度。

（二）应用于市场营销。电商企业引进了先进的大数据技术，在市场营销各环节最大限度地降低人力、财力以及时间成本。技术部门可构建分布式存储系统，运用web数据挖掘技术将客户在不同网络平台上的个人信息以及动态的浏览习惯贴上“标签”，根据不同格式的数据选取不同的存储策略，再针对性、大范围地对潜在的客户进行商品与服务推销。

（三）应用于库存管理。在零售业中，库存销量比是一种重要的效率指标，数据仓库可以使管理人员实时追踪商品库存的流入与流出，并通过在线的市场供求变化数据分析，准确把握预期的市场供求动态，制定合理的生产计划，降低库存积压风险，提高企业的资金周转能力。

（四）应用于客户管理。客户管理的实质是为消费者提供可持续的产品和服务。运用大数据分析的优势，电商可以划分普通用户群和核心用户群，并且建立会员信誉度级别。在各大电商平台的领军企业，技术人员利用大数据技术根据买家的消费行为定量定性地评定买家信用，同时也能够通过跟踪商家的服务质量和产品销量来评定商家的信用，这样买卖双方都能尽可能遵守交易的规范，以此促进电商交易平台的良性发展。

对于客户反馈环节，在传统的市场营销中，采集大量的客户反馈信息工作需要动用较多的人力资源电话回访完成调查问卷表，耗时耗力且结果不佳。国内一些专门将互联网信息分门别类提供给个人和企业单位的公司，如百度和阿里巴巴等，拥有强大的大数据技术和云计算系统，可快速应对海量数据统计、查询和更新操作，加工成具有商业价值的数据，为电子商务企业提供了全面而准确的客户反馈信息。

三、大数据技术在电子商务领域应用中存在的问题

大数据是一个应用驱动性很强的产业，有巨大的社会和商业价值。然而，就国内现阶段的大数据技术在电商领域应用的发展状况而言，仍然存在一些问题。

（一）大数据应用的低效率问题。操作系统和系统集成技术的多元化发展造成国内电子商务系统呈现出数据孤岛和异构等现象，导致不能实现网络业务间的交换、共享、协同和控制。而电商企业的数据和系统独立开发，大数据技术应用所需的海量数据不能在电子商务行业之间共享，不利于大数据在电子商务领域中的多元化和高效率应用。例如，我国目前最大的电子商务平台阿里巴巴，虽然具备较为完善的信息系统基础设施，但是由于其数据的封闭性，与其他的互联网企业难以在业务与安全范围内实现互联互通互操作，尤其是新兴的电子商务企业无法承受系统开发和维护费用给企业带来的巨大成本，因而信息资源的低水平重复开发利用，一定程度上抑制了电子商务行业的协同发展。

（二）大数据技术应用的政策和技术标准不完善问题。虽然大数据技术的应用能够为新兴的电子商务行业发展提供良好的技术支持，但大数据产业仍处于初级阶段，各种良好应用前景的实现还需要国家政策的大力支持。目前，我国大数据技术应用的相关管理政策尚不明确，缺少统一的技术标准，不利于大数据产业统一管理和发展，阻碍了其在电子商务领域应用的进一步革新。

（三）大数据环境下电商企业创新能力较低问题。大数据作为一种极具商业潜力的信息技术，在近年来不断地被电子商务企业广泛利用，但我国当前在电子商务领域应用大数据技术的创新水平较美国、日本等发达国家仍有不小的差距。国内的许多电商企业曾遭受因高强度的数据分析计算导致系统崩溃带来的损失，且大数据资源还不能完全在企业间共享，导致大数据技术在电子商务中的应用受阻且创新能力有限，并没有发挥出大数据技术的全部优势。因此，加快大数据的共享，突破技术的屏障，创新商业模式、产品和服务成为大数据环境下电商企业提高核心竞争力的必要手段。

（四）大数据技术在电子商务应用中的数据安全和个人隐私问题。随着数据挖掘等大数据技术在电子商务领域的广泛应用，电子商务交易过程的前后，网络通道信息交互十分频繁，使得大数据在采集、共享、分析等方面的数据安全和个人隐私问题日益突出。一方面由于各类电商平台信息安全技术的良莠不齐，大量分散的数据中关于企业机密和个人敏感信息记录极易被他人用作不良途径谋取利益，对用户的财产安全和人身安全造成威胁；另一方面对于电商企业而言一些敏感数据的所有权和使用权还没有明确的界定，很多基于大数据的分析都未考虑到其中涉及到的个体隐私问题，因此大数据不被妥善处理会对用户的隐私造成极大的威胁。

四、解决对策

（一）提高大数据技术在电子商务领域的应用效率。在解决大数据应用低效率的问题上，云计算技术具有无可比拟的优势。它可以借助虚拟化技术和大型服务器集群提高后台的数据处理能力，为用户提供统一的、便捷的大数据应用服务平台。不同的互联网合作商的相关数据被部署在云计算服务商的数据中心，进行不同数据整合加工，甚至实现行业共享，最后向用户提供集中式的服务。云计算技术的这些特点可以有效地降低电商企业信息系统开发和维护的成本，同时在降低运行负荷的情况下，能够提高数据中心的运行效率和可用性。

1、建立基于云计算模式下的数据存储业务。建立基于云计算模式下的数据存储业务，不仅通过云端技术能够提供高效率的大数据计算和超大的数据流量支持，避免大量用户访问网站突破峰值造成的网络拥堵和系统崩溃，同时存储在云端的数据便于集中式地进行高强度的安全监控，还可以降低被黑客攻击和窃取商业机密数据的可能性。

2、建立基于云计算模式下的信息共享和业务协作。电商企业、外部供应商、互联网合作企业通过建立基于云计算模式下的信息共享和业务协作，不仅可以实现同步的信息资源共享，提高数据的可重复利用率，降低数据挖掘和数据整合的成本，还可通过企业之间的互通、互联、互操作为消费者的业务需求提供更加方便和高效的服务。

（二）完善大数据技术在电子商务领域应用的政策和技术标准。各级政府应进一步加强信息网络基础设施建设，构筑满足未来社会和经济需要的数据和信息化基础平台，加大财政对于大数据产业的扶持力度，将数据加工处理业务列入享受营业税优惠政策范围，对大数据技术的自主研发项目减免税收，甚至给予一定的补贴，鼓励大数据技术成果产业化，并完善其知识产权保护的法律、法规和政策。此外，还应该成立统一权威的信息管理机构，建立并完善大数据技术应用的统一技术标准，完善大数据技术在电子商务领域应用的法律保证体系。

（三）提高大数据技术在电子商务领域应用的创新能力。我国应该不断加强国内外大数据技术创新交流与合作，通过学习和交流，提升大数据技术在电子商务领域应用的创新能力。电商企业也应该积极地响应国家“十二五”发展规划和创新创业的号召，提高对应用大数据技术改善现有的产品和服务的重视程度，优化电子商务产业结构，提升企业信息管理部门的IT架构承载能力和计算能力，研究新型商业模式，充分应用大数据和云计算技术促进电子商务企业的升级和转型。此外，电子商务企业还需要抓紧时间储备既有过硬的专业技术，又具备市场营销、运营管理和创新能力的大数据管理和分析人才，满足“互联网+”时代的人才需求。

（四）完善大数据技术在电子商务领域应用的安全技术。为了有效解决大数据技术在电子商务领域应用中的数据安全和个人隐私问题，应该完善交易成功前的两层数据传输安全防护技术和交易成功后的保留在服务器中的数据的客户隐私保护技术，不断增强大数据技术在电子商务应用中的安全性。

1、利用身份及设备认证技术确保用户身份和相关设备真实性。身份认证是判明和确认交易双方真实身份的必要环节，也是电子商务交易过程中最薄弱的环节。因为非法用户经常采用窃取口令，修改、伪造信息和阻断服务等方式对网络支付系统进行攻击，妨碍系统资源的合法管理和使用。用户身份认证可以通过三种不同的组合方式来实现：用户所知道的某个秘密信息，如用户自己的密码口令；用户所拥有的某个秘密信息，如智能卡中存储的个人参数；用户所具有的某些生物学特征，如指纹、声纹、虹膜、人脸等。

2、综合利用数字证书和数字签名技术保障报文的机密性以及不可否认性。在电子商务交易的整个过程中，交易各方欲提供自己的真实身份信息必须通过权威的第三方“CA机构”为其颁发身份凭证。数字证书将各方的身份信息结合在一起作为信息加密和数字签名的密钥，通过PKI提供公钥加密和数字签名服务的安全基础平台，管理密钥和证书信息，从而保障电子交易渠道的网络通讯安全和数据报文的机密及不可否认性。

3、利用隐私保护技术来实现大数据的隐私保护。（1）基于数据失真的隐私保护技术。数据失真技术通过扰动原始数据，使攻击者不能发现真实的原始数据，且失真后的数据保持某些性质不变，大数据技术在应用中可以通过该技术实现隐私数据的保护；（2）基于数据加密的隐私保护技术。基于数据加密的隐私保护技术采用加密技术在数据挖掘过程隐藏敏感数据，包括安全多方计算、分布式匿名化等方法，实现数据集之间隐私的保护；（3）基于限制的隐私保护技术。基于限制的隐私保护技术通过有选择地原始数据、不或者精度较低的敏感数据，实现隐私保护。

“互联网+”时代已经到来，大数据技术在电子商务领域的应用是大势所趋。电商企业应该积极应用大数据技术进行产品、市场和客户等信息的分析，通过分析的结果辅助管理者进行经营管理的决策，提高电商企业的市场竞争力。

主要参考文献：

[1]张昶，靳伟，靳艳峰.web数据挖掘在移动电子商务领域的应用研究[J].价值工程，2015.26.

[2]钱敏.数据挖掘与隐私在电子商务的关系[J].中国科技信息，2016.8.

篇7

[关键词]大数据；数据共享；辽阳石化

doi：10.3969/j.issn.1673 - 0194.2015.16.051

[中图分类号]F426.22 [文献标识码]A [文章编号]1673-0194（2015）16-00-01

在大数据时代，数据将成为企业重要的战略资产，有效利用数据对提升企业战略管理水平、提高决策效率和管理透明度有重要作用，是企业转变发展方式、实现科学管理的重要手段。

辽阳石化公司是中石油下属的特大型石油化工企业，经过四十多年的发展，已经累积了海量的异构数据。同时，在加快推进信息化建设过程中，不断产生大量管理数据。

1 大数据主要技术

目前，大数据处理通用的技术架构是MapReduce，包括Map（映射）和Reduce（归约）两个阶段，用户只需编写Map函数和Reduce函数就可以在云计算平台分布式处理。

大数据的采集是指利用多个数据库接收来自客户端的数据，用户可以通过这些数据库进行简单的查询和处理工作。比如，辽阳石化早期的应用系统一般采用关系型数据库SQL、Oracle和Sybase等来存储每一条记录。

大数据的统计与分析主要利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行分析和分类汇总等，以满足分析需求。

数据管理技术主要有6种，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、NoSQL、移动数据库技术。其中，分布式存储与计算的关注度最高。

2 大数据对辽阳石化的价值

第一，“大数据”能帮助辽阳石化提高管理决策效率和水平。通过大数据技术，可以使传统业务流程简化、优化、集成化，优化流程为导向的多部门协同工作，全面提升机关科室的服务水平，提升对各项业务的管理水平。

第二，“大数据”能帮助辽阳石化提高生产精细化程度和生产效率。利用大数据技术实现现场生产数据自动采集，从源头上保证数据的及时性、准确性，节省重复收集数据时间，显著提高工作效率。通过分析挖掘生产装置的历史数据，促进技术和操作两个层面的生产优化，提升装置经济效益。

第三，“大数据”能帮助辽阳石化提高发现事故隐患和排查治理能力。石化企业受传统管理模式、技术手段等因素制约，不能完全建立起政府部门间的数据共享机制。散落在二级单位各个车间的宝贵信息资源无法充分共享，形成一个个“信息孤岛”。通过大数据技术，可对生产过程中的各个工艺参数进行分析对比，从而及时准确地发现事故隐患，提升排查治理能力。

第四，“大数据”能帮助辽阳石化实现监控分析网络舆情、社会动态及市场形势。基于大数据技术的舆情监控系统对热点问题和重点领域比较集中的网站信息进行24小时监控，随时下载最新消息，从而建立舆情监控的知识库，使管理人员全面掌握职工思想动态，以便做出正确舆论引导，并提取有效信息作为新品研发决策依据。

3 辽阳石化应对“大数据”的策略

3.1 配合中石油总部推进相关技术的研究和应用

大量非结构化数据使数据量呈爆发式增长，对存储容量、传输速率、计算速度等要求更高。ERP应用集成、物联网系统、云技术平台和移动办公平台都是中国石油“十二五”规划的重点信息化项目。物联网系统将为实时采集、处理、传输现场数据提供保障，为进一步挖掘价值提供数据基础。移动应用、社交网络等在企业逐渐普及，在提升办公效率的同时，拓宽获取数据的渠道和范围，为更好地搜集市场讯息、分析客户行为、监控企业舆情等提供数据支持。辽阳石化应按集团公司要求，积极配合、适时引入并试点实施，做好应对“大数据”的技术储备。

3.2 加快信息化推进，不断深化信息系统集成，提高数据共享

“大数据”应用的基础是信息化，面对“大数据”带来的挑战和机遇，需进一步提升信息化水平，实现对数据价值的充分挖掘和有效利用。因此，通过加强辽阳石化应用系统集成，能有效消除数据屏障，打破传统部门壁垒，改变传统工作习惯，加快信息化进程，充分利用现有信息门户、ERP和MES等系统，实现跨部门、跨专业的数据共享，从而为战略、管理、生产等各层面决策提供全面、准确、快速的支持。

3.3 着力培养“大数据”专业人才

由于“大数据”应用涉及跨学科、跨领域的知识。因此，辽阳石化应未雨绸缪，通过合作培养、对外交流和内部培训等多种方式，加大对数据专业人才培养力度，做好应对“大数据”的人才储备。

4 结 语

随着信息化快速不断推进，辽阳石化对“大数据”的认识和应用也逐步深入，对数据和数据价值的理解和把握也更加具体。辽阳石化不断加快技术创新、管理变革和人才培养，必将在“大数据”时代构筑新的竞争优势。

主要参考文献

[1]王星.大数据分析――方法与应用[M].北京：清华大学出版社，2013.

篇8

“未来每个用电的设备都会联网并参与计算。”

“当数据量已经用ZB为单位来衡量的时候，人类已经词穷了。”

……

阿里云栖大会上海峰会上，阿里云大数据事业部资深总监徐常亮用数个“每个”、“所有”来表达对大数据时代的思考。

阿里巴巴在2016年伊始高调发声，抛出2016这个大数据元年的第一个重磅产品――打通数据生产全链条的一站式大数据平台“数加”。“大数据和云计算是一枚硬币的正反面，但是硬币其实还有一面。阿里云就是要用每一个程序员的‘启蒙’代码――‘HELLO，WORLD！’来开启数据和应用价值之间的过渡，为了无法计算的价值。”徐常亮表示，“这一平台承载了阿里云“普惠大数据”的理想，即让全球任何一个企业、个人都能用上大数据。

让数据迈入价值中心

“数加平台”开放的是阿里巴巴十年的大数据积累，规划的是阿里云未来的开放与整合，谋划的是阿里巴巴的大数据野心。

众所周知，阿里巴巴是一个互联网公司，是一家电商公司，覆盖着一个支付公司，但是马云很早就定义过，阿里巴巴是一家数据公司。事实上，阿里巴巴已经被认为是全球应用大数据最成功的公司。目前，阿里云通过对电子商务平台上海量的客户信用数据及行为数据进行分析，诞生了蚂蚁小贷、花呗、借呗等纯大数据产品。

“金融行业的变化只是一个开始。” 徐常亮用“‘军用’设备的平民化”来形容数加平台开放给广大用户的轻松获得大数据价值的能力。

“现在人们看数据都是通过计算去看，就像人类发明显微镜以后，研究微观世界都是通过显微镜看到的。当离开显微镜的时候，你要想一想那个世界是不是存在。”阿里巴巴集团CTO王坚表示，“我们要相信那个人眼看不见的、被计算出来的数据世界，让数据真正从成本中心转向价值中心。”

20余款产品展开“数加”图谱

“数加平台”承载了阿里巴巴经历了上万名工程师的实战检验，20余款新品的集中展开了“数加平台”的完整图谱。

在数据采集层面，Datahub开启公测。实时采集、适配开源，日吞吐量达到PB等级，通过Fluentd、Flume、Logstash等插件和Logtail、Logagent、DataX等客户端服务，以期实现PC、APP、WiFi、基站、工业传感器、智能硬件……多来源数据百川入海。

在此基础上，大数据计算服务、分析型数据库（Analytic DB）、流计算（StreamCompute）共同组成了底层强大的计算引擎，速度更快，成本更低。其中，大数据计算服务（原ODPS）正式改名为MaxCompute，提供快速、完全托管的TB/PB级数据仓库解决方案。经测算，自建Hadoop集群的成本是“数加平台”的1.5倍。

数据分析方面的一大亮点是BI报表的正式。这一商业智能套件不只是业务人员看数据的工具，而是要搞定大BOSS的作战图。支持RDS，实现拖拽式操作，整合Analytic DB等多种云数据源，提供20余种数据可视化效果，实现“所见即所得”的海量数据实时在线分析。

对于大数据2016年最热的机器学习，阿里也给出支撑，Machine Learning正式。阿里拿出了10年积累的算法库，在阿里云的大数据计算服务之上，集数据处理、特征工程、建模、离线预测为一体，告别小数据量抽样，将在金融、公安等行业获得深度应用。

技术的支撑下，数据应用服务的推出更加水到渠成。智能语音交互Intelligent Speech Interaction与文字识别OCR即将上线，推荐引擎Recommendation Engine开启公测，规则引擎正式。智能语音交互Intelligent Speech Interaction为应用嵌入一个“能听、能说、能懂”的类似“Siri”的语音服务。据透露，在2015年的“双十一”，已经有95%的客服是由智能语音交互系统在支撑的。

此外，数加平台还基于DataV等技术，了面向政府的行业应用产品“郡县图治”、“两客一危”实时监控预警等产品。至此，此次数加平台首批集中的产品超过20种，徐常亮表示：“束缚大数据的技术瓶颈已经被完全打破，2016年我们将迎来大数据应用的全面落地。”

目前，万科、用友、顺丰速递等各个领域的多家企业已经成为“数加平台”的第一批合作伙伴，此次现场，阿里与中国天气、九州云等进一步签署合作协议，扩展大数据综合实力。记者了解到，大麦网作为阿里云“数加”平台的尝鲜者，通过采用“数加”的推荐引擎，大麦网的研发成本从900人/天降低到了30人/天，效率提升了30倍。

“入驻”模式打开新生态

篇9

关键词：大数据 应用 计算机

一、论计算机科学与技术在大数据上的应用

大数据资源分配是大数据应用工作的重要内容，因此如何解决数据资源分配是应用工作的首要任务，解决好数据资源分配问题首先需要对资源进行采集和预处理，对有用的资源进行存储。其次还要对存储的数据资源进行优化，这就必须采用先进的计算机息处理技术，大数据处理关键技术必须注重以下方面：

（一）计算机科学与技术对大数据的应用实现了存储与管理虚拟化技术

利用计算机网络技术对采集的数据资源进行存储与管就是虚拟化技术。把数据资源抽象化通过虚拟形式来展示是数据存储虚拟化的主要方式。存储与管理虚拟化技术有很多优点，如能够把原来物理的存储系统必须与数据驱动的具体工作同步的传统模式进行革新，让物理存储系统与数据驱动工作分开进行。用户户可以根据自己的需要分配存储资源。虚拟化技术还可以通过虚拟的存储资源对采集数据进行集中管理或者按照逻辑方式的不同把其分到多个虚拟机内进行管理。存储和管理虚拟化技术可以使用户对存储资源的分配实现最大的便捷性。存储虚拟化工作主要是通过计算机主机层进行实现，计算机操作系统中的逻辑卷管理器是分配不同用，大数据运用计算机信息处理技术应注意的问题计算机技术时大数据应用发展的主要条件，通过将计算机信息处理技术运用到大数据处理中，给大数据处理工作带来很大的便捷。随着当前大数据的发展进程不断加快，必须不断开发研究新的计算机信息处理技术。

（二）计算机科学与技术对大数据的应用实现了数据转换技术

计算机科学与技术信息数量大、分布范围广是当下大数据的主要特点，因此对计算机信息处理提出了更高的要求。加快大数据处理的效率必须首先实现计算机数据采集上的高效性，信息处理技术必须将海量广泛分布的半结构化和非结构化数据进行及时采集。随着科技的快速发展，当今数据主要产生在以手机为主的智能终端设备上，这就导致数据随时有爆发海量数据的可能性，因此必须首先对数据转换技术进行革新，采用新的数据存储方式进行存储数据。

（三）计算机科学与技术对大数据的应用实现了数据安全

由于大数据包含数据信息众多，因此其中有许多不安全因素，极容易导致不法分子利用网络病毒对其进行攻击，盗取信息。在运用计算机信息处理技术进行大数据处理时，尤其要保证大数据应用技术的安全性，传统数据处理可通过流处理模式进行安全保护，而大数据的特性决定大数据处理面临更大的风险，因此必须注重大数据处理的安全工作，在进行大数据处理工作中可通过使用透明加密软件为大数据进行加密，或者使用存储文档权限管理软件通过对大数据进行逐级加密，保障数据安全。建立云数据与表示数据属性的元数据是相关联的系统，决定数据处理、使用以及销毁方式。这样云数据就可以通过运用元数据进行标记，从而增加使用云数据服务的客户的控制能力，保证大数据处理的安全。

（四）计算机科学与技术对大数据的应用实现了数据管理节能技术

由于大数据的复杂性，对处理硬件要求比较高，因此在信息处理过程中必须注意节约能源。具体可通过调高数据中心温度减少能源消耗，经常检查数据中心设备运行状态，对不合理、利用率低的设备及时进行更换。

二、计算机科学与技术对大数据应用的结语

对大数据处理来说，大数据处理方法串行处理和并行处理是计算机处理数据的两种常见模式，因此，计算机处理对大数据的实际运用中也可以分为两种处理模式，即流处理模式和批处理模式，这两种处理模式采用的处理方式不同，其差别主要体现在是否对处理信心进行存储方面。对信息进行存储以后，再通过计算机进行相关处理的是批处理模式，实时对数据进行处理的就是流处理模式。保证数据处理的准确性是大数据处理工作的重要内容。在大数据处理工作中运用计算机信息处理技术，实现整个数据处理工程的高效便捷是当前经济发展对大数据处理工作的要求。必须在大数据处理工作中大力推进计算机信息处理技术，不断更新信息处理技术，才能真正提高大数据处理的效率保证大数据的处理准确性是大数据工作中的一项非常重要的工作，准确的处理数据，不但是对大数据处理工作的硬性要求，而且和相关企业的经济发展速度和市场竞争力息息相关。当前计算机技术的快速发展，计算机信息处理对处理大数据高准确性和便捷性使其适用非常广泛，在当前社会，必须重视计算机信息处理对处理大数据的重要性。最终实现论计算机科学与技术对大数据的综合应用。参考文献：

[1]赵春雷.“大数据”时代的计算机信息处理技术[[J].世界科学，2012（2）.

[2]耿冬旭.“大数据”时代背景下计算机技术分析[[J].网络妥全技术与应用，2014（1）.

篇10

随着互联网技术的不断发展与推广，其对于人们的生活、交往、学习方式等均产生了不同程度的影响。对于教育领域而言，在线教育已经成为了其教学形式的重要组成部分，尤其在互联网技术与信息技术的支持下更加得到了广泛的应用。通过在线教育，师生之间能够跨越时间与空间的限制，进行学习资源的高度共享，且能够进行双向交互式和自主化的学习。但是，在大数据以及云计算视角下，在线教育交互仍旧需要进一步实现对数据以及服务方式的转变，以此开展更加良好的在线教育交互活动。

1 大数据与云计算相关概述

（1）大数据的概念与特点

大数据技术属于当前数据分析的前言技术，是指从多种类型的复杂数据当中快速地获取具有较高价值的信息，采取全新的信息处理模式提供比较强大的决策力、发现力和洞察力，并且实现流程优化，继而获取海量的、高增长率和多样化的信息资产[1]。大数据技术具有种类多的特点，主要是指其格式比较多，包含了结构化与非结构化的数据，同时具有全新的数据分析能力。大数据亦具有体积大和速度快的特点。体积大主要是指其存储比较大，增长比较快。一般互联网实施产生的数据量均比较大。速度快则主要是指数据的处理分析速度比较快。

（2）云计算的概念与特点

云计算主要是运用互联网当中庞大的计算处理能力，将待处理的程序自动分拆成为无数个比较小的子程序，将诸多子程序再转交给多部服务器所组成的庞大系统，通过搜寻、计算和分析，将最终的处理结果回传给用户[2]。云计算技术在网络应用当中具有比较大的优势，其优势特点为：第一，虚拟化。云计算能够加案例比较基础的资源地，对多个虚拟机以及应用均能够进行部署，以此能够有效的提高资源的利用率。第二，可靠性较高。云计算存储数据一般会使用多副本容错和计算节点同构可互换，由此能够保证数据服务具有比较高的可靠性。第三，规模超大。云计算拥有庞大规模的硬件资源，能够为用户提供超级的计算能力。第四，按需服务。云计算具有较高资源能力，且能够将资源能力作为主要服务向外提供，用户可以根据具体的需求进行相应资源的购买，有效解决了资源获取成本。

2 基于大数据及云计算视角下的在线教育交互性应用

（1）建设资源库云平台

对于高校而言，其开展在线教育交互活动的主要目的便在于为当前社会各个行业的人才需求提供相应的高素质、高能力的人才。为此，高校在基于大数据及云计算视角下进行在线教育交互性应用时，首先必须要对不同企业的岗位需求，以及不同职业能力要求作出全面的分析，通过大数据以及云计算作出搜寻、整理和分析，继而根据分析结果进行课程体系的具体制定，建立不同专业的，多样化的资源库云平台，以便为高校各个专业的课堂教学提供充足的教学资源支持。所有资源库云平台均需要为高校教师提供综合资源，在搜寻、积累与整理后，将有价值的教学资源入库，实现校内以及跨校的教学资源共享。该种方式能够使得各个专业的教学资源均得到极大程度的梳理和利用，能够进一步改变传?y教学资源受限的问题。对资源库当中的数据资源进行处理，必须要在在线教育交互平台众建立一定的数据资源处理层（图1），应用其做好多样化的数据资源处理，真正实现教学资源共享。

（2）线上线下一体化的课堂教学设计

在线教育凭借其较高的学习资源利用率、先进的教学方式以及科学的教学管理，当前已经被教育领域广泛应用[3]。但是，随着在线教育的不断推广，其出现了比较严重的同质化趋势。面对该种情况，在大数据以及云计算技术的支持下，在线教育机构必须要能够对教育资源进行更加合理的应用，尽量保证资源的丰富性和高质量。与此同时，在线教育机构亦要能够进行个性化的线上线下一体化的课堂教学设计。该点即是指教师需要采用传统课堂教学的方式对学生进行教学，但是亦要在其中融入有效的在线教育交互活动。其中，在线教育交互活动平台，基本上可以采用图2所述的形式。在线上线下一体化的课堂教学设计当中，教师不仅能够对学生课堂学习的状态进行及时把握，更加能够在大数据和云计算的支持中，对丰富的教学资源以及先进的教学管理方法进行应用，以此提高教学质量。

（3）开发移动交互式数字教材

移动交互式数字教材，是指将传统的纸质教材内容重新进行编排设计与交互设计，主要面向平板电脑（PC机和手机）进行全新的设计呈现[4]。移动交互式数字教材与普通电子书之间具有一定差异性，其在平板电脑、PC机和手机等媒介呈现时主要借助3G、4G和WIFI网络，将数字出版、移动学习、云服务三大领域的前言科技进行了集合，支持高清图片、视频、音频、动画、3D、地理定位等多媒体学习内容，可以进行内容交互、网络社交、百科互动等学习。基于大数据及云计算视角下的在线教育交互性当中，开发移动交互式数字教材，能够为学生提供更加丰富的、可扩展的、精致化、可进度跟踪的学习体验。该种教材比较适合我国高校，尤其高职院校学生的学习特点，便于学生更好的应用专业知识，掌握专业技能。同时，基于大数据及云计算视角下的在线教育交互性移动交互数字教材开发，亦便于对教学资源进行整理和利用，促使专业教更加完善。

（4）积极采用智能手机教学

当前，很多学校禁止手机进课堂，因为学生上课玩手机比较容易导致注意力不集中。但是，美国却主张让手机服务于课堂，主要便是积极运用大数据和云计算技术开展智能手机教学[5]。我国传统的教学信息化基本上按部就班进行，即便进行了交互却并没有有效的反馈。在实际的信息化运用当中亦存在各种限制与监管，并不具有互联网开放性思维。学生在具体的学习当中亦不能够恰当的应用信息化技术，且学习进度具有较大差异。面对此情况，必须要积极采用“线上线下一体化”教学方式，利用智能手机，增添课堂教学趣味。例如，可以通过QQ群、微信群、微博互动灯通信软件以及社交网络平台进行师生与生生互动，吸引学生具有更加浓厚的学习兴趣。