大数据量解决方案范文

导语：如何才能写好一篇大数据量解决方案，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

“存储是大数据的重点，我们需要做的就是发挥自身优势，瞄准大数据，为存储行业上下游合作伙伴提供更好、更专业的营销服务。”国内市场领先的专业IT分销商长虹佳华信息产品有限责任公司（简称长虹佳华）董事总裁祝剑秋对企业的增值分销业务有着清晰的定位。

产品与方案：

集聚业界最强资源

正如很多业内专家所说的那样，存储和安全是大数据迫切需要考虑的首要问题。

从海量数据产生的角度，以前数据量都是以GB或者TB记的量级。但如今，情况发生了改变，过去可能多年才能累计产生的数据量，现在可能只用很短时间就会积累起来，一些单位每年产生的数据量就可能达到几十TB，甚至不久的将来就会升级到PB级的数据量，将会占用越来越多的存储空间。

在解决海量数据的存储问题的同时，企业还必须要解决数据的安全性和可靠性等问题。所谓数据的安全性是指数据在任何情况下的可访问性，不会因为人为或自然的因素导致数据不可访问；数据的可靠性意味着即便是在极端情况下，数据发生损坏或丢失，仍有数据可被恢复或直接访问。

显然，解决这些问题必须要靠质量过硬的产品与解决方案。为此，长虹佳华近年来持续在云计算安全和大数据方面进行探索和投入，并且取得了很大成果：

在产品方面，长虹佳华以存储和服务器类产品为主，涵盖HDS、博科、昆腾、EMC、IBM等十余家全球知名、领先的数据存储业务服务商；在解决方案方面，长虹佳华帮助商为多种特定的行业用户提供行业解决方案，并且可以针对用户的不同需求提供定制化的解决方案，从而更加凸显了长虹佳华的综合实力；

在服务方面，长虹佳华并不仅仅重视售后服务，而是为用户提供包括培训、环境测试、技术支持在内的售前、售中、售后的一站式服务。以存储产品为主导构建增值业务群，如今已成为长虹佳华的既定战略。

近几年来，长虹佳华在原有合作伙伴的基础上，进一步与赛门铁克、Radware、博世、迈普等国内外知名品牌紧密合作，集聚了强大的产品与解决方案资源，整体解决方案能力和产品组合能力大大增强，进一步提升了长虹佳华“以数据为核心”的增值分销业务的服务能力。

CDSClub与云计算体验

暨培训中心：为数据安家

CDSClub与云计算体验暨培训中心，一直是长虹佳华享誉存储分销行业的代表之作。CDSClub一方面从技术整合出发，另一方面从渠道伙伴支持出发，两者相结合，就为大数据的应用与销售安下了最好的“家”。

CDSClub是从长虹佳华成功运作数年的SANClub升级而来，其主要功能是给特定的行业提供定制化的数据方案。升级后的CDSClub并不是仅仅局限于SAN架构一种主流技术，而是实现了跨平台的技术整合，使最终的数据方案更贴近实际应用，服务更统一，并且更有针对性。同时，方案的适用性也得到了极大提高。

目前处于国内领先地位的长虹佳华云计算体验暨培训中心，为渠道合作伙伴的数据方案、系统集成提供了演示、测试的广阔平台，对于渠道合作伙伴需要的不同产品组合应用测试、各类定制方案演示等都可轻松实现，是对渠道技术需求的极大补充支持。同时，该中心还充当起长虹佳华对合作伙伴及行业客户进行技术培训、资质认证以及设备服务的支持平台角色。

大数据浪潮正汹涌来袭，与互联网领域其他变革一样，这绝不仅仅是一场信息技术领域的革命，更是在全球范围内加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言：预测未来最好的方法，就是去创造未来。瞄准大数据的存储业务，长虹佳华正在向最强营销服务提供商迈进……

分销业务业绩骄人

长虹佳华信息产品有限责任公司（即长虹IT）的实际控制人为品牌价值为786.75亿元、净资产约100亿元的四川长虹。长虹佳华拥有长虹的资本、制造优势以及长虹佳华自身在IT领域的产业优势和独特的团队文化，是长虹IT产业的旗舰和支柱企业。

篇2

以在能源行业中占据重要地位的石油企业为例。中国石油集团东方地球物理勘探公司研究院数据中心目前就部署了基于英特尔架构的整套端到端的解决方案，依赖英特尔的至强、至强融核、固态盘、高速互联技术，及它们与Lustre、Hadoop等软件的有力结合，石油勘探能效明显提升。东方地球物理公司研究院处理总中心总工程师赖能和在接受本报记者采访时说：“IT技术创新与油气勘探的主要结合点在于地震波勘探法，它可以对人工制造和收集回的地震波进行处理，并将之转化成可视化的油藏模拟图像，帮助准确定位油气田的储藏。这一过程不仅要依赖能精准收集数据的前端传感探测设备，而且其产生的TB级、PB级海量数据，也需要借助高性能计算技术进行快速处理，获取洞察。”

从2011年开始，赖能和团队发现数据量开始快速增长，而且随着采集技术的快速发展，截至目前的数据量比2013年增长了3倍。在谈到HPC下一步在石油行业应用的未来发展趋势时，赖能和总结了以下几点趋势：“一、基于多核CPU+协处理器模式会成为主要的应用平台。二、高速网络，主要是基于万兆、4万兆和10万兆的网络会成为主流。三、存储方面，主要会在高性能、高可用性、可管理性、稳定性这块的挑战会更大。四、数据传输时间方面要求更高。五、绿色机房建设技术，主要是在节能制冷方面会有新技术出现。”而这其中，赖能和认为还需同步解决更高要求HPC的配置问题，需要更加稳定的大规模的并行处理系统。

密度海量数据处理已经成为油气勘探的趋势，大数据成为常态，所以需要更大规模的计算资源。对此，龚毅敏表示：“英特尔在大数据方面已经具备了的解决问题的能力。在此之前英特尔中国研发了自己的大数据分析平台Hadoop的产品IDH，并且在今年年初又与Hadoop的服务和软件供应商Cloudera达成战略合作，并面向中国用户开发推出了针对客户推广了融合版本Hadoop产品CDH。但是结合到具体不同的行业，我们会与合作伙伴一起，针对用户的具体它的应用场景做更多深度合作和技术的合作点的挖掘。”

除此之外，在端到端中新兴的物联网端，英特尔提供了在性能、功耗和功能上具备多样化特点的产品组合，包括了至强、酷睿和凌动产品线，既有传统的处理器，也有集成了更多功能的系统芯片（SoC）。还有去年的以Quark为代表的开放微架构，将有望大大提升能源行业专用智能物联网设备开发和应用的速度。

篇3

>> 一种基于XML的电子订单安全方案 ESP：大数据时代科学教育整合的一种解决方案 一种面向航天领域的实时数据处理框架研究 一种适合于大数据集处理的混合EM算法 一种面向制造的EBOM构建方案 一种海量数据处理平台的解决方案 一种面向电力在线监测系统的嵌入式数据处理平台设计 一种灵活的WEB数据导出方案 一种基于文件缓冲方式的操作大数据量数据的方法 一种数据稳健光滑的处理方法 一种分布式大数据的数据安全管控策略研究 一种大数据智能分析平台的数据分析方法及实现技术 一种面向媒体网关的平台软件解决方案 一种面向LTE基站的SOC平台软件解决方案 一种面向Web3D的大规模场景实时绘制方案 一种面向就业的计算机专业培养计划改革方案 一种面向商业智能的数据挖掘体系结构的应用研究 大数据：另一种国家核心资源 一种面向医疗机构的数据仓库应用架构 一种面向专利文献数据的文本自动分类方法 常见问题解答 当前所在位置：l， 2014.11.16.

[2]新华网财经频道. 2014年零售百强销售规模同比增长26.2%，天猫居榜首[N]. http：///fortune/2015-07/09/c_1115875315.htm， 2015.7.9.

[3]百度百家. 2015年电商行业五大趋势[N]. http：///article/42503， 2015.1.13.

[4]J. Dean， S. Ghemawat. MapReduce： simplified data processing on large clusters. Communications of the ACM [J]， vol.51， no.1， pp.107-113， 2008.

[5]Hadoop. https：///.

篇4

那么，什么是下一代分析生态系统？按照记者的理解，就是结合了商业技术、开源技术的多平台的新一代大数据解决方案。正如Teradata首席技术官宝立明所言，数据分析解决方案正在快速从传统分析解决方案向下一代分析生态系统演进。

谈到数据库或者数据分析市场的变化，在Teradata营销与业务拓展副总裁Mikael Bisgaard-Bohr回顾说，30年前Teradata的核心技术是关系型数据库，随着时间的推移，数据分析市场的需求也起了很大的变化，我们的解决方案也从传统数据仓库扩展至包含开源技术的分析生态系统。现在很多研发人员、数据分析人员也关注如何更好地实现数据变现。“不仅Teradata，其他的传统数据公司都在面临同样的变化，因为整个市场已经发生了变化。”Mikael补充说。

随着非结构化数据量的大幅增加和非结构化数据分析的需求不断加大，单一平台早已经不再能满足所有数据的处理需求。因此宝立明认为，生态系统将成为行业潮流，商业技术要与开源技术结合起来，生态系统方案将成为行业标准和最佳实践；全新的开源技术，特别是Hadoop技术，以及云环境将成为行业趋势。

因此对于大数据分析和应用供应商来说，如何更好地将商业技术与开源技术结合起来，构建完善的生态系统，成为现阶段的一大挑战。

宝立明透露，Teradata算是最早宣布将开源Unix和Linux应用在数据库平台之上的，而且现在Teradata采用的操作系统也是完全开源的。此外，他还透露，Teradata在Hadoop上投入很大，为的是让开源技术可以和商业技术实现互通，例如Teradata开发的专利技术QueryGrid连接器。Teradata还在Hadoop文件系统上添加了仪表盘能力，使流数据能够进入Hadoop进行部署。

篇5

增强控制力

“很多用户的数据保护架构还是一个‘随意架构’，它由零散的数据保护流程和‘烟囱式’的基础架构组成，需要保护的数据被信息孤岛隔裂开，不能实现整合与优化。”EMC公司备份和恢复系统部亚太及日本区销售副总裁Dmitri Chen解释说，“面对虚拟化、云计算、大数据带来的新挑战，企业用户希望数据保护系统是可视化的和可控的，数据保护流程能够更简单，整个数据保护过程都是合规的。其中最重要的是，用户自己要对数据保护架构有绝对的控制能力，可以根据自己的需求进行调整、优化和修补。”

为了消除现有数据保护架构的随意性，增强用户对数据保护架构的控制力，EMC近期升级了自己的数据保护解决方案，包括硬件和软件以及云备份服务。Dmitri Chen强调说，为了改善数据保护架构，应该从以下三方面入手。第一，保证存储硬件平台的高性能、高可扩展性和高可靠性。作为最后一道防线，数据保护架构不仅要提供大容量、低成本的存储，还要能实现灾难恢复、备份和归档等功能。第二，实现数据源的集成，不仅可以对物理环境和虚拟环境中的数据进行统一保护，而且可以为来自不同应用程序（比如Oracle、SAP以及VMware、Microsoft等）中的数据提供保护。EMC扩展了备份和归档产品对应用程序的支持，比如EMC Data Domain现在可以支持SAP HANA Studio通过网络文件系统（NFS）直接进行备份。第三，实现数据管理服务。管理员可以对数据保护流程进行管理和控制，实现可视化。实现数据管理服务的依托是备份、重复数据删除等相关软件。

软硬件的整合

“随着数据量的增加，以及用户对数据可靠性、可用性、安全性需求的增加，略显单薄的传统备份产品已经逐渐发展成整体的数据保护解决方案。”Dmitri Chen表示，“软件与硬件的同步发展以及整合方案的推出，可以全面满足用户对数据保护的需求。”

EMC近日的数据保护产品中就包括大量硬件和软件。其中，硬件是全新的Data Domain系列中端产品，包括DD2500、DD4200、DD4500和DD7200。“这些新产品与它们要替换的旧产品相比，性能提升4倍，可扩展能力增强10倍，并且可以实现备份与归档的全面整合，从而降低了数据保护的整体拥有成本。”Dmitri Chen介绍说。

篇6

虽然信息化发展了，但系统的快速扩张却给IT运维带来了烦恼。中国人民总医院计算机室主任史洪飞说：“医院毕竟是医院，在IT方面的投入尤其是在IT基础设施方面的投入远小于需求。”他说，医院IT经费的80%用于终端设备更新、15%用于系统建设，因此，投在基础设施上的资金就很有限了。“我们有大量的服务器，但它们的利用率不超过20%；存储设备很分散，导致数据维护以及设备扩容和维护的工作量非常大；过多的基础设施设备使对机房的需求变大，维护成本也高。”

史主任说，2012年，他们开始对云计算进行比较深入的调研，期望通过云计算解决IT运维中的一些问题，包括公有云、服务器虚拟化、存储虚拟化以及桌面云，他们都进行了认真的考虑。最终，他们首先选择了服务器虚拟化解决方案，先将非核心业务的服务器进行池化，以保证系统的平稳运转。“对于像远程医疗等对外的应用，我们未来可能考虑利用公有云。另外，对于桌面云目前主要问题是资金投入问题，这是我们今后要重点考虑的。”史主任说。

医疗信息化发展到今天，从基础设施到业务系统，甚至用户终端的配置都在发生着变革，而适应这些变革的正是云计算。这一点，从史主任他们的信息化实践中也可以看出。华际系统公司副总裁、博雅云计算总经理刘炜带领的团队从事医疗行业信息化多年，日前在“英特尔架构高集成度医疗解决方案应用论坛”上，他说，目前医疗信息化存在的问题主要有信息孤岛和信息烟囱、资源相对不足、系统效率需要提升、不断攀升的医疗IT成本等。而云计算首先可以解决资源相对不足的问题，并降低IT成本、提高效率。

为此，英特尔联合博雅和Nutanix等合作伙伴专为医疗行业应用构建了基于英特尔架构的高集成度解决方案平台，利用英特尔中国云计算创新中心，合作进行方案的开发和验证，降低医疗行业信息化的成本和复杂性，管理医疗信息系统的大数据问题，降低信息技术风险，提高医疗行业管理层的决策能力。

据史主任介绍，他们已经在Nutanix设备上做过技术测试，测试环境是4台刀片服务器、2TB内存和15TB存储，其部署和维护非常方便，应用系统的运行效率很高。

篇7

关键词：NoSQL 3.20工程 研判分析

一、前言

当今世界是一个信息高速发展的时代，随着网民参与互联网产品和应用的程度越来越深，互联网将更加智能，互联网的数据量也将呈爆炸式增长。可以预见公安行业信息化发展在未来几年里，数据将以每年 30%到50%的速度爆炸式增长。

在大数据时代下对系统又提出了新的需求：1、高并发读写的需求，高并发、实时动态获取和更新数据。2、海量数据的高效率存储和访问的需求，类似SNS网站，海量用户信息的高效率实时存储和查询。3、高可扩展性和高可用性的需求，需要拥有快速横向扩展能力、提供7*24小时不间断服务。

物联网发展和互联网应用带来了多源海量数据的存贮、管理、处理、融合、整合和挖掘分析问题，传统的关系数据库管理系统（SQL数据库管理系统）已不能完全适应这些海量数据的管理与计算要求，NoSQL数据库管理系统应运而生。NoSQL数据库主要有键-值存贮（key-value stores）、 BigTable、文件存贮数据库（document store databases）和图形数据库（graph databases）等类型，相关的数据库软件主要memcached， Redis， MongoDB， CouchDB， Apache Cassandra和HBase等等，都是开源的。

NoSQL数据库与传统的关系数据库管理系统相结合，为智慧城市数据管理提供整体解决方案，应用NoSQL并不是全盘否定SQL数据库，而应该是NoJustSQL依赖于SQL。

二、传统数据库在大数据处理中存在的问题

传统数据库，主要指关系型数据库，在长期的实践中体现出性能好、稳定性高等特点，在使用上也比较简单，功能强大，在实际的数据库工作和研究发挥了很好的作用。但关系数据库在应对大数据存在明显的问题：

1、分库分表缺点：

（1）受业务规则影响，需求变动导致分库分表的维护复杂。

（2）系统数据访问层代码需要修改。

2、Master-Slave缺点：

（1）Slave的实时性保障，在实时性要求很高的应用中，可能需要进行相关处理。

（2）在高可用性方面的问题，Master存在容易产生单点故障的致命弱点。

3、 MMM缺点： 本身扩展性差，一次只能一个Master可以写入，只能解决有限数据量下的可用性。

三、NoSQL概念

1、什么是NoSQL NoSQL是Not Only SQL的缩写，而不是Not SQL，它不一定遵循传统数据库的一些基本要求，比如说遵循SQL标准、ACID属性、表结构等等。相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。

2、主流NoSQL数据库--HBase简介 HBase是Hadoop Database的简称，它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术，可在廉价的PC Server上搭建起大规模、结构化的存储集群。

HBase是由Google Bigtable的开源实现，类似于Google Bigtable利用GFS作为其文件的存储系统，HBase利用Hadoop HDFS作为其文件的存储系统；Google是通过运行MapReduce来处理Bigtable中的海量数据，HBase同样是通过利用Hadoop MapReduce来处理HBase中的海量数据的；Google Bigtable利用 Chubby来作为协同服务，HBase是利用Zookeeper来作为对应的。

四、NoSQL的特点分析

1、NoSQL是易扩展的

NoSQL数据库的种类繁多，但是他们有一个共同的特点，就是去掉了传统关系数据库的“关系型”这一特性，所以NoSQL数据库的数据之间是无“关系”的，这样的数据库就非常容易扩展，同时，在架构的层面上也具有可扩展性，有多种NoSQL数据库之间的整合能力。

2、NoSQL是灵活的数据模型

NoSQL数据库不需要事先为要存储的数据建立对应的字段，随时可以存储自定义的数据格式。而在传统的关系数据库里，增删字段是非常麻烦的，如果是大数据量的数据库表，增加一个字段简直是很麻烦的。

3、NoSQL是高可用的

NoSQL数据库可以方便的实现高可用的架构，而且不太影响性能。比如Cassandra，HBase模型，就可以通过复制模型实现高可用。

4、NoSQL是具有大数据量的处理能力，具有高性能的特点

NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，这种读写能力体现更加突出，这得益于它的“无关系性”，数据库的结构简单，NoSQL的 Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

五、“3.20”工程海量数据分析应用

“3.20”工程是在江苏省公安厅统一部署下开展的路面监控建设工程，要求在市区主要道路每3公里记录一次车辆轨迹，国道等城市道路每20公里记录一次。

由于“3.20”工程每天产生海量过车信息，数据总量大、日均增量大、占用存储空间多，仅仅依靠Oracle关系数据库技术的存储建库模式，已不能完全满足实战应用的需求。对于传统的关系数据库来说，在一张几百亿条数据记录的表里面进行SQL查询，效率极其低下，用户不可忍受。在传统的关系数据库系统中往往采用分库、分表的策略进行数据存储，这种方式使得单表的查询效率得到提高。然而在能耗监测系统中往往需要对全局数据进行综合统计查询，往往涉及到几十上百个表，查询效率无法保证。

这就需要在“大平台”总体数据库体系下，深入研究“大数据”应用处理问题，引进HDFS分布式文件系统，采用Hadoop架构的NoSQL数据库技术，科学规划设计数据存储、传输、建库的模式，满足“3.20”工程车辆数据应用需要。NoSQL数据库采用“键-值”对的方式对数据进行存储，该存储方式是不需要固定的表结构的，也就不存在连接操作，具体操作时效率就比较高。在大数据存取上具备关系型数据库无法比拟的性能优势。

Hadoop应用场景

基于Hadoop HDFS等分布式文件系统存储结构，能够有效解决海量数据快速读写的性能瓶颈问题，是开展“大数据”应用访问、统计分析很好的解决方案。

对于需要分析的大数据，特别是对于日均增量达4000万的过车信息数据等，采用NoSQL数据库技术，运用Hadoop的HDMS结构方式进行存储建库，搭建多个“3.20”工程大数据专题库，并利用MapReduce功能来进行数据分析，多台机器组成集群进行并行计算，以此提升全省“3.20”工程大数据的处理和分析能力。

在汇集整合全省道路监控网“3.20”工程相关信息资源的基础上，结合各警种业务部门实战需求，充分利用“大数据”技术，以人车案关联分析为建设重点，实现全省一体化查询服务、人车案关联分析、重点车辆电子档案、重点车辆积分预警、警务地理信息系统对接应用、指挥调度系统对接应用等功能，面向全省基层单位、专业部门、各级公安机关领导提供系统服务，为开展深度研判应用奠定基础。

参考文献

[1]黄富洁.公安决策支持系统的研究与设计[D].济南：山东山东大学，2004

[2]张岚.浅析数据库技术的发展趋势[J].信息与电脑（理论版）.2012

篇8

2013年被称为大数据元年，大数据应用受到越来越多的追捧，其产品和解决方案也层出不穷。互联网、金融、电信、医疗，甚至影视、艺术产品领域都在谈论并试图应用大数据。厂商描绘的大数据应用蓝图和商业前景也让不少企业怦然心动。

 

对于目前的大数据热潮，另有一些评论者在质疑大数据只是概念炒作，认为其商业前景被过分夸大，大数据架构仅仅是“看起来很美好”而已。笔者认为，一方面大数据的价值不可否认，其对行业和领域的影响已经初现端倪，另一方面是战略性、概念性的东西仍被谈论过多，大数据落地应用稍显底气不足。目前在中国市场上，大数据的大规模应用方面还没有足够的需求。因此，在企业IT基础和信息化水平无法一夕之间改变的情况下，大数据应用不妨从小处入手，循序渐进推广。

 

首先，对于数据的收集和筛选，不应一味地追求越多越好，应理性选择。软硬件水平的提升使得数据收集和存储日益简单，很多企业不遗余力收集各种数据，花费大量成本，还往往把问题复杂化。在实际操作中，企业需要结合业务进行规划定位，才能了解哪些数据能够满足功能目标，从而有效地选择数据源。

 

其次，推动和落实大数据，不一定非得“大”字当头——实施大项目、采用大技术、寻找大量专家……在起步阶段，面对巨大的数据量做一个大规模的应用，并适合大多数人使用，这几乎是不可能的。最好能结合企业需求和特点选择技术难度小、针对性强的切入点，其解决方案和项目规模也尽量在现有信息化水平基础上有的放矢。企业应用大数据应该注重实用，不要把大数据看作“全能”。

 

从小处入手，有利于风险的控制。小规模的项目相对来说易于掌控，这在目前并不成熟的大数据领域，对刚开始应用大数据的企业来说非常重要。即使出现差错，也方便弥补和修正，相应的损失也在可控范围内。从小处入手，有利于取得有效的投资回报。在中国市场，大数据落地实践的不多，真正获得收益的案例就更为有限。小规模的大数据应用能快速展现出大数据的优势，并有助于洞察类似的应用能为企业带来多少收益。在一个相对较小的范围内先实现目标，然后再逐步推广，这样更容易获得认可。

 

需要注意的是，即使是小规模应用，也需要足够的基础支撑，比如硬件设备、人才，企业应该先认清自己的信息化水平，在自身能力范围内展开大数据的应用，效果会更加显著。

篇9

归档到磁盘

传统上，人们习惯用磁盘做备份，用磁带做归档。随着数据量的不断增加，人们需要更快速地处理、归档数据，而且要保证归档数据随时可查。虽然从成本的角度考虑，磁带仍然是最经济的归档介质，而且磁带可以实现离线的数据保护，这有利于数据的异地保存和安全性，但是性能始终是磁带最大的掣肘。Janae Lee举例说：“在美国，我们的一个客户为了提高系统的整体处理性能，在一级存储中使用了固态硬盘（SSD），之后不经过任何中间环节，就将数据直接归档到磁盘系统中。”一些互联网企业和游戏客户可能会对这种高性能磁盘归档方案感兴趣。

从技术的角度看，将磁盘用于归档是否可行呢？当磁盘上的数据越聚越多时，即使有RAID等技术作为保护，磁盘还是会容易出现故障。退一步说，就算RAID技术能够起到保护作用，RAID进行数据重构时，也要花费一定时间，当数据达到PB量级时，这种重构所花费的时间可能是用户难以忍受的。由此可见，将磁盘用于备份，一个前提是必须提升磁盘的效率、安全性，同时降低其整体拥有成本。为此，昆腾将一种原先用于通信领域的技术引入到磁盘归档方案中，推出了基于Wide Area Storage（WAS）技术的磁盘备份方案。与RAID磁盘相比，WAS的安全性大大提高，效率提高50%～70%，整体拥有成本降低50%～70%。Janae Lee介绍说：“我们的磁盘归档方案基于NAS界面，可与StorNext软件配合使用，非常适合云归档应用。磁盘归档方案将于2013年初面世。”

磁带是数据保护的最后一道防线。Janae Lee表示：“磁盘归档方案与磁带归档方案之间不是替代的关系，而是互补的关系。磁带归档市场仍在不断扩大。对于那些办公场所位置分散，又希望快速存取数据的用户来说，WAS是比较理想的选择。”

磁带不受影响

在大数据时代，磁带的重要性会进一步被削弱吗？昆腾公司大中华区总经理张金华介绍说：“从2011年昆腾在中国的销售业绩看，以DXi系列产品为代表的磁盘业务始终保持高速增长的态势，每个季度的增长率都能达到两位数，而磁带业务则与2010年持平。”虽然昆腾的业务重点已经转向数据保护整体解决方案和大数据，磁带不再是业务核心，但是昆腾并没有放弃磁带业务，对于磁带的研发投入也没有减少。

“我们为磁带库产品增加了一些新的功能，比如EDLM自动磁带内容检查功能、双机械臂、Active Vault等。这些新功能的加入，可以让磁带库与StorNext软件更好地配合使用。”Janae Lee举例说，“在广电领域，10%的数据存储在磁盘上，90%的数据存储在磁带上。用户还要经常调取磁带上的数据。StorNext 4.3版本增加了一项新功能，在将数据写入磁盘的同时，也会写入磁带。这种技术非常适合电视台节目上传的应用。”

软硬件都重要

在昆腾的大数据解决方案中，StorNext扮演了极其重要的角色。以前，StorNext都是以软件的方式提供给客户的。但是有客户反映，StorNext的部署和调优比较复杂。为此，从2011年开始，昆腾开始提供基于StorNext的软硬件一体化解决方案。

篇10

根据计世资讯2013年3月的中国大数据市场调查报告显示，相较2011年，2012年中国大数据市场规模增长52.4%，达到3.2亿元。预计到2017年，中国大数据市场的年增长率都将超过60%，到2017年，达到37.9亿元的市场规模，在经济、整体IT市场低迷的情况下，实现大幅逆势增长。

在日前由《计算机世界》报主办的“大数据时代的商业智能高峰论坛”上，来自IT厂商的代表、业内专家、资深分析师及用户代表就大数据热门话题展开了激烈的讨论。

焦点一：

大数据是不是大忽悠？

IT技术的每一次更新迭代都面临同样的问题，前两年的云计算、如今的大数据无不如此。实际上我们回过头来看，所有的技术和产业的发展都有泡沫化的过程，包括互联网、金融危机、云计算、大数据，都会有一个泡沫化的过程，而泡沫破灭的过程也正是这项技术落地的过程。

大数据热起因是其可以产生更多的价值，而在当前这个时间点热，一方面是越来越多的人意识到了其中的价值，另一方面则与技术的发展成熟密不可分。戴尔云计算及大数据高级解决方案架构师郝继玖和EMC资深技术顾问杨永波在这个问题上所持的观点基本相同，他们认为并不是之前没有大数据，而是没有能力处理。当下这个时间点一方面是数据规模确实越来越大，而另一方面计算能力也达到了一定的水平，当这两者都具备的时候，才催生了大数据时代的到来。

作为用户代表，IDG集团中国区副总裁、计世传媒集团董事许伟明表示认同，他认为主要是当前IT系统的计算能力和成本都已经降低到了可以负担的水平，由此推动了大数据的快速发展。

作为大数据领域的专家，北京理工大学计算机学院院长助理、大数据搜索与挖掘实验室主任张华平副教授表达了他的看法。他表示，虽然当前大数据还停留在泡沫阶段，不过大数据的泡沫不会比云计算大，因为云计算更多涉及的是架构问题，业内分歧比较多，而大数据关注的只是业务，更加专注，因此也会更快地实现落地。

焦点二：

上马大数据要做哪些准备？

根据计世资讯的大数据市场调研报告显示，未来半数以上的企业会采用大数据解决方案。用户如果真的要部署大数据解决方案，要做哪些准备？

了解需求、获得老板的认可，是首先要考虑的。许伟明认为，从公司角度来看，最大的问题是如何获得老板的支持；而从业务层面出发，则需要考虑实际的需求。比如你所处的企业如果数据量很大，则需要在IT架构上做准备，考虑包括数据是怎么收集的、从哪里收集、如何与其他数据进行匹配等问题。而在操作过程中，则可以首先尝试一些开源的工具进行小范围测试，做一些基本了解，然后再找相关的专家仔细进行评估。

这仅仅是最基础的部分，在此之上，企业还要将项目与整体业务紧密地联系在一起。因为如果只是单独考虑某一部分的业务，失败的概率非常大。杨永波表示，从IT架构层面来讲，很多数据的获取并不容易，打通所有层级、部门的数据是比较难的，但是只有把信息打通了，才拥有了真正的大数据。

郝继玖则进一步做了补充：“大数据相应的IT架构搭建完成后，还需要考虑服务的标准化，因为随着数据量、设备及人员的增加，如何分工、保证高质量的运维效果是需要迫切考虑的问题，这个过程就需要建立统一的服务标准和流程。”

除了技术层面的问题外，还有一个很大的问题就是隐私问题。张华平讲到，现在有很多大数据隐私被滥用的问题，无论从国家还是公司层面来讲，要想把大数据做好，都面临数据公开的问题，需要各个部门数据的融合。因此，利用大数据的时候，要考虑隐私的问题。另外，还需要考虑数据本身的生命周期问题，有一些老的或者过时的数据，可能对你最后的分析结果产生特别糟糕的影响。因此，专业的人才不可或缺，应该有一些数据分析师，或者跟业务相关的数据科学家对数据进行分析。

焦点三：

用开源平台还是商业软件？

一提到大数据很多人会想到Hadoop。作为开源平台的忠实支持者，张华平认为做开源和共享平台，从最终的情况来看，获取的价值更大。因为开源软件参与的用户多，反馈多，更容易改进和完善。

不过，杨永波并不这么看，他认为Hadoop不等于大数据，针对非结构化数据的分析，Hadoop是比较好的平台，也是现在被广泛接受的平台。但也正因为其是开源平台，也存在一些弊端，比如服务质量无法保证。另外，Hadoop有很多版本，要真正实现商用，需要用户具备足够高的技术水平。因此，用户在选择时并不能一味追求开源，需要综合考虑自己的情况。

对此，许伟明表示认同杨永波的观点，他认为无论是开源还是商业软件，最重要的还是服务质量、服务速度，不能一味考虑成本问题。

郝继玖表示：“大数据发展速度越来越快，给IT市场带来的空间也越来越大。因此，在开源平台方面，我们一直在积极参与，推动行业的发展。戴尔并不提供大数据运行平台，提供的只是其中的计算能力。”

焦点四：

大数据时代，安全如何保证？

大数据并没有人排斥，但在记者采访过程中，经常有用户问这样的问题：如何保证我的信息安全，如果无法保证安全，大数据还上不上？对此，张华平一语中的，“我们不会因为高铁出事不坐高铁，不会因为飞机出事不坐飞机，大数据是科技发展的趋势，但要把握好方向，这需要法律的完善。”

张华平的观点得到了与会嘉宾的赞同。郝继玖认为，数据是把双刃剑。消费者网购时需要提供家庭地址，才能给你运过来，这是经过同意获取你的信息，因为有良好的法律环境进行统一管理，所以买家不用那么担心；而生活中很多时候是滥用信息的收集，是在用户不知情的情况下搜集你的信息，这就需要相应立法进行保护。大数据也是类似的，只让适合的人利用我的数据。另外，关于大数据的报道，未来也要有严格的法律保护体系，保证我的数据不被泄露出去。

许伟明还在此基础上提到了平衡，他讲到，一个信息点传播出去，对某个人而言，可能是隐私受到了侵犯，但从另一个角度来看，你把互联网当成是一个系统，你不断地训练这个系统，让其更好地为你服务，其实也不是坏事。“我们做媒体的，研究的大数据就包括精准的广告投放。比如在你阅读的时候，获得了你想要的广告信息，对用户而言也不是坏事。再比如你在研究旅行的时候，给你一些旅行社的信息，或者给你一些比较便宜的飞机票等，相信客户还是愿意看的。实际上你可以有意识地泄露一些你的信息，这样系统会分析你的数据，真正地帮助你，所以我觉得没必要恐惧。而恶意的信息收集、未经用户允许收集的信息，都是违法的。这其中就需要平衡，不能因为有可能被泄露隐私就不用大数据。”

链接

2013大数据平台最佳创新产品奖

Dell PowerEdge C8000

数据中心基础设施解决方案奖

Nutanix虚拟计算平台

2013大数据优秀解决方案

帝联科技“云主机解决方案”

南大通用GBase 8a数据库

Informatica PowerCenter大数据版

2013大数据优秀产品奖

华为12800交换机

浪潮云海大数据一体机

SAS可视化分析平台

知意图精准推荐系统

2013大数据人才培养贡献奖

慧科教育

大数据时代的商业智能高峰论坛召开