大数据平台解决方案范文

时间:2023-03-20 18:17:38

导语:如何才能写好一篇大数据平台解决方案,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。

大数据平台解决方案

篇1

EMC Isilon:横向扩展 性能突出

数据存储不是一类单独的产品,它有很多实现方式。EMC Isilon存储事业部总经理杨兰江概括说,大数据存储应该具有以下一些特性:海量数据存储能力,可轻松管理PB级乃至数十PB的存储容量;具有全局命名空间,所有应用可以看到统一的文件系统视图;支持标准接口,应用无需修改可直接运行,并提供API接口进行面向对象的管理;读写性能优异,聚合带宽高达数GB乃至数十GB;易于管理维护,无需中断业务即可轻松实现动态扩展;基于开放架构,可以运行于任何开放架构的硬件之上;具有多级数据冗余,支持硬件与软件冗余保护,数据具有高可靠性;采用多级存储备份,可灵活支持SSD、SAS、SATA和磁带库的统一管理。

通过与中国用户的接触,杨兰江认为,当前中国用户最迫切需要了解的是大数据存储有哪些分类,而在大数据应用方面面临的最大障碍就是如何在众多平台中找到适合自己的解决方案

EMC针对不同的应用需求可以提供不同的解决方案:对于能源、媒体、生命科学、医疗影像、GIS、视频监控、HPC应用、某些归档应用等,EMC会首推以Isilon存储为核心的大数据存储解决方案;对于虚拟化以及具有很多小文件的应用,EMC将首推以VNX、XtremIO为核心的大数据存储解决方案;对于大数据分析一类的应用需求,EMC会综合考虑客户的具体需求,推荐Pivotal、Isilon等一体化的解决方案。在此,具体介绍一下EMC用于大数据的横向扩展NAS解决方案——EMC Isilon,其设计目标是简化对大数据存储基础架构的管理,为大数据提供灵活的可扩展平台,进一步提高大数据存储的效率,降低成本。

EMC Isilon存储解决方案主要包括三部分:EMC Isilon平台节点和加速器,可从单个文件系统进行大数据存储,从而服务于 I/O 密集型应用程序、存储和近线归档;EMC Isilon基础架构软件是一个强大的工具,可帮助用户在大数据环境中保护数据、控制成本并优化存储资源和系统性能;EMC Isilon OneFS操作系统可在集群中跨节点智能地整合文件系统、卷管理器和数据保护功能。

杨兰江表示,企业用户选择EMC Isilon的理由可以归纳为以下几点。第一,简化管理,增强易用性。与传统NAS相比,无论未来存储容量、性能增加到何种程度,EMC Isilon的安装、管理和扩展都会保持其简单性。第二,强大的可扩展性。EMC Isilon可以满足非结构化数据的存储和分析需求,单个文件系统和卷中每个集群的容量为18TB~15PB。第三,更高的处理效率,更低的成本。EMC Isilon在单个共享存储池中的利用率超过80%,而EMC Isilon SmartPools软件可进一步优化资源,提供自动存储分层,保证存储的高性能、经济性。第四,灵活的互操作性。EMC Isilon支持众多行业标准,简化工作流。它还提供了API可以向客户和ISV提供OneFS控制接口,提供Isilon集群的自动化、协调和资源调配能力。

EMC Isilon大数据存储解决方案已经在医疗、制造、高校和科研机构中有了许多成功应用。

方案点评

EMC Isilon是一个强大但简单的横向扩展NAS方案,适用于希望投资数据管理而不是单纯存储的企业。当初,EMC将收购来的分布式数据仓库软件厂商Greenplum的软件与Isilon存储组合成了EMC最早的大数据解决方案。用户既可以分开选择Greenplum软件或Isilon存储,也可以选择由Greenplum软件和Isilon存储组成的一体机解决方案。现在,Greenplum软件虽然已归Pivotal公司,但EMC是Pivotal的经销商与合作伙伴,Greenplum与Isilon存储的组合方案并不会因此受到影响。

HDS UCP:统一平台 应用优化

HDS中国区解决方案与专业服务事业部总监陈戈认为,大数据存储应该是一个解决方案:“大数据解决方案是由基础架构的各部件组成的,包含数据存储、计算和分析,而存储是此架构中的一部分。”

大数据的存储类型与传统的存储类型有一定区别:在大数据存储中,更多的应用是一次写、多次读,读得更多是大数据存储的一个特点,而在传统的数据存储中,读写是随机的,由于每个应用不同,其读写的比例也是随机的;大数据存储需要具有横向的可扩展性,并可支持多种接口、多种数据访问协议,便于不同数据进入这个大数据平台。

谈到中国用户在大数据存储应用中最迫切的需求是什么,陈戈认为,中国用户最迫切的需求是如何逐步实现大数据应用,即用户从现有的模式如何过渡到大数据,如何更好地利用大数据进行经营分析。

大数据的经典定义可以归纳为四个“V”,但企业不可能一步到位实现四个“V”,这需要一个循序渐进的过程。海量的、多种类型的数据是一次性全部载入到大数据中,还是通过现有的平台进行数据初选,再导入到大数据平台中,是两种不同的实现途径。“先通过现有平台进行数据初选,再导入到大数据平台,这种方式更适合于客户逐渐实现大数据,可以缩短用户实现大数据应用的时间。”陈戈表示,“大数据主要是非结构化数据。用户可以使用基于对象数据存储的HCP,利用其独特的元数据采集和智能工具,对非结构化文件数据进行管理,实现智能的自动化,这有助于对数据进行深度分析,帮助客户从单一系统中存储、共享、同步、保护、保存、分析和检索文件数据,减少垃圾数据,进而为大数据分析建立一个良好的基础。”

谈到用户在大数据应用中遇到的主要障碍,陈戈表示,一方面,应用软件本身的智能程度是否能满足行业应用需求,应用软件是否已经成型,大数据人才是否具备等,是让大数据应用落地的关键;另一方面,如何抽取数据,放在大数据平台中进行相应的计算是另一个关键问题。

HDS可为所有数据提供单一、可扩展的虚拟化集成平台。HDS推出了“三步”云战略,从基础架构、内容和信息三个层面帮助客户解决目前所遇到的问题。具体来看,通过“基础架构云”,HDS可以帮助客户进行虚拟化和集成管理,实现数据中心的整合;在第二层的“内容云”当中,HDS可以按需提供内容,更可以不受应用限制地进行数据搜索和集成;在第三层的“信息云”中,针对所有数据类型,HDS在其存储平台中融入了分析功能,使客户可以从数据信息中获取洞察力。

HDS提供的UCP for SAP HANA集成了基于大量数据集的创新和内存分析技术,并提供实时的洞察力,从而使当前的信息驱动型企业可以加快其商业决策的速度。陈戈介绍说,UCP for SAP HANA解决方案结合了HDS刀片服务器技术、企业级存储系统和业内领先的网络组件,在这样一个集成的、高性能的硬件平台上可以快速交付SAP下一代内存计算技术。全球已有超过200家客户在使用HDS和SAP的大数据解决方案。

方案点评

其实,HDS的“三步”云战略也可以看成是其大数据战略。HDS借助以UCP为核心的大数据平台,可以帮助企业用户构建从基础架构到内容归档和搜索,直至信息提取和分析的全面、高效的大数据解决方案。HDS的“信息云”直接与大数据相关。UCP是一个集成了计算、存储与网络的一体化平台,它既可以提供像一体机一样的整合性、简单性,又可以提供灵活的选择,连接第三方的设备组件。HDS还通过与包括SAP在内的众多大数据分析类的合作伙伴合作,针对行业定制优质的大数据解决方案。

HP StoreAll :快速部署 极速搜索

中国惠普有限公司企业集团存储产品部存储架构师张楠向记者表示,大数据存储是一套解决方案,应该能够对大数据的Volume、Velocity、Variety和Value四个方面提供全面的支持。

第一,大数据存储要支持海量级的数据存储,比如具有PB级的存储能力。第二,大数据存储要支持更高的存储速度,支持10Gb甚至更高的网络连接。第三,大数据存储要支持数据的多样性,如图片、文本、视频、音频等。第四,大数据最重要的是价值的体现,而为了实现这一点,存储本身应该具备快速、智能的数据检索能力。“在存储的最底层提供最直接、快捷的数据检索。这一过程简单说就是,将上层的数据挖掘工作下移,充分利用存储强大的处理能力和数据识别能力。”张楠举例说,“比如,在秒级的单位内对数据进行极速的搜索, 从几千万甚至上亿个文件中找到目标数据。”

另外,模糊查询能力也是大数据存储不可缺少的功能。智能的模糊查询将为大数据平台提供更加便捷的存储服务能力,使得存储更像一台智能的高速计算设备。

目前,很多中国用户在存储厂商的引导下,片面追求存储的大容量和高性能,而忽略了大数据存储本身应该提供的其他额外属性。中国用户在实施大数据的过程中经常遇到的障碍有以下两方面:第一,无法将存储与大数据平台进行对接;第二,无法充分利用大数据存储的价值,也很难将其运用到实际的业务中。张楠表示,究其原因,主要在于有些大数据存储产品没有开放的接口协议,或没有针对用户的大数据场景进行特别优化,也没有用户容易接受的易用的管理方式等。

惠普在大数据方面可以提供软硬结合的解决方案。惠普在收购Autonomy公司之后,将其软件与惠普的硬件平台进行了整合, 形成了一套完整的大数据解决方案。张楠介绍说,在存储方面,惠普拥有像StoreAll这样的大数据存储平台。借助HP StoreAll硬件平台,用户除了可以实现海量数据的存储和高速数据访问以外,还能实现高级的数据检索功能,对特殊文件进行快速定位。同时,结合HP Autonomy软件的特性,惠普还引入了模糊查询、智能语义库等概念,可以帮助企业用户通过存储底层为上层业务带来所需的大数据业务价值。

如今,闪存不仅在大数据领域,而且在Tier 1存储市场同样占据着十分重要的地位。对于大数据平台来说,闪存可用来提升存储的存取速度,降低I/O的响应时间等。针对那些I/O压力十分明确的大数据平台, SSD可以发挥其效果, 提升存储的整体性能。但是,SSD并不是万能的。因为大部分的数据都是非结构化的,而非结构化数据对I/O的响应要求远远没有对带宽的需求大,所以,让用户花数倍的价格购买SSD存储在目前来看还是比较困难的。从目前情况看,引入闪存的大数据解决方案还不是很普遍。

方案点评

惠普在大数据方面收购了两个软件公司Vertica与Autonomy,然后将它们的软件与原有的硬件平台进行整合,针对结构化和非结构化的数据都可以提供针对性的解决方案。惠普在将大数据软件与存储硬件结合上也进行了尝试,其中一个成功的例子就是HP StoreAll大数据存储平台。HP StoreAll具有以下特点:横向扩展,最大可以扩展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,实现实时大数据的价值;内置对OpenStack的支持,可快速部署;支持文件和对象类型的数据存储。

NetApp:统一架构 无限扩展

如今,企业若想获得成功,就必须想方设法应对具有前所未有的复杂性、高性能的海量数据,并尽可能地管理这些数据,从中发掘更大的商业价值。

对于国内用户来说,无论企业的规模和数据量大小如何,运用大数据的关键在于,企业是否把大数据作为一个真正的工具,去体现企业的差异化,从而提升竞争力。随着越来越智慧的企业信息化的发展,IT不再是束缚企业发展的瓶颈,而是真正地融入了企业自身的业务中。越来越多的公司将大数据成功地运用于企业的商业模式。例如,在欧美,很多企业已经着手将大量资源投放在大数据领域。反观国内,在金融领域,有为数不少的企业通过大数据的分析工具来分析金融的走势,实现风险管理,进行信用卡的追踪等。此外,像零售、制造、电信等行业也已在尝试利用大数据分析工具为企业营销和决策提供支撑。

无论企业现在是否正在使用大数据工具,企业都应全面地考虑自身未来发展的需求,选择一个厂家的平台与之共同发展,这可以有效避免因数据和应用迁移带来的麻烦。

在大数据方面,NetApp能够帮助企业实现数据管理,应对业务挑战的极限,将以数据为导向的洞察转化为有效行动。若想将数据转化为商机,仅仅提升管理能力是不够的,需要彻底转变数据和业务之间的联系模式。NetApp可以帮助企业用户持续管理数据,迅速把握意料之外的新商机,永久保存所有数据,并在灵活、开放的存储平台之上打造属于企业自己的大数据解决方案。

NetApp提供了可高效处理、分析、管理和访问大规模数据的大数据解决方案。NetApp的解决方案组合可划分为分析、带宽和内容三个主要用例,这被称之为大数据的“ABC”基本要素。

具体来看,分析(Analysis)是指针对极大数据集的高效分析。NetApp分析解决方案就是帮助用户深入了解和利用数字世界,将数据转化为高质量的信息,以及提供关于业务的更深入见解,从而帮助企业做出更好的决策。

带宽(Bandwidth)是指适用于数据密集型工作负载的性能。此类解决方案着重于为速度非常快的工作负载提供更高的性能。高带宽应用包括高性能计算(能以极快的速度执行复杂的分析)、用于监控和任务规划的高性能视频流、媒体和娱乐领域中的视频剪辑和播放。

内容(Content)是指无限的安全数据存储。此类解决方案着重于满足可扩展的安全数据存储需求。内容解决方案必须支持存储的无限扩展能力,以便企业可以根据需要存储任意多的数据,并能在需要时找到所需的数据。

NetApp致力于通过一系列解决方案来提供高性能的运算和大数据的应用。2013年11月,NetApp再次更新了E系列家族产品,推出E2700和E5500。该系列产品采用可轻松扩展的设计,适用于要求99.999%的可靠性且稳定、高性能的工作负载。

用户在采购大数据存储产品时,需要注意以下五个方面的问题:大数据存储必须具有向上扩展与向外扩展的能力;架构必须是针对工作负载进行优化的,具有实时处理能力;具有整合的数据保护功能;保证7×24小时运行不中断,可在线进行容量扩展,实施数据迁移等;可以实现服务的自动化。

方案点评

NetApp的技术优势集中体现在其统一存储平台上,从入门级产品到企业级产品,全部基于同一个体系架构和操作系统,不仅部署和使用方便,而且升级和扩展非常简单。当初,NetApp收购LSI Engenio,其中一个重要的原因就是为了大数据。2013年,NetApp不断更新E系列产品线,推出E2700和E5500等。E5500可以支持高IOPS混合工作负载和数据库、高性能文件系统和带宽密集型流等应用,可确保数据的高可用性、完整性和安全性。

曙光XData:高度集成 贴近行业

关于大数据存储,目前业界没有一个通用的定义。曙光信息产业股份有限公司总裁助理兼存储产品线产品总监惠润海从曙光大数据平台和解决方案角度,概括出大数据存储的主要特征。

首先,大数据存储必须支持全类型数据, 包括结构化、半结构化和非结构数据,实现统一数据支持。

其次,存储性能上,一方面,大数据存储要支持海量数据,并且要在保证数据可靠性的基础之上,实现容量与性能的线性扩展;另一方面,为了实现大数据的价值,批处理和实时处理两种措施都需要高性能的数据访问获取能力。

最后,在系统达到一定规模之后,系统的易用性和可管理性也是不可或缺的。

从应用角度来说,目前中国用户在大数据存储应用中最迫切的需求,是如何真正实现用户数据的价值,如何驱动业务发展,实现决策和运营。“从系统构建层面说,要实现数据高性价比的存储和管理,同时满足数据服务的相关需求。”惠润海表示。

针对用户对大数据存储的需求, 曙光推出了像大数据一体机这样的全类型数据分析型产品,同时还基于该产品构建了基于行业的解决方案,以帮助用户实现大数据落地。

“除此之外, 我们还提供了大数据统一数据中心解决方案, 涵盖了像主攻事物处理的DS900、DS800,以及针对文件存储的Parastor等存储产品。我们基于这些存储产品构建了大数据运营管理平台。”惠润海介绍说,“曙光的优势不仅在于可以提供全面的产品支撑,更重要的是能够提供数据生命周期过程服务支持。目前,我们提供的免费维保期限为5年。”

曙光开发了针对不同行业和应用场景的大数据存储解决方案。以金融行业为例,目前国内四大行的应用系统每年产生的非结构化数据量已达到PB级,结构化数据也以百TB计。面对如此大量的数据,如何存储、管理、利用和盘活它们呢?惠润海认为,只有通过商业智能和高级分析应用解决方案才能将数据的价值最大程度地发挥出来。

针对金融行业用户的需求,曙光开发的XData大数据解决方案利用优化的大数据处理技术,对文件管理、历史数据查询和数据分析类应用等进行深入研究,为数据爆炸式增长带来的海量数据存储及分析应用提供高可靠的解决方案。

曙光金融行业XData大数据解决方案采用曙光自主研发的SN-MPP并行数据库,同时结合大数据处理事实标准Hadoop,并充分考虑了多方面的数据收集,加入ETL工具和连接驱动器,提供了类SQL的接口,还和现有金融业务系统进行对接。

针对金融行业历史数据,XData大数据解决方案在方案设计上主要考虑了数据的安全性、历史数据高效导入、快速访问与分析报表。曙光金融行业大数据解决方案立足于基础平台建设,同时切实贴合金融行业用户需求,提供了优质的软硬一体化解决方案,为用户一揽子解决了部署、业务移植开发等技术难题,帮助用户跨过应用门槛。

篇2

这正是白宫网站的《大数据研究和发展倡议》所追求的——“通过收集、处理庞大而复杂的数据信息,获得知识和洞见,提升能力,加快科学、工程领域的创新步伐,转变教育和学习模式”。

各行各业都能用得上大数据,只是对大数据重要性的意识程度不同:凯捷咨询(Capgemini)的调研结果显示,76%能源和自然资源行业的高管相信公司是数据驱动的,在医疗医药行业和生物科技行业这个数字为75%,在金融行业为73%。包括英特尔在内的有能力提供大数据解决方案的IT厂商正在努力让各行各业的企业切实感受到大数据的魔力。

能否置身事外?

随着网络应用和多媒体应用的兴起,互联网成为大数据的主要来源。随之而产生的网络营销调整围绕大数据而展开。淘宝是国内公认的对用户数据利用得较好的公司——淘宝网利用大数据统计分析得到诸如“欧洲杯的球队胜负如何影响各队球衣的销量?花露水的最佳搭配是电蚊拍还是痱子粉?”等问题的有趣结果,并以此为依据来更好地调整营销战略。

近日,阿里巴巴集团宣布,将在集团管理层面设立首席数据官岗位(Chief Data Officer),负责全面推进阿里巴巴集团成为“数据分享平台”的战略。这直接证明了大数据对于互联网企业的意义。

别的行业能不能对大数据冷眼旁观呢?赛迪智库软件与信息服务业研究所研究员安晖认为,虽然目前大数据的主要来源是互联网,但许多以信息流作为核心竞争力,如金融、电信、零售等行业的机构或企业,其数据量也不容低估。例如,美国国家海洋和大气管理局(NOAA)数据中心存储的数据超过20PB,沃尔玛数据中心的存储能力超过4PB,eBay分析平台每天处理的数据量高达100PB。并且,由于这些机构和企业所存储的数据更加有针对性,其数据的价值密度更高,进行大数据处理的意义更强,运用大数据的需求也更为迫切。

安晖以数个典型行业为例来说明大数据能带来什么好处——电信行业可以从庞大的数据中分析出不同群体的差异化需求,实现套餐制定等精准营销;制造行业可以通过整合来自研发、工程和制造部门的数据以实行并行工程,显著缩短产品上市时间并提高质量;交通行业可以通过整合和处理相关数据,实现智能交通(管理)与高效物流调度。

赛迪顾问软件与信息服务业研究中心研究总监胡小鹏认为,金融行业中证券、信用卡、电子支付等数据规模庞大,具有使用对象多样化、信息可靠性、实时性、保密性要求高等特点;电信行业中大数据主要体现为电信业务系统产业的计费账务数据和用户信息(包括客户资料、客户服务数据等),不仅数据量大,而且保存时间长;能源行业大数据主要集中在石油勘探以及电力生产、经营、管理等数据,具有数据量大、分散、类型复杂等特点。其中,在金融行业,利用大数据的挖掘和分析改善用户体验、监督欺诈行为、验证合规性、服务创新等,从而助力金融智能决策,提升竞争力;而对于电力行业,大数据分析有利于电网安全高效运行(安全检测与控制、灾难预警与处理、供电与电力调度决策支持和负荷预测)、电力营销(用户用电行为分析)、集团集中管控与精细化管理等。

大数据这场盛宴上,哪个行业也不愿意没有一席之地。

谁能站出来?

大数据的热度可以由英特尔、IBM、EMC、惠普等厂商纷纷推出面向大数据的一体化产品和解决方案直接反映出来。

然而,一个不能逃避的现实是,虽然越来越多的行业用户尝试应用大数据的解决方案,但是大多数行业用户对于大数据的认知仍然比较有限。面对林林总总的不同厂商提供的大数据解决方案,用户分不清这些解决方案的差异在哪里,也就不会真正了解哪种解决方案适合自己。

有用户反映,大数据解决方案容易给人的错觉是该解决方案就是把数据分布存储,再并行处理。即使采用国外厂商的工具,这些工具成熟度不是特别高,导致解决实际问题的时间过长。

英特尔相关专家表示,从总体上看,中国大数据市场发展迅速,特征明显,相关技术和应用可改进和提升的空间巨大。而且大数据要落地,必须实现包括芯片商、软件企业等在内的IT基础设施与服务层平台的开放。

英特尔在硬件上的领先无需多言。在软件层面,考虑到Hadoop的开源特性,很多厂商都有机会在Hadoop的基础上推出产品,但行业解决方案提供商面临的一个苦恼是,他们不得不进行底层开发。实际上,底层解决方案是有很多共性的。对行业解决方案提供商来说,如果有一个由可靠厂商优化过的平台再好不过了。利用这个平台,行业解决方案提供商可以抛开重复的、无意义的劳动,将注意力和精力更加集中在行业特点上,进而开发出满足行业所需的实打实的行业解决方案。在这种情况下,英特尔适时地推出了英特尔Hadoop发行版,打造一个优秀的、高价值的底层平台。

对于如何从大数据中发掘价值,英特尔指出,这需要在IT基础设施与服务层、数据组织与管理层、数据分析与发现层、决策支持与IT服务层全面引入新的技术,特别是在堪称大数据应用“载体”的IT基础设施与服务层,采用基于开放架构的平台将是最佳选择。

O‘Reilly Strata和Open Source Convention大会委员会主席Edd Dumbill曾指出,使大数据真正变得强大的方式之一就是让上层程序员可以将精力放在数据而非底层Hadoop设施的抽象特征上。他们编写更简短的程序,能够更清晰地表达出对数据所做的处理。这些将有助于为非程序员创建更好的工具。

延伸到企业层面,“行业解决方案提供商需要稳定性和可用性都足够好的平台。在这样的平台上,行业解决方案提供商可以从不必要的重复性劳动中解放出来,从而把更多的精力放在提供差异化特色方案和服务上。”英特尔亚太研发有限公司总经理、英特尔软件与服务事业部中国区总经理何京翔的看法类似。进而,他解读了英特尔Hadoop发行版的优势:“英特尔Hadoop发行版的优势在于:处理接近于实时;能在英特尔平台上实现最优化的性能,比非英特尔发行版有成倍的增长;通过和电信、智能城市、医疗等行业客户的合作,英特尔Hadoop还做了更进一步的优化。”

除了提供平台,英特尔(中国)行业合作与解决方案部中国区总监凌琦强调,英特尔还会把大数据解决方案的研究和服务作为投资部门的重点。英特尔的风险投资部门也对大数据中所涉及的关键平台、关键应用、提供商,给予关注。

行业侧重点

英特尔硬件平台的特点让其可以用“通吃”来形容,行业特色则由软件来体现。

正如英特尔Hadoop发行版白皮书所指出的,它“为企业应用而优化”,其拥有的增强高可靠性、增强分布式文件系统HDFS扩展性(使集群的I/O吞吐量能够随着节点数量的增加而线性增加)、动态调整数据复制策略(提高热点数据的并发访问能力)、改进分布式计算框架调度算法(避免并行任务退化成串行执行)、增加Hadoop集群监控管理、优化HBase查询、实现细粒度的HBase合并调度控制(避免合并风暴)、创建异地HBase大表、均衡负载等相对开源Hadoop和其他Hadoop发行版的核心优势在多个行业中均不可或缺。

篇3

日前,在戴尔公司召开的2012年高层客户峰会上,戴尔亚太及日本地区总裁、全球新兴市场董事长闵毅达(Amit Midha)表示,IT市场目前呈现出五大趋势:IT系统简化、虚拟化与云计算逐步普及、数据大爆炸、新兴市场发展、IT消费化。因此,他认为,推动部署虚拟化、降低IT系统运营成本、管理快速增加的复杂数据、管理工作人员所使用的各种IT设备,这些都成为企业面临的挑战。戴尔近年来同样通过转型,努力提高全面服务于客户的能力,为用户提供端到端的解决方案。

收购加速能力提升

在IT界,一直以来都不乏通过对具有先进技术的公司的收购,来迅速提升本公司能力的案例,对于以往以PC等终端设备见长的戴尔来说,要想转型进军企业级市场,收购无疑是一条快速实现目标的捷径。从2008年开始,戴尔就将目光投向了在存储、网络、安全、软件、服务等领域有特色的厂商,开始了有计划、有步骤的收购行动。

至今,戴尔已经收购了20多家厂商,其中不少很成功的收购为业界所津津乐道。例如对存储厂商EqualLogic的收购,两年时间就使其业绩达到10亿美元,而用户数增加了8倍;2010年年底收购的智能存储厂商Compellent,使戴尔的存储解决方案上了一个台阶,Compellent的“流动数据”理念现在已经成为戴尔存储的设计理念;对咨询服务厂商佩罗的收购更是填补了戴尔企业级咨询服务的空白,使戴尔的解决方案成为名副其实的“端到端”,并有效地带动了戴尔其他产品线的销售。

正是这一次次的收购,使戴尔迅速转型,业绩不断提升,在当今云计算和大数据时代,也有了更多的话语权。戴尔全球企业解决方案事业部副总裁Cheryl Cook认为,戴尔在大数据方面拥有创新性的解决方案,不仅可以为用户节省大笔资金,同时可提供极高的价值。她认为,大数据从开始到成熟分为5个阶段,即从混乱、保留、优化到简单分析、复杂分析。在这5个阶段里,戴尔针对前3个阶段,可提供大数据保留解决方案;而对于后两个阶段,戴尔则拥有大数据分析解决方案。Cheryl Cook认为,戴尔创新性的解决方案可处理成熟度模型范围内的结构化、半结构化和非结构化内容,她特别说道,戴尔将利用Hadoop,并与从事Hadoop开发的Cloudera公司合作,为用户提供大数据分析解决方案;而在大数据保留解决方案中,戴尔将充分发挥在存储方面的优势,通过存储虚拟化和整合、应用程序优化、数据保护、灾难恢复以及数据保留和管理等技术,为“流动的数据”提供存储和保护。

深谙用户需求

在戴尔2012年高层客户峰会上,戴尔服务部首席创新官James Stikeleather就“IT的未来”进行了演讲,他认为,企业IT未来将面临着来自IT价值、所有权和角色等方面的五大根本性变化,这些变化包括:信息超越流程、IT嵌入在业务服务之中、外部化的服务交付、企业合作伙伴的责任更大、减弱的独立IT角色。

作为IT解决方案供应商,戴尔同样也是一家企业,James Stikeleather认为,在当今这个转型的时代,戴尔已经成功地转型成为高效企业,它将战略性支出从2008年占IT预算的20%提高到今天的52%。这期间,戴尔的IT经过了标准化、简化、自动化,并最终实现云,比如将97%的系统迁移到x86平台;大力推进虚拟化,从而减少了6000台服务器;仅用一个控制台就可管理13万台服务器和客户端;运用云平台聆听客户的声音、信息和进行交互。这些举措使戴尔更加了解用户,更有针对性地为用户提供适合的解决方案,真正解决用户的问题。

闵毅达介绍说,戴尔目前针对不同行业推出了不同的解决方案,尤其在金融、教育、医疗、制造业等行业中更是拥有大量的用户,并与用户一起合作开发和培养人才。在会上,戴尔与教育部教育管理信息中心针对教育信息化建设和管理人才技术培训及试点合作签订了备忘录,与北京大学计算机科学技术研究所签署了戴尔虚拟集成系统(VIS)联合实验室项目备忘录,还与中国东方航空就长期发展签署了合作备忘录。

篇4

一体化方案确保信息回报

一项由惠普主导的调查表明,亚太地区60%的受访企业表示今年将把至少10%的IT创新预算用于大数据,而在中国这一数字为56%。三分之一的亚太地区和中国受访企业还坚信,大数据是其最大的差异化竞争优势。然而,调查却发现,近一半的亚太地区受访企业所实施的大数据计划都失败了,而在中国,这一数字为55%。很显然,大数据中蕴含着巨大的商业价值,然而驾驭大数据不是一件容易的事,并不是所有企业都具备像Google一样“玩转”数据的基因与技术储备。许多行业除了需要做好大数据思维上的转变之外,还需要有不同工具来进行大数据的处理与分析。

通过对收购的Vertica、Autonomy、ArcSight等产品进行优化整合,惠普在融入Hadoop等大数据技术的基础上打造了大数据分析平台HAVEn。“HAVEn平台提供了大量的应用开发接口(API),惠普希望通过HAVEn与合作伙伴共同打造一套完整的大数据分析生态系统,让更多应用解决方案落地到行业。它可以充分利用惠普的分析软件、硬件和服务,创建新一代为大数据准备的分析应用和解决方案。” 惠普公司软件集团大中华区总经理于志伟表示,“同时,HAVEn平台还支持各种主流硬件平台,为客户提供最佳的投资回报(Return On Investment)与信息回报(Return On Information)。”

不只是软件平台

“HAVEn”这个名字实际上来源于其各个组件的首字母,即Hadoop(HDFS)、Autonomy、Vertica、Enterprise Security以及nApp(行业解决方案)。可以看出,HAVEn平台实际上是一个惠普大数据产品的组合。实际上,HAVEn解决方案中除了包含此前提到的四方面内容外,还支持Hadoop这样通用的技术,而且是“双向集成”。同时HAVEn并不是一个孤立的软件产品,而是更多软、硬件产品的服务能力的体现。“HAVEn不只是一个软件平台,更是一个生态环境。”于志伟表示。

篇5

【关键词】大数据 体系架构 国产化 自主可控

1 前言

在全球已经全面进入信息时代的今天,数据已经成为与水、石油、天然气同等重要的国家战略资源。IDC报告指出,截止2011年底,全球的数据量已达到了1.8万亿GB,未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值。作为云计算领域的重要延伸,大数据在行业内的热度在不断升温。2012年我国大数据市场规模为4.5亿元,同比增长40.6%。IDC预计,全球大数据2016年将达238亿美元,中国市场规模未来5年将增长近7倍。

大数据技术最近几年在迅速发展,国内外的厂商和组织已经推出了多种大数据解决方案。在金融领域,已经利用大数据技术解决诈骗检验、IT风险管理和自助服务等问题,未来大数据技术将会起到越来越重要的作用。目前国内外很多金融机构如摩根大通、花旗银行,以及风电、太阳能发电、石化企业等制造业企业也开始采用大数据的解决方案进行设备监控、优化和故障预防[1]。

由于国内外针对商业机构系统频频发生的安全事件,国内各行业的信息化目前正在向基于国产软硬件和自主可控方向发展,大数据也是目前国内各行业重点关注的技术。很多厂商和企业纷纷进行技术研究、方案准备和内部测试,并逐步开始在历史数据查询、分析,非结构化数据检索等方向上开始使用[2]。从最近几年的趋势来看,安全、自主可控的大数据解决方案在大数据的行业领域有非常大的市场需求。

国内的很多关键行业应用,如金融信息系统的许多关键设备都没有采用国产产品,导致无法准确判断其安全隐患,这使得我国信息化建设的安全底数不清。迫切需要国内IT企业和行业共同研发自主可控、自主知识产权的信息系统、信息环境和信息安全产品。针对这种状况国家银监会提出了“自主可控,持续发展,科技创新”的三大战略[3],国产的信息化产品,在金融领域的应用已经开始了破冰之旅,事实也已经开始证明,自主可控的软硬件产品,在关键行业领域的应用是可行的,但是缺乏完整的经过验证的整体解决方案和实际案例,无法复制和推广。

本文基于国产软硬件产品进行自主可控的大数据体系架构研究要打破国外技术依赖,掌握技术命脉。针对现有行业关键系统多数是直接引用国外成熟技术,关键、复杂、核心的应用系统大多是建立在非自主产品上,形成了对国外的技术严重依赖的现状,本文的研究将可以在大数据领域打破国外技术的垄断,形成有竞争力的国产解决方案。

2 主要研究内容

本文主要研究面向行业应用、基于自主可控基础软硬件产品的大数据体系架构,研究内容主要包括:

2.1 行业大数据应用的需求分析

2.1.1 面向多源异构业务数据的采集和管理需求

在客户信息为例,行业内的集团企业经常会面临急需解决的数据集成问题,企业存在大分散的客户信息资源,并由各系统自主采集和维护,没有良好的共享体系,客户信息、订单信息等异构的存在不同数据源中,没有横跨多个业务领域的客户信息的统一管理和分发体系。因此,要求统一建设行业信息大数据管理系统,是一套为所有在线业务服务的、整合的行业信息大数据管理与分析系统,并具有行业先进水平的大数据管理和分析能力,以满足企业形成市场竞争优势的要求。

2.1.2 针对海量异构大数据的高性能存储需求

通过调研发现很多大型企业的信息系统已经积累了大量的业务数据,而且随着业务拓展的需求,大数据分析的数据源已经不仅局限于企业内部,如对客户流失分析或者产品销售趋势预测,就还需要互联网社交网络或者电商消费信息等。这些多源、异构、海量的数据对于大数据平台的存储提出了极高的要求。以某大型企业集团的客户和生产经营信息为例,数据规模已经达到上百TB容量,且相关数据量,特别是生产线的传感器数据和用户行为等数据还在持续大幅增长。

2.1.3 多样性大数据分析和处理需求

大数据分析系统不但集成了多个系统的数据源,未来大数据分析应用系统也会被多个部门,多个业务中使用,而且不同的部门和不同业务对大数据分析处理 的响应时间、数据量、结果准确程度以及具体的分析算法都会有很大差异。因此需要完整的对这些分析和处理需求进行分析,以便于设计满足当前和潜在需求的大数据分析处理架构。

2.1.4 行业大数据的安全监控和隐私保护需求

面向行业和企业的大数据平台都将集成来自于不同数据源的数据,其中有很多数据会涉及商业秘密和个人隐私等安全问题,所以这些数据在大数据平台中应该被合理的授权使用,并有完善的安全监控和隐私保护措施,以避免引起数据泄密或者隐私纠纷。

2.1.5 行业大数据平台的业务应用和可视化展现的需求

大数据分析的结果是更好的支持业务推广和运营决策,所以企业大数据分析还是要和现有的业务应用紧密结合,并且以简单友好的操作,以及可视化的方式直观的展现分析结果,这样才能被各部门和各级别的人员使用好大数据系统。

篇6

5月5日,亚信数据推出了OCDP的最新版本4.0。亚信数据橘云产品线总经理朱军表示:“新产品的还在其次,我们现在更关注的是打造大数据生态圈,充分释放开源大数据技术的能力,让各类合作伙伴在以OCDP为核心的数据操作平台之上开发垂直应用,让大数据解决方案变得更加简单、易用。”呼应亚信集团的整体战略,亚信数据要打造以大数据为核心的PaaS,走出有自己特色的大数据发展之路。

充分释放开源技术的能力

Hadoop商业发行版何其多,亚信数据OCDP到底有何过人之处?简单说,亚信数据OCDP的基础还是那些开源技术组件,不过OCDP是针对企业级用户的需求设计的,并在局部功能上进行了增强。总之,来自开源,优于开源,高于开源。如果非要给OCDP找个对标的产品,它与Hortonworks有几分相似。

产品的更新换代只是一方面,为了更好地推动大数据应用,亚信数据于2015年加入了大数据ODPi国际组织。它不仅仅是一个技术组织,更是一个大数据企业联盟,包括Hortonworks、IBM、Pivotal、SAS等在内的国际知名的大数据企业都参与其中。亚信数据此举,既可以让自己在大数据方面具有开放性和国际化眼光,同时也能将国际先进的理念、技术与中国用户的需求和自身的实践经验相结合,更好地服务于企业级大数据应用。朱军表示,亚信数据的大数据产品定位其实很简单:在技术上,充分利用开源技术,保持国际领先;在产品化方面,结合中国行业应用的特点,不断增强底层技术,率先在运营商、金融、公安、政府等领域实现突破。

OCDP为企业级用户在大数据中心搭建统一的分布式操作平台,实现统一的资源分配、应用管理和数据治理,并支持并发多用户在OCDP基础上采用敏捷方式整合大数据分析应用的开发与运维。OCDP意在敏捷开发和智能运维,它为企业提高业务创新效率、改善数据中心资源利用率提供了坚实的系统支撑平台,同时为企业的开源节流提供了有效的产品和技术保障。

朱军告诉记者:“市场上的Hadoop商业发行版80%的功能是通用、相似的。为了保持领先性和差异化,有些厂商在通用功能上又加入了自研的技术。而OCDP始终坚持走开放和国际化的道路,100%开源,保证了透明性,将开源技术的价值释放出来,并在此基础上针对企业用户的需求,增强了产品本身的性能,简化了应用。”

其实,企业用户并不关心具体的技术细节,他们只是希望能够利用新技术解决实际的应用问题。开源软件的一个好处是,所有人都可以为开源软件做贡献,使得开源软件的价值能够充分释放。像亚信数据这样的企业,可以在开源技术的基础上,面对垂直行业增加差异化的功能。朱军介绍说:“OCDP既能满足运营商的需求,也可以支持商业企业的应用,并且充分保证系统的稳定和安全。在提供80%的通用功能的基础上,我们会针对不同行业客户的个性化需求,增强相应的能力。比如,公安行业对图形图像存储的要求很高,我们会针对此提供定制化的解决方案,尤其是充分发挥硬件的性能优势。”

大数据不是技术驱动的

目前,在众多大数据产品中,用户选择Hadoop的比例较高。但是在不同的行业,人们对大数据的需求不同,因此如何应用Hadoop也会有差异。

朱军介绍说,国内在大数据应用方面走得比较靠前的是运营商,以及金融、保险行业的客户。在大数据上升为国家战略后,政府、公安等行业的客户也对大数据有了更深刻的认识,开始有意识地应用大数据手段解决业务问题。

运营商、金融客户对大数据有明确的、自发的需求,它们希望将开源技术与Hadoop的能力充分释放出来,实现实时的数据处理和分析。在其他很多行业,比如农业、水利、物联网等,大数据还是一个待挖掘的金矿,如何收集、使用数据,数据能够为这些行业的用户带来什么样的价值,以及如何将数据转化为资产,通过深入分析和挖掘,找到新的价值点,还需要像亚信数据这样有经验的厂商帮助用户一起分析,提高认知度。朱军表示:“我们的数据操作平台侧重计算、存储和分析能力的提升。而亚信现有的数据资产管理软件,可以有效促进用户对数据的理解和分析。当用户一旦明白了如何应用数据后,不管采用什么样的技术手段,都可以很快切入,找到数据价值所在。”

大数据市场并不是单纯由技术驱动的,对于厂商来说,必须找到适合大数据的应用场景,然后针对用户的具体需求提供定制化、差异化的解决方案。亚信数据就是这样做的。朱军对自己的技术团队和产品都十分有信心。去年,亚信数据做了一个开源项目,围绕资源调度策略平台YARN做了增强,同时使用Docker容器实现了应用隔离。“这些技术和产品上的优化,目的是让企业用户的大数据应用变得更加简单,让用户更放心。今年,我们还计划利用大数据技术监控大数据集群的运维情况,比如系统资源的利用率是否合理,如何进行优化和调配等。”朱军介绍说。

提供一站式的大数据解决方案是亚信数据的独特优势。以OCDP为核心,整合亚信集团其他业务部门的产品,比如数据资产管理软件,以及Hadoop一体机等,亚信数据可以提供覆盖数据采集到梳理、开发整个过程的整体解决方案,为客户提供一站式的大数据服务。用户根本不用操心大数据系统的安装、部署和调试,直接拿来就可以使用。

从底层的硬件,到数据操作平台,再到上层的大数据应用,这是一个完整的生态链,同时也是一个完整的大数据应用体系。朱军告诉记者,现在越来越多的企业级用户开始构建完整的大数据系统。举例来说,运营商开始想方设法将以前“烟囱式”的集群整合起来,制定统一的大数据规划。一个完整的大数据体系包含多个层次,要自下而上逐层构建、夯实。在这个过程中,用户要特别注意保证整体架构的可伸缩性,为以后逐步增加更多应用做好准备。

大数据PaaS平台

随着大数据应用逐渐走向深入,人们对大数据又有了更加深刻的认识,而不仅仅是一个“大”字。“我们并没有刻意强调大数据的‘大’,而是大力倡导数据操作平台的概念。从某种程度上说,数据操作平台相当于一个操作系统,可为数据共享和运营提供支持,从而改变了传统的大数据运营模式。”朱军解释说。

既然OCDP是一个大数据平台,那么它就应该有新的商业模式和打法。亚信数据早就有了准备,推出了相关的合作伙伴计划,希望吸引更多的垂直应用厂商,基于OCDP打造面向不同行业应用的解决方案,或者一体机。在本次OCDP新版本会上,亚信数据和合作伙伴一起展示了基于OCDP构建的智慧医疗、智慧旅游等解决方案,以及亚信数据Hadoop一体机解决方案。另外,亚信数据还深挖亚信集团内部潜力,将兄弟部门的BI产品与OCDP相结合,提供一些新型的服务,比如利用运营商的位置信息提供实时营销服务等。“我们专注于底层的大数据平台,保证平台的质量、稳定性和安全性,以满足企业用户的严苛需求,同时提供行之有效的运维支持。这样做的目的是为了让合作伙伴更放心地选择我们的产品,在我们的大数据平台之上充分展现他们的价值,共同为客户创造新的应用价值。”朱军表示。

为了更好地实现上述目标,亚信数据在研发方面下了大力气,计划将现有的研发团队扩展到百人左右的规模,并以西安、北京两地为研发基地,主要的产品研发集中在西安,北京主要保留一些高端的技术人才。

篇7

若论存储新产品的数量,今年的云计算大会不如去年,这主要是因为华为存储已经拥有了比较齐全的存储产品线,现在只是在原有基础上的丰富和优化。不过从华为存储旗帜鲜明地进入企业级市场后,“存以智用,融以致远”的华为融合存储战略就从未动摇过,而且“智”、“融”的特色越来越突出。

高端存储一年考

传统上,高端存储市场一直是国外厂商的天下,中国存储厂商通常会从中低端存储起步,然后慢慢向高端市场渗透。华为存储从进军企业级市场那天就把高端存储当成了奋斗的目标,不断在技术上推陈出新,并且在一些重点行业领域实现了突破。华为IT存储产品线总裁范瑞琦在云计算大会上告诉记者:“我们的高端存储产品正式面市虽然只有一年多,但已经在运营商、公安、金融、税务、电力、大企业、政府、社保、医疗、交通、石油等20余个重点行业实现了突破,累计销售超过70套。”

Gartner的报告显示,2013年第一季度,华为存储取得了中国区出货量第一,全球收入排名第九的好成绩。据范瑞琦透露,在第二季度中,华为存储依旧保持了强劲增长的态势。华为存储整体实力增强的同时,其在一些重点产品线上,比如高端HVS存储、大数据存储N9000等也实现了突破。

在本次云计算大会上,IDC与华为联合了《企业高端存储安全可信白皮书》。IDC在白皮书中建议,企业在选择存储系统时,应重点关注存储系统在硬件架构、数据存储、业务应用三个层面的可靠性。华为高端存储领域经理赵海龙表示:“安全可信、弹性高效是华为高端存储设计的核心理念。从Smart Matrix全冗余系统架构设计到基于全虚拟化设计理念的XVE存储操作平台,再到革命性的RAID 2.0+两层虚拟化数据管理模式、自检测自修复端到端的数据保护机制等。”

在本次云计算大会召开之前,很多业内的记者都在猜测,本次大会上最重要的存储产品是什么?大家一致认为是全闪存阵列。果不其然,范瑞琦在大会上正式了华为首款全闪存高端存储OceanStor 18800F。它具有百万级IOPS、微秒级的稳定时延和“0”硬盘失效率三大特性,此外还具备出色的抗震、抗腐蚀等性能。不过,记者在解决方案展示区没有看到OceanStor 18800F的实物,商业化的产品据说明年才能上市。

大数据存储追求高效

媒资是华为大数据存储解决方案最先落地的行业之一。在本次云计算大会上,华为宣布将与中央电视台共同研发深度节能的大容量存储设备,据称可以比传统设备节省能耗60%~80%。

随着数字化技术的不断完善以及高清电视、IMAX/3D电影、移动新媒体市场的快速增长,媒体的生产者必须及时提供高清化、多样化的媒体节目,而传统以磁带设备为核心的媒资存储平台已经不能满足需求。华为可以为媒体提供以N9000系列存储为核心的大数据存储架构。N9000集海量数据的存储、归档和分析于一体,具有极强的横向扩展能力,可支持超大单一文件系统(最大为40PB),实现非结构化数据的存储与共享。

华为存储的媒资解决方案顺应传统电视媒体向全媒体演进的趋势,以开放、融合的ICT基础架构为核心,全面兼容业内主流的上层应用系统,可提供全台网、高清制作、无带化媒资库、媒体云、网络互联及协同办公等业务支持。华为存储秉承“被集成”的策略,与业内许多知名的媒体应用提供商合作。

篇8

随着移动互联网、云计算、4K大视频、大数据、物联网等新业务的迅猛发展,爆发式的数据流量增长和海量的设备连接对通信网络提出了更高的要求,传统的刚性、烟囱式网络已难以为继,运营商需要打造更加敏捷、智能、开放的新一代网络架构,用来承载未来更加多样化、智能化的业务应用。随着IT和CT的深度融合,由此而产生的云计算、SDN/NFV等新技术,为运营商的网络与业务转型带来了巨大的机遇。

作为国际知名信息通信网络产品与解决方案提供商,烽火通信近年来积极探索并加速ICT转型,立足于光通信,业务深入拓展至信息技术与通信技术融合而生的广泛领域,如云计算、智慧城市、4K融合视讯、SDN/NFV等,客户遍布国内、国际和信息化三大市场,为客户提供领先的端到端信息通信网络产品和解决方案。

在12月27日举行的2016中国通信产业大会暨第十一届中国通信技术年会上,烽火通信NFV产品线市场总监郑发金向《通信产业报》(网)记者详细介绍了烽火通信面向ICT转型的云、网、端产业布局和基于SDN/NFV的FitNet战略。

深化ICT转型 全面布局云、网、端

近年来,随着“宽带中国”、“智慧城市”、“互联网+”、“中国制造2025”等国家战略的实施和推进,光通信、4G网络、数据中心等经历了较快的发展阶段,大数据、云计算、SDN/NFV、物联网等新技术有望迎来新的发展机遇。烽火通信基于稳健增长的光通信、光纤光缆等传统网络业务,业务领域逐渐向云和端进行扩展,已经取得了令人瞩目的成绩。烽火通信在武汉、南京、西安、成都、长春、珠海等地部署产业基地,深化ICT转型进行产业布局和新技术研究开发。

云:烽火通信积极布局云计算、智慧城市等业务,借力“智慧湖北”建设的重要发展契机推动大数据业务的开展,在原有烽火集成、烽火网络、烽火星空、南京数据中心等业务范围基础上,积极构建“大集成”框架,并成立智慧地铁公司、教育资源平台运营公司、武汉光谷智慧科技有限公司、湖北省楚天云有限公司等,并了“智慧城市解决方案暨FitCloud云网一体化技术战略”,全自主开发的“大数据平台+应用开发+数据分析”产业链正逐步形成。烽火通信在南京投资建设的云计算中心一期项目顺利进行,自主研发的FitCloud云计算平台现已成功应用在湖北省教育云、湖北省政务云(楚天云)中。

网:伴随全球加快迈向信息社会,光通信产业成为最具潜力、增长速度最快的领域之一,大容量、高带宽仍是未来光网络发展的基本需求。烽火通信立足于光通信,目前已拥有光通信O备、数据通信设备、SDN/NFV、关键芯片等全系列网络产品和解决方案。烽火通信光通信系统、光纤光缆的综合竞争力均排名世界前五,数通市场排名世界前七。在SDN/NFV新技术方面,烽火通信不断加大研发投入,目前有从接入到核心的全系列SDN产品,包括SPTN、SIPRAN、SDON、光与IP协同SDN控制器等,并已在多个项目中成功应用;在NFV方面,积极布局X86服务器NFVI基础设施,在虚拟化、VNFs、MANO等方面不断加强产品方案的研究开发。

端:烽火通信终端产品从无到有,经过几年的沉淀与积累,现已拥有宽带终端、智能网关、OTT盒子、无线路由等全系列终端产品,销售额裂变式地增长,全球累计出货超过1200万台,全线产品大规模应用于亚欧拉美市场,树立了全球知名的终端品牌形象。2016年4月,烽火通信了全新一代4K融合视讯平台及CDN解决方案,助力运营商做大做强视频业务和提供基础服务保障的同时,也在不断地挖掘新的商业价值。

网络云化 推出FitNet解决方案

从语音时代,到数据时代,再到未来的智能化时代,通信网络也经历了数字化、IP化和IT化的阶段。随着IT和CT技术的深度融合,国内外运营商纷纷提出了网络转型计划,如AT&T提出了Domain2.0计划,中国联通提出了CUBE-Net 2.0新一代网络架构,中国移动提出了NovoNet 2020未来网络,中国电信提出了CT-Net 2025计划。在此背景下,烽火通信提出了FitNet网络解决方案,以SDN、NFV、云计算等技术为基础,以DC为中心重构未来网络,不断丰富产品方案,助力运营商未来网络和业务转型。

FitNet是烽火通信面向ICT转型,基于光与IP融合、云网一体化以及SDN/NFV等新技术,面向运营商、行业用户推出的泛在、超宽、极简、随需、开放的网络整体解决方案。烽火通信FitNet解决方案通过SDN实现网络灵活控制、业务自动部署,通过NFV实现网络软硬件解耦,硬件平台标准化、网络功能虚拟化,广泛应用于政企承载、园区网、广域网、数据中心等业务场景,实现业务随需部署,资源全局调度,容量弹性伸缩,架构灵活调整,能力全面开放,为客户提供最佳的网络解决方案和业务体验。

烽火通信FitNet解决方案有以下几个特点:1.极简网络架构,以DC为中心,实现光与IP融合、云和网融合、网络与数据融合、CT与IT融合。2.泛在连接,超宽管道,全网SDN智能控制,网元功能虚拟化部署,实现资源池化、弹性部署、按需使用、自助服务。3.运营级品质,电信级可靠性,以用户为导向,开放式设计,传统网络平滑演进,异厂家兼容互通,合作共赢。FitNet战略体现了烽火通信对云计算、大数据时代ICT融合架构演进的深入思考,是烽火通信整体实力的集中呈现。

深耕SDN/NFV 重构未来网络

根据Infonetics预测,到2018年,全球SDN市场规模将达180亿美元。HIS预测,到2019年,全球NFV软硬件及服务市场达116亿美元。2016年4月中国SDN/NFV大会《NFV产业发展白皮书》,指出未来五年,SDN/NFV国内市场规模接近2500亿元。SDN/NFV市场将会逐渐覆盖数据中心组网、DCI互联、光网络、接入网、移动核心网、IMS等领域。

目前烽火通信拥有从接入、汇聚到核心的全系列SDN产品和解决方案,如SPTN、SD-UTN、SIPRAN、SDON、SD-WAN等,同时自主研发了全系列“光+IP”协同控制器、数据中心SDN交换机等产品,通过开放标准的API接口,实现了跨域、跨网、跨厂商互通,并实现了传统网络平滑升级,控制器与网管完美融合。烽火通信在SDN国际标准领域取得重大突破,主导制定的G.7711标准已获得ITU正式批准。

篇9

自从VMware在2013年的全球用户大会上推出vSphere Big Data Extention(BDE)以来,大数据这匹骏马越来越受到大家的追捧。当然BDE主要针对是Hadoop的大数据应用,其实大数据不仅仅是Hadoop,即使只算Hadoop也还有不同的版本。但是无论Hadoop的哪个版本或者哪个大数据平台,都蜂拥开始追随云计算,就像好马配好鞍一样重要,那怎样的云计算平台才是大数据的好鞍呢?运行环境平台:多租户、资源供应和管理。

在过去几个月的客户沟通中,我学习了运行大数据的多种不同平台,包括Twitter使用的Mesos、Fedex使用的虚拟化和Yahoo使用的Yarn。而不同的云计算平台特性能解决大数据应用的不同问题。比如:Yarn的目标是支持Hadoop上的非M-R应用。而Twitter使用的Mesos则可以支持混合的负载,并且会利用操作系统的虚拟化。由于企业的大数据应用场景往往是多样的,所以需要选择一种平台适合不同的应用场景,这包括:

部署新的大数据应用极其简单:可以通过自动化和自助服务来完成;

可以支持多种不同的负载:也就是能运行多种大数据应用,不仅仅限于Map-Reduce,还可支持一些Hadoop生态圈应用、SQL服务和其他通用应用;

可靠的安全隔离:如果需要将某些敏感信息隔离,该平台有能力确保数据集和环境安全;

安全的资源隔离:为了能够提供足够的资源来满足整体SLA要求,可以将吵闹的邻居隔离来确保性能;

多版本支持能力:能运行多个不同版本的运行环境,满足不同用户、开发者要求;

企业级的可用性:确保整个系统的强壮性,提供企业等级的可用性。

网络的挑战

对网络而言,挑战和机遇并存。今天两层核心聚合交换网络不能跨机架提供足够的带宽。机架内的带宽应该没有问题,经常可以达到每秒几百Gbit,但机架间的带宽往往十分有限,为此往往需要优化流量到本地,也就是数据和计算完全整合的模式。幸运的是,新的网络拓扑,包括CLOS和主干加分支设计都提供了很好的解决方案。使用这些新型的网络拓扑,可以在整个集群延时基本恒定的情况下确保足够的带宽,无论是机架内还是机架间都不会有带宽问题。

存储平台的选择

随着存储技术的不断发展,大数据的存储选择越来越丰富。当然Hadoop的HDFS处于最核心圈,但其他的存储平台也可以提供跟Hadoop类似、即插即用的兼容能力,并且提供了某些独特的价值。几个主要的存储选项如下:

传统的SAN或者NAS:这应该算是支撑大数据应用的最佳存储选项,因为目前大量的数据中心都可以提供这样的存储选项,并且也包括了各种存储服务,例如:快照、归档、复制等;

服务器内置磁盘构建的软件定义存储:这方面HDFS是主要的代表,其他的选项包括CEPH、Gluster和MAPR,他们都可以建立文件系统,满足大数据的应用;

横向扩展存储方案:很多独具特色的新兴公司提供了可以替代HDFS横向扩展存储,很好解决了成本和带宽问题。比如Isilon的横向扩展存储方案,提供了3到144个节点的解决方案,可以扩展到15PB、每秒85GB吞吐能力,成为横向扩展存储的典型代表。

篇10

关键词: 智能数据平台 产学研 整合思路

一、社会治理智能数据平台的构建思路

随着信息化时代的到来,人们对大数据的研究开始日渐加深。研究者开始越来越多地强调对大数据的深层次挖掘,其中这种挖掘使得研究者能有越来越多探讨和发现原来所不存在的事物之间的相关关系。可以说,大数据的出现,是“长尾理论”和“黑天鹅”理论的双重验证――原本被统计学剔除在外的小概率事件纳入其中。但是,值得深思的是,目前对大数据的研究仍然过多地集中在理论层面,缺乏实践性的探讨,更缺乏深层次的具有统筹规划方案能力的全方位的探测。因此,在高校研究和社会治理层面,这种非计算机科学的社会应用,如果能够行之有效地将大数据概念引入实践化,就成了摆在社会科学研究者眼前的重中之重。特别是构建一套完整智能数据平台,帮助社会科学研究者在数据收集、数据分析和同用户反馈交流中起到平台作用,进而实现生产、教学和科研三位一体的布局战略。

智能数据平台所实现的这三个功能既是独立的又是相辅相成的。说这三者是独立的,原因在于这三个功能个各司其职地完成了相对较为独立的任务。其中,智能数据平台的生产功能为用户满足商业、政府、NGO等社会组织数据收集、数据分析及满足市民在各种生活情境中对信息的精确获取功能。智能数据平台的教学功能为以学生为主体,深入细致地挖掘智能数据平台中生活情境中可能存在的需求。而科研功能则在通过完成软件的生产和教学功能的同时,进一步拓展了软件的价值。其中,科研的方向可以有二:第一,科研人员可以根据特定情境下智能数据平台收集到的数据进行深入加工和挖掘,在获得深层次变量关系的同时,完成满足社会需求的科研论文和项目。此外,围绕智能数据平台的功能拓展,也是一项重要的科研功能。三者虽然拥有各自的功能,但是在另外一个层面三者之间也存在不可分离的关联。其中生产功能以需求为导向为智能平台的建设提出了方向,这种方向性的指引保证教学过程中能以社会情景、社会组织和社会人的需求为方向进行知识传授。这种以生产为导向的知识传授正是现代应用型技术人才培养的需要。最后,在教学中,由于学生教师以智能数据平台为工具的社会需求解决方案设计,能够进一步保证教师的科研有明确的方向性和应用性。这种应用型将会进一步影响智能数据分析平台的生产和教师的教学。可以说智能平台的构建是能够真正地从满足社会需求方面出发培养应用应用技能性人才,提高教师科研能力较好的解决方案。

二、围绕智能数据平台建设的产学研示例探讨

围绕智能数据平台出发制订产学研三位一体的发展方案不仅能够有效地拓展应用型技术人才培养的思路,而且能够提高实际教学质量,使得教师从原本简单的知识讲解转换到和学生一起寻找具体社会问题的解决方案。例如,在传统的社会工作类专业中,一般都会部署发展社会学、西方社会学、社会组织管理、社会调查研究方法和数据分析技术这5门课程。按照传统意义的划分来看,这5门课程分别对应了社会理论和研究方法的课程。从传统课程的讲解体系上来看,这5门课程都是自成一体的,依照教学大纲对应着不同的细致知识点。但是从构建智能数据平台建设为核心的产学研研究中,这5门课程便可以有效整合成为一个整体。特别是在以社会情景需求为专题突破口的前提下,这5门课程更是成为统一专题服务的工具,它们以不同的视角指向了同一目标。例如,以“如何了解市民的心理健康程度,保障社会安全”的社会需求为例,教师可以在西方社会学和发展社会学这两门课程中向学生引出该主题,同时要求运用这两门课程的知识,明确能够解决需求的社会理论。学生在理论的确定过程中,通过与教师和其他同学的讨论明确了理论的本质和解决问题的思路,此后将依据理论界定出关键概念和研究主题与研究假设。在社会组织管理课程中,学生将依据研究主题和假设,明确社会需求可能解决的突破点――选择和那些具体的社会组织进行合作与探讨,从数据收集和分析的角度科学化地提出一整套解决方案。在未来的社会调查研究方法和数据分析技术中,研究者将可以通过已确定研究主题、假设和社会组织的具体情况进行概念操作化和问卷设计,并将问卷、测量或其他形式的数据收集方式置入智能数据平台中。在数据分析技术课程中,学生将按照已经设定好的研究方案运用智能数据分析平台对分析数据并输出报告。最终,这些报告和数据结果将有针对性地提交给对应的社会管理组织,在实践中评估其对社会需求的解决程度。

参考文献:

[1]陈阳,张梅.大数据基础上抽样调查在社会治理中的应用探讨[J].理论界,2015,11:151-155.

[2]陈阳,魏玉东.大数据影响下的政府社会经济调查动向探寻[J].辽宁经济,2015,01:76-77.