大数据迁移方案范文

导语：如何才能写好一篇大数据迁移方案，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

作为大赛独家赞助商的领导，IBM大中华区副总裁兼大中华区软件集团总经理胡世忠表示：“在大数据的时代，DB2引领着下一代数据库技术的发展方向，已经成为客户的首要选择。越来越多的全球知名企业正在将他们的数据库迁移到IBM的DB2平台上来。IBM还在去年5月在中国成立了数据库迁移中心，帮助客户实现无缝迁移，实现从业务价值评估到后续技术的全方位支持。此外，IBM一如既往地密切关注广大技术开发者的需求，2011年IBM和全球200多所大学合作开展了业务分析方面的课程，同时举办了1200场现场和在线的大数据技能训练营。”此次DB2迁移之星大赛正是IBM对中国市场和广大软件技术开发者的承诺。未来，IBM将与中国广大的客户、合作伙伴、技术开发者继续携手合作，共创未来。

应对需求

呼唤杰出技术人才

IDC预计，2012年全球存储的信息数据总量将增长到2.7ZB，比2011年增长了48%，值得关注的是，这些数据中90%是非结构化数据。中国电子信息产业发展研究院副院长、中国计算机行业协会常务副会长、中国计算机报社社长卢山表示：“未来，大数据将会成为产业发展变化的关键点。”他结合大赛将DB2三个字母做了全新的解释：“D代表Data，在未来十年甚至在可以预见的未来，无论非结构化数据还是结构化数据，通过挖掘和再生产都将会变成信息社会一个重要的组成部分；B代表Business，只有完整的商业模式才能把数据变成价值，为整个信息社会反复利用；2代表中国软件和信息服务业人才在‘十一五’末期到‘十二五’末期的翻倍变化，预计从300万增长到超过600万。”

大数据时代，企业的数据量不仅在以前所未有的速度增长，数据的复杂度也突破了原有的关系数据范畴，给企业的信息管理增加了难度。中国计算机用户协会名誉理事长陈正清表示：“我们非常高兴地看到IBM已经看到企业在数据管理方面的困境，并提出了解决方案。IBM的系列产品很好地融合了数据库管理系统、中间件平台以及最新的云计算技术，帮助企业在海量信息中抓取商业价值。而本次大赛也涌现出了很多数据库领域的技术精英，他们能够针对众多企业面临的困难提供很好的解决方案，并在实践中得到验证。”

大数据变革呼唤着越来越多的软件工程师脱颖而出，也正是在这样的一个大的背景下，主办方在IBM的支持下组织了IBM DB2迁移之星大赛。中国软件行业协会数据库与应用软件分会理事长唐世渭表示：“让数据获得更大价值的关键在于人才，而这也正是此次大赛的目的之一――促进包括像DB2数据库工程师在内的高端信息人才的成长和发展，推动我国信息管理技术的持续创新。这次大赛对促进我国数据库应用事业的发展和相关人才的成长具有积极的意义和重要的作用。”

王者胜出

十强奖项各有归属

2011 IBM DB2迁移之星大赛为中国企业程序员和数据库管理员们一个展现自己、表现自我的舞台。通过举办本次赛事，能够推动数据库工程师和数据库管理员甚至数据库产业重新理解新的计算理念，推广新技术，推动各方共同进步。而本次大赛选拔出的一批大优秀的数据库工程师也将在未来逐步发展成为这个产业的技术带头人和产业带头人。

据悉，本次大赛历时半年，参赛选手达到2163名，覆盖金融、电信、政府、制造、医疗、零售等行业的数据库工程师和管理员以及独立软件开发商、系统集成商中的技术精英。经过严格的初赛、复赛，最终有十支队伍闯入决赛。这十支队伍分别来自有实际数据库迁移经验的行业用户，以及系统集成商、独立软件开发商。进入决赛的团队都将获得丰厚的奖金，冠亚季军团队还将获得去美国参观考察的机会。

经过3月14日一整天决赛的激烈角逐，在2011 IBM DB2迁移之星大赛颁奖典礼现场，各项奖项最终揭晓。大赛评委会主席、原中国软件行业协会理事长陈冲为冠军团队开奖，最终，冠军团队由来自北京普远天成、北京速通和杭州新世纪的四名技术精英共同组成的飞天队获得。亚军由招商银行五名技术精英组成的金葵花队获得，季军则由中信银行两名技术精英组成的中信数据库队获得。其余七支队伍获得了优秀团队奖。

迎接挑战

实现数据库平台迁移

据悉，DB2数据库工程师大赛已经举办三届，从第一届大赛以寻找杰出数据库工程师为主题，到本届大赛以数据库迁移为主题，体现了DB2在大数据时代的进取心：用DB2可以平滑地取代其他数据库引擎。

然而，迁移是一项系统工程，迁移风险的评估、迁移割接、迁移前的模拟演练、对不同数据库特性的熟悉程度，都影响到迁移实施的成功与否。这就需要迁移后的平台能够具有丰富的迁移支持功能和独特的商业价值。IBM副总裁兼DB2数据库和数据仓库开发总经理Judy Huber表示：“IBM的DB2产品有许多独特的价值优势，包括低运营成本、卓越的系统性能、无限延展性以及高可用性等。特别值得一提的是，选择DB2能够使用户非常便捷地从其他的数据库技术迁移到DB2平台，同时可以大大简化应用开发。DB2能够帮助全球的客户在迁移策略中以最小的风险利用DB2各种价值优势，有效支持客户的多元化战略，充分利用IBM全信息生命周期系列产品的优势，以及数据仓库和大数据的优势。”为了应对大数据的挑战，IBM推出针对大数据的全面解决方案，突破了传统数据仓库和单一的数据管理体系，实现更为经济高效的大数据管理，并为企业提供重要的业务分析和洞察。

IBM软件集团大中华区数据库和数据仓库销售总监陈文玉则分享了DB2应用的成功案例，她表示：“DB2的特性让用户可以轻松地从其他系统快速地迁移过来，而不需要改变太多系统的设置。这也是这次比赛的精神，它向大家证明从其他数据库到DB2的迁移工作是非常容易的。越来越多的全球知名客户已经从其他数据库迁移到DB2的平台上来。”比如可口可乐瓶装公司通过将数据库迁移到DB2，由于采用DB2深度压缩技术存储需求降低了30%，整体供应链效率提升65%。

可以说，IBM的大数据解决方案提供了大数据领域最全面的技术和产品组合，实现了针对大数据管理的企业级的可靠性和适应性实施分析。在大数据的时代DB2引领着下一代数据库技术的发展方向，在大容量数据、非结构化数据、数据压缩、兼容性、数据分析，在这些领域DB2已经成为拥有着明显的优势。

冠军团队：飞天队

赛后，来自北京普远天成的队长徐明伟认为这次决赛的题目非常具有实战性。“我们的团队在运营商方面的经验比较多，对数据库的维护、性能调优、扩容以及培训参与方面都有所涉及。”他表示，“团队成员分工密切，优势互补。基于不同的DB2版本，我们参与过很多数据库迁移项目，这是很有帮助的。”

徐明伟认为DB2目前的版本在功能方面实现了极大的扩展，大部分功能已经能够实现与Oracle的兼容，有一些功能实际上已经完全相同，只是在名称上有所区别。在关键业务方面，结合power的一体化策略使得DB2能够更好地发挥整体性能，针对全天候的业务环境和需求，DB2在稳定性方面确实做得很好。

在谈到希望DB2改进的方面时，来自杭州新世纪的队员麦志斌表示：“希望DB2在开发工具上能做的更好，注意到实际应用中包括锁、排序、参数优化等在内的一些细节性的问题。如果能加以改进，DB2的适用性会进一步扩展，基于DB2的开发应用也会更加方便、高效。”随着DB2版本的不断更新，功能越来越多，会有更多成功的应用和案例出现，飞天队看好DB2的发展前景。

最终飞天队获得了本次决赛的冠军。队长徐明伟表示，这是团队的力量。队员管伟来自北京速通、麦志斌、陈艳来自另外两家不同的公司，他们在数据库迁移方面都有丰富的经验。希望以后还能参加这样的比赛。

亚军团队：金葵花队

在比赛过程中，每次跟金葵花队沟通，都能感受到他们对本次大赛的认真态度和对数据库迁移技术的激情。队长杨盛告诉记者，他们团队的成员各有所长，配合默契，“团队成员杨盛、隆、林耘毅、莫淡先、王汉福分别负责开发、架构设计、数据库等不同方面。遇到了问题，就在一起讨论，展开头脑风暴。尽管没能获得冠军，有点小遗憾，但获得亚军也非常高兴。感谢IBM和主办方能给予我们这个展示自我的平台。”

队员莫淡先称，决赛时，评委的问题都一针见血，非常到位。专家们提出，银行数据库业务的维护和开发，招商银行的工作应该实现标准化，让他们非常受启发。因为此前，他们也在这方面进行尝试，但是进展不明显，原因是数据库迁移涉及运维、开发、厂商支持等各个方面，要做一项迁移的工程，所有的部门都要参与其中，所以比较复杂。而降低迁移的复杂性，推广迁移的方式方法和成功案例，也正是举办此次DB2迁移之星大赛的目的之一。

决赛期间，通过跟其他选手交流，了解到了国内顶尖水平的选手都在做些什么，“不再埋头苦干了”。队长杨盛建议主办方多举办一些类似活动，让更多选手参与进来，给更多DB2爱好者和数据库工程师提供切磋的机会。

季军团队：中信数据库队

中信数据库队队长唐志刚在参加决赛时自信满满。他表示，2011年中信银行刚完成一个迁移案例，是从Oracle到DB2的迁移。在实际的应用中，会使用不同平台和类型的数据库。目前中信银行的主流数据库应用是DB2。在银行的交易系统中，可能的高并发请求对于数据库的稳定性和可用性要求非常高。IBM在软硬件结合方面做得非常好，DB2数据库应用与小型机的结合很紧密，在性能方面能够提供契合银行应用实际的强大支持。

在谈到数据库开发应用时，唐志刚认为，DB2在核心性能方面很优秀，开发工具的管理和界面只是一个形式。如果能够提供更加友好和人性化的界面，在开发层面会有一定的好处，开发者的使用会更加方便，在开发速度方面也会有所提升。

唐志刚和队员王清锋表示：“DB2的设计理念是非常前端的，未来DB2 应在Purescale集群技术方面进一步完善，产品应该进一步扩展，提供更加开放的数据平台。在文档的共享方面希望开放一些底层的内容，也希望DB2能向更多的行业领域扩展。总体来讲，IBM的技术理念是非常先进的，已经在适应云计算、大数据等潮流的数据库发展模式方面开展了很多积极的探索，看好DB2以后的发展。”

SuperwinningTeam

SuperwinningTeam是第一支进行决赛的参赛队伍。赛后，来自北京人大金仓的队长华表示：“这次决赛，我们在题目的准备上还是比较充分的，遗憾的是在PPT的展示和讲解的方式上控制得不太好，在时间的控制方面也没有做好，关注的技术细节太多，一些核心的内容没有在规定的时间内展示出来。”

在谈到DB2的应用感受时，华认为，DB2目前在数据仓库整合方面已经做得很好，在数据库应用性方面与Oracle相比也已经差别不大，只是有一些功能在名称上有所不同，在一些应用特性上DB2已经超过了Oracle。对于未来DB2的发展，来自AVG的队员高睿峰表示希望在资料共享以及联机帮助方面有所改进，目前的资料和文档范围太广泛，如果能进行有针对性的整合，会更便于大家了解和使用。

信总软件DB2迁移队

决赛的几天里，信总软件DB2迁移队的队长柏征和来自济南市历城区农业局的队员王艳一直非常谦虚。决赛结束接受采访时，他语带感慨地告诉本报记者，此行收获非常大。从专家的点评中，他感受到“自己欠缺的知识还有很多”。“以前，我们都是为了完成项目查阅一些资料，获取资料的形式是‘快餐式’的，只要能解决问题即可。”柏征称，通过此次比赛，“我们感觉到了理论的重要性，实践必须要有理论作支撑，然后再到实践中去验证”。

信总软件DB2迁移队的迁移方案来自于单位实践。目前，信总软件DB2迁移队队长柏征所在的单位山东信总计算机软件开发有限公司的IT系统中，小型机、数据库和应用产品，都选择的是IBM。因此，柏征对DB2的应用开发比较了解。但由于单位非常忙，既要做开发，又要做数据库，甚至还得负责维护，柏征称他没有时间对这些产品进行深入研究。由于技术人员缺乏，平时遇到问题，很难像其他参赛团队那样，可以讨论问题，可以沟通解决方案，只能靠自己。所以，“我们很希望能够跟其他选手多多沟通，非常珍惜这次跟专家、选手面对面交流的机会”。

CPIC_DB队

CPIC_DB队的队长段家生看起来非常内向，沉默寡言，但是当谈到数据库技术，谈到比赛以及能够和这么多专家面对面，段家生的话匣子一下子打开了，讲起来滔滔不绝。他告诉记者，尽管单位数据的量并不是很大，但是DB2的每一个版本，他都应用过。决赛中，他和他的团队对迁移方案进行了详细的测试，并且希望IBM后续的DB2版本能帮助他们加快迁移的速度。

段家生还告诉记者，从加快数据库用户从Orcale到DB2的迁移速度的角度看，他们希望IBM能够共享出来更多资料供开发者和数据库爱好者下载，在不涉及信息泄露的情况下，希望能有针对用户的更多、更细节的问题说明。比如，一张迁移列表，数据类型是什么，会碰到什么问题，该如何解决等，通过这种分享，帮助用户建立一个知识库。

能够跟专家和其他选手进行交流，是队员刘朝此行最高兴的事情。他告诉记者：“我希望能够聊一些一线用户对数据库本身的要求，例如对大容量、可用性的需求等，希望能够听听专家的意见。”

SeniorVision队

SeniorVision队队长王翔表示，在实际的工作中涉及到数据库迁移的实例还是比较多的。这次比赛的感觉明显与前两届不一样，选择一个固定行业进行常用的数据库配置，对于选手的要求更高。“决赛案例设计得非常好。对于我们来说，可以将以前工作中的数据迁移经验做一个总结：如何以一种可重复的、模块化的方式进行数据迁移，不仅仅局限于表层的数据迁移，同时还能对不同类型数据库的特性有更好的理解，在这方面收获很大。” 基于开放式的环境，DB2的pure xml功能对于大规模的数据交换能够提供很好的支持。

在谈到对未来DB2大赛的期待时，王翔和队员皇甫鑫霖、赵玉霞表示，希望大赛能沿用现在的思路，不要从纯技术的角度考量，而是更多地与企业业务需求相结合，此外还希望在行业的领域方面能打破限制，更加扩宽一些。

启明3队

启明3队的成员都是共事多年的同事，配合非常默契。在比赛前，他们坚信这是他们获胜最有利的筹码，并且一定能够冲进三甲。但是，从决赛赛场出来，队长刘文斌很久都没能回过神来，始终沉浸在比赛中。他告诉本报记者，因为比较紧张，所以一些问题没有回答得很好，评委的反应不是很热烈，感觉有点遗憾，对于回答情况的好坏，他们心里也没底。

不过，刘文斌和队员杨立影、郑伟称，这次比赛的北京之行，“主要是非常希望能有机会跟其他选手交流。在整个比赛中，通过论坛关注其他技术开发人员的关注点，真是开阔了眼界”。另外，在工作中，启明3队队员都曾经应用过DB2，比赛中，更感受到了它在稳定性方面的表现非常突出，并具有资源配置的灵活性。通过这次比赛，他们重新学习了数据库相关知识，知识面得到了扩充。刘文斌称：“我们感受到这个行业发展的迅速，有许多先进的DB2技术将越来越多地应用到我们以后的实践中去。”

Zolinn队

赛后，队员张春林表示，题目在设计上非常贴合实际。从应用层面看，DB2在数据仓库平台上有很大的优势，其架构更适合于大规模的数据处理。在实际应用中，有一些用户使用的是混合的数据库环境，这可能是出于平衡的考虑，不希望将数据库应用限制在一个平台上，因此从实际操作的角度看，基于不同数据库的迁移案例也非常多。DB2在运维管理上有一些独到的特点，它的压缩功能能够减少磁盘空间的占用。在实际的测试过程中，DB2对CPU等资源的消耗相比于其他数据库也有优势。从管理角度看，DB2提供的工具比较多，用户在实际使用上有一点不太适应。工具的重合度比较高。如果能整合工具，修改界面风格，用户的体验会更好。在事务处理性能，包括可视化的监控等方面，希望DB2提供一些基于内核的改进，这些方面有改进和提高的余地。

队长李宁宁认为，DB2的purescale机制具有更高的可靠性，是一个比较高端的应用方向和思路，适合于大规模的数据处理。未来希望IBM能更加开放，为开源、大数据等趋势提供更多适应性的方案。

DataBaser队

篇2

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展，其数量之大和种类之多令人难以置信。比如，一个CT图像含有大约150MB的数据，而一个基因组序列文件大小约为750MB， 一个标准的病理图则大得多，接近5 GB。如果将这些数据量乘以人口数量和平均寿命，仅一个社区医院或一个中等规模制药企业就可以生成和累积达数个TB甚至数个PB级的结构化和非结构化数据。

在中国，2010年，国家公布的“十二五”规划中指出要重点建设国家级、省级和地市级三级卫生信息平台，建设电子档案和电子病历两个基础数据库等诸项目标，也就是推进医疗信息化的“3521”工程。

过去由于缺少统一的电子病历系统（EMR）标准，中国的电子病历系统发展比较缓慢，医院之间不能实现病患信息共享，医疗服务水平也因此受到影响。

为改善这一现状，国家会逐渐加大对电子病历的投入。适应这一趋势，各级医院也将加大在数据中心、IT外包等领域的投入。而随着医疗信息数据的几何倍数增长，医院信息存储将越来越受到重视，医疗信息中心的关注点也将由传统计算领域转移到存储领域上来。

有弊就有利

对于许多医疗和生命科学机构而言，努力控制大数据造成的呈螺旋上涨的成本、复杂性和风险已经成为一个至关重要的问题。然而，从另一个角度来看，医疗大数据能够带来的收益要远远超出管理它们的成本，如开放新的具有医疗价值的信息源，提高诊断准确性和速度，预测疾病和健康形态，以及取得生命科学创新的不同见解。美国管理咨询公司麦肯锡全球研究院（MGI）预测，如果美国的医疗行业能够有效利用不断增长的大数据来提高效率和质量，那么每年可创造超过3000亿美元的额外价值。而且，在欧洲的发达国家中，仅在提高运行效率一项上，政府行政管理部门就可以利用大数据节省1000亿欧元以上的费用。

任何事物都有两面性。医疗大数据的确对数据管理、存储、分布和保护等诸多方面形成挑战。但是，对于大多数成功的医疗机构来说，利用大数据已经成为提高生产力、改进护理水平、增强竞争力、加快增长和创新的关键策略。那么，我们该如何在两方面进行平衡，实现可观的效果和利润呢？

答案存在于数据经济学中，即如何使从数据中获取价值的成本低于数据能产生的效益。如果我们能够有效地将数据存储、处理和保护成本降至极低，然后利用尖端技术将数据转化成支持临床需要与业务增长的可执行信息，我们就能实现极高的数据经济效益。

医疗大数据的挑战

然而，如何有效地将大数据存储成本降至最低，是企业和IT领导者，尤其是内容驱动的医疗和生命科学企业面临的根本性挑战。因为除了数据数量和形态的迅速增加，医疗数据还需要越来越长的保留期。患者的病历可能需要保存70或80年，甚至更长。许多情况下，病历还必须以原始格式永久保存，以满足法规遵从的要求。同样，生命科学研究机构有选择性地选择价值足以保留和维护数十年的数据，以期为新研究提供依据。

另外，许多医疗与生命科学研究机构在竭力应对资源紧张、持续的业务增长和新医疗技术带来的挑战。不断变化的外部环境常常造成医疗机构存储架构的无序扩张，多种系统和工具并存，使得管理变得更加复杂。

事实上，存储消费速度加快，存储资产未得到充分利用，对空间的持续需求以及动力和冷却成本的增加，都推动了总体拥有成本的不断攀升。而且，一旦存储系统的安全性出现问题，导致医疗数据丢失，医院会面临更严重的局面。对于研究机构来说，数据存取是创新和竞争力的核心。这样看来，文件数据不断增长导致的管理成本提升被认为是当今全球著名公司面临的五大难题之一，这种结论就不足为奇了。

医疗行业大数据理想基础架构

要实现高额数据经济效益，关键是能够对包括结构性数据和非结构性数据在内的所有医疗大数据进行集成，实现集中管理和更好的资源配置。

为了整合医院不同部门或不同生命科学系统的大数据，实现充分的信息搜索和共享，理想的存储架构必须是一个适用于块数据、文件和内容的集成系统，并且拥有强大的容量、性能和吞吐量，在处理、移动和访问多个大型数据集和大量数据（数量常常达到数个TB甚至是PB）时能够保持运行的一致性。为了尽量降低存储成本并满足临床业务需要，理想的存储架构还必须支持临床创新的数据互操作性，必须能够实现智能分层，根据访问频率、临床价值和实际存储成本自动完成数据分布。这种动态分层功能有助于进一步提高容量利用和资源配置水平，从而全面优化存储资源的成本效率。

此外，医疗与生命科学研究机构要求大量的存储空间和动态扩展能力，以便处理不断增长但无法预测的数据和图像，以达到高水平的合规性要求，保证遵从关于数据长期保留、完整性和数据保护的政策。最重要的是，一个适当的存储系统必须具有内容感知能力，能够将数据转化为可执行信息。

内容感知是指动态地进行信息分类并为非结构化数据文件分配策略，将非结构化数据转化为有价值的信息，从而能够采用最佳方式，更快进行决策并保护公司敏感数据。

HDS文件和内容解决方案

HDS文件和内容解决方案由Hitachi Content Platform、Hitachi NAS Platform、Hitachi Data Discovery Suite 以及Hitachi Data Ingestor组成，可以满足在医疗和生命科学研究领域中存储、管理、保护和搜索各类数据严苛的要求，无论这些数据是PDF文件、医学影像还是病患人口数据。另外，Hitachi Clinical Repository（HCR）为管理业务和健康数据、固定内容和图像，应对DICOM/HL7数据读取、数据整合、数据挖掘和数据分布这些独特挑战而设计的。它由Hitachi Content Platform（HCP）和DICOM/HL7网关组成，可基于HDS平台、客户解决方案或合作伙伴的应用平台使用。这些解决方案所具有的独特功能包括：

集成存储 ——文件、内容和块服务在单一管理界面中融合。通过跨平台创建存储池和利用虚拟化，客户可以简化管理，提高利用水平，并恢复或延长现有资产的使用寿命。

智能分层——动态分层存储架构通过预定义存储层、数据索引和制定自动将数据迁移到对应层的策略，管理基于文件的数据（如PDF文件或医学影像）。通过自动将活跃数据迁移到适当的平台，你可以优化磁盘要求（例如在低成本的SATA硬盘里存储更多数据，同时减少在费用高昂的光纤通道、SAS或固态硬盘（SSD）上存储数据）。这一策略根据精确的业务运行需求管理内容，不仅使文件和内容存储更有效、更加智能化，还提高了整个存储系统的成本效率。

存储优化——动态分层使闲置容量可以轻松得到再利用，重新确定现有资产用途以延长使用寿命，并自动将非活跃数据迁移到具有复制功能的内容仓库。这使容量效率和利用率达到极大化，同时可以减少备份卷，并且能够优化存储资产的投资回报率。

内容感知搜索———本地自动感知能力可以识别所存储数据的相关性。对使用单一接口的多种资源还可以进行联合查询，以便搜索数据并提供索引。内容感知搜索实现了文件和内容服务的真正同化，以满足法律监管和企业要求，并可以管理内容引发的迁移和其他整体数据活动。

低成本存储———通过集中建立存储池、跨系统智能扩展和利用动态分层自动完成数据迁移，减少管理节点，提高存储资产的使用经济效率，也降低了对硬件的要求。管理、备份、容量规划、动力和冷却成本随之降低，这些使固定资本（CAPEX）和运营成本（OPEX）都大大降低。事实上，已经有数据证明，HDS文件和内容解决方案可以极大地降低管理成本和备份成本。

边缘到核心存储———中心医院还可以选择为偏远的医疗中心提供无缝的边缘到核心的数据访问支持，增强临床医师间的协作，通过进行有效控制来实现免备份存储。

HDS文件和内容解决方案——旨在帮助相关机构管控好大数据环境，利用统一、可扩展的管理平台简化大数据存储的复杂性，整合资源促进利用，调动数据以满足业务需求，改进数据保护以提高合规性水平并降低风险。

篇3

想象一下在线零售商，当购物者在自己的移动设备上浏览页面时，他们可以通过限时抢购以及推荐类似的产品来替代售罄产品的方式来实现快速销售;他们还能够实时跟踪正在销售的产品，通过让顾客看到哪些产品是真正可供购买的，从而为顾客提供了更好的客户体验。

这些技术的好处显而易见，那么，为什么现实中真正能把信息实时转化为业务优势的企业并不多？因为大数据环境是非常复杂的，企业面临来自多个实例、多种工具和传统数据库的挑战。所有这些都将增加复杂性和成本，并难以持续获取他们所需要的数据。

内存计算就是其中之一，内存计算正在迅速改变企业处理数据的方式。它使用直连内存来代替磁盘存储数据，这意味着在复杂海量的数据集上查询数据的过程中， CPU指令更少、查找速度更快，性能也大幅提高。过去，处理这些数据需要花费数小时或数天，而今只需几分钟甚至几秒钟。业务负责人可以基于实时信息更快地做出决策，IT部门能够快速地提供分析和洞察，而不会影响其当前的日常运营。数据库管理人员花费更少的时间来迁移和管理数据，并拥有更多的时间对其进行分析。

例如，SAP HANA利用内存计算技术的优势来实现实时访问数据。它还提供了一个跨越企业中整个SAP环境的通用平台，以简化数据存储、管理和分析。企业可以从SAP环境中获取更快的实时洞察并做出更好的业务决策。

虽然很多企业希望以这种方式改变IT，但要想实现更快的数据分析、一个更可扩展的数据仓库和把所有业务应用迁移到一个底层数据库的能力，还有很长的路要走。因为企业IT环境很可能充满了复杂和彼此孤立的传统数据库。为了实现业务目标，它所需要的不仅仅是内存计算软件。

至关重要的是，企业的IT基础架构必须正确匹配所选择的内存数据管理软件。这就是为什么越来越多的IT经理和管理人员都在数据中心和数据管理平台方面进行长期的战略性风险投资。企业需要制定正确的战略和交付模式，并找到适当的合作伙伴，以在部署过程中最大限度地降低风险和对数据中心的破坏，并随着数据增长而扩大规模，同时保持高性能。

以下是企业在制定战略迁移计划时三个要考虑的问题。

问题1 ：服务水平

该解决方案能够提供关键业务的功能和端到端的服务和支持吗 ？

当企业要迁移到更高级的工作负载时，一般是因为有更高级的关键业务需求，通常是要求在高端Unix系统上才能看到的性能，包括容错架构、极高的I/O带宽、自愈分析和自动化。要确保系统达到这样的性能要求，以最大限度地降低停机时间并尽快进行灾难恢复。例如，硬分区技术显著地提高了系统的可靠性和灵活性。每个硬分区都有自己独立的CPU、内存和I/O资源，它们都是构成该分区刀片的一部分。它们通过一个容错交叉开关被绑定在一起。因此，该系统中任何一个部件的故障不会影响系统的其余部分。在灵活性方面，这些分区使您能够在一个系统上运行CRM、ERP和数据仓库等解决方案――这是打造 “实时”企业的关键一步。

即使拥有内置的关键业务性能，企业也最好为系统添加实现快速部署、顺利迁移和业务连续性的端到端的服务。数据管理需要7×24全天候的支持，以便能够主动预防问题、最大限度地提高系统性能，并提升解决问题的速度。

问题2：性能和规模

该解决方案能够满足我的需求吗？

为了充分利用企业的内存数据管理环境，还需要能够满足高性能和高可用性等内存计算需求的、专为应用而优化的系统。这些系统应该具有可扩展的架构设计，轻松实现可扩展性，以保护企业目前的投资并根据未来的需求进行扩展。行业标准是可扩展到6TB。但如果您想真正发挥HANA的性能，例如在您的最大的商业应用环境中，不超过4TB或6TB的内存计算并不能满足您的需求。通常许多大型系统是在20TB或30TB的数据库上运行的。当企业开启大数据之旅时，请确保您拥有足够的可扩展性来应对数据仓库环境。

另外，请记住，不同内存之间也是有很大区别的。有些厂商把内存硬塞到硬件之中，造成可用内存的极大消耗。请确保系统拥有能够容纳更高RAM的高级芯片。这样一来，您将能够高效地使用扩展的存储空间，并维持较高的性能。

问题3：安全投资

该解决方案将会允许我的内存数据管理环境在整个公司里成长和加强吗？

让我们面对现实吧！把企业业务应用迁移到内存数据管理环境既不容易，也不便宜。但是，与继续运行反应缓慢和彼此孤立的数据库相比，它更具有成本效益。它必将更快地为企业创造价值。

但是，我们还要注意另外一方面。拥有一个值得信赖、经验丰富的合作伙伴会增加成功率。我们需要一个在部署这类环境方面拥有丰富经验的供应商;需要一个与SAP、微软或其他大数据软件厂商拥有稳固合作关系的厂商;需要一个已经通过认证的平台和业已证明的基准性能，这个系统还要拥有企业所选择的供应商预认证的组件。你希望能看到部署和实现内存数据管理环境的多种交付模式 （如内部部署、云服务和托管解决方案），以确定哪种模式最适合企业业务需求。

篇4

高端磁盘阵列2.6倍性能提升 11月6日,在成都首发的高端企业级磁盘阵列 DS8700,标志着DS8000家族的又一个飞跃。最新的DS8700采用了POWER6芯片,不但可实现2.6倍的性能提升,同时也是业内首款配备了LPAR 技术的存储系统,实现存储资源动态调配,其容量可扩展至PB级,成为用户从容迎接海量数据时代、架构智慧信息架构的重要势能。

“业务无中断”、“全应用导向”灾备 区别于局部灾备能力,IBM系统与科技部大中华区系统存储部总经理侯淼表示,IBM将灾备作为整合价值发力点,从用户的需求和IT基础架构出发,整合存储、计算、数据库、应用、网络等各个层次,定制“全应用导向整合灾备方案”。与此同时,还为用户提供多种业务连续性解决方案Live Demo――光纤链路两地三中心方案容灾、异构平台容灾、本地高可用容灾、分支机构容灾解决方案、数据级容灾、异地 IP 容灾等多种解决方案,从而让用户获得“业务无中断”、“全应用导向”整合灾备理念的实景体验。

企业存储私有云直入“云”端”最新推出的“IBM 智慧业务存储云”是一款企业级私有云解决方案,不但可以高性能支持 PB 级数据存储,还全面支持标准文件协议,开拓了真正意义上的横向扩展集群模型,帮用户实现“无论信息存储何处,均可满足对云内信息的无缝访问。”

“智能分级存储”与“混合工作负载自动化” 通过配置固态硬盘与业界领先的逻辑子卷的自动化管理,IBM将信息根据策略自动分置在不同的存储介质,自动化分级存储、迁移热点数据,自动化分配不同性质的存取压力,让业务响应时间提高 3倍,从而实现“智能分级存储”与“混合工作负载自动化”创新性解决方案,让用户大规模降低存储成本。

篇5

关键词：大数据平台；电网统一数据中心；全业务；数据分析域

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）34-0015-03

稻莘治鲇蚴侨业务、全类型、全时间维度电网数据的汇集中心，是为电网公司各类分析决策类应用提供完备的数据资源、高效的分析计算能力及统一的运行环境，改变过去分析型应用数据反复提取、冗余存储的局面，实现“搬数据”向“搬计算”的转变，支撑企业级数据分析应用的全面开展。

1 电网全业务数据分析域平台的作用

基于大数据平台的电网全业务数据分析域主要完成ERP、生产、营销、调度等核心业务系统数据的提取清洗、实时采集类、分析决策类相关应用迁移迁移改造；完成统一数据模型及主数据标准验证；完成统一分析服务建设等工作，建成全业务统一数据分析域。

2 电网全业务数据分析域平台接入的业务数据

2.1内部业务系统数据接入

基于电网公司总部数据字典统一梳理成果，以业务系统实际情况，结合统一数据分析服务、采集监测与分析决策等问题，遵循统一数据集成接口规范，统一数据模型（SG-CIM3.0、数据仓库模型），梳理ERP、财务管控、营销业务、营销稽查监控系统、营销档案管理、营销移动作业、一体化缴费接入管理、PMS2.0、OMS、电能质量在线监测、资产全寿命、省级计量中心生产调度、供电电压自动采集、科技与信息化项目管理、项目过程管理、电力市场交易、IMS、TMS、电动汽车智能、干部管理、信息客户服务管理、应急预案管理、车辆调度管理、经济法律、输变电GPMS、双流双控等业务系统，全量接入数据分析域，对于不符合SG-CIM3.0及主数据标准的相关业务数据进行清洗转换，完成数据流转至数据仓库的接口开发，为各类分析应用的实现提供完备的数据资源。

2.2外部数据统一采集

基于大数据平台，根据大数据分析应用业务，完成经济、气象、征信等外部数据采集。

3 电网全业务数据分析域平台分析服务功能设计

3.1统一分析服务

基于统一分析服务功能，开展低电压实时监测、负荷预测及防窃电分析、配网故障量监测分析、临时用电超期未办理合规性监测场景四个应用建设。

3.1.1配电网低电压实时监测

配网低电压监测主要针对目前电网设备发生低电压的程度，从低电压台区和低电压用户两个方面监测低电压的场景研发。运用数据分析域上多源异构数据集成等数据存储技术，实时计算技术，统计分析出低电压的区域分布情况、涉及台区情况、低电压出现频率等，及时将发现的问题通知到相关部门，由相关部门对低电压台区或用户进行现场核实，查找出详细原因，提出改造措施，消除低电压情况。

3.1.2用户侧负荷预测及窃电行为分析场景

用户侧负荷预测及窃电行为分析功能可以提取客户信息、用电量信息、用电负荷、事件异常等数据，从用电概况、负荷预测分析、负荷特性分析、防窃电预警分析等方面，选取相关性最高的影响因素，利用数据挖掘算法构建负荷预测模型、负荷特性分析模型、防窃电预警模型。

3.1.3配网设备状态监测分析场景

通过提取设备台账、用电负荷、用户档案等数据，从配变设备基本概况、配变故障量预测分析及配变重过载的深化研究等方面，选取相关性最高的影响因素，利用数据挖掘算法构建故障量预测模型、农网配变重过载预测模型、迎峰度冬重过载预测模型实现配网设备状态监测分析场景。

3.1.4临时用电超期未办理合规性监测

通过提取临时用电数据，从“退费条件后是否按时退费给用户”和“转收入条件后是否按时进行转收入”两个维度，按单位、按月、按异动项目类型，总体展示临时接电用户目前总体情况及明细数据，并通过提醒、告警等方式监测各单位未及时退费项目、未及时转收入项目的情况，提醒相关人员及时处理，避免造成的合同纠纷或企业损失，有效提升公司临时用电业务合法性、合规性。

3.2采集监测与分析决策类应用迁移改造

3.2.1用电信息采集系统迁移改造

采用分布式消息队列+分布式流计算方式，完成用电信息采集数据访问接口的设计开发，实时同步用电信息采集数据，并基于大数据平台，实现实时采集数据的统一对外共享，为用电信息采集系统前端应用及营销业务、生产管理等系统，提供统一、高效的采集数据访问服提升用电信息采集数据的共享服务能力。

3.2.2输变电在线监测系统迁移改造

通过输变电状态监测数据在线计算、离线计算等程序设计研发，同时完成数据访问接口的设计研发，实现输变电状态监测信息的采集和在线处理，为输变电设备状态监测提供灵活可扩展的数据存储和分析能力，实现通过大数据平台，统一对外提供高效的输变电设备状态采集数据服务。

3.2.3同期线损系统迁移改造

基于数据分析域，通过分析线损系统现有大数据计算框架与大数据平台技术路线的差异，开展同期线损系统中电量与线损大数据计算区功能融入大数据平台的研究及开发，将线损系统Cassandra存储改为HBase存储，对已实现的电量与线损分布式计算服务和提供的电量与线损结果查询服务接口进行改造，完成同期线损迁移改造方案、存储模型设计，实现线损相关存储、计算组件的迁移改造及数据迁移。

3.2.4配电网运营分析应用迁移改造

利用大数据平台，结合用电信息采集数据迁移，完成配电网运营分析应用优化改造，优化并提升数据提取、传输以及单体设备计算能力。结合配电网运营分析应用的数据模型成果，基于大数据平成数据缓冲表、接口表/中间表、计算结果表的模型设计。根据PMS、营销、调度等数据接入需求，基于大数据平台，完成PMS2.0、营销业务系统档案数据定期同步接口开发，完成调度数据采集及解析程序开发。

3.3统一数据模型与主数据标准验证

基于统一数据模型设计成果，在数据分析域上验证数据仓库模型。结合数据提取清洗及统一分析服务建设需求，开展人员组织、财务、物资、项目、电网、资产、客户等主题域的数据模型的差异性比对，对数据仓库模型进行完善及优化。将数据仓库模型部署至数据分析域中，并按不同业务域模型规范将ODS的数据存放至数据仓库中，支撑分析应用场景建设。

4 电网全业务数据分析域平台技术架构

根据统一数据中心总体架构设计，数据分析域是全业务、全类型、全时间维度数据的汇集中心，是为各类分析决策类应用提供完备的数据资源、高效的分析计算能力及统一的运行环境，改变过去分析型应用数据反复提取、冗余存储的局面，实现“搬数据”向“搬计算”的转变，支撑企业级数据分析应用的全面开展。

根据统一数据中心数据分析域总体架构要求，结合电力数据中心、大数据平台的实际建设情况，设计电力数据分析域系统架构，包括数据接入、数据存储、数据计算、统一分析服务、系统管理等5个层次。

平台通过分布式消息队列、ETL、Sqoop、API等各种技术手段，提取结构化非实时数据、实时数据、外部数据，对各类数据按照统一数据规范进行标准化及关联，并按不同时效性的计算及应用需求，分类进行数据存储、流转及管理。

5 电网全业务数据分析域平台采用的开发技术

数据分析域的数据抽方面取采用大数据平台数据加载工具（基于Sqoop优化封装）+文件导入方式。业务系统存量数据接入ODS区，涉及业务系统数据提取至缓冲区、缓冲区数据提取至统一视图区。

大数据平台数据加载组件，基于Sqoop工具优化封装，支持关系型数据库与大数据平台中的分布式数据库之间的数据提取。对于ODS数据加载至数据仓库/数据集市，采用大数据平台中的数据加载组件（基于Sqoop优化封装）。对于ODS缓冲区、ODS视图区、数据仓库、数据集市之间的数据清洗转换，采用大数据平台数据提取组件（基于Kettle优化封装）实现。提取工具（基于Kettle优化封装）基础功能包括数据获取、数据清洗转换、数据加载、任务管理等，支持内部所有异构系统、多数据类型、不同数据提取方式的数据采集，对多种数据库、套装软件、封闭式主机、EAI软件、文本等数据批量提取，实现对数据高效提取、传输和分发，满足对数据提取和数据清洗功能。

电信息等实时类数据采集，采用大数据平台消息队列组件（基于Kafka优化封装）+流计算组件（基于Storm优化封装），实现生产实时数据的高效采集、计算和存储。消息队列组件（基于Kafka优化封装）用于接收来自前端不同实时源的数据，后端则采用流计算组件（基于Storm优化封装）技术对实时数据进行保存及分析。

外部数据采集主要有3种模式，一是线下手工采集，然后文件导入大数据平台；二是通过外部接口采集；三是通过数据爬取程序采集。

数据仓库存采用基于Hadoop HIVE+Impala组件优化封装的分布式数据仓库，存放按业务主题进行划分、归类的历史数据。数据集市的数据由数据仓库的数据经过转换后形成，直接支撑前端的应用需求。数据集市，采用基于开源PostgreSQL优化封装的分布式关系型数据库。在数据集市应用中，对于实时性要求不高的结果数据查询，将通过访问PostgreSQL实现；对于实时性要求高的即时查询应用，则直接通过Impala访问HIVE的明细数据。

面向海量规模的实时采集类数据，采用基于Hadoop Hbase优化封装，Hbase是基于Hadoop的NoSQL大数据平台分布式列式数据库作为存储媒介。为大数据提供实时的读/写操作，能够利用HDFS的分布式处理模式，并通过MapReduce获取强大的离线处理或批量处理能力，同时能够融合key/value存储模式，以实现实时查询能力。热点数据存储在基于Redis优化封装的大数据平台内存数据库中，以供快速读取、应用。

分析服务，采用大数据平台自助式分析工具。大数据平台自助式分析工具提供易用、快速、灵活的可视化设计器和丰富多样化的可视化控件，结合数据建模的数据主题和数据挖掘的业务挖掘模型，业务人员可自定义配置分析界面。

数据分析域的系统管理，采用数据管理服务平台实现，根据各类扩展需求，对数据管理服务平台进行增强开发，以适应统一数据中心分析域的系统管理要求。

6 结束语

通过对大数据技术的研究和应用，开发部署电网统一数据中心全业务数据分析域平台，能够有效支撑电网配、变、过载、预警、分析等场景应用，为数据分析人员提供数据挖掘模型构建能力，满足电网各类业务应用的大数据分析、挖掘需求。

参考文献：

[1] 波，陈乾，眭建新.基于大数据技术的电网运营分析决策系统研究[J].电力信息与通信技术，2015，13（8）：128-131.

[2] 王忻.基于大数据技术的电力公司运营系统研究[J].商，2016（4）：214-214.

[3] 赵云山，刘焕焕.大数据技术在电力行业的应用研究[J].电力行业信息化年会，2013（30）：57-62.

[4] 段军红，张乃丹，赵博，闫晓斌.电力大数据基础体系架构与应用研究[J].电力信息与通信技术，2015，13（2）：92-95.

[5] 刁柏青，步万峰.构建集中统一的电网集团数据中心[J].电力信息与通信技术，2004，2（10）：57-59.

[6] 姚强，杨志武.基于集中数据中心的统一数据平台建设分析[J].内蒙古电力技术，2010，28（3）：3-5.

篇6

今年是叶成辉提出的EMC中国第二个五年计划的具有转折性意义的一年，EMC不仅要巩固第二平台这个主战场，而且要向第三平台这个新市场进行平滑转型，即从传统数据中心市场过渡到软件定义的数据中心市场。如何在转型中继续保持增长？EMC不仅需要更多勇气，而且需要更多智慧和技巧。

增长，还是增长

2012年，IDC提出了“第三平台”概念。第三平台建立在移动设备、云服务、社交网络和大数据分析的基础之上，代表了ICT的发展方向。与以大型机为代表的第一平台、以客户机/服务器为核心的第二平台相比，第三平台带来了颠覆性的变革，企业、数据中心、IT应用与管理都将被软件重新定义。在这场变革的洪流之中，叶成辉表示，EMC也要重新定义（Redefine）自己。

EMC目前正处于从第二平台向第三平台转型的过程之中。其实，第二平台与第三平台之间的界线并不是那么绝对，不是说第二平台关注的是结构化数据，而第三平台关注的是非结构化数据。未来，像特斯拉智能汽车、工业互联网、可穿戴设备等这样的新应用会越来越多，并部署在第三平台之上，但仍然会有很多应用部署在第二平台之上。EMC的独特能力体现在，它可以通过软件定义的方式，在同一个控制层面管理第二平台和第三平台两种架构。

叶成辉表示，转型需要一个过程，而且第二平台和第三平台将在很长一段时间内并存。在中国，这一转型的过程可能会比美国长。2014年，EMC在中国市场上的发展思路可以概括为“巩固和扩大传统数据中心市场份额，引领数据中心向云计算、大数据转型”。

2013年亮眼的业绩证明，EMC在转向第三平台的过程中已经开了个好头。叶成辉将EMC在中国市场上的成功经验归纳为以下七个方面。

第一，EMC公司整体发展方向清晰，战略正确。在提供信息基础架构解决方案的基础上，EMC通过与VMware、Pivotal、RSA之间形成的稳定“联邦”，可以为客户提供符合云计算、大数据需求的解决方案，形成了差异化的竞争优势。

第二，U2VL，即Unix平台向Virtual Linux平台的迁移已经成为大势所趋，“x86服务器+虚拟化”的云计算模式的兴起让EMC获得了更大增长空间。

第三，数据中心架构改变，服务器的采购比重下降，而存储的花费上升，已占到数据中心设备采购量的50%。这对于EMC最核心的存储业务来说无疑是一个利好因素。

第四，在本地化方面，EMC提前布局，与联想、富通、长虹佳华、神州数码等多个本地品牌合作。目前，EMC在中国的OEM合作伙伴已经有7家，它们对于EMC中国业绩的提升贡献颇多。

第五，由于外部环境、企业自身调整等原因，EMC的主要竞争对手业绩下滑，这在客观上给EMC的逆增长提供了可能。

第六，EMC不断加大在中国二、三线市场的拓展力度。2006年，EMC在中国还只有北京、上海、广州、深圳四个分公司。从2007年到现在，EMC在中国的分公司又增加了15个，同时来自二、三线市场的收入比例正逐年提高。

第七，EMC总部不断加大对中国市场的投资力度，比如EMC在中国建立的卓越中心、解决方案中心蓬勃发展，不仅为中国客户提供了技术和解决方案方面的支持，而且很多新产品都是在中国本地研发的。

转型要平滑

叶成辉表示：“EMC在第二平台市场上一直保持着领先地位。在外部存储、存储软件、企业级闪存、备份、融合架构等细分市场上，EMC的市场占有率都保持第一。”但是从第二平台转战第三平台，EMC还有许多新的战役要打，比如对象存储、软件定义的存储、下一代文件协作、第三平台开发工具和分析工具等，都将是EMC重要的突破点。

从第二平台到第三平台，这中间需要一座桥梁。对于EMC来说，这座桥梁就是由EMC、VMware、RSA和Pivotal组成的“联邦”。EMC可以提供软件定义的存储，VMware专注于软件定义的数据中心，Pivotal则关注软件定义的企业，RSA提供了贯穿整个软件定义架构的安全保障。这个“联邦”的稳定、协调发展对于EMC在第三平台上取得成功至关重要。

EMC公司CEO乔·图斯曾几次推迟退休时间，一个很重要的原因就是他要继续巩固这个“联邦”。未来，这个独特的“联邦”如何制定和执行统一的战略；如何找到一种最适合的运营模式，既保持各公司的独立，又能相互协作；如何实现高度的共识……这些都是乔·图斯肩负的历史使命。

为了更好地实现向第三平台的转型，EMC加强了收购和自主创新，比如收购了闪存厂商XtreamIO，了软件定义的存储平台ViPR，加强了融合解决方案的推广等。从IDC公布的数据看，EMC VSPEX和VCE Vblock都占据了各自细分市场的几乎半壁江山。“未来EMC的收购重点将集中在第三平台领域，而软件定义存储、大数据、云架构咨询服务、融合解决方案等将是推广的重点。”叶成辉透露说，“在今年5月举行的EMC World大会上，我们将更多第三平台的产品。”

叶成辉认为，2014年中国IT市场将回暖，特别是云计算、大数据市场的增长将更加快速。IDC预测，中国公有云市场规模将于2017年达到26.49亿美元，而中国企业级移动应用市场也将在2015年达到建设的高峰期。这让叶成辉有信心带领中国团队从第二平台向第三平台进行平滑过渡。

从一个存储硬件厂商慢慢转变为信息基础架构解决方案提供商，到今天，EMC顺应第三平台的发展趋势，积极地向云计算、大数据厂商转型。叶成辉表示：“EMC从第二平台走向第三平台不可能一蹴而就，也不意味着EMC将放弃存储等原来的核心业务，相反会在原来的基础之上面向云计算、大数据进行更大胆的创新，提供新的、更全面的解决方案。”

存储市场复苏

不仅IDC预测从2014年起存储市场将反弹，叶成辉也十分肯定地认为，2014年存储市场将重新回归增长的主旋律。去年，在云计算、大数据、移动互联等新思潮的不断冲击下，IT市场乃至整个社会生活都发生了巨变，而许多企业的管理者和决策者在还没有看清楚未来云计算、大数据的发展方向时，不敢贸然行动，因此在IT投资和建设方面采取了“维稳”的策略。

篇7

美团的数据梦想

美团云（Meituan Open Services， MOS）是美团推出的公有云平台，致力于为千万用户提供最稳定、可靠、高效的基础设施云服务以及大数据解决方案。2013年5月，美团云正式对外开放计算资源。公有云推出初期就引发了行业内巨大的关注，资源很快售罄。同年7月，美团全业务实现向云平台的完整迁移和部署。美团云目前全面支撑美团业务，网络流量已经达到了500T/天，承载超过两亿用户的高并发访问量，支持Web端和App端多业务类型，美团云的稳定性、可信性，经过了大规模商业实践的验证。

2015年3月，美团云获得IDC牌照，8月对外开放首个高品质的自建机房。同时，可信云服务大会上，美团云正式通过可信云服务认证，在各项云服务指标的完备性和规范性方面得到了业内的认可，并凭借各项优势独揽“电商云服务奖”。目前，美团云的服务范围覆盖O2O生活服务提供商、在线教育、知名电商、互联网金融、智能硬件、新媒体、汽车等。随着获得了可信云服务认证，美团云也将继续依靠强大的技术团队，不断优化产品，注重用户体验，为更多企业级用户提供最优的底层架构以及稳定的网络服务。

据悉，截止到目前，美团的年度活跃买家数达1.3亿，合作商家超过160万户，预计2015年全年交易额将超过1000亿元。

美团庞大的数据量驱动了美团云大数据分析服务的“大梦想”。美团云CTO李爽谈到，美团云软硬一体的解决方案完全基于开源Hadoop解决方案，降低上手成本，万兆网络互联、支持Native Client和Rest API。此外，李爽还介绍了美团云经典BI产品：客户洞察和在线推荐。客户洞察通过观察、了解客户，将采集到的客户数据转化为所需的信息。在线推荐则是在线推荐筛选目标客户，生成静态名单、营销信息和接触信息。同时，他还举例了中传与美团携手同闯“互联网+”的例子。最后，李爽总结了美团在大数据方面的经验，并展示了美团云的数据平台、业务架构和分析平台。 “美团云致力为千万用户提供稳定的公有云服务及大数据解决方案，通过打造更加稳定、高效和创新活力的新一代公有云平台，我们很高兴和华为在云数据中心网络领域展开全面和良好的合作，并将双方的创新成果成功商用。我们期待这些创新能提升网络运营效率，进一步提升用户体验，为我们的客户创造更多价值！”目前，美团云正在和更多的企业合作，拓展大数据解决方案。”

携手华为 深耕云计算网络

随着美团网云化业务的爆发式增长，网络规模不断扩大，如何构建适应未来业务增长的云计算网络？如何持续提升业务上线效率，缩短上线周期？如何简化网络运维，降低运维成本，同时释放服务器能力？如何保证美团在线业务安全永续运营等几大问题，成为美团网建设的核心诉求。

“华为与美团在云数据中心网络领域有着深入且良好的合作，本次美团云成功部署华为敏捷数据中心SDN方案，有效地支撑其战略及业务的发展需求，在业界也具有重要的里程碑意义。” 华为交换机与企业通信产品线总裁刘少伟表示，“作为全球领先的信息与通信解决方案供应商，华为围绕客户的需求持续创新，与合作伙伴开放合作，在企业网络领域为客户提供有竞争力的解决方案和服务，持续提升客户体验，为客户创造最大价值。”

同时，华为企业BG网络产品总工Mark Wu表示：“此次美团云部署的华为CE12800数据中心交换机以及敏捷控制器Agile Controller，旨在为客户打造弹性、简单、开放的云数据中心网络，让网络更敏捷地为业务服务，帮助美团云连接云计算未来。”

详细解读SDN商用网络

为了构建适应未来业务发展的云计算网络，实现美团云 “稳定提升价值”的理念目标，美团与华为在SDN领域展开战略合作，携手共建面向云数据中心的SDN商用网络。

■SDN实现租户网络自动化，加速美团云业务部署

华为敏捷控制器Agile Controller兼容ODL开放架构，通过3类接口、40个API和美团云深度对接，协同美团云平台实现业务快速发放，实现了租户网络自动化，加速美团云业务部署。

■硬件VXLAN构建多租户网络，服务器性能提升2倍

美团云部署华为基于硬件VXLAN方案，把支持租户的数量由4K扩充到16M，以适应业务爆发式增长；同时通过CloudEngine交换机采用硬件VXLAN构建多租户网络，实现租户间的隔离，服务器性能提升2倍；另外，硬件VXLAN方式支持异构多虚拟计算平台，相对软件方式有很好的兼容性。

■端到端业务路径可视，实现租户网络精细化运维

华为Agile Controller敏捷控制器与CloudEngine交换机配合，打破overlay网络中虚拟网络的运维黑盒，由Agile Controller构造下发探测报文，网络转发节点逐跳上送路径信息，实现VM层面的转发路径可视，物理和虚拟网络统一运维。

■业界最佳的“双”平面扩展能力，支撑业务爆发性增长

在控制面，华为Agile Controller敏捷控制器支持业界最大的1：64弹性集群，支持业务无损升级；在转发面，全球最高性能的CE12800数据中心核心交换机，支持160Tbps交换容量，单线卡支持3.6Tbps的交换能力，是业界水平的3倍；线卡支持100ms超大缓存，满足大数据业务需求；整机支持平滑演进，满足美团云数据中心5-10年业务发展需求。

■业界最强的抗攻击防护方案，保护业务可用性

篇8

浪潮AS10000

在数字图书馆的应用

传统图书馆作为信息拥有者与提供者的图书文献机构，面临着自动化、数字化、网络化的挑战，需要不断地调整收藏结构和服务方式来适应信息社会的需求。全面实现海量电子图书资料存储、分布式信息存取和共享的数字图书馆应运而生。

数字图书馆是用数字技术处理和存储各种图文并茂文献的图书馆，实质上是一种多媒体制作的分布式信息系统。它把各种不同载体、不同地理位置的信息资源用数字技术存储，以便于跨越区域、面向对象的网络查询和传播。它涉及信息资源加工、存储、检索、传输和利用的全过程。通俗地说，数字图书馆就是虚拟的、没有围墙的图书馆，是基于网络环境下共建共享的可扩展的知识网络系统，是超大规模的、分布式的、便于使用的、没有时空限制的、可以实现跨库无缝链接与智能检索的知识中心。

数字图书馆需要大量的磁、光、电等新型存储媒介来存储文本、图像、声音、动画、影视作品等文献信息资源的数字化信息。海量数据信息的存储和管理是数字图书馆的显著特征之一。明确存储需求是规划存储方案的前提，数字图书馆数据信息资源的种类、数量、性质及用户利用的方式、用户的多少等，对分析存储系统的容量、性能、传输速度、可靠性等方面的要求起决定性的作用。

数字图书馆具有系统用户数量庞大，并发存取海量数据及业务类型多的特点。如何在复杂、多变的环境中提高基础设施资源的利用率和数据库用户访问效率，确保安全、高效、准确、全面地存取数据，是图书馆存储方案设计考虑的重点因素。

多种数据信息资源对重要性、安全性、再生性、读写性能、更新升级特性及保存时效性等有不同的要求。大文件的连续读写、要求带宽性能高。小文件随机读写，要求处理器的I/O性能，如数字期刊、数字图书等，这里资源访问频率很高，下载流量也比较大，对存储系统的IOPS要求很高。而采用关系型或非关系型数据库形式存储的数据库资源，是基于块级的存储，对这类资源的访问频率很高，需要频繁地传输数据块，因此，也要求存储系统有较高的读写带宽。对于多媒体资源的访问频率虽然不高，但读写数据流量非常大，也需要很好的传输性能。一个数字图书馆的数据信息种类繁多，形式复杂多样，数据的重要性程度不一，数据访问方式各异，因此数据信息的管理难度很高。数字图书馆的服务是全天候不间断的服务，尤其对那些关键数据的安全稳定性有相当高的要求，因此建立一个满足存储需求、运行稳定可靠的存储系统是数字图书馆建设的基本要求。

本方案基于浪潮海量存储系统AS10000构建数字图书馆业务系统。保存关键数据的图书馆自动化管理服务器和数据量增长较快的应用服务器，如镜像数据服务器、电子图书服务器、VOD服务器、FTP服务器、资源数据库服务器等将其接入FC-SAN体系，在保证高速I/O通信带宽的前提下由AS10000提供海量的数据存储空间。

浪潮AS10000产品是国内率先研制成功的多控制器和全交换体系结构的存储系统，使我国在高端存储领域实现从无到有的零突破，这一创新成果打破了国外厂商长期以来在高端存储系统方面的市场和技术垄断地位。AS10000存储系统采用scale-out横向扩展的存储架构，有效保证了存储系统对于容量、性能的横向扩展需求，其最大容量支持64PB海量存储空间；其海量的存储空间、大规模部署能力，提供了超高的并发访问能力，聚合带宽达到60GB/s，可同时支持6000并发访问，满足数字图书馆的复杂应用需求。

AS10000产品作为一个款高端存储系统，其所支持的应用系统要求具备更高的数据可靠性以及存储设备的可用性，必须在存储系统的内部实现更多的可靠性设计。为此研究并实现了部件和交换组件的冗余容错技术，实现了对控制器、磁盘、风扇等物理部件在线维护的支持，采用了多层级的心跳协议、故障监测、故障判断、故障隔离，实现了对多控制器之间服务自动切换的支持，从而在处理和存储的控制器层面保证了系统可靠性、可用性、可扩展性，满足了数字图书馆的可靠性需求。

浪潮AS8000实现统一管理

随着信息技术的不断发展，云计算、大数据、虚拟化等技术改变了传统IT的应用模式，基于虚拟化技术的存储系统逐渐成为前端复杂应用的支撑平台。如何保障数据安全，并且将迁移对主机业务的影响降到最低是我们在数据迁移过程中不得不考虑的问题。

数据迁移的方案多种多样，主要包括以下三种。

（1）基于主机的数据迁移：这种数据迁移模式不依赖于存储设备品牌、架构，但与操作系统、应用相关，需要在系统和应用层面作大量工作，如果采用第三方软件，一般需要购买license。除此之外，该种方案会大大占用主机资源，影响业务的正常运转。

（2）基于存储设备自身功能的数据迁移：要求迁移的源存储和目的存储为同一厂商的同构存储，需要购买数据复制license，所以该方案局限性大。

（3）磁带备份/恢复：备份/恢复的数据不但速率慢，需要停机时间长，而且在系统和应用层面的工作量大、可靠性低，该方案适用于小数据量的移植。

以上迁移方案虽然能够达到最终目的，但是综合考虑迁移过程复杂性、耗费时间、对业务影响程度等问题，显然已经不再是我们的首选。基于存储虚拟化技术来实现数据迁移将会带来更多惊喜。

具有虚拟化功能的存储系统，在实现后端存储统一池化管理的基础上，还可提供透明管理的功能，再结合卷镜像功能，实现在不影响业务正常运行的情况下，无缝将数据迁移到虚拟化存储设备中。

篇9

华为IT云计算产品线总裁任志鹏在云计算大会上公布了一组令人振奋的数据：截至2013年6月底，华为云计算已经服务于全球40多个国家和地区的超过250家客户，覆盖政府及公共事业、电信、能源、金融、媒资、制造等众多行业。华为FusionCloud云计算解决方案成了华为“融合”战略落地的一面旗帜。任志鹏表示：“虽然我们能够为用户提供端到端的云计算解决方案，但我们始终坚守一个底线：数据中心基础架构。”

向大数据领域延展

华为FusionCloud能实现异构硬件资源池的融合，将计算、存储、网络融合在一起，并且针对企业IT的不同场景，提供弹性、自动化的基础设施。华为FusionCloud主要包括三个产品：华为云操作系统FusionSphere，它可以提供完整的水平整合和云化企业异构IT基础设施的能力，提升企业IT效率和业务敏捷度；华为FusionCube是将计算、存储和网络融为一体的一体机解决方案，大幅缩短业务上线时间，并成倍提升系统的性能；华为FusionAccess是一款桌面云软件，它与FusionSphere以及华为的IT硬件组成了桌面云解决方案。

在本次云计算大会上，华为了企业级大数据分析平台FusionInsight 1.0，将华为云计算的触角延伸至大数据领域。FusionInsight 1.0实际上就是一个Hadoop的商业发行版。据任志鹏介绍，FusionInsight是业内首个能够支持1000km异地容灾的大数据分析平台，通过对企业内部和外部的海量信息进行实时和非实时的分析挖掘，可帮助企业发现新的价值点和商机。基于FusionInsight 1.0，华为已经开发出针对金融和电信客户的解决方案，针对其他行业的解决方案正在研发之中。

锻造云操作系统

FusionSphere云操作系统是华为FusionCloud云计算解决方案的基础与核心。据任志鹏透露，全球已有超过50万个虚拟机（VM）运行在华为FusionSphere平台之上。华为FusionSphere除了具有高可靠、高性能等特征以外，其最大的特色就是开放性，比如FusionSphere可以管理不同厂商的虚拟机。

在本次云计算大会上，华为宣布FusionSphere已升级至3.0版。在FusionSphere的研发上，华为与英特尔展开了深入合作，比如在性能方面，FusionSphere通过英特尔NUMA技术实现了虚拟机内存访问效率及虚拟机性能的有效提升，在SPECvirt_sc2010测试中获得了4687分的优异成绩；在可靠性方面，华为与英特尔合作开发的COLO方案作为FusionSphere的Fault Tolerance （容错）技术，可支持单核和多核CPU的虚拟机热备，同时减少主备同步的开销及性能开销，提升了系统的可靠性及恢复能力；在兼容性方面，华为利用英特尔FlexMigrate技术可以在同厂商不同型号的CPU之间实现虚拟机的异构热迁移。

在本次云计算大会上，华为推出了FusionCube 2.0。任志鹏表示：“FusionCube 2.0是将计算、存储、网络、管理深度融合的云基础设施一体机，它大大缩短了部署时间，采用分布式存储技术，可以有效消除I/O性能瓶颈，其处理能力超传统小型机10倍，堪称最佳的小型机替换平台。”

篇10

这三家看似毫无关联的厂商，却被英特尔投资联系到了一起，他们惟一的共同点是云计算。

2014年2月18日，作为英特尔公司的全球投资与收购兼并机构，英特尔投资高调宣布，注资上海一铺信息科技有限公司，并与天津中科蓝鲸信息技术有限公司及无锡华云数据技术服务有限公司签署注资协议。

“英特尔投资希望通过这些新投资项目，进一步推动本土云计算及大数据的技术与商业创新。”英特尔投资中国区董事总经理许盛渊表示，在2014年，英特尔投资的重点将围绕云计算、大数据、物联网、移动计算及可穿戴设备等领域――这无疑为无数初创企业带来了福音。

深入生态链

近年来，无论是行业还是资本市场都非常关注云计算企业。在IDC预测的2014年9大赚钱科技趋势中，云计算仍然榜上有名。根据IDC预计，2014年全球云计算开支将达到1000亿美元，相比2013年增幅超过25%；大数据技术和服务也将在2014年实现30%的高速增长，总额超过140亿美元。

高增长前景和广阔的市场，使各种新兴云计算企业成为英特尔、微软这等大佬竞相争抢的对象，无论是英特尔云计算创新中心，还是微软云加速器，都意在扶植各自的中国创新生态链。而英特尔投资便充当了英特尔公司的耳和眼。

进入中国15年，英特尔投资已经向超过110家中国公司投资了超过6.7亿美金，不仅有力推动了本土市场的成长，也在完善生态系统建设、助推产业变革中扮演了推动者的角色。2013年，英特尔投资被多家机构评为的全球第一机构投资者（Corporate VC），而在国内的风险投资基金中，英特尔投资也名列前茅。

在许盛渊看来，中科蓝鲸和华云数据都是云计算领域的优先代表，在云计算行业中扮演着重要的角色，而上海一铺科技在大数据、移动互联网以及移动互联网销售解决方案领域有着丰富的经验。“除了资金的支持，我们也会找其他的方法帮助被投资公司的发展，例如技术和市场的支持。”许盛渊说。而英特尔中国云计算创新中心就是最好的资源。

2013年4月，英特尔全球首个云计算创新中心落户中国北京。在这里，英特尔工程师将帮助合作伙伴验证和优化其解决方案，与软硬件开发商合作伙伴一起加速云计算、大数据解决方案相关的创新和实施进程。“如果将云计算企业比喻成造车的，我们则打造了一条最高科技的赛道。云计算创新中心整合了基于英特尔架构的最先进IT技术和解决方案，代表了英特尔乃至整个行业的最高技术水平。”英特尔中国数据中心及云计算业务产品市场总监贺晓东介绍。

拉动市场需求

借助于云与大数据的生态系统，英特尔近几年在数据中心领域实现了跨越式的高速增长。根据英特尔公司2013年度财报显示，其2013全年收入达527亿美元，其中净收入96亿美元。这很大一部分归功于英特尔芯片所覆盖的广泛计算平台。

IDC数据显示，大数据技术和服务市场的规模将于2017年达到324亿美元，这一增长的主要驱动力便来自于构成物联网的联网设备所产生的海量数据。据估计，到2020年，联网设备的数量将会增加到300亿台。

有数据、有计算的地方就有英特尔。作为贯穿大数据裂变各个环节的厂商，无论是数据产生和采集的设备、数据分析和处理的过程，以及数据应用的场景，为了适应对计算能力越来越高的要求，英特尔也在做着转变。

上海一铺、中科蓝鲸和华云数据这三家公司之间的联系，不仅是云计算、大数据，他们可能会发生更深层次的化学作用。而在被英特尔投资相中的其他公司中，也不乏很多相互之间能够产生合力的企业，他们甚至可以构成一个完整的产业链。

“大数据和云计算都是个很庞大的范畴，不是每一个点都需要英特尔自己来做，我们需要合作伙伴来帮我们产品化，帮我们找客户。而英特尔投资的任务，就是拉动市场对公司的核心业务的需求。”在许盛渊看来，在中国，打造生态圈是英特尔投资达到使命的最快路径。

由于云计算与大数据的火热，每天几乎有大量贴着大数据标签的公司找上门来，如何从中淘到你所需要的那一个，是许盛渊和其他投资经理的最大挑战。