新石油大数据系统分析

导语：新石油大数据系统分析一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

1大数据的概念与特征

1．1大数据的概念释义

对于大数据，维基百科给出了这样的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。由于对大数据的研究处于初步阶段，人们目前尚没有得到一个公认的定义，对于大数据的定义有许多，但它们都有一个共同特征，即根据大数据的特征来进行阐释与归纳。

1．2大数据的基本特征

大数据特征可以总结为4个V，即Volume（规模巨大）、Variety（模态多样）、Velocity（生成飞速）、Value（价值无限但密度也低）。首先大数据以计量单位P，甚至E或Z来计数。据IDC的一份研究报告显示，自2012年以来10年里全球大数据将增加50倍。其次，大数据种类繁多，包含着结构化、半结构化及非结构化数据，而且近年半结构化和非结构化数据大幅度增长，占据了整个数据量的绝大部分。再次，人、机、物的高度融合使得数据爆炸式增长，日常生活是大数据飙升的主要来源。例如截止2014年淘宝网会员数量已超过5亿，在线商品数达到10亿件，淘宝网和天猫的交易总额超过1．5万亿。最后，数据复杂相关而又频繁交互，从海量的数据中剥离出有用的信息就好比深海里淘金，稀疏而又珍贵，价值的密度很低也是大数据的一个重要特征。

2大数据的社会价值挖掘

2．1大数据为政府管理和科学决策提供数据信息支撑

在“全面深化改革，推进国家治理体系和治理能力现代化”的时代背景与要求下，大数据在政府管理中扮演着重要的角色，对于实现数据治国具有重要的现实意义。河北省目前正面临着京津冀协同发展的重要战略机遇，2016年11月在河北大学管理学院召开的“2016年京津冀信息资源管理高峰论坛”就是一次在大数据背景下，将大数据、信息资源建设运用于政府治理的研究论坛，是大数据与政府管理结合的大讨论、大结合。这可以充分证明大数据对于政府治理和信息建设的重要性和现实意义。对它的研究可以有效提升科学决策水平，能够有效地整合来自政治、经济、文化、法律，生态等各个领域的信息资源，为国家治理提供重要决策依据。

2．2大数据与新媒体的融合推动社会智能化

大数据与微信、微博等新兴媒体的多元世界高度融合，可以突破时空的限制，促进政府与民众之间良性互动，形成公众参与政府管理的新格局，增强国家治理能力。另外，大数据在云计算的配合下，加快了智能医疗、智能教育、智能交通、智能物流发展的步伐，加速了我国的城镇化、工业化、信息化、生态化建设进程，有效提高了社会服务效能，促进社会的智能化和信息化。

2．3大数据应用广泛性推动信息社会化

大数据在越来越多的行业中发挥着越来越大的作用，其应用广泛性已经彰显在方方面面，影响着人们生活和社会发展的各领域，逐步让信息走向社会化。从经济领域来看大数据的应用可以为经济发展提供较为准确的预测功能。在2008年的金融危机中，阿里平台通过海量交易记录预测出经济指数的下滑，提醒广大的中小制造商提前做好准备，预防经济危机。大数据分析也成为了市场营销的重要手段，不再需要抽取部分数据，而是基于海量几近完整的数据做出高度准确的预测，进行精准营销。正如亚马逊的最终期望那样：“最成功的书籍推荐应该只有一本书，就是用户要买的下一本书”。在体育竞技中运动健儿甚至可以运用数据取得成功，利用数据建模定量分析不同队员特点，合理调整，科学组队。2016年里约奥运会中，中国女排再次夺得世界冠军，这成功离不开总教练郎平的正确指导，也离不开袁灵犀的数据分析。赛中每个回合他都利用代码将有价值的细节录入系统，实时提供技术分析数据，帮助郎平做到知己知彼，及时调整队员布局。

3大数据时代带来的挑战

大数据在造福人类社会的同时，也给人们带来安诸多方面的挑战。从理论研究视阈来看，大数据时代的到来对于社会进步尤其是科技发展产生巨大的支撑与推动作用，但从实际应用研究的角度来说其根本挑战在于其安全保密性、不确定性和预测涌现性对社会行为产生的威胁和隐患，这也影响着大数据的发展趋势研究进展和应用前景。大数据的研究需要一套全新的理论和方法来进行方向性的指导，需要一个完备的新的理论体系来指导该学科的发展和研究。

3．1大数据的安全性存在信息泄露隐患

“棱镜门”事件更加剧了人们对大数据安全的恐慌。即使经过匿名处理，个人隐私仍会有泄露的风险。租赁商Netflix曾为提高电影推荐系统的准确度，公布了约50万用户的信息，这些信息与其它数据源结合时，部分用户竟被识别出来。大数据带来的新的安全问题也终将由大数据来解决，而今天对于大数据安全与隐私保护的相关研究处于初级阶段，技术手段与法律法规相结合才是解决问题的根本之道。

3．2大数据的预测涌现性引起隐私恐慌

大数据在没有全局控制和预先定义的情况下，通过对来自大量自发个体的语义进行互相融合和连接而形成语义，整个过程随着数据的变化而持续演进，从而形成大数据的涌现语义，也可以称之为预测涌现。大数据这种预测涌现性对人们行为进行预测也构成了所面临的威胁。一个较为典型的案例即是北美Target数据营销事件，销售商通过分析历史记录，捕捉用户怀孕的事实，并向其推荐婴幼儿优惠券，引起了《大数据功力：比父亲更了解女儿冲进大卖场》的深刻反思。

3．3大数据的不确定性影响社会稳定

原始数据的不准确以及数据采集处理粒度、应用需求与数据集成与展示等因素使得数据在不用维度、不同尺度上都有不同程度的不确定性。也就是说，这些本身带有不确定性的数据并非可以说明事实，因为可能数据本身就是虚假的。存在需要核实、考证与分析，不确定性的数据一旦进入公众社圈就会引发一系列社会问题，危害社会稳定。诸如在点评网站中的虚假评论有目的地诱导民众接受并传播某种思想或服务的例子不胜枚举。

4关于大数据未来发展的展望与对策设计

4．1完善大数据的顶层设计，建立良性大数据生态系统

国家应在宏观层面上做出全面系统的长期规划和短期目标。国家应在大数据人才培养，平台构建以及行业应用方面提供人财物多方面深层次的资源支持，同时给予积极的政策引导，鼓励创新，同社会各界建立起良性的大数据生态系统。2015年8月国务院出台了《促进大数据发展行动纲要》，契合当下，放眼未来，内容全面涉及范围广，而要保证其贯彻落实，更要及时跟进，制定配套制度予以配合，做到及时反馈、及时纠正；同时在新的国际背景下也应注重信息基础设施建设，提升信息作战能力，加强国家信息安全，赢得新科技竞争中的战略制高点。

4．2加强政企合作，搭建准确高效的大数据合作平台

大数据企业应积极主动加强与政府之间的战略合作。大数据的数据源以企业为主，政府利用企业数据可以完善补充统计数据，提高统计信息质量，为社会治理谋求最大利益；企业则可以根据更为准确的大数据把握市场信息，占据市场份额，赢得发展机遇，政企合作是当代在大数据背景下一个必然选择。2013年国家统计局与阿里、百度等11家企业一同启动国家统计局大数据合作平台便是政企合作的一个缩影。

4．3深化大数据基础理论研究，提升数据收集与分析能力

注重大数据基础理论研究，提高数据收集与分析能力，是解决大数据信息安全的关键途径。数据是分析的基础，只有全面而真实的数据才会产生价值，片面的数据分析出的结果往往有较大的偏差；深度发展大数据分析能力，包括：大数据认证技术、威胁发现技术、水印技术、网络匿名保护技术等等，这些技术在部分领域已有所应用，但同时存在反应速度慢、缺乏安全性、用户负担重等某些方面的不足，只有克服相关技术的不足，才能更好的解决大数据信息安全问题。

5结语

大数据既是时代快速发展的产物，也是推动时代飞速发展的强大驱动力。它给社会发展带来了机遇，也带来了前所未有的挑战。迎接这项挑战不只是政府，企业或其他组织的责任，而是时代赋予我们整个社会每位公民的责任。大数据没有那么神秘，真正拥有力量的也不是数据本身，而是拥有数据掌握技术的我们。今后应不断加强大数据理论研究，完善学科发展方向和体系，为大数据学科建设与发展提供理论支撑和技术支持，持续切实加强政企合作，搭建大数据合作平台，建立良性大数据生态系统，使大数据真正推动科技繁荣、社会发展、人类进步。

作者:郁肖亚 巩建宇 单位:河北大学管理学院

参考文献

［1］李国杰．大数据研究的科学价值［J］．中国计算机学会通讯，2012，8（9）：8－15．

［2］BigData．Nature［Z］．2008，455（7209）：1－136．

［3］BigData．ERCIMNews［Z］．2012，（89）．

［4］宗威，吴锋．大数据时代下数据质量的挑战［J］．西安交通大学学报，2013，（09）．

［5］孟小峰，慈祥．大数据管理：概念、技术与挑战［J］．计算机研究与发展，2013，50（1）：146－169．

［6］李国杰，程学旗．大数据研究：未来科技及经济社会发展的重大战略领域［J］．中国科学院院刊，2012，27（6）：647－657．

［7］冯鹏志．对象、主题与特色—关于我国“科学、技术与社会”（STS）学科发展的几点思考［J］．学术界，2002，（6）．

［8］覃雄派，王会举，杜小勇．大数据分析—RDBMS与MapReduce的竞争与共生［J］．软件学报，2012，23（1）：32－45．

［9］樊伟红，李晨晖，张兴旺．图书馆需要怎样的大数据？［J］．图书馆杂志，2012，（11）：63－68，77．

［10］邬贺铨．大数据时代的机遇与挑战［J］．求是，2013，（2）．

［11］王书伟．大数据时代政府部门间信息资源共享策略研究［D］．大连：吉林大学，2013，（10）．

［12］冯伟．大数据时代面临的信息安全机遇和挑战［J］．中国科技投资，2012．