大数据时代的定义范文
时间:2024-01-03 17:39:28
导语:如何才能写好一篇大数据时代的定义,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
【关键词】大数据; 管理决策; 影响; 企业
引言
随着市场经济全球化,各国经济不断融合,各国之间的市场经济间都存在着激烈的竞争,随之带来的是各企业之间的强力竞争。这不仅是企业间的经济竞争,更是企业管理者间的能力竞争。这就要求决策者根据当前市场形势分析复杂的行业环境,做出正确的决策。大数据作为网络时代背景下的一次企业技术革命改革,正确地理解大数据的意义及内涵,有利于企业管理者针对企业特征,利用企业优势做出正确有效的管理决策,促进企业发展。
一、对大数据定义及其特征理解
1.大数据的定义。
对于大数据的理解,不同的机构给出的定义略有不同,麦肯锡全球研究所指出:所谓大数据,是数据规模庞大,远远超出传统数据软件对数据获取、储存、管理、分析等方面的要求的一种数据集合。据有四大特征分别为:数据规模海量、数据流转快速、数据类型多样、价值密度低。而专业研究机构Gartner给出的定义则是:大数据是一种适应海量、高增长率、多样化信息资产的具有更强决策力、洞察发现力和流程优化能力的处理模式。对于大数据的应用,其意义不在于掌握庞大的数据信息,而是对海量数据进行专业化处理后理解分析,大数据更注重对信息的处理能及,及处理后带来的实际化效益。如果对不同的大数据定义进行整理分析,可发现,这些定义都是在大数据本身具有的特征上形成的,并且多在强调现有技术手段对海量数据进行处理的困难性。且这些定义所关注重点更多的为其价值性。所以,大部分学者认为大数据的意义并不在于数据本身,更多的是作为基础性资源。企业采集、储存、使用大数据的能力,才是大数据是否具有商业价值的关键。
2.大数据的特征。
目前各学术领域对大数据的理解很多样化,对于定义还并没有一个严格的说法。但不难看出,大数据首要特征就是其数据信息庞大,海量化。就一般情况来说,普通大数据集合最少以TB为储存单位,更有甚者,大数据以PB为储存单位。在经济飞速发展的今天,几PB甚至十几PB的大数据信息并不罕见。例如目前世界最大的连锁零售超市,沃尔玛公司。其数据信息早在2010年就达到了2500TB。其次大数据的特征就是其数据流转快速。随着社会经济发展,科学进步,数据信息的产生趋于海量化。随着通讯技术和网络的不断发展,对巨型数据的处理上迈向高速化。互联网、云计算等网络的发展还有智能移动通讯设备的进步及普及,很大程度上促进加速了数据的产生与流转。除此之外,大数据还具有多样化的特征。在当今社会形势下形成的数据信息领域,其数据样式往往有多种形态存在。大数据的多样化致使大数据主要成为两大分类,即数据化结构和非数据化结构。所谓结构化数据,是在正常产业运行企业交易过程中产生的,结构化数据的处理,根据特定的数据处理方式将数据处理后进行储存记录,以便于日后应用及分析。而非结构化数据是根据互联网海量点击量,和大量的图片文字的传输和射频识别技术的发展产生的。这类数据主要产生于人与人之间,人与机器之间,或机器与机器之间。
二、大数据影响企业管理决策
决策是一个企业是否正确发展的关键,一个决策的产生,要经过资料收集,计划制定等多个阶段。一个企业的管理决策,涵盖了企业发展的战略性决策,又包括着战略性决策如何具体实施的小的决策。这种和决策不仅在企业未来和环境方面进行预测,也对企业的内部资源进行调配。决策作为一种极具动态性和复杂性的一种管理行为,面对着收集信息,对信息进行筛选,解决各类信息冲突的作用。日益成熟的大数据下,各种信息的剧烈碰撞对当前企业决策影响巨大。其影响不仅覆盖企业决策的主体,也影响企业思维模式组织结构等方面。
1.决策主体受大数据影响。
决策的产生受企业文化、组织、前景等多方面影响,但最终结果就其核心还归根于决策的制定者。一个企业的决策主体主要分为两类,一类是企业的高层管理者,其所处位置与拥有的权限能让高层管理者在决策中发挥至关重要的作用。另一类是普通员工或者是交基层的管理者,对于这类决策主体来说,他们虽然没有拥有绝对性的决策作用,但他们所创造的产品、服务、管理等更加基础,更贴近市场,符合社会需求。在普通员工创造服务产品的过程中,可以主动与客户交流,引导其参与产品的设计,使产品更加符合客户需求。并且在产品生产上市的过程中不断与客户交流,根据反馈信息对产品加以改进等,由此帮助企业快速正确发展。
在经济全球化,全球网络化的时代,各产业之间的交叉越来越多,之间的界限也越来越模糊。大数据的出现,使企业传统模式的决策主体由高层管理者向基层管理者甚至普通工转变,优秀的表现突出的员工有机会参与企业决策,企业决策主体多样化。另一方面,从企业决策的信息来源分析,网络的快速发展,信息大爆炸时代致使普通民众也可以为企业出谋划策,成为企业决策的主体,这也表示企业决策主体普遍化,由企业高层精英像普通民众发展。
2.企业决策权力受大数据的影响。
大数据下的企业决策,不仅在决策主体上发生了变化,在企业决策权的分配上,及决策权力的大小方面都有所改变。企业决策权力的配置方面主要发生以下几点变化。企业各组织之间的决策权分配,组织与外部因地的决策权分配,还有就是组织内部团队之间的决策权分配。除此之外决策权力大小的分配上决定了企业决策权利集中制或是分散制。集中制的决策权说明企业高层掌握着企业大多数的决策权力,分散式的决策主要是只决策权部分下放到基层管理者手中,每个部门都具有一定程度的决策权利。
传统的企业决策权力,更多的是集中制的决策形式,这种形式具有企业决策片面不全方位的弊端。网络飞速发展,大数据化的情况下,企业不仅从专业渠道获取数据,数据的多样化使得集中式的权力分配方式不能全面打开企业市场。而信息多元化的获取,可以使基层管理者有一个全局性的视野,更好的对企业做出决策。故而类似金字塔形的至高权利分配方式趋于平均化。企业的权力配置顺应时展,普通员工具有决策权将是大数据背景下权力分配发展的主要方向。
3.管理决策思维方式受大数据的影响。
决策者的思维方式作为企业决策的一个重要组成因素,从根本上影响着一个决策的方向。决策时依据的数据方向不同,且不同的思维方式,会产生不同的决策结果。并且在决策的部分细节制定中,这种不同也会显现出来。大数据时代背景下,决策就应该全方位的应用大数据所带来的优势,系统的、全方位的、准确的收集信息,系统的利用数学建模等专业方式对大量数据进行分析,深度挖掘有关决策的各方面信息。传统的决策方式更多的是利用决策主体的经验,直觉对当前市场发展形势做出下一步规划。然而大数据背景下,产生的新的决策模式将会改变中“感觉”上的决策。根据大数据提供的资料与分析,全方位科学的对企业下一步进行决策。
4.决策文化受大数据的影响。
人在成长过程中所受地域不同,文化环境不同,从而形成不同的情感倾向。决策主体在制定决策过程中,如确定目标、设计试试方案的同时都会潜意识的掺杂个人情感倾向。传统的决策方法数据分析不如大数据时代下信息基础庞大。主要取决于决策主体对企业内外的测评与市场评估,主观性较强,因决策本身存在一定的风险,故而管理者任何影响决策的文化背景都有可能给决策带来不同的困难。大数据时代下,为了避免某些主观因素产生的错误,利用日益成熟的大数据分析技术,和庞大的数据体系带来的信息,理性、准确、科学的为企业决策做出更为精准的判断。更有学者指出,企业的决策者应对相关关系加大关注度,而不是过分的在意因果关系。也仅是说决策者应该将企业发展决策侧重于充分利用现代科技技术与现有数据充分发挥自身价值,而不是过分关注企业决策者思维方向。
三、大数据在企业决策中产生的问题
大数据时代的临近,给企业带来了很多好处,但与此同时也有许多问题随之产生。并且很多方面的因素都影响着管理数据和大数据之间的关系。首先在数据隐私性和知识产权方面,虽然大数据对各企业决策等方面都非常重要。随着大数据的有点背人们日益挖掘,各类数据的价值被人们日益关注,更多的数据趋于便捷化、数字化,且在各种企业中被重复利用。信息时代的数据可复制,反复利用,更大程度上存在数据外泄的情况,更有企业在收集数据时面临知识产权,隐私保密方面的问题,这将是企业大数据形式下需要克服的困难。其次,大数据的优点不在于其数据庞大,更在于庞大的数据下经过分析给企业带来的价值。很多企业对数据分析不彻底,没有深度挖掘大数据带来的价值,使数据显得鸡肋,大有使之无味弃之可惜的意思。大数据还由于数据信息庞大,现有技术处理起来较困难的问题,所以运用大容量大速率的数据处理工具也成为企业决策成败的关键因素。企业应该着重致力于技术技能的发展创新,高效利用大数据给企业带来的优势。
四、总结
在大数据的背景下,企业所面对的环境每时每秒都发生着变化。此种环境下企业若想在社会中站稳脚跟,得到发展。就必须正视大数据对企业决策管理的产生的影响。合理运用大数据,能使企业在决策管理等多方面做出正确选择,为企业决策发展等提供了新思路和方向,提升企业的社会竞争力促使企业发展壮大。
参考文献
[1]王兵,池云. 大数据对企业数据管理和管理决策的影响分析[J]. 通讯世界,2016,05:227.
[2]崔双吉. 大数据视域下的企业管理决策影响探究[J]. 中国管理信息化,2016,06:61-62.
[3]丁先宏. 互联网“大数据”视域下的企业人力资源管理的思考[J]. 现代经济信息,2016,07:55.
[4]闫巍. 网络时代背景下大数据对企业管理决策的影响探究[J]. 时代金融,2016,17:110+116.
篇2
[关键词]大数据 安全风险 保障策略
中图分类号:TP309 文献标识码:A 文章编号:1009-914X(2015)05-0269-01
0 引言
近年来,随着云计算、物联网、移动网络的快速发展,全球数据量出现了巨幅增长,这种数据量大到超出传统数据处理方法所能捕获和管理的能力,于是产生了“大数据”。一方面,通过数据挖掘和智能分析,决策者能从大数据中发现知识、规律和趋势;另一方面,大数据的发展将进一步扩大信息开放程度,个人隐私或敏感信息的泄露时有发生。面对现阶段大数据发展的特征和面临的风险,如何保障大数据安全具有重要意义。
1 大数据的定义
当前,对于大数据尚无一个统一、明确的定义。按照维基百科的定义,大数据是指所涉及的数据量规模巨大到无法通过目前现有数据库管理工具,在合理时间内达到管理、截取、处理、并整理成为帮助企业经营决策更积极目的的信息。美国知名咨询公司麦肯锡在专题研究报告中称:大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。
2 大数据的特征
从定义可以提取出大数据“4V”的特征,即Volume(海量化)、Variety(多样化)、Velocity(快速化)和Value(价值价值大)。
2.1 海量的数据规模(Volume)
大数据时代,各种移动设备、智能终端无时无刻不在产生数据,PB级别将是常态。根据互联网数据中心的预测,全球到2020年将总共拥有35ZB(10亿个T)的数据量。如果把这些数据全部刻录到容量为9GB的光盘上,其叠加的高度将达到233万公里,相当于在地球与月球之间往返三次。
2.2 多样的数据类型(Variety)
以往数据大都以二维结构呈现,但随着互联网、多媒体技术的高速发展,视频、音频、图片、邮件、RFID、GPS和传感器等产生的非结构化数据在快速增长。这些数据在编码方式、数据格式、应用特征等方面存在差异,多信息源并发形成大量的异构数据,不同结构的数据处理和分析方式也有所区别。
2.3 极快的处理速度(Velocity)
数据的快速流动和处理是大数据区别于传统数据挖掘的显著特征。大数据中存储着大量的流数据,这些数据在互联网络中不断传递,必须对数据进行快速实时处理。如何把握数据的时效性,是大数据时代对数据管理提出的基本要求。
3 大数据面临的安全风险
近年来,大数据发展带来机遇和价值的同时,其安全风险也广为人们所关注和担忧,美国“棱镜门”项目的曝光更加凸显了这一问题。大数据的安全风险主要体现在以下几个方面:
3.1 大数据极易受到网络攻击
在网络空间中,大数据成为更容易被“发现”的大目标,承载着越来越多的关注度。一方面,大数据不仅意味着海量的数据,也意味着更敏感、更有价值的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量聚集,使得黑客一次成功的攻击能够获得更多的数据,无形中降低了黑客的进攻成本,增加了“收益率”。
3.2 大数据加大隐私泄露风险
一方面,随着社交网络、电子商务的兴起,人们之间的联系越来越依赖网络,大量个人信息分散在不同的网络位置,只要将相关数据聚集起来,就很容易分析出个人的隐私信息。另一方面,很多基于大数据的研究分析都未考虑到个体隐私问题,时常把敏感信息部署到公开的服务器上,加大了个人隐私泄漏的风险。
3.3 大数据成为高级可持续攻击的载体
传统的检测是基于单个时间点和具体威胁特征进行的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,不具有能够被实时检测出来的明显特征,黑客可以利用大数据将攻击隐藏起来。同时,大数据的价值低密度性,安全分析工具很难聚焦在价值点上,攻击者可以将攻击代码隐藏在大数据中,让其很难被发现。
4 大数据安全的保障策略
现阶段大数据技术面临许多安全风险,同时大数据也为数据安全的发展提供了新的机遇。对海量的数据进行分析能够更好地监控网络异常行为,防范网络诈骗和黑客入侵。异常的网络行为都以数据的形式藏匿在大数据中,可以从存储、应用和管理等方面着手,有效应对大数据的安全威胁。
4.1 大数据存储的安全策略
有效解决大数据的安全存储,有以下途径:一是数据加密,大数据可以按照需要存储在数据集的任何存储空间,通过 SSL(Secure Sockets Layer安全套接层)加密,实现数据集的节点和应用程序之间移动来保护大数据。二是分离密钥和加密数据,使数据使用和数据保管独立开来,密钥与被保护的数据相互隔离。三是使用过滤器,一旦发现数据离开用户网络,就自动阻止数据的再次传输,以保证数据安全。四是数据备份,通过系统容灾、敏感信息集中管控等方式,最大程度地保证大数据在损坏情况下完整。
4.2 大数据应用的安全策略
一是严密防范APT攻击,针对APT安全攻击隐蔽性强、长期潜伏、攻击路径和渠道不确定等特征,设计具备实时检测能力与事后回溯能力的全流量审计方案,有效防范携带病毒的应用程序。二是严格控制用户访问,根据大数据的密级程度和用户需求不同,为大数据和用户设定不同的访问权限等级,并通过单点登录严格控制用户访问,从而保证数据安全。三是安装实时分析系统,从大数据中第一时间挖掘出黑客攻击、非法操作、潜在威胁等各类安全事件,并及时发出警告并做出回应。
4.3 大数据管理的安全策略
安全技术防范措施固然重要,科学有效的管理策略也很关键。一是规范统一建设,建设一套规范的运行机制、建设标准和共享平台,实现各类信息系统网络互连、数据集成和资源共享,确保其在统一的安全规范框架下运行。二是建立安全系统,建立一个基于异构数据为中心的安全系统,既便于对大数据的使用进行控制,也能够保证大数据的安全。三是树立创新理念,大数据时代应以创新理念融合大数据与云计算,积极寻找新的立足点和着力点,在数据挖掘、人工智能等技术应用和融合创新方面实现突破。
5 结语
作为“未来的新石油”,大数据已成为继云计算、物联网之后信息技术领域的又一热点,但其面临的安全挑战不容忽视。为了保障大数据的安全,促进信息科学技术的健康可持续发展,就必须着眼于现状,提出并落实有效的保障策略,使其真正成为这个时代的驱动力量。
参考文献
[1] 严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013(4).
篇3
【Abstract】The large data age has brought great changes to the accounting industry. This paper starts with the definition and characteristics of big data, and analyzes the advantages and disadvantages of big data for accounting industry in detail, and puts forward the corresponding countermeasures for the adverse effects. Big data is bound to become the key to economic development in the future, so this research is of great significance.
【关键词】大数据;会计;影响;对策
【Keywords】big data; accounting; influence; countermeasures
【中图分类号】F275 【文献标志码】A 【文章编号】1673-1069(2017)06-0079-02
1 引言
随着互联网的不断发展,大数据时代到来,财务会计领域也随之发生了巨大变革,大数据给会计的工作带来了许多机遇,同时也带来了很多的挑战,本文从有利与不利两个方面阐述大数据对会计的影响,并提出相应的应对措施。
2 大数据的定义及特点
在互联网应用的普及下,大数据逐渐进入人们的视野并很快被人们运用。对于大数据,研究机构Gartner给出了这样的定义:大数是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。对于大数据的特点,IBM提出了5V理论,即Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。大数据的意义其实不在于拥有庞大的数据库信息,而是在于如何对巨量信息进行专业化的分析与处理,通过对数据进行加工从而使这些数据得以“增值”,为企业所用。
3 大数据对于会计的有利影响
3.1 有助于企业间数据共享
互联网的发展促进了大数据的产生,大数据的产生则进一步促进企业间的信息分享,尤其对于集团公司而言。传统会计环境下,会计工作都是纸质化,对于大的集团公司而言,与旗下分公司或子公司的会计信息交流效率低下且易产生传递错误,而在大数据环境下,电子合同、电子发票等电子原始凭证可以减少信息处理中的错误,会计工作实现无纸化,同时对于大型集团公司而言,与旗下的分公司或子公司间联网后,会计信息得以迅速传递,提高效率的同时也增加了会计信息的准确度,有助于企业进行进一步的合理决策。
3.2 有助于促进会计人员素质的提升
传统会计环境下,会计的职能往往在于简单的核算与报表分析,为管理者、经营者和决策者提供数据依据。然而,随着大数据时代的到来和市场经济的不断发展,简单的数据分析已经不能满足会计信息使用者的需求,在大数据环境下,会计人员需要运用数据库对企业的财务数据和其他部门的数据进行综合分析,从不同的角度和深度挖掘可用信息,通过这些数据的隐藏信息了解企业的现在情况、并及时对企业的经营成果进行客观属实的评价,有利于管理层进行及时专业化的决策。由此可以看出,大数据时代不再是要求会计进行简单的机械性工作,而是要求会计能够熟练运用各种数据模型并拥有一定的数据敏感度,熟练掌握计算机的应用程序并适当拥有一些自己编程建造数据模型的能力,这不仅有助于企业信息处理的优化、管理层决策的及时精准化,更有助于会计人员应对如今电脑功能的不断强大所带来的失业风险[1]。
4 大数据对于会计的不利影响
4.1 会计理论的更新速度达不到大数据时代的要求
传统的会计理论的基本假设包括会计主体假设、持续经营假设、会计分期假设和货币计量假设,在互联网大数据环境下,企业经营活动灵活性很强,互联网提供不断变化的信息数据和处理技术,使财务静态核算趋向动态核算,传统的会计假设提供的财务报告越来越无法满足使用者对信息及时性的需求。例如,对于传统会计的货币计量假设而言,大数据环境下,互联网经济活动灵活性强且范围较广,交易主体虚拟性强,在不断发展的互联网经济活动中,出现了多种网上支付平台,第三方支付平台具备了实体货币的职能,而电子货币的流通量取决于企业财务需求,所以互联网经济活动产生的第三方支付平台具有货币计量稳定性低和风险高的特点,不符合货币计量稳定性的要求。
篇4
【关键词】 数据 数据特点 常用技术 数据意义
一、大数据概述
1.1大数据定义
随着科技的发展,像云计算科技,软件科技,物联网科技等的兴起和发展,数据正飞速发展,大数据时代已经来临了,并且在我们生活的方方面面占据着重要作用,然而,到目前大数据并没有明确的定义。学术界的定义,即大数据是形式多样的,大数据量的非结构化数据;比较有代表意义的定义还有大数据需满足规模性,多样性,高速性,即是3V定义;维基百科把大数据定义成,可以利用常用软件来捕获,管理以及进行数据处理时需花费大量的时间。
1.2大数据发展历史
数据的研究一词源于1944年,弗莱蒙特・雷德在《学者与研究型图书馆的未来》中首次提出对数据的研究,他发现管中的书籍量每16年就会翻倍,提出数据的研究,后来数据一词不断被提到。到了1997年《为外存模型可视化而应用控制程序请求页面调度》问世,在文中是这样描写的:“可视化对计算机系统提出了一个有趣的挑战:通常情况下数据集相当大,耗尽了主存储器、本地磁盘、甚至是远程磁盘的存储容量。我们将这个问题称为大数据。”这是在美国的计算机学会数字图书馆中首篇用“大数据”这一术语。随之大数据研究受到重视,迅速发展,每年世界所产生与复制的数字化数据总量不断攀升。
21世纪之后,大数据的发展更是加快了步伐,互联网数据中心对接下来10年的数据量进行了预计,表明到2006年,全世界将产生了161EB数据,同时预计至接下来的四年,每年数据量将以六倍多的数量增加,达到988EB。近几年,大数据更是分布于全球的各个方面。
1.3大数据特点
(1)数据量巨大。电子商务,互联网等每天都会产生大量的数据,供用户便捷地获得信息,这些信息量是大量的,非人工能够计算的。
(2)广泛的异构性。正如现在数据向半结构化和非结构化等融合结构的转化;数据源向具有时空特性的数据源的转化都表明数据的广泛异构性。
(3)多种多样,分布广泛。随着物联网,互联网的发展,大数据的种类也随之不断发展。
(4)价值密度低。因数据量大,有用信息量一般很少,所以有价值的信息占据比重较低,即价值密度低。
二、大数据常用技术
2.1 Hadoop
Hadoop主要有HDFS和MapReduce构成,是一个很成熟和完善的分布式计算系统,可以用来解决数据存放以及一些有关的计算问题,Hadoop可以通过常用的一些硬件来构建稳定的,高效的,功能齐全的分布式集群计算系统。
2.2 NoSQL数据库
NoSQL是来源于一个开源关系型数据库的名字,可以理解为非关系型数据库,但是始终没有一个明确的定义。NoSQL为集群环境而设计,可用来解决越来越大的数据量,能够大量,高效率的处理大数据,它能够形成容易编程,功能齐全,扩展性良好的系统。
2.3 Spark
Spark是一套分布式内存迭代计算系统,它通过Scala语言写成,Spark构建了以处理大数据为目的的一体化解决方案,使用者能够用同样的API来操作Spark的所有功能,同时Spark中的四个主要子框架能够操作彼此的数据。
三、大数据的意义
大数据的研究可以提升中国在国际科学界的重要地位,捍卫和加强国家网络空间的数字。随着信息技术的快速发展,互联网,物联网等先进科技在全国各地普及并且占据重要作用,任何国家想要变得更强都离不开科技,国家层面的竞争力在很大一部分同样反映在国家的网路数据的规模,对数据的分析能力和运用能力。
大数据和商业机遇紧密相连,可以促进经济发展。近些年网络大数据在科学领域有重大突破,当然在技术方面同样有巨大的提升,就目前我们在大数据领域的实力足以驾驭大数据涌现性、清理数据的复杂性,掌握大数据复杂性,当然我们也能够从巨大的数据流中找出人们有用的、有针对性的信息和知识,最终能够充分实现信息的价值。各行各业都有自己的数据,通过对数据的统计,数据分析,提出应对策略,提升行业用户竞争力,从而带动经济发展。
参 考 文 献
[1]W络信息的检索与挖掘回顾[J]. 程学旗,郭嘉丰,靳小龙. 中文信息学报. 2011(06)
[2]数据质量和数据清洗研究综述[J]. 郭志懋,周傲英. 软件学报. 2002(11)
[3]网络大数据:现状与展望[J]. 王元卓,靳小龙,程学旗. 计算机学报. 2013(06)
篇5
1.1大数据的概念释义
对于大数据,维基百科给出了这样的定义:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。由于对大数据的研究处于初步阶段,人们目前尚没有得到一个公认的定义,对于大数据的定义有许多,但它们都有一个共同特征,即根据大数据的特征来进行阐释与归纳。
1.2大数据的基本特征
大数据特征可以总结为4个V,即Volume(规模巨大)、Variety(模态多样)、Velocity(生成飞速)、Value(价值无限但密度也低)。首先大数据以计量单位P,甚至E或Z来计数。据IDC的一份研究报告显示,自2012年以来10年里全球大数据将增加50倍。其次,大数据种类繁多,包含着结构化、半结构化及非结构化数据,而且近年半结构化和非结构化数据大幅度增长,占据了整个数据量的绝大部分。再次,人、机、物的高度融合使得数据爆炸式增长,日常生活是大数据飙升的主要来源。例如截止2014年淘宝网会员数量已超过5亿,在线商品数达到10亿件,淘宝网和天猫的交易总额超过1.5万亿。最后,数据复杂相关而又频繁交互,从海量的数据中剥离出有用的信息就好比深海里淘金,稀疏而又珍贵,价值的密度很低也是大数据的一个重要特征。
2大数据的社会价值挖掘
2.1大数据为政府管理和科学决策提供数据信息支撑
在“全面深化改革,推进国家治理体系和治理能力现代化”的时代背景与要求下,大数据在政府管理中扮演着重要的角色,对于实现数据治国具有重要的现实意义。河北省目前正面临着京津冀协同发展的重要战略机遇,2016年11月在河北大学管理学院召开的“2016年京津冀信息资源管理高峰论坛”就是一次在大数据背景下,将大数据、信息资源建设运用于政府治理的研究论坛,是大数据与政府管理结合的大讨论、大结合。这可以充分证明大数据对于政府治理和信息建设的重要性和现实意义。对它的研究可以有效提升科学决策水平,能够有效地整合来自政治、经济、文化、法律,生态等各个领域的信息资源,为国家治理提供重要决策依据。
2.2大数据与新媒体的融合推动社会智能化
大数据与微信、微博等新兴媒体的多元世界高度融合,可以突破时空的限制,促进政府与民众之间良性互动,形成公众参与政府管理的新格局,增强国家治理能力。另外,大数据在云计算的配合下,加快了智能医疗、智能教育、智能交通、智能物流发展的步伐,加速了我国的城镇化、工业化、信息化、生态化建设进程,有效提高了社会服务效能,促进社会的智能化和信息化。
2.3大数据应用广泛性推动信息社会化
大数据在越来越多的行业中发挥着越来越大的作用,其应用广泛性已经彰显在方方面面,影响着人们生活和社会发展的各领域,逐步让信息走向社会化。从经济领域来看大数据的应用可以为经济发展提供较为准确的预测功能。在2008年的金融危机中,阿里平台通过海量交易记录预测出经济指数的下滑,提醒广大的中小制造商提前做好准备,预防经济危机。大数据分析也成为了市场营销的重要手段,不再需要抽取部分数据,而是基于海量几近完整的数据做出高度准确的预测,进行精准营销。正如亚马逊的最终期望那样:“最成功的书籍推荐应该只有一本书,就是用户要买的下一本书”。在体育竞技中运动健儿甚至可以运用数据取得成功,利用数据建模定量分析不同队员特点,合理调整,科学组队。2016年里约奥运会中,中国女排再次夺得世界冠军,这成功离不开总教练郎平的正确指导,也离不开袁灵犀的数据分析。赛中每个回合他都利用代码将有价值的细节录入系统,实时提供技术分析数据,帮助郎平做到知己知彼,及时调整队员布局。
3大数据时代带来的挑战
大数据在造福人类社会的同时,也给人们带来安诸多方面的挑战。从理论研究视阈来看,大数据时代的到来对于社会进步尤其是科技发展产生巨大的支撑与推动作用,但从实际应用研究的角度来说其根本挑战在于其安全保密性、不确定性和预测涌现性对社会行为产生的威胁和隐患,这也影响着大数据的发展趋势研究进展和应用前景。大数据的研究需要一套全新的理论和方法来进行方向性的指导,需要一个完备的新的理论体系来指导该学科的发展和研究。
3.1大数据的安全性存在信息泄露隐患
“棱镜门”事件更加剧了人们对大数据安全的恐慌。即使经过匿名处理,个人隐私仍会有泄露的风险。租赁商Netflix曾为提高电影推荐系统的准确度,公布了约50万用户的信息,这些信息与其它数据源结合时,部分用户竟被识别出来。大数据带来的新的安全问题也终将由大数据来解决,而今天对于大数据安全与隐私保护的相关研究处于初级阶段,技术手段与法律法规相结合才是解决问题的根本之道。
3.2大数据的预测涌现性引起隐私恐慌
大数据在没有全局控制和预先定义的情况下,通过对来自大量自发个体的语义进行互相融合和连接而形成语义,整个过程随着数据的变化而持续演进,从而形成大数据的涌现语义,也可以称之为预测涌现。大数据这种预测涌现性对人们行为进行预测也构成了所面临的威胁。一个较为典型的案例即是北美Target数据营销事件,销售商通过分析历史记录,捕捉用户怀孕的事实,并向其推荐婴幼儿优惠券,引起了《大数据功力:比父亲更了解女儿冲进大卖场》的深刻反思。
3.3大数据的不确定性影响社会稳定
原始数据的不准确以及数据采集处理粒度、应用需求与数据集成与展示等因素使得数据在不用维度、不同尺度上都有不同程度的不确定性。也就是说,这些本身带有不确定性的数据并非可以说明事实,因为可能数据本身就是虚假的。存在需要核实、考证与分析,不确定性的数据一旦进入公众社圈就会引发一系列社会问题,危害社会稳定。诸如在点评网站中的虚假评论有目的地诱导民众接受并传播某种思想或服务的例子不胜枚举。
4关于大数据未来发展的展望与对策设计
4.1完善大数据的顶层设计,建立良性大数据生态系统
国家应在宏观层面上做出全面系统的长期规划和短期目标。国家应在大数据人才培养,平台构建以及行业应用方面提供人财物多方面深层次的资源支持,同时给予积极的政策引导,鼓励创新,同社会各界建立起良性的大数据生态系统。2015年8月国务院出台了《促进大数据发展行动纲要》,契合当下,放眼未来,内容全面涉及范围广,而要保证其贯彻落实,更要及时跟进,制定配套制度予以配合,做到及时反馈、及时纠正;同时在新的国际背景下也应注重信息基础设施建设,提升信息作战能力,加强国家信息安全,赢得新科技竞争中的战略制高点。
4.2加强政企合作,搭建准确高效的大数据合作平台
大数据企业应积极主动加强与政府之间的战略合作。大数据的数据源以企业为主,政府利用企业数据可以完善补充统计数据,提高统计信息质量,为社会治理谋求最大利益;企业则可以根据更为准确的大数据把握市场信息,占据市场份额,赢得发展机遇,政企合作是当代在大数据背景下一个必然选择。2013年国家统计局与阿里、百度等11家企业一同启动国家统计局大数据合作平台便是政企合作的一个缩影。
4.3深化大数据基础理论研究,提升数据收集与分析能力
注重大数据基础理论研究,提高数据收集与分析能力,是解决大数据信息安全的关键途径。数据是分析的基础,只有全面而真实的数据才会产生价值,片面的数据分析出的结果往往有较大的偏差;深度发展大数据分析能力,包括:大数据认证技术、威胁发现技术、水印技术、网络匿名保护技术等等,这些技术在部分领域已有所应用,但同时存在反应速度慢、缺乏安全性、用户负担重等某些方面的不足,只有克服相关技术的不足,才能更好的解决大数据信息安全问题。
5结语
大数据既是时代快速发展的产物,也是推动时代飞速发展的强大驱动力。它给社会发展带来了机遇,也带来了前所未有的挑战。迎接这项挑战不只是政府,企业或其他组织的责任,而是时代赋予我们整个社会每位公民的责任。大数据没有那么神秘,真正拥有力量的也不是数据本身,而是拥有数据掌握技术的我们。今后应不断加强大数据理论研究,完善学科发展方向和体系,为大数据学科建设与发展提供理论支撑和技术支持,持续切实加强政企合作,搭建大数据合作平台,建立良性大数据生态系统,使大数据真正推动科技繁荣、社会发展、人类进步。
作者:郁肖亚 巩建宇 单位:河北大学管理学院
参考文献
[1]李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,8(9):8-15.
[2]BigData.Nature[Z].2008,455(7209):1-136.
[3]BigData.ERCIMNews[Z].2012,(89).
[4]宗威,吴锋.大数据时代下数据质量的挑战[J].西安交通大学学报,2013,(09).
[5]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169.
[6]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域[J].中国科学院院刊,2012,27(6):647-657.
[7]冯鹏志.对象、主题与特色—关于我国“科学、技术与社会”(STS)学科发展的几点思考[J].学术界,2002,(6).
[8]覃雄派,王会举,杜小勇.大数据分析—RDBMS与MapReduce的竞争与共生[J].软件学报,2012,23(1):32-45.
[9]樊伟红,李晨晖,张兴旺.图书馆需要怎样的大数据?[J].图书馆杂志,2012,(11):63-68,77.
[10]邬贺铨.大数据时代的机遇与挑战[J].求是,2013,(2).
篇6
温开华
(国家电子计算机质量监督检验中心 100083)
[摘 要]毫无疑问,我们身处信息化时代,而信息技术的深度应用使得大数据在各个领域中大展身手,如科学、商业、教育、文化等领域。同时,随着大数据在
军事领域应用的横纵向发展,战争已步入大数据时代。在信息化战场上,
“除了上帝,任何人都必须用数据说话”。现实告诉我们,只有在大数据的挖掘和应用方面掌
握优势的一方,才能有效提高对战场的控制力,从而在战场上立于不败之地。这些都告诉我们,军队要打赢信息化战争,决胜于千里之外必备必须与大数据深度融
合。
一、大数据
(1 )定义
针对大数据,并没有统一的定义,业内比较普遍认同的定义:大数据指的是
数据存储规模远远超过传统数据库软件处理能力的海量数据集合。提出这一概
念主要针对的是信息化社会数据“爆炸式”增长,数据存储量巨大。
(2 )特点“4 V ”
1、大量(volume)存储大;计算量大
2、多样(Variety)来源多;格式多
3、快速(velocity)数据增长速度快;处理速度要求变化快
4、价值(value)
(3 )大数据与云计算
大数据不同于云计算,云计算的本质是数据处理技术。大数据是未被发掘
的无形资产,而云计算则为大数据资产提供存储、访问、计算和分析。
(4 )数据来源
互联网企业;物联网、商品终端、移动设备、个人定位、传感器采集;移动、联
通、电信等通信运营商以及相关互联网运营商等。
二、信息化战争
(1 )定义
信息战,又叫决策指挥控制战。信息战旨在以信息为战争中的主要武器,通
过打击敌方的网络识别系统和计算机信息系统,从而干扰、阻止或改变敌方决
策指挥者的决定,进而使敌方丧失作战能力或放弃敌对行为。
(2 )出现
信息化战争理念的出现是以计算机技术为核心的第三次技术革命作为基
础的,并产生于1980-1983年。随后1991年的海湾战争,信息化的武器装备,如
侦查卫星、全球定位系统(GPS)等,开始在战争中发挥着重大作用,信息化战争
初露端倪。
(3 )发展
科索沃战争(1999)是全球范围内第一场真正的信息化战争。阿富汗战争
(2001)实现了信息化的全面连通,每一个战斗分队都是由指挥官在后方通过网
络监视大屏幕进行决策指挥的。伊拉克战争(2003)信息化水平很高,基本上实
现了战争直播。
三、大数据对信息化战争的影响
通过以上介绍,我们对大数据和信息化战争有了初步的了解。大数据应用
在现在战争中,可以提高战争的信息化水平,而对于现代战争而言,信息化水平
就是决定战争胜利与否的关键所在。但同时我们需要注意的是,对于信息化战
争而言,数据量巨大的特征也是显而易见的。如阿富汗战争期间,美军为打击一
小股恐怖分子,其部署在太空、空中和地面的全方位情报侦察监视系统,24小时
内产生的数据就有53TB(1TB=1024GB)面对如此巨大的数据,指挥员和部队
会陷入数据的海洋中无所适从。所以,认识信息化战争对大数据存储与分析的
要求从而提出相应的解决对策十分有必要。
四、信息化战争对大数据存储与分析的要求
在信息化战争中,多维一体协同作战成为作战的基本样式。在每一次战争
中都会产生海量的数据。在这样的背景下,信息化战争对数据存储与分析产生
了许多具体的要求。
(1 )辅助决策的要求
在信息化战争条件下的战略决策,以及如何提高战略决策水平,对海量数
据的处理和分析进提出了很高的要求。
(2 )支持信息查询功能的要求
信息化战争需要广泛搜集敌方兵种、数量、战术、作战特点、等各
种海量数据,并且整理编辑成文字资料、图片资料和音像资料,建立计算机数据
资料库,为各个指挥中心提供查询和参考。
(3 )支持内部扩容的要求
大数据时代的数据量是呈几何指数关系递增的,如何保证数据处理系统的
正常高效运行从而有效支持信息化战争是急需解决的核心难题。而传统的物理
服务器存储方式具有扩展性差,资源利用率低,可维护性差,灵活性差且造价昂
贵的特点。这些都不利于构建大数据对于信息化战争的支撑。
(4 )支持数据安全的要求
数据安全即在信息化战争条件下确保数据源是真实的、已方的。这里主要
的问题包括三个:身份识别,数据识别和防止敌方信息对抗。身份识别即身份认
证问题,指的是防止敌方利用伪身份进行渗透。数据识别指的是数据源和数据
的真假辨别。防止敌方信息对抗指的是防止敌方窃听,干扰和向系统注入虚假
数据。信息化战争对数据信息安全要求体现在对信息使用者访问权限的控制以
及对信息使用者身份的识别。
五、提高大数据存储与分析能力的几个对策
随着信息化战争的横纵发展,使得信息化战争对数据存储与分析产生了许
多具体的要求,针对上述问题,国内外已经进行了相关研究,并且取得了一定的
成果。下面主要介绍一下解决上述问题的相关技术。
(1)Hadoop大数据处理技术
Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。
该框架在很大程度上受Google在2004年白皮书中阐述的MapReduce的技术启
发。MapReduce是Hadoop中的一个软件框架,通过MapReduce并行处理技术
可以提高大数据的处理速度。
(2 )内存计算
内存计算,就是计算机中央处理器(CPU)直接从内存中读取数据(传统的
数据读取是从硬盘中),并对读取到数据进行计算、分析和应用。服务器在处理
数据时,CPU 首先会从缓存中找数据,如果缓存中找不到,再从内存中找,内
存中没有,再从硬盘上读取。通过研究表明,如果让查询在内存中进行,而不用
读取硬盘,就会大大提升处理性能。但是,我们需要大幅提高内存的读写速度。
(3 )云计算
云计算能够动态地扩展计算机应用基础设施,是近年来最有代表性的网络
分析与计算技术。云计算通过将大量计算分布在大量的分布式计算机上,进而
实现有效地分析和处理海量数据的目的。
六、结语
在信息化时代,数据成为军队在战争中是否能够克敌制胜最为关键的因
素。随着大数据时代的到来,深刻理解大数据的内涵及其对信息化战争的影响,
在大数据中探索战争深层原理,掌握以数据为中心的信息化战争方法,才能在
战场上掌握主动并立于不败之地。
参考文献
[1] 陈润华主编.大学军事教程.清华大学出版社出版,2008年第二版.
篇7
关键词:大数据;时代特征;研发大数据;分析平台;具体策略
中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2016)27-0003-02
正是互联网技术的应用,为整个社会发展转型奠定了重要基础。尤其是在大数据应用日益成熟的今天,完善构建大数据分析平台,结合大数据分析的具体功能属性和应用价值,从而实现企业经营发展与大数据应用的体系性融入。当然,想要用好大数据平台,就必须了解大数据平台有哪些应用特征,同时也要了解其具体应用要求和内涵,从而适应大数据时代特征,为企业发展提供科学决策。
1 大数据时代特征分析
大数据时代的到来,标志着人类对计算机互联网技术的应用实现了实质性进步,与以往时代所不同的是,大数据时代具有自身特征,其主要表现为:首先,其整体数据量极大,与以往信息时代不同的是,大数据应用的前提就是收集庞大的数据信息,因此,其存储数据的计算量远超过了当前的计量,其基本上使用的都是P/E/Z做计量单位,起码存储在1000T以上,甚至高达10亿T。
其次,其特征主要表现为种类繁多、内容多样。尤其是整个大数据体系中不仅包含了各个行业的信息,同时其收集形式也极为多样,从文字、图片到音频、视频等等,基本上囊括了整个时代的各个信息链条和内涵。正是数据信息的多样化和多元化决定了我们可以通过使用大数据实现对整个数据资源的体系化认知,同时这也从根本上提升了我们对数据的处理和应用能力,使得整个数据分析更有参考价值和意义。
此外,随着当前大数据应用不断成熟,如今数据价值密度相对较低,尤其是在物联网广泛应用影响下,信息感知应用极为广泛。虽然当前大数据时代,整个数据量大,但是有价值的数据较少,其整体价值密度不大,因此如何才能有效完善数据筛选,优化其价值应用,就是当前利用大数据平台过程中所不可忽视的内容。
最后,我们应该认识到大数据时代的重要特征还表现为数据处理深度快,且对数据处理有较高的时效性要求。正是高速的数据处理速度和处理时间要求,决定了当前大数据开发应用不同于传统数据筛选应用。但是我们应该辩证看待大数据平台的优缺点,尤其是当前我们所具备的技术和设施已经无法满足海量信息数据的处理,可以说正是快速发展的时代要求决定了我们必须优化信息数据利用方式,构建完善的数据应用平台和机制。
2 当前大数据分析平台应用内涵及具体状况分析
想要对大数据分析平台应用要求进行体系化认知,就必须清楚大数据分析的定义内涵、应用过程中存在的问题和不足以及其具体的解决对策。只有对其形成体系化了解,才能从根本上服务大数据分析平台建设、应用。
2.1 大数据分析的定义
结合大数据结构复杂,数据更新速度快、价值密度低、整体数据量大等一系列特点,当前我们在应用大数据时,存在较大难度,而全面应用大数据的关键就是实施大数据分析,通过完善大数据分析的具体定义认知,从而构建合理的大数据分析平台。实际上,大数据分析指的是在数据密集的环境下,通过使用科学分析的方法,对数据应用进行重新思考,并完善构建全新数据分析应用模式。大数据分析认为其分析应用过程并非技术上的应用,而是一种具体的使用策略,其核心内涵指的是通过使用一种相对以往更有效分析方式来管理、获取海量数据的方式,并且在这一过程中获取有价值的信息。结合当前大数据应用实际状况,我们可以认为,大数据分析指的是:依据数据生成理论,通过构建大数据分析模型,从而结合集成化大数据分析平台,使用云计算技术完善分析数据资源,并且最终探究出大数据模式背后规律的过程。
2.2 大数据分析方法阐述
目前大数据分析的重要内容是可视化分析,通过集成交互可视化和自动化分析,从而提升大数据分析方法的应用效果。从大数据分析系统架构层面看,整个大数据分析具有9层架构体系,尤其是其中的复杂结构处理技术、平台应用标准规范和虚拟化接入技术以及其知识服务交易模型和大数据知识服务质量评价体系等共同组成了大数据分析服务的关键技术应用机制。在传统数据分析过程中,其更多针对的是原始数据进行抽样、过滤,并结合数据样本分析,从而探究其中存在的具体规律和特点。因此,其中最重要的特点在于通过使用复杂算法能够从体系化的数据中寻找到更多有价值的数据信息。在当前计算水平和存储能力大大提升过程中,大数据分析所面临的对象是整个动态变化的数据群体,而不是客观不变的数据样本,因此其大数据分析的应用重点从高效解决收集到的信息入手,只有提升数据运算的准确性,才能够没满足大数据分析的应用要求。
2.3 大数据分析过程中存在的问题阐述
正是因为当前大数据时代的迅猛发展,整个大数据分析过程中存在着一系列问题和不足,其大大制约了大数据分析的应用效果,其问题集中反映为:首先,想要实现精准的大数据分析,需要解决其大数据存储问题,与以往相比,大数据时代,其整体数据存储远远超过了传统数据时代,而想要实现其数据分析目的,就必须完善数据存储。而目前在大数据时代,整个数据存储并不是静态的,而是动态发展的,因此只有探索完善适应大数据存储的具体机制,才能实现其最终目的。其次,大数据质量不高,分析利用难度大。因此,需要探究增强数据可用性的方法。此外,大数据分析的核心在与数据建模。但是当前由于建模水平较差,暂时很难结合大数据时代特征,完善建模应用。最后,缺乏专业的大数据分析工具。在传统数据分析过程中,经常使用SPSS等软件进行数据分析,但是在大数据时代,缺乏能够完善有效的数据分析工具。因此,结合大数据时代特征,构建大数据分析平台,对于整个大数据时代应用发展来说,极为必要。
3 构建研发大数据分析平台的具体策略
在大数据分析过程中,最需要探究的就是其分析方法。分析方法的好坏直接关系到大数据分析应用的具体结果是否合理有效,同时也关系到其数据分析结果是否切实有用。而不同类型的大数据则需要截然不同的分析方法。而在构建大数据分析平台过程中,需要从以下方面入手:
首先,要结合大数据分析应用的具体要求,完善数据存储技术。当前增速惊人的大数据决定了我们想要实现大数据分析目的,就必须探索完善的数据存储方式。通过应用云存储技术,能够确保其存储容量以及数据整体的可用性和安全性等等,从而解决大数据分析平台的数据存储问题。而通过提升大数据分析存储技术,必然也能够有效提升其具体应用技术。同时优化数据存储,能够有效提升大数据的应用效果,实现大数据分析的良好效果。
其次,大数据分析是大数据应用的核心,而实施大数据分析模式则需要针对当前类型多样、迅速增长的信息数据进行分析,并且通过合理分析,从庞大的数据体系中寻找到有价值的信息内涵,进而为整个决策活动提供相关依据的模式。在大数据分析过程中,数据库、知识库和模拟库是整个数据分析模型构建的主要要素,通过在构建现有知识库和数据库模型基础上,进行数据分析,其得到相应结果,一方面优化模型构造,另一方面也实现对数据的具体应用。通过优化数据模型应用,能够有效提升大数据分析能力和应用实效。
最后,大数据分析系统作为当前数据平台应用的核心,其主要应用功能在于为数据挖掘应用提供完善基础,同时使用分布式存储法和并行计算体系,通过使用多重分布计算,从而实现对各类信息资源进行有效计算和分析,通过提供关联、分类、预算等一系列方法,结合各种数据挖掘分析机制的应用,从而实现整个大数据平台价值效用的体系化发挥。
4 结语
在当前互联网技术对各行各业发展的具体影响推动下,通过使用大数据技术,能够为各行业发展奠定重要基础,尤其是大数据分析的科学性,能够为企业发展提供重要决策依据。而对各企业来说,寻找大数据应用与企业自身经营的结合点,则能够从根本上提升大数据应用效率。而想要构建符合实际经营需要的大数据分析平台,就必须从大数据时代特征分析入手,通过具体了解和体系化融入,从而实现大数据分析平台的具体研发。而构建大数据分析平台将从根本上发挥大数据技术优势。
参考文献:
[1] 马新莉.面向服务的大数据分析平台解决方案[J].科技创业,2013(10):72-74.
[2] 韩晶晶.大数据时代下数据分析理念的辨析[J].管理信息,2014(5):33-35.
篇8
随着云计算的来临,大数据(Big date)受到越来越多的关注。此概念最早由美国提出,研究机构Gartner给出了定义,即“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。维基百科将大数据定义为无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。《著云台》的分析师团队认为,大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
二、大数据的特征
大数据的特征有很多词语可以用来表示,2001年DougLaney最先提出“3V”模型,包括数量(Volume)、速度(Velocity)和种类(Variety)。IBM将其特征定义为4V,即规模性(Volume)、高速性(Velocity)、多样性(Variety)和价值性(Value)。
1.规模性(Volume)
数据巨大的数据量以及其规模的完整性,非结构化数据规模比结构化数据增长快,数据的存储量和产生量巨大,数据具有完整性。
2.高速性(Velocity)
实时分析产生的数据流以及大数据。现实中对数据的实时性要求较高,能够在第一时间抓到事件发生的信息。当有大量数据输入或必须做出反应时能够迅速对数据进行分析。
3.多样性(Variety)
多样性指有多种途径来源的关系型和非关系型数据。有很多不同的形式,除了简单的文本分析外,还可以对机器数据、图像、视频、点击流以及其他任何可用的信息进行分析。利用大数据多样性的原理就是:保留一切对你有用的你需要的信息,丢弃那些你不需要的信息。发现那些有关联的数据,加以收集、分析、加工,使其变成可以利用的信息。
4.价值性(Value)
大量不相关数据的提纯,体现大数据运用的真实意义所在。价值具有不确定性、稀缺性、多样性。正如稻草堆中寻找一根针,运用大数据技术,就能轻易的寻找到。
三、大数据对企业管理的影响
1.大数据对企业管理思想的影响
大数据时代的来临改变了企业的内外部环境,引起了企业的变革与发展。企业越来越智能化,管理实现了信息化。企业中的数据收集、传输利用需要现代管理思想的支撑。
大数据环境下的企业管理应当以人为本,在实践的基础上运用现代信息化技术,采用柔性管理,将数据当做附加资产来看待。企业运营离不开数据的支撑,企业管理当中如果不能够深刻认识到大数据的重要性,仅仅以公司短期盈利作为目标,是缺乏战略性的思考。有效的利用数据分析结果,提前进行预测,抓住市场先机、顾客需求,就能主动赢得市场,才能在企业管理与销售业绩上创造出更大的财富。
2.大数据对企业管理决策的影响
大数据背景下数据的分析利用是企业决策的关键。首先,大数据的决策需要大市场的数据。基于云计算的大数据环境影响到企业信息收集方式、决策方案选择、决策方案制定和评估等决策实施过程,对企业的管理决策产生影响。大数据决策的特点体现在数据驱动型决策,大数据环境下的管理决策对于企业不仅是一门技术,更是一种全新的决策方式、业务模式,企业必须适应大数据环境对管理决策的新挑战。
其次,大数据对决策者和决策组织提出了更高的要求。大数据时代改变了过去依靠经验、管理理论和思想的决策方式。管理决策层根据大数据分析结果发现和解决问题、预测机遇与挑战、规避风险。这就要求决策层具有较高的决策水平。由于大数据背景下需要企业全员的参与,动态变动环境下,决策权力更加分散才有利于企业做出正确的决策。这就要求企业的组织更加趋于扁平化。
3.大数据对企业人力资源管理的影响
人力资源是企业中最宝贵的资源,是企业创造核心竞争力的基础。基于大数据技术,企业将大大提高人力资源管理的效率和质量。有效的加快人力资源工作从过去的经验管理模式向战略管理模式的转变。
公司从员工招聘到绩效考核与培训,积累了大量的各类非线性数据,这些数据都是无形的资产,利用大数据技术,将这些数据进行整合分析利用,能够为企业带来巨大贡献。首先,在员工招聘上,只需将单位用人要求与员工各项能力数据相匹配,结合人力资源招聘的经验,便可轻松选出符合要求的员工。其次,在绩效考核上,进行标准化管理,将员工日常的各类数据进行分析,设定等级标准,即可得出客观公正的考核结果。这大大排除了绩效管理的主观性与不全面性。最后,根据大数据的分析结果,针对不同员工区别培训,更有效率的提高了培训水平。
4.大数据对企业财务管理的影响
大数据使财务管理的模式和工作理念颠覆性的改变。首先,财务管理更加稳健。公司将各类财务数据在大数据技术下进行发掘,提纯出更多有用的财务信息,及早的发现财务风险,为管理决策者提供重要的决策依据,做出正确的决断。其次,财务数据的处理更加及时高效。财务数据在企业日常运营当中举足轻重,企业的各项交易都依赖于财务数据的分析,企业基于大数据,通过对财务数据的分析和处理,能够改进财务管理工作的运行模式,并且是有效率的,企业资金资本运作成本降低和压缩了,利润相应提高了。企业资源最丰富的积累,最基础的财务数据,通过大数据技术进行对财务数据,整理和分析,实现了企业价值增值。
篇9
关键词:大数据;信息问题;企业债券;数据挖掘
中图分类号:F830.91 文献标识码:A 文章编号:1001-828X(2015)003-000-01
一、引言
目前在资本市场中主要存在两大融资方式,一是股票融资,二是债券融资。根据国家统计局统计,2012年中国股票成交额314667.41亿元,债券发行额37366.00亿元。虽然说债券融资方式与股票融资方式相比,具有更大的灵活性,但从数据上来看,企业债券市值远小于股市市值。造成这情况的原因之一就是中国的债券市场存在严重的信息问题。
相比较以前,由于网络和计算机等技术的局限性致使债券市场的信息闭塞流通性差,致使债券市场发展缓慢。如今随着大数据时代的到来,给债券市场带来了巨大的潜力和机会。
对大数据的广泛关注,主要是来源于维克多的一本《大数据时代》。那么什么是大数据?纵观各个行业各个领域,都有对大数据的不同定义,在这些定义中,比较有代表性的是3V定义,即认为大数据需满足3个特点:规模性、多样性和高速性。虽然大数据的定义针对不同的领域和对象概念不完全相同,但是这并不影响我们实际的操作与研究。
二、大数据下债券信用风险评估的信息提取
传统的信息不确定和不对称的问题,使得投资人对企业价值评估不准确,进而要求高的风险溢价。从根本上讲,债券市场同股票市场一样,受宏观经济面如货币政策、市场信心等市场信息因素的影响。Galai以宏观市场的定价行为作为衡量信息不对称的程度,说明了信息不对称情况下,存在信用利差进而影响企业债券估价。Moerman通过研究发现,二级市场中买卖价差与债券的利率利差存在正相关关系,买卖价差与债券的期限呈现正相关的关系。从宏观角度讲,能够影响企业债券价值的因素有市场利率、票面利率、交易量、债券剩余期限、通货膨胀率等。以大数据的视角可以将这些因素统归于“利率”,因为宏观经济的各种指标最终都会以利率的形势表现出来。
另外,从微观风险信息的角度出发,内部的经营问题也可能会迫使企业在债券到期无力偿还,导致投资者面临违约风险。Duffie以不完全的会计信息作为指标,提出会计信息不完整会使投资者错误的评估公司的实际价值,结果是要求公司产生高的风险溢价。Hong(2000)认为公司历史越悠久就能越好的提供更多的有价值的信息,从而降低了这种信息不确定性,降低风险溢价。微观层面影响的企业债券价值的信息,其实是对企业的运营状况、财务状况等的一个反应,都体现对公司“信用”的评级。
以“利率”和“信用”为给定关键字后,利用大数据搜索技术,从而找到更多企业信息,对企业债券评估具有很高的价值,运用数据挖掘技术有可以从大量的信息中提出影响企业价值的因素,这样可以有效的解决以往的信息不确定和信息不对称的问题。
三、大数据挖掘技术在债券信用风险估计中的应用
大数据下,我们面对的是多种多样纷繁复杂的数据,关于企业的信息有些是我们需要的,但是很大一部分是无关联的数据,所以采取新型的数据挖掘技术,找到哪些因素能够影响企业价值才是最关键的。数据挖掘就是大量的数据中,找到其中隐含的、我们看不见的、有价值的信息。数据挖掘技术有很多种,比较常见的有关联规则、神经网络、决策树等方法。这些方法中很多可以运用到债券估价模型上。
在当下流行的关联分析算法中,比较有影响力的是Apriori算法。该算法通过多次循环提取,尽可能减小候选集的规模,最终形成强关联集合。这种关联规则可以应用到对影响企业债券信息的初期处理之中,找出哪些因素能够对债券价值有影响,通过关联规则可以实现数据的初期整合,删除无影响的信息。
决策树是一种预测分类方法,其目的是对数据集训集进行分类,找出有价值的,隐含的信息。J.R.Quinlan提出的ID3算法根据信息增益最大化为主要属性设置决策树的节点,然后在各支树上采用递归算法建立分支树。决策树可以用于对企业价值信息进行分类估价,建立信用风险模型。通过决策树对信息的分类,达到评价企业信用风险等级评价的目的。
神经网络算法是模拟人体细胞间的神经元,通过训练实现分级、聚合等多种数据挖掘目标。神经网络技术在债券市场的研究也日趋成熟,Coasts讲神经网络应用于公司财务状况评价,发现利用神经网络预测正确率在93%。所以,利用神经网络数据挖掘可以根据提取、筛选、分类后的数据进行债券价格的预测。
通过以上3种数据挖掘技术在债券市场上的应用,可以很好的分析企业价值信息。关联分析可以对找出相关信息,决策树可以对信息进行分类,神经网络可以对债券价值做一个很好的预测。
四、总结
本文首先分析了债券市场上的信息问题给企业债券风险评估带来的不良影响。针对时代背景,对大数据时代做了一个概念性的认识。通过对以往文献的研究,找出一些能够影响企业债券价值信息的因素,从宏观和微观两个方面来对这些因素进行分析和归类。然后用大数据挖掘技术在债券市场上的信息挖掘的应用,关联分析可以对找出相关信息,决策树可以对信息进行分类,神经网络可以对债券价值做一个很好的预测。经过研究数据挖掘技术在债券估计中有着很好的前景。
参考文献:
[1]Copeland,T.,and Galai,D.Information Effects on the Bid-AskSpread[J].The Journal of Finance,1983(38):1457-1469.
篇10
人是创造大数据的主体。我国企业身居世界人口最多的国家,创造大数据的速度正在接近或超过发达国家。我国至今有5.64亿网民、4.2亿手机用户。他们的各类活动通过互联网或通讯手段不断地输送给企业海量的数据。在大数据背景下,我国企业应尽快地将已有的企业管理决策模式改变为“数据驱动的决策管理”。
人们熟知的企业决策管理是指企业在特定条件下,从决策目标的确定、信息收集、建立多个决策方案、寻找优化方案、执行方案及反馈控制等6个环节的活动管理。这个定义中“信息收集”与大数据密切相关。对于如何达到高水平的企业决策管理境界,管理学者有不同的解释。比如,美国密歇根大学的弗兰克 ・ 耶茨(Frank Yates)认为成功的企业决策需要有10个关键的步骤:需求(need)、模式(mode)、投入(investment)、选择(options)、可能性(possibility)、判定(judgment)、价值(value)、交换(trade offs)、接受度(acceptability)、执行(implementation)。根据上述的企业决策管理定义,耶茨的理念大致地分化为“需求”属于“决策目标的确定”的范畴;“投入”与企业特定条件,诸如物资资源和成本有关;“可能性”、“接受度”和“价值”与“反馈控制”和企业特定条件,诸如投资者和市场反应有关;“交换”和“判定”则是“寻找优化方案”;“执行”与“执行方案”是一致的。如此分析看来,耶茨的模型忽略了现代企业最重要的基础――大数据!它引起了企业决策根本性的改变。
如何提倡大数据背景下的新的企业决策管理模式呢?笔者认为,答案之一是将已知的企业决策管理修正为“数据驱动的企业决策管理”(Data-Driven Enterprise Decision Management)。要建立这样一个新的企业决策管理方法,首先要对大数据有一定的了解。
大数据展示了4个“V”的特征:即体量大(volume)、状态多(variety)、生成快(velocity)和含有高价值(value)。其中前3个“V”都给数据收集与预处理带来了高难度。如何快捷地将大数据从非结构化或半结构化(诸如音像、图片、文字等)状态转化为类似结构化的多维数据表格以便计算机能高效地处理和清洗,是每个企业面临的巨大挑战。至今还没有能统一处理大数据前3个“V”的标准技术。大数据的第4个“V”(value)表示大数据在其低密度的价值中含有巨大的看不见的高价值。寻找大数据的高价值必须像从金矿中淘金一样要进行数据挖掘。
其实,过去十几年的数据挖掘的方法和技术就可以用于企业决策的重新制定。其中最重要的方法之一是1999年欧盟起草的称为“跨行业数据挖掘过程标准”(cross-industry standard process for data mining,CRISP-DM)。这个标准已普遍被许多数据分析软件公司采用,例如SPSS,NCR等运用于其高级数据挖掘工具的开发中。我们可以将CRISP-DM的6个阶段(见图1)运用于企业决策管理的6个环节中,从而建立数据驱动的企业决策管理模式(如图2)。
- 上一篇:高校教学资源
- 下一篇:对电子信息工程的认识