大数据分析方案范文

时间:2024-01-19 17:50:07

导语:如何才能写好一篇大数据分析方案,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。

大数据分析方案

篇1

 

一是大数据安全分析重塑SIEM和安管平台。

 

在所有网络安全领域中,大数据安全分析对安全管理平台(SOC平台、安管平台)和安全信息与事件分析(SIEM)系统的影响最为深远。

 

传统的SIEM和安管平台由于其核心的安全事件采集、分析及存储引擎的架构是针对中小数据集合而设计的,在面对大数据的时候运行乏力,难以为继。SIEM和安管平台都具有安全事件(日志)的采集、存储、分析、展示等几个过程,正好与大数据分析的收集、存储、分析和可视化过程完全相同。因此,SIEM和安管平台天然具有应用大数据分析技术的特质。而将传统SIEM和安管平台的安全事件采集、分析及存储引擎更换为大数据分析引擎后,SIEM和安管平台被带到了一个全新的高度,进入大数据时代。

 

大数据安全分析技术的运用已经成为未来SIEM和安管平台的关键技术发展趋势之一。

 

二是大数据安全分析推动高级威胁检测。

 

传统的安全分析是构建在基于特征的检测基础之上的,只能做到知所已知,难以应对高级威胁的挑战。而要更好地检测高级威胁,就需要知所未知,这也就催生了诸如行为异常分析技术的发展。行为异常分析的本质就是一种机器学习,自动建立起一个正常的基线,从而去帮助分析人员识别异常。面对天量的待分析数据,要想达成理想的异常分析结果,借助大数据分析技术成为明智之举。

 

同时,为了对抗高级威胁,还需要有长时间周期的数据分析能力,而这正是大数据分析的优势所在。

 

此外,安全分析人员在进行高级威胁检测的过程中需要不断地对感兴趣的安全数据进行数据勘探,而要针对天量数据实现即席的交互式分析,需要有强大的数据查询引擎,这同样也是大数据分析的优势所在。

 

三是大数据安全分析促进欺诈检测。

 

客户业务的日益复杂和线上业务的不断丰富,使得欺诈检测遭遇了前所未有的挑战。现代的欺诈检测系统大都具备基于行为轮廓的异常检测能力,而对天量的用户、账号、实体、业务的访问行为信息进行建模绝非易事,大数据技术的引入有助于提升建模过程的速度和准确度。大数据安全分析技术正在重塑欺诈检测系统。

 

四是大数据安全分析增强各类安全产品。

 

除了前面提及的已经显著受到大数据技术影响的安全防护系统之外,很多传统的安全防护系统也同样正在引入大数据安全分析技术。

 

借助大数据安全分析技术,DLP系统将变得更加智能,不仅能够对已经标定的敏感信息进行检测,还能对用户使用数据的行为过程进行建模,从而针对更多地难以进行简单标定的敏感信息的访问进行异常检测。

 

借助大数据安全分析技术,通过对DAM系统收集到的海量数据库访问日志进行业务建模,从而识别用户的业务违规,使得DAM系统的价值得到进一步提升。

 

借助大数据安全分析技术,能够实现针对IAM和4A系统的用户违规智能审计。通过对IAM和4A系统的海量用户访问日志进行建模和机器学习,发现小概率的异常事件。

 

借助大数据安全分析技术,还能够提升静态应用安全测试(SAST)系统的检测速率,并能够通过高效地聚类/分类等算法更好地寻找应用系统的安全漏洞。

 

五是大数据安全分析激发网络威胁情报分析与协作。

 

随着高级威胁的日益泛滥,尤其是网络空间安全对抗逐步上升到专门组织、国家层面,很多传统的犯罪分析和军事战争的理论及战略战术被不断引入网络空间安全之中。这其中,最显著的一个趋势就是网络威胁情报的兴起。

 

Gartner认为,威胁情报是一种基于证据的知识,包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险,并可以用于通知主体针对相关威胁或危险采取某种响应。

 

威胁情报最大的好处就是能够直接作用于企业和组织的安全防护设施,实现高效快速的威胁检测和阻断。

 

但是威胁情报信息的获得绝非易事。专业的威胁情报服务提供商能够采集互联网上的各种数据,既包括浅层Web,也包括深层Web,甚至是暗网(Dark Web)的数据,抑或是授权客户的数据,然后基本上都利用大数据分析技术产生有关攻击者的威胁情报信息。

 

谁也不可能独立获得最全的威胁情报,就像我们的反恐或者犯罪调查一样,各个情报组织间的合作至关重要。网络威胁情报亦是如此。利用大数据分析技术,有的厂商建立起一个威胁情报的分享和协作平台,进行威胁情报的交换,更大限度地发挥情报的价值。

 

简言之,借助大数据安全分析技术,威胁情报分析与共享这个新兴的安全分析领域获得了突飞猛进的进步,当前正处于聚光灯下。

 

六是大数据安全分析造就大数据安全分析平台。

 

大数据安全分析不仅重塑着传统的安全防护系统,催化着威胁情报,有时候也显性化地表现为一个专有的分析平台。

 

如前所述,大数据安全分析不是一个产品分类,而代表一种技术,各种安全产品都能够运用大数据安全分析技术。在一个较为完备的基于大数据安全分析的解决方案中,通常会有一个大数据安全分析平台作为整个方案的核心部件,承载大数据分析的核心功能,将分散的安全要素信息进行集中、存储、分析、可视化,对分析的结果进行分发,对分析的任务进行调度,将各种分散的安全分析技术整合到一起,实现各种技术间的互动。此时,通常意义上的SIEM(安全信息与事件分析系统)、安全运营中心(SOC、安管平台)、DLP(数据防泄露系统)、4A系统(认证、账号、授权、审计)等都在这个大数据安全分析平台之下。

篇2

【关键词】SCADA;转发;配网;调度;接口

1.引言

杭州电力局地调调度自动化系统包括三部分,第一部分为调度自动化系统主站,第二部分为变电站监控系统,第三部分为数据网络。杭州市电力局地调调度自动化系统基于计算机、通信、控制技术,是在线为杭州电力调度机构生产运行人员提供电力系统运行信息、分析决策工具和控制手段的数据处理系统。包含安装在发电厂、变电站的变电站监控系统、数据采集和控制装置以及安装在杭州市电力局调度大楼的主站设备(包含计算机软硬件及计算机网络),通过通信介质及数据传输网络构成系统。当前杭州市电力局地调调度自动化系统主要功能模块有:监视控制和数据收集系统(SCADA)、电网高级应用分析软件系统(PAS)、区域电压无功控制系统(AVQC),系统采集变电站四遥信息(遥测、遥信、遥脉、遥控),为调度人员及运行人员提供电网运行的实时信息,并为其监控、指挥电网运行提供控制手段,是重要的用于电网实时控制及信息采集、分析的调度生产系统。地调调度自动化系统承载的调度控制业务相对独立。

杭州电力调度SCADA/EMS系统是山东烟台东方电子有限公司生产的DF8900系统,实现对实时运行的电力系统进行数据采集、监视、控制和安全分析功能,是杭州电力调度最重要的系统,整个系统横跨安全I区、安全II区、安全III区。处于安全I区部分是EMS主体,网络设备由系统交换机、广域纵向交换机、广域纵向防火墙构成。安全II区部分是DTS系统,网络设备由系统主交换、广域纵向防火墙构成。安全III区部分是EMS WEB浏览部分,网络设备由系统主交换、防火墙等部分组成。安全I/II之间采用防火墙进行逻辑隔离,安全I/III区、安全II/III区之间采用正方向电力专用安全隔离装置进行隔离。系统通过数据网络直接采集变电站四遥信息。

杭州配网SCADA系统采用的是南瑞科技有限公司生产的OPEN3200系统。国网公司为探索智能电网的建设,把杭州列为第一批配电自动化试点建设城市之一。作为国家电网公司的一项示范工程,杭州市电力局配电自动化试点工程的基本目标是在市中心区域建立完善的配电自动化系统,实现配电SCADA、馈线自动化等功能,显著提高供电可靠性,并在调控一体化、智能配电网方面进行积极的探索和实践。杭州配电自动化主站系统建设基于IEC61968国际标准的信息交互总线,实现与企业内各个与配电相关的系统实现互连,整合配电信息。配网实时信息采集基于配电通信网络进行广域分布式数据采集,获取10kV及以下的配网测控终端实时信息。作为统一支撑平台,按照接入4000个终端、可接入实时数据容量600000设计,信息采集范围为市区220KV、110KV及35KV变电所。截至2011年中,该系统共接入543个终端、5个子站。整个系统处在安全I区,网络设备由系统交换机、前置数采交换机、纵向加密装置、终端主站公钥和验签模块构成。现杭州局配网没有使用公网、全部是专用网络。

配网SCADA系统的变电站10kV及以上实时数据通过调度SCADA系统通过网络方式转发获取,这些实事数据包括变电站设备信息、拓扑信息、实时信息及故障分析信息。采取转发的原因主要有两个:一个是系统建设前期工期紧、工作量大的原因;第二是要考虑二次安全防护的要求。

2.现状

配网SCADA系统需从调度SCADA系统转发的遥信遥测以及事故跳闸信息范围为市区变电所。其中:遥测信息:需要变电所内所有上图设备的有功、无功、档位、温度、电流、电压值等;遥信信息:变电所内所有开关、刀闸状态及变位信息;事故信号:变电所内所有开关故障跳闸信息。要求:遥测信息可以延迟1分钟。其他遥信变位以及事故信息要求在15秒以内,越快越好。

(1)SVG和CIM/XML文件:当监测调度SCADA系统修改了图模信息时,系统会自动生成相应的SVG和CIM/XML文件,由转发程序经物理隔离或防火墙发送到配网侧接收服务器上,再按61968标准形成标准的图模服务,发送给南瑞的IEB,由南瑞的IEB发送给配网SCADA系统。

(2)实时数据:定期在调度SCADA系统上访问实时库获得遥信遥测数据、PAS的潮流、状态估计数据,生成E文件格式的数据文件,同样由转发程序经物理隔离发送到配网侧接收服务器上,再按61968标准形成标准的数据服务,发送给南瑞的IEB,由南瑞的IEB发送给配网SCADA系统。

3.存在的问题

(1)系统传输的稳定问题

连续多次在早上信息繁忙时段,从调度SCADA侧通过物理隔离传到配网侧的服务器,出现数据堵塞,到8点以后才恢复正常。内网侧生成文件时间正常,传输过程不稳定,同时需要检查配网侧接收接口的稳定性。

(2)实时数据的延时性问题:

由于配网SCADA系统馈线自动化功能是以变电所10kV出线开关的跳闸作为启动信号,因此要求配网SCADA系统中变电所10kV的出线开关变位、事故跳闸信息能够即时更新,既要求调度SCADA系统变电所10kV的E文件格式的事故跳闸信息生成及传输到配网SCADA系统底耗时应尽可能短。

但调度SCADA系统已运行10年,不可能无限制的缩短E文件生成时间,影响调度SCADA系统的性能和稳定性,所以在生成E文件时定的时间间隔比较长(约1分钟),再加上物理隔离转发和ESB转发等各中间环节的时延,(这个时延没有仔细测试,正常情况下估计应该大约在5秒左右),所以15秒的要求目前无法达到。

(3)调度SCADA系统与配网SCADA系统之间使用物理隔离的问题:

配网SCADA系统之前使用的ABB、南瑞示范系统,未按照电监会和国网二次安防规定进行安全分区改造,配网SCADA系统和三区的GIS系统未安装物理隔离,如跟调度SCADA系统直连,会严重影响实时系统的运行安全和调度安全。

4.总体思路

(1)方案一

经过综合考虑,对数据的实时性要求分两个等级,重点保证遥信数据满足在15秒内送达的要求(基本可保证8秒),对遥测数据,则按照50~60秒内送达来要求。可以考虑仍然采用目前的E文件方式,但需要对遥信单独处理,发现遥信变化就立刻生成一个仅含该变化遥信的E文件,直接发出去,(为了减少E文件的数量,可以采用3~5秒钟生成一个E文件),而遥测的定时生产E文件的时间间隔考虑调度SCADA稳定运行的基础上再稍微调短一些,如30~50秒生成一个E文件,生成的遥测遥信E文件仍然按目前的流转方式进行。配网SCADA需要对接收程序对接收程序尽快测试调整,保证其稳定性。硬件上,对发送和接收主要设备进行更新升级,提高系统可靠性。对配网SCADA系统安全分区进行改造,在满足电力二次系统安全防护方案的规定下,可以考虑把调度SCADA系统和配网SCADA系统之间的物理隔离改成防火墙,其他方式不变。

该方案的优点:

①对调度SCADA系统负载影响比较小,可以对配网SCADA系统的转发要求进行微调。

②把调度SCADA和配网SCADA进行了有效的安全隔离,对调度SCADA系统进行了有效的保护。

(2)方案二

考虑采用远动转发规约的方式。可以考虑把物理隔离换成防火墙,实现调度SCADA系统的前置机和配网SCADA系统的前置机(或其他服务器)实现直接转发通讯,由两家自动化系统厂家商定按104转发规约来实现。而对实时性要求不高的其他系统仍然按照IEB的模式来进行。

该方案的缺点:

①是要求调度SCADA系统的前置机和配网SCADA系统的前置机能够在网络层面上互通,并且双方自动化厂家需要联调104转发;

②调度SCADA系统2台前置机设备老化,需要增加专用网卡,现已经用了4个网口,在增加有可能影响稳定;

③调度SCADA系统转发熟数据有限制,500个量以上会出不稳定只能生数据转发。生数据转发是需要增加很多的工作量,维护远动参数(如遥测遥信号、变比等),这些参数目前CIM文件里没有,需要对CIM标准进行扩展,配网SCADA系统要做到自动接收,自动更新信息表,调度SCADA系统侧有大量的图形参数更新。

(3)方案三

如果既不想用通讯规约又要考虑遥测的实时性,还可以考虑从三区的SCADA镜像服务器上生成E文件,(这样就可以不用太考虑SCADA实时库的性能及稳定性而设置成5~10秒生成一个E文件),通过南瑞IEB的跨物理隔离功能送到配网SCADA系统中。

缺点:

①因为反向物理隔离按规定只能以文件的形式转发信息,所以原来的SCADA与WEB系统之间通过正向物理隔离进行镜像系统建设所开发的功能没法利用,只能重新开发新的跨反向物理隔离的镜像系统。

②中间环节多,稳定性差,同时反向物理隔离传送数据不一定能满足系统要求。

(4)三种方案综合比较

考虑到对调度SCADA系统的性能影响最小,建议采用第一种方案,同时把物理隔离更换为防火墙。

但要注意以下问题,馈线自动化的启动条件为主网变电站出线开关的事故跳闸信号。配网SCADA系统的对部分配网线路实施馈线自动化全自动试点区域运行,六个变电站的出线开关信息直采到配网SCADA系统中。杭州调度SCADA系统也将变电站内的开关事故变位信号以单独的E文件实时传递给配网SCADA系统。在变电所改造过程中,这两种传输方式将并存会产生同一开关的分合、故障信息重复发送,造成遥信抖动,将对馈线自动化功能的正常运行造成影响。

馈线自动化功能对故障识别的判据有4种:

①开关分闸+保护动作;

②开关事故分闸;

③开关分闸;

④开关分、合、分。

目前杭州配网SCADA系统的事故识别判据采用的是“开关事故分闸”。由调度SCADA系统将开关的动作分析为“事故分闸”后再告知配网调度SCADA系统系统。如果将变电站出线开关的信号直接采入配网SCADA系统,配网SCADA系统应用本身可以对开关的分闸信号进行分析,判断是否为“事故分闸”而后触发配网系统馈线自动化功能进行分析。如果调度SCADA系统仍然向配网系统发送该变电站的事故信息,则会造成馈线自动化重复启动分析。对重复启动的解决方法,将直采的变电站出线开关对应的DA启动判据由“事故跳闸”修改为“开关跳闸+保护动作”。对遥信抖动的解决方法,采取配网SCADA系统进行程序升级,在程序上进行屏蔽。

5.结论

在配网SCADA系统没有条件直接从变电所采集10kV及以上信息的情况下,从调度SCADA系统转发数据,在保障调度SCADA系统安全稳定运行的条件下,SVG和CIM/XML模型通过转发,实时数据通过E文件转发的方式是最合理、最现实的方案。当然,从系统实用化角度来说,电力部门主要关心的是系统的稳定性、数据的可用性,一个系统的主要数据靠别的系统转发,稳定性和可用性都建立在其他系统上,实用性就会大打折扣。配网SCADA的数据来源,随着资金的投入,系统的改造完善,最终会全部改为网络直收到方式。

参考文献

[1]张慎明.基于IEC 61970标准的电网调度自动化系统体系结构[J].电力系统自动化,2002(10).

[2]潘国伟.消息中间件在电力调度自动化系统中的应用[J].电气应用,2008(10).

作者简介:

杨帆(1971—),男,北京人,大学本科,高级技师,工程师,现供职于国网浙江省电力公司杭州供电公司电力调度控制中心,主要从事电力系统自动化运行管理工作。

篇3

“随着大数据2.0时代的到来,越来越多的企业将拥有从海量数据中获取数据价值的能力。尤其在数据体量巨大的中国市场,除了传统的金融、电信、政府等行业以外,零售、医疗、中型电商等都会从大数据分析中获益。”Actian公司CEO Steve Shine如是说。

根据Gartner的预测,如果能实现对企业范围内全部未开发数据的充分利用,将带来150亿美元的潜在商业机会。但目前除了极少数企业可以利用大数据分析开展业务、辅助商业决策外,大多数企业还在大数据的门外徘徊。阻碍这些企业应用数据分析的原因是获取有价值数据的成本过高。

是否有降低成本的方法呢?Actian中国区总经理程小龙告诉记者,帮助企业以简单的方法连接数据、增强分析平台的可扩展能力是解决这一问题的关键。“企业要找到一种简单的方式连接不同的数据系统,而不必关注数据是否来自云或其他地方。在连接上数据系统之后,企业还要有处理和分析越来越多数据的能力。分析平台只有具备横向和纵向弹性扩展的能力,才能保证实现秒级的快速分析和查询,才能提升企业应用大数据分析的成本效益。”程小龙指出。

大数据2.0的目标是打破大数据分析转换为价值的技术壁垒。Actian破局的方法是:通过对底层技术架构的改进,使数据更容易获取、使用和实施。首先,Actian的分析平台可以高速连接任何数据源,整合、转换和分析数据,还能在不断扩展的数据集上按需进行预测分析。即使企业的数据分析平台并未架构在Hadoop之上,整合、转换、分析数据的能力也不会受到影响。其次,Actian提供的是一种高性能的引擎,可以对并行执行的分析过程的每一步进行细致设计,并随企业业务发展的需求变化。这意味着各种规模的企业都可以利用数据来驱动业务创新。

在选择大数据解决方案时,Actian认为企业应该以一种新的视角看待大数据,才能实现以数据驱动商业价值的目标。程小龙建议企业应关注三点:第一,企业必须考虑解决方案是否能帮助他们将不同数据源集成在一起,并判别数据的质量和清洁度;第二,解决方案要在数据量不断增加的情况下依然保证高速、易用;第三,也是最重要的一点,即该解决方案能否让企业获得商业洞察力,获得大数据的商业价值。

篇4

Gartner认为,2013年将是企业大规模采用大数据技术的一年。42%的IT主管表示其所在的企业已经投资大数据技术或者将在一年内进行相关投资。从海量的低价值密度的结构化和非结构化数据中获取有价值的信息,已经成为企业IT收益的重要组成部分。

大数据对安全厂商而言,意味着海量日志、黑客攻击更加隐蔽,同时也是安全技术水平提升的有效手段。

企业IT管理人员一定不会对以下这个场景感到陌生:一名员工在集团上海分公司刷卡进入公司内部,五分钟后后台系统显示该员工在北京分公司登录企业OA系统。孤立地看,这两件事都不属于安全事故,但如果将它们联系起来,IT人员就会立刻意识到问题的严重性,一个人怎么能在五分钟内从上海飞到北京?企业信息正面临泄露风险。

以前,如果集团的IT系统复杂,各地分公司每天产生的日志数量繁多,并且不能集中管理,类似的安 全威胁就可能淹没在几十万条安全日志里。现在,借用大数据分析,SIEM(安全信息和事件管理)正在让这些安全隐患无所遁形。近日,惠普公司宣布将ArcSight与Autonomy进行整合,将Autonomy在非结构化数据分析上的优势与ArcSight SIEM相结合,加强其在情景感知等方面的安全分析能力。

大数据在信息安全领域的应用包括宏观上的网络安全态势感知和微观上的发现安全威胁,尤其是APT攻击上。东软网络安全营销中心副总经理曹鹏认为:“APT攻击往往潜藏数年,要想对其进行分析,就要调出企业一两年内的安全日志,并且进行对比分析,SOC(安全管理中心)的功能再强大也难以完成这个任务。”他表示,如果没有大数据分析,任何一个安全解决方案都很难实现每隔一段时间就对上百亿条信息做一次关联分析。“东软已经在SOC方案的分布式采集引擎中利用Hadoop进行分析。”

篇5

大数据为企业和机构在商业分析、市场营销、商业决策等方面提供了优质信息,帮助企业抢在客户之前发现问题和痛点并及时改正。但是随着从客户、生产销售流程和员工反馈等方面收集的数据越来越多,很多企业面临着一个问题,那就是如何更快、更方便地检索和分析他们收集的数据。

企业如何解决这个问题? 答案就是“大数据架构”。“大数据架构”可以展示企业在数据存储,快速数据分析和流式稻萆系母本变化,使企业能够更容易、更快速、更简单地检索可操作的信息,并提高客户数据价值。

数据如何构成挑战?在了解大数据架构,找出人们在看待、存储、处理和分析数据的方式变化之前,必须先了解大数据增长所带来的最常见的问题和挑战。到目前为止,大数据解决和部署方案几乎都是专门用于解决非常具体化的问题,满足个性化需求。它们有效地存在于各自的“孤岛”中,且互不相容。这种大数据部署案例有很多,其中用于分析客户信息、地理位置数据和智能计量传感器数据的网络点击流数据就是一类鲜活的例子。

整合独立数据部署,发掘最优商业决策。大数据在持续不断增长,但是这些大数据部署的扩展性却非常有限。如果企业继续使用这些“孤岛”解决方案,他们将不得不继续购买更多的工具、软件、硬件和云存储空间,来为这么多个性化部署提供大量的储存空间,包含大数据架构概念的大数据“整合”,已经成为大数据解决方案中最优先考虑的方法。

篇6

数据驱动业务

在大数据时代,谁拥有数据,谁能高效分析数据,谁能最充分地利用数据进行创新,谁就是胜利者。这样的例子比比皆是。

沃尔沃是名副其实的创新者,它是最早触及汽车互联网的。它将传统的汽车制造相关数据与汽车行驶数据相结合,进行大数据分析,不仅提供优质的汽车,还能有效减少事故的发生。

西门子亦是如此,它生产火车,同时分析由火车上的传感器收集来的各类数据。对于西门子来说,它销售的不仅仅是火车这一产品,更是一种服务,可以及时发现隐患,提前进行主动维修,尽可能避免灾难的发生。

这些传统行业的变化完全是由数据驱动。“我们与客户一直保持着良好的互动,能够深刻理解客户的这些变化和新的需求,并及时响应,不断加强数据分析的能力,同时扩展业务领域,在数据咨询、数据科学等领域进行大量投入。”Teradata天睿公司国际集团执行副总裁Peter Mikkelsen(彼得・米科尔森)表示,“在大数据时代,企业若想继续生存,就必须改变原有的业务模式,其依据就是数据。”

随着数据分析成为数字化时代业务优化、变革和重塑的强有力引擎,越来越多的企业已经意识到数据分析对企业发展的重要性,正在努力探索并提升数据分析能力,在现有的业务流程中植入数据分析,通过更有效地收集数据、分析数据,获得更深刻的洞察,提高生产效率,并降低运营成本,用数据驱动精准营销,带来更多的创新和价值。

“数据对增强企业的竞争优势,实现良好的客户体验至关重要。数据和分析正成为各个行业的用户促进业务发展和创新的驱动力。”Teradata天睿公司大中华区首席执行官辛儿伦(Aaron Hsin)表示,“我们以客户需求为中心,通过创新的技术、全面的产品选项和卓越的咨询与服务,帮助客户通过数据分析获得洞察,快速适应不断变化的业务需求。”

如今,企业正面临着巨大的数据压力,比如新的数据类型、快速增加的数据量,这就要求企业具备更加快速的分析和决策能力。再比如,物联网的普及带来了大量传感器的数据,对这些数据进行有效的分析,是所有企业甚至个人消费者的迫切需求,这就要求厂商在数据分析工具方面不断创新,将人工智能等新技术与数据分析相结合。企业还必须清楚地认识到,数据分析绝不是IT一个部门的事,公司的高层和业务部门同样需要掌握数据,获得更具价值的分析结果,并以此作为企业决策和促进业务发展的依据。

抓住大数据的机遇

大数据时代蕴含着数据驱动转型的巨大机遇。例如,数据分析正成为银行业未来发展和竞争的制高点,通过建立大数据驱动的银行营销服务体系,引入外部互联网和生活场景数据,将进一步释放和扩大银行自身数据的价值,帮助整个银行业从根本上改变管理思路,增强竞争力。中国光大银行就是一例,它从2006年开始与Teradata合作共建数据仓库,之后又采用Hadoop技术增强历史数据查询能力,到2015年移动应用产品上线后,确立了以大数据分析平台应用为重点。随着金融服务场景多元化,以及大数据技术的发展,在银行业中,数据价值转化从后台走向前台是必然趋势,实现金融服务与产品的创新是必由之路。光大银行当前就将数据产品化转型作为创新的主要途径,经历定制化、规模化生产、智能化决策等若干发展阶段,最终将面向银行整体运营提供服务。用数据分析解决棘手的业务问题,预测客户行为,进行专业的场景化分析,提供精细化的管理建议,数据分析成了光大银行数字化转型的重要抓手。

彼得・米科尔森表示:“企业加快数字化转型的步伐,不仅可以激活数据分析市场的发展,而且带来了新的需求和应用趋势。从全球市场来看,客户对数据分析的需求不仅集中在提高客户体验、实现财务转型和产品创新,以及降低风险等方面,而且也反映在利用数据分析实现决策的自动化,以及服务新的应用领域方面。”

Teradata通过不断提供创新的产品和工具,为复杂的数据分析提供解决方案,挖掘更大的数据价值。同时,Teradata还关注最新的技术发展趋势,积极拥抱开源技术和云计算,目标是建立完整的生态系统,为企业的云化提供支持。

Teradata进入中国已经20年,拥有1000多名员工,其中80%的人员是服务和咨询人员。在中国,Teradata坚定不移地执行全球策略,依托公司40多年的研发和技术积累,提供多元化的数据分析平台,以及专业化的咨询服务,帮助客户改善业务,同时提供创新的定制化服务,实现快速的本地化发展。据辛儿伦介绍,目前Teradata大中华区已经建立了12大行业的数据模型,结合各行业的最佳实践,可以将数据分析快速用于客户的业务,获得大数据洞察,并提升业绩。

数据驱动业务已经有很多成功案例。来自全球不同行业的领导企业的40余位嘉宾,在峰会上分享了他们如何通过数据分析让业务流程更加高效和智慧的经验,同时探讨了金融、电信、医疗保健、航空、物流、制造、零售等行业在数据应用和分析方面的最佳实践。

数据分析同步发展

成立41年来,Teradata只专注做好一件事,就是数据分析。在大数据的概念出现以前,企业也在做着数据分析的工作,只不过那时的数据量没有现在大,而且计算和分析工具的能力和效率不如现在这么高。在移踊チ和社交媒体兴起后,数据呈几何级数增长大数据这一新的概念得到了广泛认同。在大数据出现后,传统的计算和分析工具显得捉襟见肘,人工智能成为一种更有效的增强分析能力的工具。

数据量的增长与数据分析工具的创新形成波浪似的前进。其实,数据与分析是并肩成长的。在大数据概念出现前的30年中,数据与分析一直保持着同步发展。大数据的出现打破了这一平衡,数据量的增长比分析能力的提升要快得多。这时就涌现出许多新技术,比如云计算、人工智能等,而这些新技术最终导致的结果又是让数据与分析回归同步发展。当分析技术跟不上数据的发展,就又会有新的技术冒头。数据与分析就是这样相互促进、共同发展。

面对大数据,企业要怎么办?只有不断整合数据,采用更好的计算和分析方法,快速找到有用的信息,并快速做出决策。以前,企业做出一项决策可能要用一个月的时间,现在利用高效的数据分析工具,时间可能缩短到一个小时,甚至更短。企业必须持续提升信息的获取和分析能力,同时实现对数据的治理。另外,企业要跟踪新的技术发展趋势,云计算、区块链等新技术可能会影响到数据分析。

在本次峰会上,Teradata了诸多新产品,概括起来可归成三大类:Teradata推出业内首创的面向混合云的可移植许可模式;升级Teradata客户体验之旅解决方案;可实现计算与存储独立伸缩的IntelliFlex,以及软硬件集成的IntelliBase。

篇7

新技术领航转型

Gartner数据显示IBM连续13年蝉联应用基础架构和中间件市场冠军,同时显示在11个市场门类中,IBM有8个排名全球第一,包括企业级中间件等门类以及移动、社交及云计算相关领域。不仅如此,IBM在大数据分析、移动等领域的表现也可圈可点:2013年IBM大数据分析领域营收高达160亿美金,在企业社交、移动、安全及漏洞管理三大市场占据全球第一的位置。

IBM全球副总裁兼大中华区软件集团总经理胡世忠先生指出:“今天,消费者和企业同处在一个瞬息万变的环境中,企业面临着从‘以客户为中心’向‘客户导向型企业’的转型。在大中华区,我们将着力推进软件在大数据分析、云计算、企业移动与社交领域的投入,利用软件技术的创新智慧,助力企业打造洞察分析体系,实现智慧的转型。”

在IBM《2013年IBM全球首席高管调研报告》中,明确指出技术已成为推动企业变革最重要的外部力量,而以社交商务、移动计算、大数据分析和云计算为代表的新兴技术将推动变革进程。

IBM聚焦核心三大技术

软件在推动洞察分析体系转型、建设“客户导向型”企业过程中发挥的关键作用,它将助力企业把数据作为竞争优势的新基础、充分利用云作为业务增长的引擎、促进以人为中心的交流互动以发现新的盈利渠道。为此,IBM软件集团将在2014年继续为企业提供智慧转型的关键能力:

在大数据与分析领域,IBM拥有40000个全球成功实践、另据权威调研机构Wikibon近期报告表明IBM在70多家大数据供应商中脱颖而出,连续两年大数据市场占有率第一。2014年,IBM将持续升级在大数据方面的投入,一方面将继续深入在金融、电信、医疗、零售、制造等各行业的实践,另一方面增强大数据与分析与云计算、移动、社交等热点趋势的融合,实现认知分析与大数据应用的不断融合。

在云计算领域,IBM构建了最为全面和丰富的云产品及解决方案,为企业提供了100多套业界领先的SaaS产品,以满足企业开展包括营销等在内的各项工作。另据了解,IBM还投资10亿美元构建BlueMix平台,并将在2014年投资12亿美元拓展SoftLayer在全球的数据中心的建设。

篇8

当大数据与软件行业开始紧密结合的时候,全球的软件巨头都将目光对准了数据分析这一热点产业,无论是通过收购网站分析工具商Omniture而向数据分析与营销领域转型的多媒体工具提供商Adobe,还是收购Coremetrics,向数据分析帝国迈进的IBM,都开始在数据分析领域持续发力。

作为本土技术型创新企业,祁国晟带领的国双科技走的是一条自主创新与产品规模化的道路。不同于国外企业通过收购来完成市场布局,也不同于国内互联网企业单纯靠积累渠道、客户来跑马圈地的发展路径,国双科技凭借持续的技术创新和对产品功能的不断拓展,在不到7年的时间内从国内数据分析与营销领域脱颖而出,并成为行业的领导者。

2012年12月18日,在国双科技办公室,脸上带着年轻人特有的朝气与活力,且颇善言辞的80后典型创业代表、国双科技CEO祁国晟接受了《IT时代周刊》的专访,就国双科技创新发展的路径,以及未来市场的发展趋势进行了深入探讨,以期给行业以启示。

当阿里巴巴裹挟着消费者的购物热情在电子商务领域构建自己庞大的商业帝国时,当Facebook凝聚着9亿用户建立世界最大的社交网络地图时,当智能手机、平板电脑等移动设备开始大范围普及并冲击PC时,构成这些发展潮流的每一个“你”是否意识到,你在网上购物,在社交网络上与朋友互动,在手机上点击、下载各类APP应用时的每一个“足迹”都会以数据的形式存储并呈现出来,而且这些数据价值无限。目前这些数据正在呈几何级地扩张,形成一个目前互联网领域最为火热的词汇——大数据。

在大数据时代,任何一家有战略眼光的软件企业都不难想象数据对于软件的发展意味着什么。大数据本身所具有的可追踪、可分析、可量化的特性,为企业通过软件进行在线数据分析和营销提供了可能。数据营销的趋势从多媒体工具提供商Adobe收购网站分析工具商Omniture,向数据分析与营销领域转型,以及IBM收购Coremetrics向数据分析帝国迈进的例子就可见一斑。

与Adobe、IBM等世界软件巨头通过收购来布局在线数据分析领域的做法不同,作为国内最早将数据与软件工具结合到一起的在线业务优化产品与服务提供商,国双科技的成长路径更能体现一家技术型企业的创新基因和壮士断臂般自我求变的魄力。

作为国内最早一批接触互联网的人之一,国双科技创始人祁国晟在高中时就被搜索引擎的强大力量所震撼,并在心中埋下了一颗种子,直到2005年以软件外包起家的国双科技正式注册成立,这颗种子开始随着祁国晟对搜索引擎营销经济价值的认识愈加清晰而开始发芽、生长。在网络营销市场不断扩大的情况下,结合一直做软件业务积累下来的处理大数据的经验,将搜索引擎营销与软件整合到一起,做网络营销和互联网用户行为的数据分析和优化产品,顺理成章地成为祁国晟和国双科技现在为之奋斗的战略方向。

目前,国双科技针对电子商务网站、游戏网站、媒体等拥有在线业务的客户对“精准营销”的需求,所提供的基于外部营销、品牌推广、提高流量、增加销量等不同KPI(关键绩效指标)的数据分析产品和解决方案已覆盖到富媒体、手机应用、视频媒体等整个数字媒体大数据分析行业。客户超过300家,而且以微软、百度、欧莱雅等世界级企业为主,同时国双科技还成为国内唯一入选微软“BizSpark One”全球创新计划的企业。在2011年,国双科技的在线分析业务更是实现了爆炸式的增长,收入猛增10倍以上。

从一家默默无闻的软件外包公司,发展成为目前国内最大的在线业务优化产品与服务提供商,国双科技凭借的是“要比别人做得好,不比别人做得好就不做”的精神,这让它不仅在国内市场所向披靡,而且在与国外强大对手竞争时也能够保持独特的优势,这为市场的后来者起到了很好的榜样作用。

如今,随着搜索引擎、电子商务和社交网络的火热,数字媒体的形式层出不穷,这对国双科技产品的持续创新提出了巨大挑战。但在祁国晟看来,虽然数字媒体的载体、形式、内容在不断变化,但本质上都没有逃出数字媒体的范畴。“国双科技要做的就是不断把数据分析的技术和能力应用到数字媒体的更新换代和发展当中去,让数据分析工具与时俱进,这样国双科技就永远不会落伍。”对于未来,祁国晟充满了信心。

大数据分析的大竞争

《IT时代周刊》:目前国内大数据分析市场存在哪些难题?或者说国双科技在这方面有什么难题?

祁国晟:难题有,第一是市场成熟度的问题。由于中国的大部分企业都还没有进入精细化运营的阶段,而网络营销、数据分析也才刚刚开始,所以与海外市场相比,中国企业对数据分析和营销的接受程度还有待提高。目前选择国双科技的大部分客户还是以已经习惯精细化运营和用数据说话的海外五百强在中国的分公司为主。其实国内的一些新型企业还有很多问题有待解决,我觉得当企业还处于求发展阶段的时候,想不到精细化运营,这是可以理解的,但在求发展阶段,企业对于数据分析应该也是有需求和依赖的,这也是市场成熟度的问题,市场成熟还需要时间。

第二是人才。因为我们公司的特殊性,我们需要高度复合型的人才,这样的人才在市场上比较少,无论是中国的教育还是产业中找到其他人,往往都不是复合型人才。在这种前提下,我们需要自己去培训,同时在找人的时候相对来讲也比较难,这一点也是比较大的问题。我们有时候甚至不得不放弃客户,其中很重要的一个问题就是因为找不到很多合适的人,如果很容易就可以招到合格的服务客户的人,我们就可以给客户提供更好的服务,我们就不会有这样的困惑了。

《IT时代周刊》:在大数据分析领域,国双科技一直坚持自主创新,目前与国外对手的竞争中有哪些优势?

祁国晟:北美的数据分析和营销市场做得还是很好的,但是北美市场在2009年和2011年出现了一轮收购潮,我们最大的竞争对手Omniture和Coremetrics都被更大的公司收购了。淘金的人都想收购一个做牛仔裤的公司,这种情况在美国出现得很多。但收购以后有利有弊,利在那些家伙们更大、更有实力、更有渠道,做起事情来魄力更大,动力也更大。弊在哪儿呢?一般来讲,原有企业创新技术的文化在被收购之后是很难得以保留的。所以,我们认为,他们所获得的优势是短暂的,长期来讲还是独立经营的企业更有优势。另外,我认为中国的市场足够大,外国的东西在中国往往有可能遭遇水土不服,现在这个年代,国家、产业对于知识产权的保护力度越来越强,在这方面我不认为中国人会做得不如外国人,我们还是很有信心的。

《IT时代周刊》:您对未来数据分析市场的发展有什么看法?

祁国晟:现在数据分析领域的竞争越来越激烈,虽然数字媒体的形式变化非常快,但数字营销是不会死的。未来市场对数字营销技术提供商的要求会越来越高,我们要时刻跟着形势,跟着市场趋势走,以提供最新的产品和功能;另外,中国的在线广告业务还有很大的发展空间,肯定有人愿意来分这块蛋糕,我们还是欢迎竞争的,只有竞争,才能更好地存活,我们对自己有这个信心。

不要模仿别人的东西

《IT时代周刊》:一般而言,中国企业中一些新技术的产生往往都是借鉴国外的相关技术和经验,但国双科技却通过自主创新取得了成功,这与软件行业自身的特点是否有关?

祁国晟:其实对于数据分析与营销市场,国双科技是看准了一个“瓷器活”,同时恰好手上又有了“金刚钻”,并不是因为手上有了“金刚钻”才去揽这个“瓷器活”。我们选数据分析这个方向,第一是因为我们有想法,我们的团队最早在做服务的过程中就用过国外企业的工具和系统,我们发现这些工具有很多地方是可以改进的;第二是我们有“金刚钻”,我们以前解决过类似的问题,我们认为软件工具和大数据这两个东西可以结合,而且它们的结合可以解决我们想要解决、别人又没有解决的问题。

对于我来说,我不要做跟别人一样的东西。如果我们花了这么大的精力、代价,我们跟别人做的一样,那些公司比我们强,资金、人力比我们雄厚,现有的客户比我们多,我们怎么可能跟他们去竞争呢?其实软件这个行业是可以后来者居上的,很重要的原因就是互联网行业新技术层出不穷,如果你可以用最新的技术和最新的理念去构建同类型的产品,你的东西就有可能比别人好。这不像传统的工业领域,你做的时间比别人迟、积累的比别人少,你很难做到像别人一样的层次。因为看到这一点,所以我们的出发点和思路就很清楚,我们不要模仿别人的东西。

《IT时代周刊》:国双科技的下一步动作是什么?或者说将向哪个方面努力?

篇9

(1)交通调查和数据处理分析的应用。

大数据技术借助手机信令数据、GPS定位技术、3G通信技术、GIS地理信息系统技术、互联网手机APP等多种数据采集手段相结合辅助入户调查,扩大了调查范围,将调查内容更精细化,数据分析更全面。

(2)改变传统交通管理思路。

目前我国大部分城市的各种交通运输体系管理主体不同,分管于主管部门,涉及部门多,呈条状分割现象,且每个部门有独立的信息管理系统,但这些信息数据只服务于本部门垂直业务,与其他相关运输体系缺乏联动互通,不便于综合交通运输体系的统一管理。大数据可以进行信息集成和组合,有助于建立综合交通管理立体交通信息体系,通过信息集成,将不同区域、不同作业领域、不同体系、不同范围的数据融合,构建综合公共交通信息集成模式,发挥城市整体交通体系功能。

(3)大数据辅助交通规划进行决策。

传统的“四阶段”交通规划模型体系是在城市居民出行大调查的基础上建立的,一般情况下5年进行一次调查,虽然是大调查,但是全民调查的抽样率很低,大概在2%~5%,样本取样困难复杂,没有代表性和时效性,影响了交通预测模型的精度,而大数据技术改变了交通规划中面临的时效性和取样难的问题,利用手机、ipad等移动客户端进行数据采集,可以获取大样本的居民出行数据,根据这些数据,可以很好的对目前城市交通需求现状和未来的发展趋势做出更精准的判断。利用连续实时的大数据系统进行观测分析,可以监测交通规划方案的实施效果,从而将传统的交通规划模式,转变为以实时调控和反馈控制为主线,以城市交通战略调控为核心的新模式,通过对交通系统发展过程的调控,更好的促进促进城市交通的可持续发展。

(4)大数据提升交通预测的准确度。

传统改善交通拥堵的思维模式已经收到土地资源的限制,不符合可持续发展的要求,且规划阶段的数据推算模式已经不符合当前交通形势的发展,大数据信息统计全面且详细具体,利用这些数据可以构建更加合适的交通预测模型,有效的预测未来交通需求,模拟交通运行状态,检验交通技术方案可行性,大数据的快速处理信息的能力,能进行实时交通监控,有效的提高交通预测的水平。

2交通工程卓越人才培养新要求

交通工程专业虽然是从道路工程学科中衍生出来的一门年轻学科,但是涉及面广,具有社会性和自然性俩大属性,具有系统性和综合性两大特性,需要注意的是它的系统性。而智能交通是未来交通系统的发展方向,它集成运用整个地面交通管理系统,全方位,大范围的实时准确高效的建立管理和运行综合交通体系,而这种实时准确高效的综合交通体系只能依靠大数据解决核心问题,随着交通数据分析和信息服务业的发展,交通大数据分析人才市场空缺越来越大,传统的交通工程专业培养的技术人才已经不满通人才市场的需求,所以培养传统交通工程专业技术人才的同时,更应注重智能交通数据分析师的培养。智能交通数据分析师需要同时具备交通工程专业理论、统计分析能力、计算机编程能力和可视化表达等多方面技能,不仅要求能进行数据分析,还要求能通过数据还原交通系统。河南城建学院交通工程专业从2013年开始计划实施卓越工程教育,根据当前大数据背景下智能交通数据分析师需求和河南省卓越工程师人才培养方案的要求,河南城建学院交通工程本科专业培养方案正在进一步调整,目标以交通运输领域行业需求为导向,以培养交通工程优秀后备工程师为目标,以校企合作单位为培养基地、以工程实际项目为载体、以“双师型”队伍为支撑,建立校企联合培养人才的新机制;通过改革培养目标与培养要求,加强校内外师资队伍建设、课程体系建设、实习基地建设、实验室建设、实践教学环节建设,为中原经济区建设和三化协调发展助力。

(1)根据培养目标,改革人才培养方案。

培养过程实行“理论实践理论实践”交替进行的四阶段培养模式,理论阶段在学校进行,实践阶段在行业企业进行。通过行业企业深度参与培养过程,形成一整套以专业技能培养为主线,以强化工程实践能力、工程设计能力和工程创新能力为核心,强能力、高素质、重应用为原则,知识、能力、素质协调发展的交通工程专业人才培养机制。实践环节培养阶段,行业企业主要开展实践类课程的讲授、课程设计,同时开展生产实习、毕业实习和毕业设计环节的指导工作。

(2)加强师资队伍建设。

河南城建学院交通工程教研室现有教师11人,其中教授1名,副教授2名,博士两名,硕士9人,教师的研究方向集中于交通规划和城市道路设计两个方向,不满足当前教学需求,所以教学科研人才引进上,重点引进的方向是交通信息工程及控制、交通数据分析和系统分析等方面具有深入研究的人才。在引进人才的同时,加强现有师资队伍工程实践能力的锻炼,每年至少安排1名教师深入企业,进行工程实践锻炼。

(3)课程体系的改进。

调整部分专业基础课的上课思路,例如将基础课程《交通调查与分析》与《系统分析》相融合,借鉴华南理工大学大数据交通实验室的教学模式,介绍最新的数据采集方法和大数据分析技术。虽然学校的办学条件和实验室建设条件有限,但是接受先进前沿技术和知识的思路是无限的。

(4)实习基地建设。

与河南省21家企事业单位建立长期合作关系,制定校企联合培养方案。并且与交通数据分析和智能交通相关企事业部门进行合作,建立实习基地,安排学生进行专业实习,积极参与企事业单位相关工程项目,在实践中锻炼城市交通问题的分析能力。

(5)实验室建设。

现有的省级高校实验教学师范中心交通工程实验教学中心,目前拥有软硬件设备1500余万元,下设有城市交通研究中心。交通规划与仿真实验室拥有transcad、vissim、aimsun、cube、emme等相关软件,200台电脑,用于学生的上机实验课和相关专业课程设计。现在学院正在积极与专业交通数据调查与分析公司合作,创办联合教学平台。积极筹备大数据交通实验室的建设,邀请北京晶众智慧交通科技有限公司等交通大数据处理分析公司的技术人员来我校为学生做交通与大数据相关报告。

(6)实践教学环节建设。

学生在本科阶段,相关的某些课程设计和实习安排到企业单位进行锻炼。例如,专业认识实习阶段,组织学生到现场实习,培养学生理论联系实际、实事求是、艰苦奋斗的良好作风。通过对实际交通系统的运行状况调查,使学生明确本专业学习的目的与任务,为以后交通管理打下一个良好的基础。生产实习阶段,要求学生深入实践单位参加生产活动,在实习中锻炼和培养自己的动手能力、独立分析问题能力和分析解决工程问题的能力,同时深刻体会到交通工程专业的工作特点,熟悉交通工程的各种技术和管理工作。毕业设计阶段,结合交通大数据课题或实际交通问题进行命题,培养学生综合运用交通工程专业知识、数据分析技能,进行独立分析与解决实际交通问题的能力,为从事交通数据分析工作或研究提供基础。

(7)科技创新。

以全国大学生交通科技大赛为重心,鼓励学生参与实际交通大数据研发项目,开展交通科技文化节系列活动。培养本专业学生科学精神和科学素养、及团队协作精神,促进学生开展学术活动,加强学生交通科技文化交流,促进交通科学和技术的发展,同时以该文化节系列活动为平台,引领交通学院在学风建设和营造创新氛围中发挥其重要作用。目前开展的活动主要有交通科技大赛、交通大智慧、交通知识竞答活动、纸桥承重大赛、交通安全宣传月活动、博士讲堂等,通过这些活动,充分调动了学生的积极性,锻炼了学生的团队协作意识。

3结语

篇10

—— 费埃哲(FICO)首席执行官William Lansing

几周前,当费埃哲(FICO)首席执行官William Lansing参加斯坦福大学有关大数据会议的时候,他发现,业界关于大数据的热烈讨论已经从三个“V”增加到四个“V”,即Volume(数据量)、Variety(数据类型)、Velocity(处理速度)以及Value(数据价值)。而第四个“V”正意味着业界开始关注数据洞察,强调如何获取大数据的价值。“挖潜数据价值正是FICO成立50余年来一直专注的事。我们的核心业务就是分析各种数据,并做出智能的决策。”Lansing表示,“FICO的市值也在近一年来连续攀升,如今已经达到15亿美元。”

1956年,斯坦福大学的几名数学专家创立了FICO,公司当时的愿景就是希望利用数据分析预测风险变量,从而帮助银行控制信用贷款的规模。如今,FICO的分析技术正保护着全球2/3的信用卡业务,仅在美国就帮助各类机构实现高达100亿美元的审批贷款决策,可见其数据分析与预测技术的功底。“对我们而言,大数据也是大机会。”Lansing近日来到中国,并与本报记者分享了他对大数据的观点。

数据分层的价值

的确,如今大数据是个热门话题,但关于大数据的讨论多数还是围绕基础架构层面展开,比如Hadoop等技术。这些讨论多集中在数据存储、数据处理以及实时管理等方面。Lansing透露,即使是在硅谷,很多新兴企业也都是专注在大数据基础架构领域,比如Cloudera,它能够为开源技术提供商业软件级别支持,在大数据领域,就如红帽支持Linux一样,Cloudera 也在支持 Hadoop,议题多围绕在开发技术如何让大数据更易于读取和存储。然而,围绕大数据分析的话题还远远不够。大家都在讨论如何存储、捕捉大数据,但却很少提及客户究竟可以用这些大数据做什么。

其实,无论哪种类型的企业最关心的就是价值,这意味着,企业需要找出大数据中最相关的变量,然后基于这些变量数据进行建模,并基于模型做出更好的决策。这正是FICO的专长:如果数据处理能力无限,我们能不能基于所有数据做出更好的决策?我们能够为这些额外增加的数据量花费多少资金和精力?这些额外的数据对决策是否重要?处理所有数据的投入产出比如何?这样做是否会影响决策速度甚至是准确度?

这一系列问题的核心就是,数据生来就是不等价的。这至少意味着三个关键点:一、总有一些数据是更重要的数据,应该首先去关注这些更重要的数据,并基于这些重要的数据去进行分析和预测;二、数据的重要性有一个顺序,一些数据是我们要优先采用的数据,一些可以作为分析预测的依据;三、与所有的数据源相同,大数据也难免掺杂着虚假的线索、噪音和干扰,这是数据清洗的问题。所以,我们必须要非常智能地来使用这些数据。

Lansing认为:“数据处理是有范围的,我们会关注某些数据的范围,基于这些数据的范围来做出决策,找出那些更为实用的数据。因此,今天我们还是需要更关注于那些有实用价值的数据,这样的数据更多的是结构化数据。”

举例来说,银行机构需要通过所有数据了解他们的客户。这些大数据可能包括很多非结构化的数据,比如文本数据、图像数据,甚至是Facebook上面的数据。如果有一个银行的客户经常喝醉酒,我们是否可以根据他醉酒的频率来进行预测并确定他的信用评分呢?显然,这些数据可能有一定的额外价值,但并非是最实用的数据,而且我们还需要考虑在这些额外的琐碎数据上花费如此多的精力是否值得。如今,无论是美国还是中国的银行机构,都更关注实用的数据,并且采用那些被经验认为具有预测性的数据去进行分析。这些数据可能不见得是大数据中的非结构性数据,但是银行认为它们具有良好的预测性,可以进行分析。

分析方式的改变

大数据时代另一个值得关注的“V”就是Velocity(处理速度),这意味着在大数据的处理方面,不能简单应用传统的数据挖掘技术,数据分析的方式正在发生改变。Lansing也认为,大数据时代同样重要的是速度和效率的提升,客户正从“分批决策”过渡到“即时决策”。

事实上,数据分析大体有两种模型,一种是基于假设的模型,比如说我们要关注那些高价值的数据,关注相关领域的数据,关注那些能够提升效率的数据。

FICO在数据流特征分析领域不断推动创新,尤其是在欺诈防范这一领域。 其反欺诈解决方案模型依靠交易特征,概括了数据在交易过程中的特征,以便计算相关的欺诈特点的变量,而不依赖由此生成的既有数据。

另一种模型就是一种非基于假设的模型。因为,由大数据带来的变化是分析时必须减少对于固有数据的依赖,分析模型将能够根据数据流中的动态数据自我调整。为了应对不断增加的数据流中的动态数据,就需要集中研发自我学习的技术,包括自适应分析和自我矫正分析技术。Lansing相信,这些关键技术将弥补传统方式的不足,甚至将可能在某些领域取代传统的模式。

据悉,现在就已经有一些新兴银行在利用FICO的这种自学习分析方式进行小额贷款。这些贷款并不按照传统的贷款审批模式,而是针对次贷或一些特定的人群随机发放小额贷款。由于采用系统学习的模型方法,小额贷款出现坏账后,相关信息将自动输入系统,以供系统学习,然后再发放更多的贷款,并不断重复进行这个自我学习的过程。

这一做法只是在一个很窄的人群范围内采用,事实上很多大型银行接受这种方式也需要相当长的时间。但是不可否认,这种小额贷款方式可以逐渐补充原有的信贷方式,更好地为客户提供服务。

个性与共性

数据分析和预测的技术有没有可延展性,即能不能从银行业拓展到其他领域呢?实际上FICO对于客户行为的了解,不仅仅局限于银行业,还包括保险业和零售业,这是因为客户行为从数据分析角度看具有共性。

Lansing表示:“比如,在保险行业当中的欺诈行为和银行当中的信用卡欺诈的行为是非常相似的。在营销解决方案方面,很多零售业的用户行为和银行业的用户行为也是非常相似的。同样我们在金融行业的客户管理经验,也可以应用到零售行业。”

FICO擅长于分析一些复杂、困难的问题,而公司声誉也正是基于在金融行业里的优秀表现所建立起来的。因此,FICO除了开展信用评价为核心的业务之外,还开展了应用软件业务,帮助全球金融机构提供诸如巴塞尔合规咨询、账户管理系统、反欺诈系统、催收与资产保全系统、信用评分模型和技术等多方面的产品和服务,为非金融机构提供基于数据分析的市场营销解决方案等,并扩展到利用分析工具帮助客户解决任何分析业务方面。

比如在大数据方面,可以基于零售分析提出营销解决方案。如今,零售市场被细分为很多区域化市场,逐渐走向精细化,某一企业可能会专门针对某一个具体的市场,针对某一特定人群发送电子邮件、短信甚至明信片,来进行个性化的营销活动。因此,整个零售市场的主要特点就是个性化和活动管理。