社交媒体信息动态分析范文

导语：如何才能写好一篇社交媒体信息动态分析，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

大数据下科技信息领域需要解决的主要问题

（1）大数据下科技信息处理的标准化体系研究相比传统的科技信息，大数据环境下的科技信息的来源、类型、内容和数据格式更为复杂，制定和完善科技信息的标准化体系和内容是及其必要的。信息资源的标准化体系是保证信息有效存储、处理、分析和利用的基础和前提。本文认为将依据当前科技信息现状，针对具体领域研究和制定大数据下的科技信息处理规范和建议是必要的。（2）大数据下的科技信息资源的建设方法研究借助大数据技术可实现科技信息的大数据处理与大数据存储，实现多源异构的科技信息完成数据的存储、处理、交换等功能。大数据下的科技信息资源的建设方法研究需要从数据本身和数据的组织两个研究视角出发，分析梳理大数据环境下科技信息资源在建设中面临的难点和关键性技术问题，研究和提出科技信息资源的知识组织系统框架和基本构建方法。（3）大数据下的科技信息资源的分析方法研究结合科技大数据特点，主要利用深度学习技术解决科技大数据的高维数据降维处理问题。研究和探索面向科技信息资源的分析方法，提出不同类型科技信息资源的关联分析、重要性分析、主题演化路径等深层次的信息分析方法和技术，通过系列分析方法和技术研发，解决科技信息资源管理工作中存在的问题，研究方法在实践中进行创新和发展。世界的发展、科技的换代、媒介的延伸以及人文的变更，汇聚成一股巨大的洪流，加速了我们所处时代的变换，人工智能技术已经渗透到各个技术领域，以上问题涉及科技信息的组织和分析，需要人工智能技术的融合，即与人工智能技术的深度融合必将推动科技信息进入全新时代。

人工智能应用于科技信息领域的研究意义和主要研究内容

人工智能为解决科技信息的获取和分析提供解决途径（1）人工智能可拓展获取科技信息的来源。从事智能分析的美国Stabilitas公司的首席运营官ChrisHurst认为：“人工智能可以扩大信息工作的范围，不会遗漏那些有价值的细节。”科技信息同样需要通过各种渠道获取世界各国的同类信息，利用分布式网络爬虫等人工智能技术可获取全世界的开源信息，包括文本和音视频数据。（2）人工智能可加快处理科技信息数据的速度。美国中央信息局肯特学校教信息分析的校长JosephGartin认为：“梳理社交媒体来获得信息并不是什么新鲜事，让人耳目一新的是如今我们收集社交媒体数据的数量之大和速度之快。”海量的科技信息通过人工智能技术可以快速处理亿万比特的数据，从而了解世界各国同类信息或事件，将每天接收到的大量数据转变为能够用于政策和战场行动的信息。（3）人工智能使科技信息的分析自动化、智能化。据俄罗斯通讯社报道，俄罗斯总统普京表示：“无论谁在这一领域中处于领先地位，都将成为世界的统治者。”普京认为：人工智能是未来权力的关键。利用自然语言处理技术、语音识别、图像检索等人工智能技术可以极大的提高信息人员检索有用信息的速度。此外，知识图谱作为人工智能的知识库基础，基于知识图谱可实现分析对象的多维多步自动关联分析，利用深度学习模型可大大提高多因素影响的系统分析，获得更好的信息分析效果。主要研究内容（1）基于人工智能技术的科技信息的知识存储和管理大数据下的科技信息具有海量、异构、跨媒体的特点，其知识存储和管理需要对结构化或非结构化的跨模态数据进行语义智能化计算研究，以为统一语义范畴下的数据查询提供便捷的元数据服务；对跨媒体知识统一组织进行研究，为不同关系结构，不同模态数据的统一存储与管理提供结构基础；同时，需要对跨媒体知识的更新进行研究，为动态的数据存储与多变的业务管理提供支撑。最后，对跨媒体知识检索与查询进行研究，从实际的检索和查询业务角度出发，制定规则，优化性能，提升知识数据被获取时的准确性与高效性。（2）基于人工智能技术的科技信息与知识的深度揭示与聚类加强科技信息资源的多源多模态数据整合关联、信息抽取、不确定推理、机器学习、自然语言处理等人工智能技术研发与应用；利用人工智能技术实现科技信息资源的外在层面的资源整合，资源内在特征的深度聚合，实现科技信息与知识的深度揭示与聚类。通过可视化方式实现科技信息知识（研发技术、研发机构、研发人员等）的聚合、揭示与展示。其中重点利用语义分析技术、词表/本体构建技术、知识图谱技术、大数据分析等人工智能技术，通过可视化方式实现科技信息知识的聚合、揭示与展示；实现对格式各异、内容复杂的数字资源进行深层次的揭示，从资源外在层面的资源整合，深入到资源内在特征进行深度聚合，实现信息与知识的深度揭示与聚类，同时将科技信息知识服务嵌入知识交流之中。技术路线图如图1所示。（2）基于人工智能技术的科技信息前沿技术发现与预警研究前沿技术发现与预警旨在有效指导和开展科技研究，国内外已有研究在信息对象和研究方法上比较单一，信息价值和服务效果受限。科技信息前沿技术发现与预警研究应更强调面向信息源的全面收集、处理、分析的一定程度智能化生产过程，更好的感知非完备信息，辅助信息用户把不确定性预测变成更确定性预测。研究将不同类型的信息源进行整合、融合，多维度的分析科技前沿技术特征，从不同角度实现有价值信息的综合叠加和映射，从中发现、分析和描述科技前沿技术问题，为科技领域专家实现科技前沿的准确辨识提供服务，实现有效的技术预警。技术路线图见图2所示。

基于人工智能技术的科技政策动态分析平台设计

科技政策动态分析脱离原有人工分析为主的模式，而借助技术手段进行辅助分析是时展的必然趋势，海量数据的现实对情报分析方法的冲击不可避免。技术参与的目的是提高人工分析的效率和质量，采用技术辅助手段是可以做到事半功倍的。基于人工智能技术的科技政策动态分析平台的目的在于如何利用技术手段提供获取情报数据、情报多维分析能力和自动生成可读性的分析报告的能力，帮助提高人类思维的效率。1）科技政策动态信息监测科技政策动态信息监测主要采用网络信息的监测方式，只有在有效采集网络信息的基础上才能进而实现具体内容分析与信息服务。信息监测是对互联网上共享的科技政策资源进行提取、解析、收集和存储等的过程。科技政策动态信息监测的一般框架可由图3表示。科技政策动态信息监测系统的层次模型：表示层，业务逻辑层和数据访问层。数据访问层：连接数据库，执行插入和查询等操作。主要是用数据集访问。业务逻辑层：调用数据访问层的方法然后返回结果给表示层。表示层：获取表单的数据，然后调用业务逻辑层的方法处理数据，然后根据结果显示相应的数据。科技政策动态信息监测的系统框架：系统分为数据层与应用层两个层次。其中，数据层为整个平台提供数据支撑，包括监测站点、情报、文章、等基础信息数据，以及用户信息、日志信息等数据。应用层主要提供站点管理、信息服务、编辑撰文三大功能模块，为用户使用系统进行信息检索、筛选、浏览、定制、撰文等提供服务，同时也为管理员进行系统管理、任务分配、成果组织等提供相应接口。具体系统框架如图4所示。

篇2

IBM是什么？蓝色巨人？一群技术极客组成的公司？

IBM现在告诉你，他还要帮助你做营销。“IBM还是个Nerd（书呆子），但我们要把科学引入营销艺术。”IBM企业营销管理集团（EMM）副总裁李有群在接受《成功营销》独家专访时这么说。

好莱坞式传奇

在技术派当道的IBM管理层中，李有群表现出难得的风趣。“我很想在大家面前说中文，但是有很多专业术语实在不知如何表达。”首次在中国媒体前公开亮相，李有群这样调侃自己。即使中文不是很好，对数字有绝对的敏感，在演讲过程中多次核对、纠正同声传译者对几个数据的说法。

这种敏感，除了职业、专业使然，是否还源于在拉斯维加斯靠脑袋挣钱的过去？

李有群可以说是一位天生的企业家，进入IBM之前，拥有一连串的创业经历。高中时就创办了他的第一家软件公司，还是提供营销解决方案的公司Unica的创始人。Unica曾是IBM的供应商，其在营销方面的创新举措被IBM看中，于2010年和Coremetrics一起被IBM花30亿美元收购，这才有了之后的EMM――2010年6月组建的IBM企业营销管理集团。李有群现在仍兼任Unica品牌的首席执行官，酝酿着其他收购计划。

在麻省理工学院上学期间，李有群一度每个周末都混迹于拉斯维加斯的赌场。周五晚上飞过去，周六晚上回学校。不过，那个时候李有群并不是沉迷赌博。他曾是该学院传奇组织“21点”小组的一员。“我们是算牌，不是赌博。”李有群说，“那就像一个真正的公司在运作，整个团队有35个人，每年的业绩都是成倍增长。”

这段赌场疯狂故事后来被拍成了好莱坞电影《决胜21点》。虽然李有群认为电影并不很真实，过于戏剧化，但仍不失为一段值得说道的经历。

步入职业经理人生涯

除了Unica，IBM还收购了另一家软件公司Coremetrics。Coremetrics偏重于网络分析，而Unica偏重于端到端的市场营销管理，新组建的EMM企业营销管理集团旨在提供营销解决方案以及为面向业务营销主管的销售活动提供保障。李有群负责管理的就是这么一个隶属于IBM的行业解决方案部门，他要离开创业生涯，进入职业经理人领域。

从智能手机到社交网络，再到网络电视，林林总总的新技术改变了人们的消费方式、购买方式以及企业与个人的互动方式。互联网的功能在不断外延、扩大，并通过社交网站、移动终端等，提供了更多的关联。以前网络内容主要是由媒体提供，而现在消费者可以通过微博、播客等各种各样的渠道提供他们的想法，为网络提供内容。在这一过程中，营销模式也在迅速演变。如今的消费者变得很强势――他们可以在合适的时间以合适的价格购买他们所需的商品。当他们凝聚到一起，可以很轻松地捧红或者毁掉一个品牌。

“2010年在美国，网上由消费者提供的有关产品的信息达到了约5000亿条。企业必须从以产品为中心变为以客户为中心，赢得客户，保留客户。”李有群说，“营销的目标就是激发需求，产生更多的潜在客户，为公司的品牌进行服务。”

消费者的信息和需求如何获得？在先后收购了Unica、Coremetrics之后，IBM全面发力进军营销技术市场。IBM将EMM部门作为“智慧商务”（Smar ter Commerce）计划的一部分，融合IBM全球的技术与服务资源，将为市场带来更广泛的营销功能以及其他的职能支持，从而帮助企业创建以客户为中心的业务。“我们要把科学引入营销艺术，利用技术、利用数据，将营销艺术的想象力、创造力和策略规划做得更好。”

IBM的EMM解决方案帮助企业在计划及预算、人力及流程、数据及资产和衡量及业绩几个层面推动实际市场营销价值。通过部署EMM解决方案，将帮助提高在线转化率、增加市场活动、提高客户重返率、减少市场周期/提高效率、精准定位广告提升业绩、改善市场活动质量等。

“这是更为一体化的服务，EMM解决的是所有端到端的问题。”在李有群设想下，CMO应该不需要从一个软件跳到另一个软件，不需要好几家甚至几十家供应商，而需要一个整合营销方案供应商。

开拓中国市场

李有群的这次公开亮相，甚至动用自己的个人传奇经历吸引目光，就是为了带领EMM拓展中国内地市场。

“我们在中国内地才刚刚开始，但是在美国、欧洲，以及亚洲的新加坡、泰国、印度和台湾地区，都有很多公司在用EMM的解决方案。”即使在中国是从零开始，李有群当然也懂得榜样力量的重要性，他借助欧洲最大的金融服务机构之一――ING荷兰国际集团的案例来说明。

金融机构如果只采用单一渠道与客户沟通，其运行时间点和客户需要的时间点肯定是有差异的。比如，客户希望的是他们在想要找到银行的时候就能立即实现，但实际上他们只能跟着银行的时间转。ING意识到这一点，并且希望提高营销活动与客户的相关性。

所以，ING就在EMM解决方案的帮助下这样开始改进：运用公司网站、邮寄信件、电子邮件、电话中心和分支机构等多种渠道分别与客户进行沟通，并运用这些渠道分析收集客户的交易信息，包括他们的一些上网行为。通过对这些数据进行动态分析，ING就能够了解客户下一步的行为，比如他可能需要的服务和产品是什么，他有什么投诉或建议等等。这些信息都存在EMM提供的中央决策服务器里，当这个客户出现在ING某个分支机构或者是登录ING网站时，针对这个客户的定制服务或者是产品就可以自动出现。同时，在与客户沟通的时候，会出现之前收集的与他相关的数据信息，由此做出相应的反馈。

篇3

关键词：敏捷物流；大数据；现代物流技术

中图分类号：F253.9 文献标识码：A

Abstract： In the era of big data， logistics service enterprises are facing greater challenges， they also have a better opportunity at the same time to analyze the characteristics of the modern agile logistics. In the context of different information technology， the operating mechanism of agile logistics is different， and the new content and new direction of agile logistics is studied. The operation mechanism of the traditional agile logistics is analyzed， and the operation model of agile logistics based on the large data information is constructed. From the traditional agile logistics system to a diversified， open， efficient extension of development， enrich the concept of agile logistics. The construction of agile logistics operation model provides a practical significance for the logistics practitioners and the new era of logistics service enterprises.

Key words： agile logistics； big data； modern logistics technology

0 引 言

敏捷的起源要追溯到1991年，当时美国的Lehigh大学联合国内13家公司共同撰写了名为《美国21世纪制造企业战略》的报告，在这份报告里首次提出了敏捷制造（Agile Manufacturing）和虚拟制造（Virtual Manufacturing）的新概念[1]，在此后的几年里，敏捷制造被广大学者和从业人士广泛研究，研究的成果也得到了广泛应用。2000年，美国斯坦福大学全球供应链管理协会在敏捷制造及相关概念的基础上，构建了全球供应链敏捷性模型，从产品开发柔性、采购柔性、制造柔性和后勤柔性四个方面分析了全球供应链的运行模式，并讨论了四个柔性因素对敏捷供应链的影响[2]。

在此后的几年里，学者们将敏捷的含义进行了广泛的拓展，从敏捷供应链到敏捷物流。敏捷供应链在国外得到了更广泛的研究，而敏捷物流在国内得到了相对广泛的研究。至于敏捷供应链，南开大学的王玲等对敏捷供应链的研究做了总体概述[3]，在此不再赘述。武汉理工大学的王洪波对敏捷物流系统的构建及运行方式进行了深入的研究[4]，华中科技大学的刘小群、马士华对敏捷物流的运作技术与方法进行了深入的研究[5]，大连海事大学的王惠等对敏捷物流的配送问题进行了动态分析[6]。目前，在国内大数据一直是研究的热点，大数据和敏捷物流结合的研究还很少见，而在IT行业的热度却一直未减。

1 大数据对敏捷物流的影响

大数据字面理解就是大量的数据，这个大量也就是巨量，其规模超出了在可承受的时间范围内用常规软件工具进行捕捉、管理和处理，还有利用。维克托・迈尔―舍恩伯格和肯尼斯・库克耶在其有关大数据的著作中明确预测是大数据的核心，量化一切是数据化的核心，把一切事物数据化[7]。 在今天，大数据是研究的热点也是商业应用的主流元素之一，大数据在先进的物流服务公司也有着一定的运用，如顺丰速运公司利用大数据管理客户的订单，从客户拨打客服电话要求派单时，顺丰速运的数据库就开始记录和运作这个订单。

近年来，人们越来越重视到大数据的价值，大数据可以被广泛使用，人们迫切地想把相关的数据转换成有用的资源优势。大数据对各行业都有一定影响，大数据对物流行业有着深刻的影响，它体现在以下几个方面：

（1）寻找优质的服务提供商更有效

当一个客户需要寻找物流服务提供商时，他可以利用大数据平台来找到最适合自己需求的物流服务提供商，他还可以利用大数据对该公司过去的服务情况进行分析，以此来获得更好口碑，更高可靠性的业务信息。

（2）订单效率大幅度提升

大数据可以更高效地完成订单，不需要复杂的手续，通过电话或网络传输必要的基本信息之后，就可以足不出户实现配送需求。

（3）配送运输效率大幅度提升

当一个订单生成时，大数据可以帮助选择最优的配送路线，如果是多个仓库内提货再配送，大数据还可以分析在哪个仓库提取哪些物品以及提取的数量。这些会更加快速地完成订单的准备工作以及订单的配送运输。

（4）仓储管理更高效

通过大数据可以分析出仓库中哪些物品达到了最低库存水平，可以根据相应的数据信息来预测某些物品的未来几个月的趋势，甚至可以直接向上游供应商下订单。

敏捷物流的灵魂是更高效率，更高质量满足客户的需求，更低成本来提高企业的收入。通过对比普通物流服务模式，大数据对敏捷物流的影响更为重要，因为大数据直通敏捷物流的核心。通过先进的技术手段来实现敏捷物流是当下更为迫切的事情，而大数据时代的来临是敏捷物流发展的春天。如图1所示，物流供需两方通过大数据平台实现敏捷物流的运行。

2 大数据驱动下的敏捷物流运行分析

2.1 大数据的挖掘、处理与储存

大数据的挖掘就是针对在普通的数据挖掘技术基础之上发展起来的特定的挖掘技术，它可以满足对海量数据的抓取以及临时存储。大数据挖掘通过设定的计算算法搜索相应的信息，它与计算机科学、统计科学、人工智能和模式识别的搜索算法、信息论、信号处理等学科紧密相联。在进行大数据挖掘的时候首先要有一个挖掘的原始数据范围，然后根据设定的算法进行选择数据，选择好数据之后就要进行预处理，把数据的结构转换成可存储的统一的结构，然后再根据设定的特定的算法进一步对预处理后的数据进行挖掘，进行存储或者分析和同化。大数据挖掘常用的算法有Apriori、K-means、pagerank、Adaboost等，在运用这些算法的时候也会用到关联规则。所谓的关联规则就是两个或两个以上变量的取值之间存在着或近似存在着某种规律，可以分为因果关联、时序关联以及简单关联三类。数据的关联规则是数据库中存在的一类重要的潜在可被发现的信息，这些信息往往有着很高的利用价值。如图2所示，一个大数据挖掘的模型图。

挖掘了数据之后还要进行处理，也就是通常所说的数据清理或数据清洗。数据清理可通过分类、相关性分组、聚类、复杂数据类型挖掘等纠正数据库中可识别的错误，包括检查数据一致性，处理无效值、缺失值以及重复值。通过对数据的处理，可以构建基础的可靠性比较高的数据库，为后面的数据利用做了有效的铺垫。

得到了大数据之后，接下来就要进行存储。据预测，到2020年全球以电子形式存储的数据量将达到近35ZB，是2009年的40倍之多。根据IDC的统计，2010年底全球已经有了超过120万PB的数据量了。这么巨量的数据很难用物理的存储设备来进行集中存储。所以，在实际运用中对数据的存储可分不同地点进行分类存储，或者寻求专业的数据管理公司进行存储，也可就某公司的具体业务相关数据进行存储以备使用。

2.2 根据储存的大数据实现更高效的敏捷物流

敏捷物流系统是一个相对复杂的系统，它在运行的过程中有着很强的动态性，而且它还涉及了不同组织之间的信息、资源等元素的交互与协调。敏捷物流运行的评价指标就是快速、及时、可靠性、成本等关键要素，根据这样几个要素进行评判所构建的敏捷物流系统的优劣是有一定科学依据的。有了稳定的敏捷物流系统之后，再结合大数据及相关技术手段，可实现敏捷物流的高效运转。对物流服务提供商来说，更高效的服务也就意味着更丰厚的回报。例如，全球著名的邮递和物流集团 Deutsche Post DHL旗下公司DHL公司，它是国际快递和物流行业的全球市场领先者，它提供快递、水陆空三路运输、合同物流解决方案，以及国际邮件服务，目前在中国大陆地区有快递服务、电子商务、货物运输和供应链方案四种服务模式。DHL公司的国际网络将超过220个国家及地区联系起来，全球员工总数超过31.5万人。在2015Teradata大数据峰会上，DHL公司做了“DHL的数据科学―迅速了解成本并拉动利润率增长”为主题的分享活动。DHL公司积极面对大数据浪潮，把大数据及相关的技术应用于对物流风险的管理，从而可以为客户提供更优质的服务，并推出了相应的解决方案Resilience360。Resilience360已经得到了DHL公司客户的一致认可，并为用户创造了价值。全球最大的底盘与传动技术提供商德国采埃孚（ZF）集团在生产拖延的情况下，为保证客户交货日期，公司会采用空运的方式交货，每年ZF需要进行1万余次这类特殊情况空运，涉及55个国家。在传统的物流运输模型中，此时的成本很高而且意外的风险也很大。当Resilience360出现后，它可以很好地帮助ZF集团对供应链环节各种潜在风险进行可视化管理，使管理层有直观的方式了解和控制可能的潜在风险点。Resilience360系统对涉及ZF集团的500余个站点和167个机场进行风险评估，生成风险评价报告，甄别出若干个高风险机场，并根据风险程度规划应变方案。此外，Resilience360系统还根据ZF集团对新兴市场（中国、印度、巴西等）的战略规划和运营状况进行优化，减少空运成本支出。通过对非结构化的数据进行大数据技术处理，并识别潜在的供应链风险，DHL公司在大数据应用原理并不算特别复杂，但有效地提高了客户的满意度，同时也塑造了其物流服务的个性化和差异化。

为了使客户更有效地进行供应链管理，降低或者避免风险，物流服务提供商必须做到：首先要建立一个模型包括描述供应链所有因素及其关系的拓扑图，然后持续监控对供应链的绩效产生影响的各种因素。为达到这个目的，物流服务提供商要从社交媒体、历史信息、综合新闻、天气预报、股市等公开的海量信息中抓取有关地区政治、区域经济、卫生、自然环境等数据，然后对这些数据进行整合与分析。

2.3 敏捷物流运行模型

敏捷物流运作的基本原理就是在控制成本的前提下进行供应链整体物流响应时间的压缩，也就是物流服务提供商在获得客户订单或预测到客户订单后，通过一系列的相关运作，可能包括原材料的采购、原材料的加工、仓储管理和运输等环节，最后保质守时的交到客户手中。敏捷物流在时间方面的控制，需要供应链各节点在物流、信息流、资金流等方面进行集成整合，其中集成整合的运作是最为关键，也是最难以实现的重要因素[8]。如图3所示，结合大数据的敏捷物流运作模型。

在实际运用中，敏捷物流在不同的行业还是有所区别的，例如，针对冷链物流和普通物流就有着很大的不同。此外有的企业是自营物流，而企业本身的核心业务在于生产，此时的敏捷物流运行模式也是有所不同的。针对第三方物流服务提供商来说，敏捷物流的发展有更大的空间，敏捷物流的运行也有更高的可行性以及可靠性。

3 研究总结

研究了大数据驱动下的敏捷物流的运行机制，结合大数据的特点和敏捷物流的特点实现敏捷物流的服务。在国内，敏捷物流的发展还很不完善，而且从地域上来看也很不均衡，东部沿海地区与西部欠发达地区存在着比较大的差距。如何在国内实现敏捷物流，对物流服务企业来说不应该是盲目的扩大服务点或其他硬件设施，而是应该利用现代科学技术实现自身的飞跃发展。大数据对敏捷物流的帮助是有目共睹的，很多企业也实践了这一点，例如亚马逊（Amazon）公司预判顾客可能会下的订单，并做好仓储准备，甚至可以在顾客下订单之前就将货物送到顾客手中。如何利用好大数据是未来的重要研究方向，目前云计算科学技术的发展也很迅速，结合云计算和大数据的研究，如果可以应用到敏捷物流的发展中将会极大地促进服务效率的提升。

参考文献：

[1] Kidd P T. Agile Manufacturing： a strategy for the 21st century[C] // In Agile Manufacturing （Digest No. 1995/179）， IEE Colloquium on， Coventry： IET， 1995：1-6.

[2] Patty Swafford， Soumen Ghosh， Nagesh Murthy. A Model of Global Supply Chain Agility and its impact on Competitive Performance[C] // Stanford Global Supply Management Forum Working Paper， 2000.

[3] 王玲，吕坤. 敏捷供应链研究综述[J]. 物流技术，2010（2）：169-171.

[4] 王洪波. 敏捷物流系统构建及运行方式研究[J]. 武汉理工大学学报（交通科学与工程版），2011，35（4）：817-820.

[5] 刘小群，马士华. 支持快速客户响应的敏捷物流运作技术与方法[J]. 科研管理，2007，28（2）：152-159.

[6] 王惠，符策，陈燕，等. 复杂信息条件下敏捷物流配送问题的动态分析[J]. 系统工程，2005，23（8）：31-35.

篇4

①大数据分析

②大数据可视化

③BI商业智能分析

④大数据检索

⑤产品大数据分析

⑥大数据预测、咨询

⑦大数据服务支撑平台

⑧机器学习技术

“大数据分析、可视化及BI领域——

虽然这三个领域在功能及应用范围上各有千秋，但实质上可以说是相辅相成：通过大数据的基础分析工具，研究人员可以获得数据内部的逻辑及结果表现，但通常这些结果过于复杂并缺乏合理的表达形式，使数据科学家及企业的管理者无法快速领会并对经营活动进行调整。

因此大数据的可视化方案应运而生，多数可视化方案都作为数据分析工具的延伸而存在，但也有少部分公司另辟蹊径，采用非传统方式将数据的可视化更加贴近需求。BI则是大数据分析和可视化与业务场景的结合，作为企业内部管理工具，使企业的价值有了极大的增长，成为了大数据应用领域重要的一环。

{ 1 }大数据分析领域，在朝向易用、简单化发展

大部分大数据分析企业的现状，可以说是将数据的分析、可视化及数据的采集、治理、集成进行了一体化，以大数据的分析平台形式存在。例如Fractal Analytics除了具备数据分析功能外，还提供自动化数据清理及验证服务，能够返回标准化的结构化数据；Voyager Labs则能够实时采集、分析遍布世界各地的数十亿个数据点，帮助用户进行预测。

上述典型公司主要面向大型企业进行定制化全流程服务，客单价有时高达千万美元级别，例如Fractal Analytics的客户就包括飞利浦、金佰利等大型公司，其高昂的价格及服务令小型企业望尘莫及。

但随着大数据技术的逐渐普及，SaaS化的大数据分析服务将是一个明确的发展方向，而其使用门槛也将大幅降低，从而将大数据分析的能力逐步赋予给中小企业，以真正的实现其基础资源的价值。同时确保企业数据安全的数据脱敏、数据保护市场也会随着SaaS化的到来而逐步拓展出新的市场空间。

目前大数据技术简化、低成本、易用的趋势已经在部分公司的产品策略上有所体现，例如大数据分析公司Domino的产品让数据科学家只需专注于自己的分析工作，而不用关注软硬件基础设施的建立及维护，Datameer更进一步开发出的产品屏蔽了复杂的大数据分析底层技术，通过类似电子表格的可视化数据分析用户界面，让企业的员工能够快速上手使用，RapidMiner Studio可零代码操作客户端，实现机器学习、数据挖掘、文本挖掘、预测性分析等功能。

在大数据分析能力普及的同时，提升数据分析性能、优化数据分析结果的技术研发也在快速进展中。例如SigOpt通过自主开发的贝叶斯优化(Bayesian Optimization)算法来调整模型的参数，获得了比常见的网格搜索(grid searching technique)解决方案更快、更稳定、更易于使用的结果，目前SigOpt的产品不仅可以让用户测试不同变量，还能够提供下一步的测试建议，以帮助用户持续优化改善数据分析结果。

令人感到欣喜的是，在大数据分析领域还存在着一些颠覆了传统数据分析理论，采用独特方式方法进行数据分析的公司。这类公司的技术对传统数据分析方法进行了很好的补充，在特定领域有着成功的应用。

这类公司中的典型之一是由三位全球顶尖的数学家创立的Ayasdi，它利用拓扑数据分析技术和上百种机器学习的算法来处理复杂的数据集，不仅可以有效地捕捉高维数据空间的拓扑信息，而且擅长发现一些用传统方法无法发现的小分类，这种方法目前在基因与癌症研究领域大显身手，例如一位医生利用Ayasdi的数据分析技术发现了乳腺癌的14个变种，如今Ayasdi已经在金融服务和医疗保健行业中获得了相当数量的客户。

{ 2 }可视化技术，逐步实现了自动化、智能化

大数据可视化是连接数据分析结果与人脑的最好途径，因此可视化技术的高低也成为了左右大数据企业获客能力的重要因素。目前可视化的发展方向同大数据分析一致，都是朝着简单、自动化、智能的方向在努力。

典型企业如Alteryx是一个提供一站式数据分析平台的初创公司，旨在让用户在同一个平台上完成数据输入、建模以及数据图形化等操作，将数据运算与精美的图像完美地嫁接在一起，并能够和SAS和R语言一样进行数据的统计和分析。

通过可视化帮助用户实现真正的管理能力提升也是重要的功能之一，德国大数据公司Celonis通过流程挖掘技术，从日常记录中提取数据、发现关键因素，并最终揭示公司在业务中的执行情况，能够帮助客户公司提高30%的工作效率。

发展到如今，可视化技术已经不局限于传统的分析结果展示，而是能够直接转换文本、图片等非结构化的数据并直观展现，例如Quid利用机器智能读取大量文本，然后将该数据转换为交互式视觉地图，以节约过去通常会耗费在阅读检索中的大量时间。Origami帮助营销人员将CRM、社交媒体、邮件营销和调查报告等跨平台的数据整合并进行有效分析，使其简单化、直观化、视觉化，人人都能够高效实用。

同时数据分析及可视化对硬件应用的革新也在进行中，开发GPU关系数据库服务的Kinetica获得了5000万美元A轮融资，采用同一技术路线的MapD也已经能够做到比传统计算内核快100倍的速度对大数据进行查询与可视化。

{ 3 }BI技术摆脱"鸡肋"，实时便捷普惠政企效率提升

BI技术的发展已经有了较长的历史，但由于技术因素此前一直被限制于企业内部采集与应用，实际发挥的效果有限并且使用率不高。如今在数据采集与应用范围普及与大数据分析、可视化技术的推动下，通过数据仪表板、智能决策等方式提升企业运营效率利器的BI再次获得了资本市场的青睐，Tableau作为BI的代表性企业已经顺利IPO目前市值超过48亿美元，另一家代表性企业DOMO估值也达到20亿美元，成长速度远超传统商业软件公司。

相比于可视化技术，BI更偏重于实际的应用，通过模板化、SaaS化及去代码等方式，BI应用范围不再局限于数据科学家及企业高管，可预见未来企业内部每个员工都可以通过BI工具获知自己及所处部门的各项数据，并能够有针对性的改进工作方式与方向。

已经累计融资1.77亿美元的Looker令用户能够使用自然语言进行查询，降低了查询大型数据集的门槛；GoodData为企业提供大数据分析SaaS服务，其所有的数据分析服务实现了100%云化，企业可以将公司已有数据导入GoodData的云平台，再对数据做跟踪、切分、可视化、分析等处理。

BI领域一个有意思的应用案例是Qlik公司的产品受到了中国海关总署的高度赞扬。海关总署每天都需要进行庞大的数据分析，Qlik则通过图形化数据展示，使海关管理人员不再受平台和时间的限制，能够多视角长跨度的分析，实现了对于现有海量数据的业务的快速展示，极大地促进了稽查效果。

“企业大数据检索、产品大数据分析、大数据咨询预测、大数据平台及机器学习领域——

企业大数据检索能够充分挖掘并释放企业数据的潜力；产品的大数据分析使用户行为成为了产品设计与运营环节的重要参考因素；大数据技术与咨询业务的结合则对咨询行业形成了很大的影响，数据技术导向的咨询业务将极有可能成为未来行业的主流选择；大数据服务支撑平台类企业则为大数据技术的普及和实用化做了很大的贡献，是大数据技术生态中不可或缺的一环；最后是机器学习，作为大数据分析的底层技术方法也逐渐开始得到广泛应用。

首先将企业大数据检索、产品大数据分析、大数据咨询预测、大数据平台和机器学习这五个领域的典型企业列举如下，接下来将分版块进行详细介绍。

{ 4 }企业大数据检索

移动互联网的普及与SaaS服务的兴起令企业沉淀的数据量呈指数级上升，但目前对企业数据价值的挖掘仅仅停留在较浅层面，真正的大数据分析能力还尚未应用。因此如何做好企业内部数据信息价值的发掘成为了关键的第一步。

提升企业数据挖掘检索能力，并将检索的技术门槛降低的典型企业有Algolia，目前其产品具备关键字输入智能容错功能，并提供搜索排名配置，能够让普通员工也能按需要找到自己所需的数据信息。同时Algolia还为移动设备提供了离线搜索引擎，其C++ SDK可以嵌入到应用服务器端，这样即便没有网络连接应用也能提供搜索功能，适用范围很广。

而在SaaS化服务兴起的同时，企业采用多种软件导致内部数据不联通而形成了数据孤岛。根据互联网女皇Mary Meeker的分析，不同行业的公司平均使用SaaS服务的数量从最低25个至高达91个，需要跨平台数据检索分析服务。Maana开发的数据搜索和发现平台Maana Knowledge Graph，其长处便是收集来自多个系统或者"孤岛"的数据，并将其转换为运营建议，可广泛应用于多个行业。

{ 5 }产品大数据分析

产品大数据分析相对其他应用来说关注度稍低，但其能够发挥的功能并不少。通过收集用户的浏览、点击、购买等行为，不单从宏观上能够察觉用户群体的喜好变化提前应对，微观上还能够构建用户画像，从而做到定制的产品推荐与营销，能够有效的提升用户的消费水平与满意程度。

Mixpanel便是一家提供类似产品的公司，其让企业用户跟踪用户的使用习惯提供实时分析，其产品有用户动态分析(Trends)、行为漏斗模型(Funnels)、用户活跃度(Cohorts)及单用户行为分析(People)等几个模块，全面的覆盖了可能发生的用户行为与场景。

{ 6 }大数据咨询预测

如今大数据技术的发展为事件分析和预测提供了可能，并且准确度和处理速度已经具备了很大竞争力，传统咨询公司的处境类似于现在面对AI威胁的华尔街分析师，或许不久之后就将会被替代。因此随着逐渐出现大数据咨询公司的同时，传统咨询企业也纷纷与大数据技术公司合作，甚至成立了自己的数据业务部门。

Opera Solutions便是一家依托大数据分析的咨询公司，其创始人是咨询行业资深人士，曾创办了商业咨询公司Mitchell Madison和Zeborg。

目前Opera致力于金融领域的数据分析类咨询，通过建模、定量分析给客户提供建议，解决客户的商业问题。例如其计算机系统可以一次性采集数十亿条数据，包含从房产和汽车价格到经纪账户和供应链的实时数据等，通过分析从中获得有关消费者、市场和整个经济体系将如何行动的信号或见解。其客户包含了咨询机构及花旗银行等公司，最近还为摩根士丹利提供了帮助经纪人团队给其客户提供投资建议的业务。

新技术、机器学习与咨询预测行业的结合，相比于仅使用大数据分析技术能够获得更好的效果，也成为了行业内的一个小热点。例如基于社会物理学原理的Endor能够依托少量数据生成统一的人类行为数据集，并比传统海量数据分析方式更早的做出模式识别与判断。在甄别facebook上受ISIS控制的账号的实验中，根据已知少量ISIS账号特性，Endor高效分辨出了新的ISIS疑似账号并且准确度令人满意。

{ 7 }大数据服务支撑平台

目前围绕着大数据技术与大数据产业生态链发展的，还有许多是平台服务型的公司，这类公司具备一定的技术水平，但主要通过服务大数据技术公司及科研人员而存在，是技术生态中不可或缺的一环。

Dataiku创建了一个云平台，旨在使数据科学家和普通员工更容易获得公司收集的大数据，并通过机器学习库缩短了专家以及数据分析师所需要的时间。

Algorithmia的平台上提供包括机器学习、语义分析、文本分析等通用性算法，一旦用户找到想用的算法，只需添加几行简单的算法查询代码到应用中，Algorithmia的服务器就会与应用连接，避免了开发者的重复劳动。

目前部分向开发者社区业务发展过渡的平台型企业，因其资源已经得到行业巨头的青睐，被Google收购的Kaggle便是一例，通过举办数据科学周边的线上竞赛，Kaggle吸引了大量数据科学家、机器学习开发者的参与，为各类现实中的商业难题寻找基于数据的算法解决方案。同时Kaggle为其社区提供了一整套服务，包括知名的招聘服务以及代码分享工具Kernels。

{ 8 }机器学习

机器学习，是模式识别、统计学习、数据挖掘的技术手段，也是计算机视觉、语音识别、自然语言处理等领域的底层技术，在附件的介绍中大家可以看到，微软Azure、Google云平台及AWS都推出了自己的机器学习产品，而众多的机器学习创业公司则通过提供有特色的技术或服务进行差异化竞争。

已累计获得了7900万美元融资的Attivio专注于利用机器学习技术通过文本进行情绪分析，提供有监督的机器学习与无监督机器学习两种技术，帮助企业通过识别企业语料库中的文档进行情绪建模与分析。思科通过Attivio的智能系统令销售人员能够在与客户合作时依据对方的情绪、消费能力等数据推荐合适产品，从而节省了数百万的销售运营费用，同时节约了销售团队15-25%的时间。