大数据挖掘在煤炭企业安全管理中的运用

导语：大数据挖掘在煤炭企业安全管理中的运用一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

摘要：从大数据环境下煤矿企业安全管理面临的挑战出发，应用大数据挖掘技术构建了煤炭企业安全管理体系结构。实现了数据的集中分析和深度挖掘，提升了信息利用的深度和广度，是对大数据时代煤炭企业安全管理的有效探索。

关键词：大数据挖掘；安全管理；煤炭企业；信息

煤炭企业安全管理在煤炭生产中占有重要地位。然而，煤矿安全事故涉及多参数、多目标、海量复杂的信息，如何及时、准确、有效地识别影响煤炭安全生产事故隐患、提升煤炭企业安全管理是当前研究和关注的热点之一。伴随大数据时代的到来，大数据挖掘逐渐渗透到各个领域，各行业纷纷加快大数据的应用规模，提升企业的竞争力。在此背景下，煤炭企业安全管理也应将关注点转向大数据，提升信息利用的深度和广度，对大数据时代煤炭企业安全管理进行创新式探索。

1大数据挖掘概述

（1）大数据大数据是指数据量超过传统数据库系统处理能力、数据规模和传输速度要求很高的复杂数据的集合。大数据的特点可概括为4个V，即Volume（体量大）、Variety（多样化）、Velocity（生成快）、Value（价值大）。大容量是指需要进行分析处理的数据量非常浩大，使用传统的数据处理工具往往不能在合理的时间内处理成预测趋势和指导决策的信息；多样化是指大数据包括来自不同领域、不同设备、不同平台的各种类型数据；快速化是指对数据获取、处理、分析和应用快速；高价值则是指挖掘出的知识对预测趋势有重要作用，是指导决策的重要依据。大数据的特点表明，大数据有助于发现新事物、预测事物发展趋势，也决定了原有的数据处理方式已不能适应大数据挖掘的要求，需要新的处理技术来有效地组织和使用大数据。（2）大数据挖掘技术大数据挖掘目标是将大容量数据转换为有用的知识和信息，其关键技术主要包括数据采集、数据预处理、海量数据存储、数据分析及挖掘和数据的呈现与应用。大数据的采集、预处理与存储技术大数据的采集技术既包括通过数据传感设备、智能识别终端及资源接入系统等实现对海量数据的识别、接入、传输、监控、初步处理，又包括提供大数据的一些平台，如数据库、ERP系统等。预处理技术主要包括数据清理、集成及变换。数据清理可去掉噪声数据及异常数据，纠正数据中的不一致，可以采用传统数理统计方法实现。数据集成从来自不同数据源的数据中提取出关系和实体，经过分类、关联或聚类后采用统一的结构来合并成一致的数据存储。数据变换可以将不同度量下的数据归一化，使得数据的应用有意义。大数据存储的关键技术是分布式文件存储系统。该系统由若干个分布集群组成，1个分布式集群一般由1个主服务器和大量的块服务器构成，许多用户可以同时访问。大数据的分析技术目前大数据的分析方法主要有并行计算、实时计算或流式计算。并行计算是指同时使用多个计算资源完成运算。其基本思想是将问题进行分解，由若干个独立的处理器完成各自的任务，以达到协同处理的目的。已涌现出大量挖掘算法能运行于并行架构上，如非平凡策略、基于核函数的挖掘算法、传统的数理统计方法和并行结构相结合算法等。实时计算处理通过建立新的概要数据结构以近似表达数据流，并使用传统的挖掘算法对概要数据结构进行分析，获得近似的数据挖掘结果。获得概要数据结构方法有直方图、哈希技术、随机抽样、小波变换等。目前应用广泛的实时计算或流式计算方法大多是采用二层框架的模式，在线部分计算数据概要信息，离线部分进行数据挖掘。

2大数据环境下煤矿企业安全管理面临的挑战

（1）数据存储和预处理能力难以满足大数据量要求庞大的数据量的存储和预处理不能通过简单地升级原有服务器的方法来解决，要有具有可扩展性和容错能力的数据存储框架和预处理平台。（2）复杂的数据类型对数据融合提出了挑战安全事故的发生是多种因素共同作用的结果，需要分析多方面数据：一方面要获取更多的数据，对比不同环境下哪些变化与事故的发生相关；另一方面要进行历史数据对比。目前，虽然在时间上采样率不断提高，但是在空间上监控监测数据还很不完备。同时，各个系统数据标准不一致，难以在纵向和横向上实现数据的融合。（3）数据的处理难以满足高实时性要求广泛分布的远程站点高速、连续地产生异构的数据，要求实时完成对新到达数据点的处理。这就要求大数据挖掘系统能动态适应业务分析需求，快速响应复杂的查询，具备实时的分析处理能力，而传统的数据处理技术只能处理小规模的数据流。（4）大数据挖掘结果需要有效的可视化手段大数据挖掘的最终目的是将信息呈现给用户。目前我国煤炭企业既懂各领域专业知识，又懂数理统计，还懂业务流程、信息技术的复合型人才极其匮乏，安全管理人员往往无法正确理解抽象的数据挖掘结果所蕴含的信息。

3基于大数据挖掘的煤炭企业安全管理体系

（1）数据采集层数据采集层实现了大数据收集工作。通过各类传感器、视频监测系统、智能终端、生产过程控制、操作台、自动记录系统等技术设备和平台，数据采集层收集大量异构数据，为数据挖掘的后续工作做好准备。（2）数据预处理层数据预处理层需要完成对数据的清洗、集成和变换。异常数据可以采取移动平均线或自回归模型等数据分析方法得到估计值进行替换；噪声数据要使用滤波或小波消噪等处理方法；缺失数据可采用平滑处理方法补齐。预处理后的数据存储在以云计算技术为基础的存储框架（数据仓库）中，在数据挖掘之前使用。（3）数据挖掘层经过预处理层处理的数据，通过OLAP技术来进行初级分析，以支撑复杂的深度挖掘过程。鉴于煤矿安全事故预警对数据实时性要求很高，可以将相关大数据分为实时性数据和非实时性数据，采用流处理和批处理相结合的方式进行挖掘。对于非实时性数据，采用基于分布式文件系统如NoSQL数据库和云计算平台如Hadoop来进行数据处理。对于如瓦斯浓度、瓦斯涌出量等实时监测数据，可以在云平台前面设置若干前置机用于实时接收数据，同时通过实时或流式计算技术，将全部数据概要表示并通过内存进行计算。

（4）数据展示层可视化数据展示层主要包括3个部分：通过数据可视化软件来表达数据中的复杂信息;将可视化结果根据不同内容和需求呈现在移动终端、PC和各类信息系统上；用户通过操作界面与数据交互，并对其进行进一步的分析。

4结语

煤炭企业安全管理涉及众多因素及分析方法，数据越多，分析范围越大，决策越有科学性。因此，需要广泛拓展数据资源，获取丰富的信息，需要利用大数据挖掘技术来挖掘与煤炭企业安全管理的所有关联，在效率、质量和空间等诸多方面满足安全管理要求。随着国家层面对信息化和安全事故的重视，在煤炭企业安全管理领域利用大数据挖掘技术和大数据思维来实现数据集中分析和深度挖掘将是未来发展方向。

作者:李飒 单位:辽宁石油化工大学经济管理学院

参考文献：

［1］肖乐乐，魏久传，牛超，等．中国煤矿事故相关性因素分析研究［J］．煤炭技术，2015，34（1）：349-351．

［2］廖建新．大数据技术的应用现状与展望［J］．电信科学，2015，31（7）：7－18．

［3］孟小峰，慈祥．大数据管理：概念、技术与挑战［J］．计算机研究与发展，2013，50（1）：146-169．

［4］于富东．大数据平台的关键技术及组网方案［J］．电信科学，2015，31（7）：164-169．

［5］宋亚奇，周国亮，朱永利．智能电网大数据处理技术现状与挑战［J］．电网技术，2013，37（4）：927-935．