数据分析方法范文10篇

【摘要】继电保护状态评价是保障继电保护工作的重要手段。其中继电保护信息具备大数据的特性，然而在实践活动中，受到数据传输不畅通、数据源不一致以及缺乏科学合理分析等因素的影响，继电保护状态评价难以在线上进行工作。结合在线评价过程中产生的问题，对其进行定向分析，在保障在线评价质量的前提下，不仅节省了数据传送时间还有评价时间，还为输变电环节提供了可靠性参考依据。本文就继电保护状态评价的大数据分析方法进行探讨，并提出建议。

【关键词】继电保护；状态评价；大数据

目前，随着电网安全性逐步被人们所重视，信息数据在保障电网安全性的过程中起到至关重要的作用。科学合理的利用电力系统运行数据，对继电保护系统运行状态进行在线分析，并给出合理的评价结果，这也是降低继电保护装置运行风险的重要手段之一。传统的机电保护状态分析通常是采用历史数据进行分析研究，然后得出不合理的结果，将这一结果投入到运行中的继电保护系统中，很难真正意义上降低运行风险，更别谈找出运行故障隐患和薄弱环节了。

1继电保护系统运行状态评价的大数据

分析法的特点在过去，继电保护装置在进行状态评价工作时，往往将继电保护装置置于一个隐蔽的系统内，其传输命令较为单一，只有输入与输出两项操作。换言之，一旦电力系统发生故障或者故障结束后，对已经发生故障的元件进行事后数据记录分析，从而反映该故障元件是否是真的发生了故障，这一过程并不能真正意义上正确、合理的对故障元件做出正确的判断。因此，借助信息化大数据平台，创建电力系统机电保护状态信息化基站，设置一个主机，若干个子机，主机发出指令，各个子机收到指令后进行数据采集、分析以及总结等工作，最后向主机输送数据包，这一大数据分析法的数据分为两类：（1）周期性数据；（2）事件驱动数据。采用大数据分析法对继电保护运行状态进行评价具有较高的精确性、合理性、科学性以及灵敏性等优势，这是传统评价方法所不能比的。

2用于继电保护运行状态评价的大数据要求

摘要：本文利用索伦国家基准气候站1993年~2017年逐月辐照度资料，使用统计学分析方法对索伦太阳辐照度数据变化规律进行分析，研究辐照度质量控制方法，提高观测系统的精准度，为农业生产、太阳能开发利用和决策服务提供及时、准确的服务。

关键词：辐射数据；质量控制方法；索伦

索伦国家基准气候站太阳辐射观测业务积累了27年观测数据，为了保证历史资料数据的准确性，便于开展应用服务，有必要对索伦太阳辐射数据进行分析及质量控制方法研究。为农业生产、太阳能开发利用和决策服务提供及时、准确的服务。

1研究资料和方法

本文利用索伦国家基准气候站1993年~2017年逐月辐照度资料，使用统计学分析方法对索伦太阳辐照度数据变化规律进行分析，并研究了辐照度质量控制方法。季节划分采用常规的划分标准：春季3~5月，夏季6~8月，秋季9~11月，冬季12月到次年2月。

2索伦太阳辐射数据分析

随着电力体制改革的深入，供电系统的营销管理也逐步从粗放型向集约型转变。而只有通过管理手段的创新，采用多维数据分析的一体化管理，才能实现电力部门真正意义上的集约型管理。目前，诸如自动化调度系统、售电自动化系统、用户自助服务系统等的建立，实现了电力业务的产、输、配、售信息一体化，既促进了供电系统业务的高效化，也积累了大量的业务数据。如何有效地利用这些现有的业务数据，将业务数据转化成管理数据，为供电系统电力营销工作提供服务，提高企业管理水平，是目前供电企业信息化所面临的主要问题之一。基于OLAP的多维数据联机分析处理工具BusinessObjects是一种自适应、基于服务的商务智能应用开发平台，根据实际应用需求，可集成多个BusinessObjects套件产品如：CrystalRe-portsXI、WebIntelligence、PerformanceMan-ager等。该平台在报表归类、数据查询、企业绩效等实际应用中，提供了全方位、便捷化的多维数据分析服务，能满足用户的信息需求。

1多维数据分析技术

多维数据分析技术是一种建立在OLAP基础上的高效数据分析方法，能有效地将企业数据由业务型向管理型转化，是企业提高经营管理水平的有效方法。OLAP通过多维的方式对数据进行分析、查询和报表，它不同于传统的OTLP应用。OTLP应用主要是完成用户的事务处理，通常要进行大量的更新操作，对响应时间要求比较高。而OLAP主要是对用户分析、辅助领导决策，可以进行大量的查询操作，对时间的要求不太严格。其典型的应用有对银行信用卡风险的分析与预测、公司市场营销策略的制度建设等。多维数据分析技术的核心是“维”，即用户根据经营管理信息需求，从多个现实世界角度观察数据，并对数据进行相应处理，从而获得有用信息的方法。多维数据分析基本分析操作有钻取、切片、切块、旋转，它让用户能同步快速、高效灵活地掌握从总体到局部的企业经营情况，将企业运营的隐藏信息直观呈现给用户。根据多维数据分析技术的基本定义及原理，在供电系统电力营销中运用BusinessObjects平台进行的多维数据分析，有如下特点：

（1）多维性：这是多维数据分析技术标志性特点，可以从分析维中分支出时间维、地区维、类别维等多个维度面。如对售电量的展现，可以从时间维中的年、季、月、周、日时间层次上查看。

（2）可析性：从不同角度对数据进行平均值、差距值、数排序、汇总、记录限定等处理，提供给用户强大的数据汇总、即时查询等数据分析能力。

（3）同步性：体现了用户对信息在时间上的要求。包含对多维数据分析结果同步快速获得的要求，而且使多维数据分析能实时、适时地接收用户数据。

摘要：在企业管理中，财务管理是非常重要的工作。财务管理质量的提高，可以使得企业领导对企业的经营状况全面分析并充分了解，基于此作出经营决策。现代企业财务管理中应用统计数据分析的方法处理数据，从中还可以提取出有价值的数据信息，可以为企业的财务管理提供参考，这也是企业发展的重要保障。本文针对数据分析在企业财务管理中的作用展开研究。

关键词：数据分析;企业;财务管理;作用

当前的市场经济环境中，竞争日益激烈，企业认识到财务管理的重要性，给予了高度重视。企业要提高竞争力，就要将财物数据信息充分利用起来。在企业的财务管理工作中，统计数据是基础性工作，不仅对于数据信息要予以处理，还要从数据中挖掘出有价值的信息。但是，从传统的财务管理模式的角度而言，企业如果没有在财务管理上与时俱进，而是依然采用传统的模式，使得财务数据信息不能够有效利用，必然会对企业的发展产生一定的影响。将统计数据分析作为一种手段，对于财务管理中产生的数据进行处理，发挥统计学原理的作用，对于财务数据信息之间的内在关联性进行研究，所获得的结果可以为企业的决策提供参考，对财务管理工作科学高效地展开也可以起到一定的促进作用。

1现代企业财务管理中对统计数据分析的应用

1.1采用统计数据分析企业产品的销售利润。处于当前的市场经济环境中，企业的产品要获得较高的经济利润，就需要提高企业经济效益。企业在发展的进程中，要提高市场竞争优势，在当前的市场中稳定的发展，就要使得生产的产品市场为导向，满足市场的需求。在企业的管理工作中，财务管理是重要的内容。企业的产品销售中要获得较高的利润，采用统计数据分析的方法是非常必要的。根据统计数据信息实时企业财务管理，使得管理工作建立在统计数据分析的基础上，为企业的决策提供参考，企业产品的盈利能力也可以根据统计数据作出判断。根据统计数据分析结果还可以制定产品销售策略，确保企业的资金高效利用。1.2采用统计数据分析企业经费。财务管理工作需要一定的资金，资金是否到位对企业各项工作的展开具有一定的影响。现代企业在进行财务管理中所要实现的目标就是在最低成本的情况下获得最高的经济效益。通过财务管理活动对成本有效控制，提高资金的利用率，同时企业的各项管理费用得到有效控制，包括员工的工资、福利以及各种招待费等都合理控制，可以实现企业的利益最大化。在具体的工作中采用统计数据分析的方法，可以获得一定的成本管理成效。在企业资金的运行过程中，按照相关的规范对资金合理控制，可以避免资金浪费。1.3采用统计数据分析企业利润总额。衡量企业经济效益中，利润是重要的指标。总利润金额中所涵盖的内容主要包括产品销售中所获得的利润、企业营业外净收入等。企业的经营中所获得的利润就是企业在经营的过程中，在收入的金额中扣除折旧、营业税以及成本消费等的剩余费用。营业外收入中，所涵盖的收入包括非流动资产处置所获得的收益、无形销售所获得的收益、非货币性资产交换所获得的收益、债务重组所获得的利润、政府提供的补贴、罚款中所获得的收入、以及获得的捐款等。在企业运营的过程中，在各种因素的影响下，企业的利润就会出现不稳定状态，很有可能导致企业没有达到预期的利润目标。在分析企业总利润的过程中采用统计数据分析的方法，可以准确的评估企业所获得的利润。所以，对于企业的资金使用合理控制，有助于提高惬意的经济利润。

2现代企业财务管理中提高统计数据分析效率的有效策略

摘要：本文基于新闻传播人才数据分析能力培养实践，提出面向问题解决的数据分析能力培养路径。在此基础上系统化构建指向培养路径实现的数据分析能力培养体系，该体系包含课程、实训、师资三个子体系。

关键词：大数据时代；新闻传播；数据分析；培养路径；培养体系

大数据时代高校人才培养面临新挑战，受技术发展影响深刻的新闻传播专业更是如此。新闻传播教育融入大数据内容迫在眉睫，然而现实培养效果不尽如人意。分析其原因是当前培养方式主要停留在课程层面，通过直接在传统课程体系中加入一门或几门数据类课程实现，课程设置缺乏理论依据，课程之间缺乏逻辑关联。数据分析能力独立于新闻传播传统核心能力培养之外，需在专业内生需求驱动下，系统化设计培养路径与培养体系，设计过程需充分考虑专业特点。

新闻传播人才数据分析能力培养路径

大数据时代新闻传播生态面临重大调整的同时也深度参与时代形态塑造，因此数据分析能力培养目标指向：深刻理解大数据内涵，既能利用数据分析方法支持新闻传播领域需求，也能清楚认识新闻大数据在解决其他领域问题上的潜能。培养路径设计亦围绕该目标实现，主要内容包括：（一）强化数据分析思维培养，弱化技术细节传授。数据分析能力分为两个层面：数据分析思维能力与数据分析技术能力。前者包括：理解分析方法背后数学逻辑，明晰方法适用问题类型，能正确解释分析结果；后者包括：根据数据分析方法特点能利用可视化软件或编写程序实现数据分析过程。因此，数据分析能力培养方式细化为三种：数据分析思维与技术并重培养；重技术实现，弱分析思维培养；重分析思维，弱技术细节培养。毋庸置疑，思维与技术并重培养最为全面，但在加重学习负担的同时不可避免地会压缩其他能力培养空间。正如哥伦比亚大学教授James W.Carey所言“新闻学的学术来源应该根植于人文科学和人文类的社会科学中，新闻应该与政治、文学、哲学、艺术、历史联系”[1]，并重式培养不免舍本逐末，影响人才整体培养目标实现。得益于集成软件的可视化操作以及新一代编程语言丰富的可调用程序“包”，数据分析技术实现难度降低，为“重技术实现”培养方式创造条件。但集成操作在封装数据分析过程的同时也导致学生对方法内涵及其背后逻辑理解不透，缺乏举一反三的能力，更无法融合知识背景对分析结果进行深度解读。另一方面，计算机性能提升促进数据分析方法快速迭代，从技术角度培养学生，容易导致教学内容滞后或在该能力培养上投入过多时间。因此，笔者倾向“重分析思维，弱技术细节” 培养模式。该模式重点讲授数据分析方法原理，适用问题场景以及对分析结果进行有效解释。在原理讲授上可根据内容难易程度采用不同方式，例如对于基于单一数学公式的可直接补充数学知识；对于涉及复杂数学原理的，可采用通俗的符合现实逻辑的语言来讲述。无论采用何种讲授方式，其目的就是让学生真正理解数据分析方法内涵，切实具备将方法应用到现实问题解决的能力。（二）开展信息素养教育，提高信息检索与连接学习能力。采用“重思维，弱技术”培养方式必然存在两个弊端：一是学生技术实现能力不足；二是无法及时跟进技术前沿。总结教学实践，笔者认为开展信息素养教育是解决这两个问题的关键。“信息素养”概念由美国信息产业协会提出，根据Doyle在《信息素养全美论坛的终结报告》中下的定义可知：理解信息在问题解决上的重要性，描述面向信息需求的问题，利用工具获取目标信息，选择有效信息并将其准确运用到问题解决上是开展信息素养教育的目的[2]，也正是克服“重思维，弱技术”培养方式下人才技术短板的关键。首先，针对技术实现能力不足问题，可通过与有技术优势的专业人员合作来弥补。识别合作对象是开展合作的前提，当前数据分析方法种类繁多，在解决现实问题时需要与有不同技术专长的对象合作。因此仅依靠人际网络很难全面识别，需运用信息检索技术，多渠道获取信息才能更全面定位潜在合作对象并与之建立关联。另外，不同专业人员的思维习惯以及对问题的理解存在差异，这种差异将影响合作效果。为提高沟通效率，除加强本专业学生沟通技巧外，关键在于提高学生对信息处理需求进行准确的、符合专业逻辑的描述的能力，而这正是信息素养教育内容之一。其次，针对无法及时跟进技术前沿问题，除了需要授课教师及时更新授课内容，保证课程紧跟技术前沿，更为重要的是培养学生连接学习能力。连接主义学习理论认为数字时代的学习可以看作在特定时间访问与使用所需信息的过程，与之对应，连接学习能力就是在学习需求驱动下获取与利用分布广泛的信息的能力[3] [4]。信息素养教育正是该能力的养成途径之一。（三）深化人文社会学科教育，促进深厚人文素养养成，提高数据分析结果的深度解读能力。上述两条路径培养学生适应大数据时代发展的能力，但在发挥新闻传播专业优势方面效果有限。本节将探讨新闻传播专业在数据分析流程中的优势以及如何强化这种优势。面向问题解决的新闻传播人才数据分析流程可划分为：问题解析、数据分析结果获取、数据分析结果解读三个阶段。问题解析阶段任务包括：判断问题是否可采用数据分析方式解决，如可行需要采集那些数据、选择那些数据分析方法，该阶段考验学生的数据分析思维。数据分析结果获取阶段任务包括：确定数据获取渠道并明确采集需求；定位专业人员并与之建立关联；通过与专业人员合作获取数据分析结果，该阶段需要学生具备坚实的信息素养。数据分析结果解读阶段任务包括：准确理解数据分析结果，融合背景知识对结果进行深度解读，形成可供阅读的分析报告，该阶段需要学生具备深厚的人文素养。近年来，数据分析结果解读在分析流程中的重要性日益凸显，深厚的人文素养是开展深度解读的前提，而这正是新闻传播专业学生的优势所在。一方面，新闻传播专业重视人文主义教育，与文学、历史学、哲学等不断交融，培养学生人文情怀、独立思考能力与批判精神[5]。更有学者呼吁在当前环境下更要加强文史哲教育，夯实新闻传播人才的人文基础[6]。另一方面，新闻传播学科内在基因强调与法学、经济学、政治学等社会学科交叉，培养学生跨界能力[7]。由此可知，数据分析过程中凸显新闻传播专业优势的关键在于深化人文社会学科教育，促进学生深厚人文素养养成，提高数据分析结果深度解读及对解读结果准确描述的能力。

新闻传播人才数据分析能力培养体系

摘要：大数据时代，数据分析各环节的变化对统计学专业人才培养模式的变革起到了催化作用.数据挖掘作为拓展和提升大数据分析方法与思路的应用型课程，被广泛纳入统计学本科专业人才培养方案.本文对大数据时代数据分析师的职业需求进行了调研，在此基础上提出了基于R语言的项目式数据挖掘实验教学模式.教学实践结果表明，通过项目式学习，可以让学生在掌握理论知识的基础上，进一步提升分析问题和解决实际问题的能力，进一步适应大数据时代数据分析师的职业要求.

关键词：统计学；数据挖掘；实验教学；数据分析师；项目式学习

1引言

2016年美国统计协会(AmericanStatisticalAsociation)对统计学的内涵给出一个较为简洁的说明，将统计学定义为：“thescienceoflearningfromdata”，即从数据中学习的科学[1].该定义实际上与数据科学（DataScience）的内涵如出一辙.笔者以为ASA之所以对统计学做出这样的内涵解释，实际上表明在大数据浪潮中，统计学正走在变革的道路上.大数据时代，数据的产生、收集、分析与应用等环节都发生着深刻的变化.互联网技术的高速发展使每个人成为数据的生产者，数据生产已经突破了时间、地点的限制，数据量也由抽样数据向大数据转化；数据的存储类型由纸和笔记载的关系型结构化数据向半结构、非结构和异构的网络数据类型转化；数据的采集由根据统计分析目的的调查式收集向基于大数据技术的自动化采集方法转化；数据的分析由传统的验证型分析方法向探索型分析方法转化；数据的应用由辅助管理决策向引导变革转化.以上变化正在重塑数据分析流程，而数据分析模式的变革必然引起教育模式的改革.事实上，在大数据洪流的冲击下，统计学专业的人才培养模式已经悄然发生变化.当前，统计学专业融合大数据、计算机、人工智能等相关学科知识，引导学生认识和掌握数据处理的新技术，推动交叉学科应用型人才的培养，已经成为共识.其中，在统计学专业课程体系中引入数据挖掘课程就是典型的代表.数据挖掘技术在一定程度上弥补了传统统计分析方法的不足，可以进一步增强学生探索性数据分析的能力，更加适应大数据时代的需求.与统计学强调推断理论和方法不同，数据挖掘强调经验，着重于从数据中挖掘有用的模式和价值，只要能够有效地解决问题，方法和模型本身并不重要.因而，笔者认为数据挖掘课程能够拓展统计学专业学生数据分析的思路和方法，进一步加深对数据分析内涵的理解.由此，本文致力于探索大数据背景下统计学专业数据挖掘实验课程教学模式，以提升统计学人才实践应用能力，使其不断适应大数据分析的需求.

2大数据时代市场对应用型统计人才的新需求

数据分析师是统计学专业大学生毕业后的主要职业选择之一.数据分析师是指在不同行业中，专门从事数据搜集、整理、分析，并依据数据做出行业或市场研究、评估和预测的专业人员；是以实际数据为依据，对项目现状及远期进行统计、分析、预测并转化为决策信息的专业人才[2].为了客观分析大数据时代应用型统计人才需具备的知识、能力和技术，本文通过智联招聘网对企业公布的数据分析师职位招聘信息进行了调研，这些招聘信息都是面向应届本科毕业生的，具有较强的针对性，调研时间为2018年8月3日.本文调研了七家上市公司[3]，有国企事业单位、互联网公司、金融公司、网络游戏公司、网络媒体公司等，各公司对数据分析师的岗位职责、知识要求、能力要求和技术要求见表1所示.从数据分析师的岗位职责来看，不同类型的企业虽然具体要求不同，但是核心职责是相同的，主要有三个方面：负责业务部门的数据需求分析，也就是通过调研了解业务部门的需求，确定数据分析对象和目的；构建业务数据分析指标体系，即如何开展数据分析工作，确定数据采集、处理和分析及结果解读等环节的指标、方法、模型及数据分析工具等；为业务部门提供数据决策支持，包括撰写调研报告、数据分析报告及设计数据产品和开发数据分析工具等等.从岗位职责的核心要素来看，数据分析师是非常契合统计学专业的人才培养目标的，从调研到设计到分析到结果解读，是数据分析的一个完整流程.但是，也可以看出很多企业在数据分析中特别强调了数据挖掘方法，如北京计算机技术及应用研究所强调用户行为挖掘和个性化推荐、金融界强调用户行为数据和网络日志数据挖掘，而这些都不是传统统计学分析方法的范畴.从知识要求来看，大部分企业都要求数据分析师具有统计学专业背景，但互联网公司特别强调统计学、数学和计算机的交叉和融合.实际上，数据分析师作为复合型人才，除了掌握必要的统计分析理论和方法外，数学建模和编程能力都是必不可少的.从能力要求来看，较强的数据敏感度和清晰的逻辑思维能力是核心要素.其次，从业务来看，数据分析师需要同不同的部门打交道，沟通协调能力和团队协作能力也是必不可少的.从技术要求来看，大部分企业都要求数据分析师至少要掌握一种统计分析软件，如SPSS或MATLAB；至少要熟悉一种编程语言，如Python或R；至少要掌握一种数据库技术，如MySql/Oracle/SQLServer等，最简单的是excel.在高校及商业统计分析领域，R语言是当前最受欢迎的统计编程语言之一.综合以上分析可以得出，统计学专业的学生要想成为出色的数据分析师，除了具备坚实的统计学理论和方法外，还需要具备良好的计算机能力，如数据库技术和编程能力.更重要的是，数据挖掘方法与技术作为大数据技术的基础已经成为数据分析师必备的技能，也是企业招聘时重点关注的技术.

摘要：数据分析是现代会计专业人才必须掌握的一项基本能力，学生数据分析能力的培养在会计专业教学中占有重要地位。文章首先对会计专业教学中的数据分析能力培养要求进行分析，进而采用案例研究法，探讨数据分析的重要性。在此基础上，对会计专业教学改革提出几点建议，以期促进其教学水平的提高。

关键词：数据分析；会计专业教学；重要性

一、会计专业教学中的数据分析能力培养要求

在会计电算化改革趋势下，数据分析的重要性越来越显著，许多传统会计工作已经被人工智能所取代。在教学过程中，也需要明确学生的数据分析能力培养要求，从而适应时展趋势，提升学生未来的岗位胜任力。目前计算机软硬件技术已经在会计行业数据分析中得到了广泛应用。以Stata软件为例，在培养学生数据分析能力的过程中，可以利用其统计分析、数据管理、回归分析等功能，帮助学生形成现代化会计工作的基本能力[1]。

二、会计专业教学中数据分析的重要性

1.回归分析的重要性。回归分析是会计行业数据统计常用的方法，主要对两个变量的因果关系进行检验。在大数据的应用下，回归分析方法也被应用于检验两变量的相关关系。在其应用过程中，首先要建立回归方程模型，然后利用最小二乘法等对变量系数进行估计，再利用统计学知识分析变量间相关关系的显著性，从而为企业财务决策提供支持。比如MM理论中提出，公司价值和公司资本结构无关，但利用回归分析法证实，公司价值与公司资本结构之间存在某种二次函数关系。还有学者利用回归分析方法证实企业绩效和企业借贷成本也具有相关关系，企业绩效越好，企业的借贷成本越低。这些回归分析结果对于企业财务管理具有重要的参考价值。在会计专业教学过程中，可以利用Stata软件快速完成数据回归分析工作，通过“reg/*reg”指令输入因变量、自变量和控制变量，由软件直接给出回归分析结果，从而提高会计专业工作效率[2]。2.盈余管理的重要性。盈余管理也是企业财务管理中的重要工作，但盈余管理容易成为公司管理层的自利工具，需要对企业盈余管理程度进行有效识别，这对于投资者、监管部门具有重要意义。在度量盈余管理的过程中，通常采用改进的Jones模型，按行业同年度回归分析，得出模型残差，反映公司盈余管理水平。如果残差为正值，说明公司采取的是正向盈余管理措施，可能调高公司业绩。相反则代表公司采取负向盈余管理措施，可能调低公司业绩。在会计专业教学过程中，同样需要引导学生掌握利用软件实现盈余管理的能力。在Stata软件中，盈余管理残差计算是通过循环命令实现的，分别进行年度循环和行业循环，然后在statsby命令下进行分类变量循环，最终计算出相应的残差，通过该数据反映公司盈余管理水平，帮助投资者了解公司实际经营状况。3.事件分析的重要性。会计专业教学中的数据分析也包含事件分析研究，根据市场效率假说，所有股票涨跌的影响因素都能够即时反应在股票变化趋势上。Fama在此基础上提出弱势效率、强势效率和半强势效率的市场概念，可以通过开展相关事件数据分析工作，判断股票变化趋势。目前事件分析研究已经成为检验市场有效性的重要工具。在其应用过程中，主要是通过检验某个事件发生后的股票价格变化，得到异常报酬率，判断该事件的信息含量。采用这种数据分析方法，可以帮助投资者正确认识事件的影响，包括公司并购行为、回购行为、定向增发股票和诉讼行为等。

摘要：文章主要从移动数据和无线网络方面进行分析，指出移动通信中存在的问题，将大数据分析与移动通信之间的关系进行剖析，改进大数据在移动通信中的优化方式，促进通信行业的发展与进步。

关键词：大数据；移动通信网络；优化

我国对于通信网络要求随着技术的发展逐渐提升，这与国家政策存在一定的联系，也是国家政策发展的需要。特别是4G牌照的发放，使移动通信网络得到全面的进步，对于通信行业来讲是巨大的进步。但是在发展中也遇到一定的问题，主要表现是移动网络在运行优化中的技术也需要得到全面提升，才能保持运行的稳定性，这样才能更好地满足群众的使用要求。这就需要通过大数据分析手段，对移动通信的发展方向以及需求进行分析，找出更加妥善的处理方法，制定更加全面的方针，提升移动网络的使用质量，促进技术的发展与进步[1]。

1大数据分析概述

大数据处理技术就是在大数据分析的基础上产生和发展起来的，在掌握大数据的基础上，通过数据存储、数据处理以及数据分析等不同的技术，将数据进行相互之间的协调创新，使得数据在处理中更加的快捷高效，实现数据处理的全面进步。大数据分析以庞大的数据信息作为基础，这些数据信息的取得可以是任何的平台以及网络软件系统中的数据，技术人员对这些数据进行收集分析，进而筛选需要的数据信息，为企业的发展提供依据，帮助企业更加准确地找寻数据源，提升信息处理质量和效率[2]。与传统的数据信息处理方法比较，大数据在数据收集方法上更加快捷，数据的处理质量和效率得到显著的提升，掌握了更加科学的数据处理方法。

2移动通信网络技术

一、商业银行大数据审计分析的难点与挑战

（一）数据获取难度大，大数据分析有时成为。“无米之炊”商业银行内部审计大数据分析虽然起步较早，但受理论储备和科技投入等因素的影响，普遍缺乏高效的数据分析接口，数据需求得不到有效满足，审计部门常常面临“无米下锅”的窘境。一是数据来源系统杂。商业银行信息化建设历史较长，经过长期发展，各银行均建立起庞大的信息系统。为迎合业务发展需要，许多商业银行将系统建设职责按业务条线进行了划分，而系统整合不够充分，客观上造成了系统林立而数据隔绝的问题。例如，大型商业银行的系统数量可达千余个，涵盖银行各业务条线。由于受部门银行等不利因素影响，各条线单独采集和加工数据，部分系统间机构树、客户编码等基础数据还不统一，给系统间数据交互造成障碍。目前，大多数商业银行都建立了企业级数据仓库，但数据完备程度仍有待提升，新系统数据入仓速度也不能满足审计时效的要求。二是数据类型样式多。传统数据分析方法主要是对结构化数据的分析。大数据理论丰富和普及了对数据类型的认识，将网页、日志文件、搜索索引、社交媒体、电子邮件、办公文档、影音文件及传感数据等多种类型数据都纳入分析。商业银行内部审计多年来在结构化数据采集和存储方面积累了一定的经验，但对非机构化数据的处理仍处于起步阶段。三是数据安全影响大。商业银行就像一架强大的数据加工机器，不但收集了客户的多维度关键信息，也通过交易结算生成了海量行为数据。这些数据有的受到国际组织或他国监管机构关注，有的属于我国政府监管重点，有的是银行内部数据，敏感性强、受保护程度高。如欧盟《通用数据保护条例》（GDPR）被称为史上最严厉的个人数据保护法，对触犯法规的处罚上限是“两千万欧元或企业年度全球营业额的4%”，也会给企业声誉带来重大风险。从当前实践来看，覆盖数据采集、加工和应用全链条的数据安全机制还不够完善，出于安全需要，商业银行大多被动采取限制使用策略，数据需求普遍得不到充分满足。随着全社会数据安全意识的提升，数据获取难度将不断加大，一定程度上对数据使用产生了障碍。四是数据申请链条长。内审部门根据审计项目需要，常常需要分析不同业务条线、不同系统的数据。审计数据需求涵盖范围广，时效性强。而现有数据申请机制，常常需要与业务部门、数据管理部门、数据加载部门和数据维护部门等多部门进行协商，沟通协调成本较高。即使审批通过，还需经历数据采集、上传、加载等技术流程，从数据申请到数据获得耗时较长，缺乏一站式便捷的数据应用接口。五是数据存储空间不足。从当前应用实践来看，商业银行内审部门主要采取两种方式实现审计数据分析。一种是直接访问数据仓库。该方式的优点是数据通道相对贯通，数据获取难度小，但出于安全性和效率性考虑，数据仓库往往无法支持较多用户同步访问，系统并发任务受限，不能满足审计业务需要。另一种是将审计需要的数据迁移至审计数据库。该方式的优点是数据库独立，数据管理的自主性强，但也给审计部门赋予了本不擅长的数据管理职责。有的商业银行审计数据库达到几百T的规模，由于存储资源不充分，数据管理机制和手段不完善，该类审计数据库时常面临存储结构不合理和存储空间不足的问题。（二）原始数据不够规范清晰，数据含义难以理解。商业银行内部审计大数据分析一项显著的特色就是可以从数据源头着手分析，通过对未经加工和清洗的原始数据进行比对，找出问题疑点线索。应用这种数据分析方式，需要对原始数据有较深入的理解。而在当前数据的设计初衷、采集方式和服务流程等方面，均对数据的认识和理解存在不利因素。一是数据和业务不易对应。当今商业银行信息化程度之高，各类业务鲜有不通过信息系统管理和作业的。在这一发展态势下，银行的各类业务都在系统中留有痕迹，有具体的数据体现。国外大型咨询公司曾估算，银行每创收100万美元，平均产生820GB数据，数据量级高居各行业之首。但长期以来，有的商业银行系统建设重开发、轻管理，存在不重视数据资产的倾向，数据管理不够规范，从数据还原业务场景存在一定困难。二是数据间关系较难建立。按照关系型数据库的设计规范，商业银行数据库通常遵从一定的范式要求，范式越高数据库冗余越小。但范式要求会拆解原有数据的业务逻辑，审计数据分析过程中需要重建数据间关系，还原业务逻辑。而数据间关系的信息专业性较强，审计存在一定的技术障碍。三是数据字典难以获取。数据字典是理解数据的重要文档，因此，数据字典往往作为商业银行的重要数据进行保管。各家银行数据文档管理的规范程度不同，有的商业银行缺乏对数据字典的统一管理，版本更新也不够及时。内部审计在获取数据字典的过程中存在不小的困难。（三）数据分析能力与手段不足。数据应用是体现数据价值的关键环节。当前商业银行内部审计无论在技术手段，还是分析结果方面，数据应用能力与水平都有较大的提升空间。一是数据分析方式方法比较单一。当前商业银行内部审计主要采用传统的SQL联机数据分析手段。该数据分析方法往往从真实业务场景出发，分析违规业务的数据特征，通过账表拼接和统计分析，按照业务规则和风险规律，揭示问题线索。该方法直观性强，容易理解，但对业务规则的依赖程度较高。数据分析过程中，有时很难提出有针对性的业务规则，有时提出的规则准确性较低，由此造成SQL联机数据分析的覆盖面不全、准确性不高。目前，该方法仍然在商业银行内部审计大数据分析中扮演重要角色，分析技术难以取得显著突破。二是数据分析技术在内部审计方面的应用场景缺乏。基于数据挖掘和深度学习理论的大数据分析技术，以概率论为基础，重视对事物相关性的分析，在客户营销和风险管理等方面都有比较成熟的应用。但商业银行内部审计以问题为导向，重视对普遍性和典型性问题的揭示。由于审计发现问题往往涉及责任人认定和处理处罚，客观要求问题指向的确定性较强，由此也影响了大数据分析技术在内部审计中的应用。三是数据分析结果精确性不足。当前商业银行内部审计主要从业务特征入手开展数据分析，业务特征难以做到穷尽，许多业务特征也没有具体的数据表现，因此审计部门往往只能在有限的业务范围内，锁定风险点的个别特征。这些特征有的属于风险点的非充分特征，不能直接认定违规线索，由此推断出的问题疑点精准性不高。

二、商业银行内部审计应对大数据挑战的策略

（一）建立审计大数据架构体系，实现数据可获得。采集数据是大数据应用的第一步，也是开展大数据分析的基础。贯通高效的数据获取途径，建设多层次、多维度数据架构，是大数据应用成功与否的核心（见图1）。一是以原系统数据为基础，满足临时性数据需求。审计大数据必须打通与原系统数据的通道。审计数据分析非常注重对原汁原味数据的挖掘，一是因为原系统数据没有经过清洗，更能体现业务的貌；二是审计的灵活性决定了数据分析的不确定性，审计数据分析常常会对个别系统、个别数据进行临时提取和分析。建立与原系统数据往来的“高速公路”，支持灵活、及时、便捷和高效的数据访问，是审计大数据分析的基础和保障。二是以数据仓库为核心，解决审计数据分析业务覆盖面的问题。数据仓库存储全行主要系统数据，并往往按照一定的业务逻辑进行清洗和加工。与数据仓库建立高效的数据传输和访问机制，能够有效降低审计数据库资源占用，提高数据组织效率。审计对仓库数据的使用，也可以从运用的角度推动仓库丰富数据来源，提升数据仓库建设水平。三是以数据集市为抓手，满足常规审计数据分析需求。在原系统和数据仓库之上，建设不同主题的数据集市，每一主题下分别按照业务规则还原业务场景。大多数情况下，可以不再从原系统开始拼接数据，而是直接使用集市数据开展分析，降低了数据分析门槛，提高了数据分析效率。四是以外部数据为补充，扩展数据种类和来源。大数据环境下，数据的特点表现为大、多、广。大就是数据量大，多是指数据种类多，广则是指数据来源丰富。目前业内比较成熟的大数据应用，正是体现了数据广的特点。比如，统筹客户消费、信用、司法、海关、工商等多渠道信息，通过相互印证和比对，全面反映客户状态和质量，实现对客户的完整画像。广阔的数据来源，为审计大数据分析提供了更多方向和可能。（二）搭建完善的模型体系，满足数据可理解。模型是商业银行大数据分析的主要抓手。多层次、多维度的审计模型体系，体现了内审部门对商业银行业务风险的理解和认识。模型体系是否完善，决定了审计数据分析的能力和水平。按照使用场景的不同，审计模型可分为基础模型、分析模型和特征模型三类（见图2）。一是利用基础模型，重现业务场景。基础模型是审计模型体系的基础，通过重现业务场景，在审计数据分析中发挥前端和接口作用，模型结果主要存放在数据集市中。系统建设往往涉及多个模块和环节，对每一节点数据的理解常常分散于各开发人员，审计人员在审计项目有限的时间范围内，很难对原始数据形成深入理解。建设基础模型，就是在原始数据之上，通过梳理表间关系、字段含义，还原业务链条，重现业务场景，建立可理解程度高的中间数据模型，供各类数据分析场景使用。二是利用分析模型，展现业务短板和经营风险。分析模型是在基础模型之上，建立对某一机构、某一产品或某一客户的多维度分析。分析模型可以体现业务的发展脉络和未来趋势，也可以展现业务的集中程度和分布规律，还可以与某一标准进行比对，查找过度和差距。分析模型通常思路相对固定、编码相对成熟，审计分析模型也可以借鉴业务部门的经验，通过逐步积累，丰富分析维度，实现对机构、产品和客户的全覆盖。该类模型对制定审计计划、确定审计重点都是非常重要的参考。三是利用特征模型，锁定问题线索。特征模型是针对某一业务风险点的具体分析。特征模型的编制主要来源于审计业务实践，如制度文件、审计案例等。特征模型的结果直接指向具体审计样本。与分析模型主要解决面和线的问题相比，特征模型更加注重对点的分析。特征模型的丰富与否，体现了审计对业务风险的刻画能力。（三）采用多种分析手段，达到数据可运用。魔高一尺，道高一丈。在传统审计数据分析思路和手段逐步透明化的背景下，沿用传统方法发现审计疑点线索的难度正在不断加大，迫切需要丰富审计数据分析手段，通过维度变化揭示舞弊和违规。一是通过统计汇总，实现历史数据积累。对成熟的特征模型，实现定期自动运行，形成区分时段和时点的风险特征线索。对线索记录进行累积，直观展示违规数量、金额等量化指标，展现特征的集中程度，反映业务风险的聚集水平。二是通过大数据分析技术，发现数据背后隐藏的相关性规则。传统的审计数据分析，主要是从业务实际出发，梳理业务规则，首先完成业务建模，再根据业务模型的数据映射，通过数据关联和拼接，完成数据建模。当前应用比较广泛的大数据分析技术与此相反，往往从数据特征出发，将数据特征投入成熟的算法，首先形成数据模型，再凭借业务经验对模型结果进行解读，提炼业务模型。大数据分析技术与传统方法相比，主要依靠数据说话，能够挖掘业务数据的深层规律，从而发现传统方法难以锁定的问题，揭示非常规风险。三是通过可视化技术，直观展示分析结果。多种数据类型、多个数据来源渠道纳入审计数据分析范围，必然带来分析结果的多样化，也会带来结果数量的膨胀。审计数据分析的目的是面向应用的、不直观、不易理解、数据量庞大的结果数据，一定会影响疑点线索的应用。可视化分析技术是以可视技术和自动化分析技术为核心，支持对大规模复杂数据进行分析的技术方法。可视化的自动建模技术将大数据以直观的图形形式展示，审计人员可以直观发现数据背后的信息。因此，审计数据分析应有效引入文本可视化、网络可视化、时空数据可视化、多维数据可视化等多种技术，打通数据的最后一公里，提升分析结果的直观性，促进分析结果的有效应用。

总之，对商业银行内部审计来说，大数据是一种技术，也是一种模式，更是一种思想。大数据浪潮滚滚而来，涉及商业银行的方方面面，内审部门除技术层面外，还要从组织方式、工作模式、业务流程和人员构成等多个方面主动变革，适应未来审计业务发展的需要，进一步发挥内部审计在商业银行经营管理、风险合规和绩效发展等多方面的独特作用。

作者:曹轶 单位:中国农业银行股份有限公司审计局

目前，互联网信息技术在各大行业领域均有应用，特别是在工业智能制造行业，互联网技术赋予设备智能化，使其按照特定的程序自动运行，诸如国家电网、华谊化工、宝武钢铁、中石油、中石化等大型企业均开展了智能化、数字化建设，加快推进智慧电网、智能炼厂、智慧炼钢、数字化油田等建设。工业生产实现智能化、信息化，将产生大量的工业数据信息，这些数据有助于工业生产改善，为行业发展带来新的机遇和技术创新。因此，如何将这些数据反馈于工业生产将成为重中之重。而大数据分析和网络安全技术能够在保证网络信息安全的同时，对大规模的数据信息进行快速系统的分析，实现工业数据信息利用最大化。张晨等编著的《工业大数据分析在流程制造行业的应用》（电子工业出版社，2020年9月版）以大数据分析和治理为主线，全面系统地介绍了大数据分析应用于流程制造行业的主要内容，并结合诸多代表性案例，详细地论述了大数据分析技术在各大领域中的实践应用，为广大读者科学地阐述了大数据分析技术在流程工业中的发展趋势。总览全书，发现该书具有以下三大特色。

一、内容全面，系统地阐述了大数据分析技术在流程制造行业应用的主要内容

该书内容十分的全面，主要包括基础理论知识、行业应用和总结与展望三大部分。作为基础理论知识部分的第一章和第二章主要阐述了流程工业智能制造与数字化转型和工业大数据分析技术基础理论知识。笔者通过分析德国、美国、中国流程工业智能制造的差异，总结出了流程工业数字化转型战略，并详细地论述了流程工业和大数据的基本概念；以工业大数据治理为切入点，全面地论述了大数据采集、大数据存储、大数据分析、大数据可视化等技术，并系统阐述了大数据分析方法的分类、步骤和数据挖掘方法。行业应用部分是第三、四、五、六和七章，介绍了大数据分析技术在各大行业应用的主要内容，包括天然气开发行业、炼油化工行业、化工行业、钢铁行业和电力输电线路运维。在介绍各大行业大数据分析内容时，从现状、需求、特点、解决方案、分析方法、分析案例等多方面进行了详细的论述。总结与展望部分，也就是第八章，从互联网结合和大数据文化两个方面对流程工业大数据进行了总结，并提出了未来展望。

二、案例丰富，结合应用实例说明大数据分析技术在各大行业的重要性

应用案例几乎覆盖每一个章节，成为了该书的一大特色，并结合案例论证了大数据分析技术在各大行业的重要性。笔者以德国、美国、中国流程工业智能化实例论证了流程工业智能化、数字化的重要性，以流程工业大数据治理案例论证了工业大数据分析技术的重要性，以天然气水合物大数据预测、压缩机故障大数据预防性监控和换热器早期泄漏大数据监控等应用案例论证了大数据分析在天然气开发行业的重要性。此外，笔者通过从应用场景和应用案例两大方面对炼油化工、化工和钢铁行业中大数据分析案例进行了详细的介绍，说明了大数据分析技术在这三大行业中的重要性和必要性。在介绍大数据分析技术在电力输电线路运维中的实际案例时，笔者从智能化反外损监控系统、数据驱动智能巡检系统、无人机巡检系统和空、塔、地协同巡检系统等四大方面进行了详细的论述，说明了大数据分析技术在电力输电线路运维中的重要性。该书以大量的应用案例作为事实依据，向读者说明了大数据分析技术在各行各业中的重要性。

三、结构合理，为读者构建了大数据分析技术在流程制造行业应用的知识体系