大数据网络应用范文
时间：2024-02-29 18:06:59
导语：如何才能写好一篇大数据网络应用，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。
篇1
关键词：网络营销；大数据；应用措施
中图分类号：F719 文献识别码：A 文章编号：1001-828X（2016）012-000-01
前言
现代科技技术的发展催生了“大数据”，大数据的产生不仅变革了信息技术，还为人们提供了有效方法，极深远地影响了社会经济等各个生活领域，促使各个企业开始实行网络营销模式，开展网络营销业务，本文就这个方面开始探讨网络营销中应用大数据的措施。
一、大数据和网络营销
大数据的意思简而言之就是大量的数据，深层含义是使用现代化的先进计算机技术，处理非人力或常规处理技术所能处理的大量数据，传统处理技术很难处理这些大量的数据资源，因此导致资源利用率低，鉴于现代化进程加快的背景，每天都会产生大量的数据，时间的推移只会让这些数据以滚雪球的速度增长，资料显示，互联网每天产生的数据有40ZB，所以，现代网络营销中，依托大数据，很多企业往往拥有大量的数据资源，但数据处理技术却不成熟，难以处理大量的数据。但企业在进行业务工作时，统计各个环节、统计分析客户和市场数据都会产生大量的数据， 怎样有效管理和利用这些大数据，对许多企业而言是一个比较严峻的问题。而进行网络营销又离不开这些大数据，因此，做好计算机大数据处理技术十分重要。
二、大数据下的网络营销模式更新
科技的发展促进了计算机技术的发展更新，网络营销中利用计算机技术，可以有效汇总大量的有用信息，创建一个基于大数据的网络营销模型。大数据之下，网络营销若想长久发展就必须不断更新，利用新技术不断摸索新方式。
（一）建立商品关联挖掘网络营销模式
商品关联挖掘营销是指在某种特殊联系的基础上将两种商品放在一起，进行营销推广，比如，美国的经典案例，啤酒和尿布，销售商将这两种商品放在一起销售，表面看起来这两种商品似乎并没有什么联系，但实际上却大有门道，许多美国妇女由于做家庭主妇非常忙，没有时间买尿布，所以往往让爱人下班时去买，将尿布和啤酒放在一起，人们在购买尿布时就会顺手买些啤酒，这就是尿布和啤酒之间的特殊联系。这种商品关联挖掘网络营销模式需要以大数据为基础探索商品之间的联系。
（二）建立基于大数据的社会网络营销模式
使用社会数据进行网络营销会产生大量的数据，具体案例有利用QQ、微信等社交媒体，在这些社交媒体上广告，增加产品销量，比如，红米手机在QQ空间里广告，通过大量转发，达到了很好的宣传效果，从而大大提高了红米手机的销售量，甚至超出了售前预期销量，这就是利用大数据进行社会网络营销模式的优秀案例。
（三）建立基于大数据的用户行为分析营销
在大数据背景下建立用户行为分析营销模式意指通过记录和分析用户的上网数据，总结出用户的喜好和经济水平，筛选出有价值的潜在客户，对其制定一对一的营销计划。这种营销模式具有很强的针对性，目前基于这种营销模式还开发出了一种新的社交工具――云信，它可以依据消费者发出的产品评价和社交历史记录自动分析消费者对产品的喜好程度，建立一个用户系统，为网络营销提供大量的、潜在的、有购买欲望的客户。
（四）建立基于大数据的个性化推荐营销
网络营销模式中，基于大数据背景下的个性化推荐营销模式是非常重要的模式，在目前的一些社交网络平台中，比如微信、微博、知乎等，用户可以根据自己的喜好建立属于自己的社交圈，在自己的社交圈中随时随地自己喜欢的信息，利用大数据，销售者可以收集这些用户喜欢的信息，分析消费者的心理需求，利用快速的网络传播速度和目前庞大的社交群体，进行个性化的商品推荐，这种营销方式和用户行为分析营销方式有很大的相同点，也具有极强的针对性。
（五）建立现代通信的大数据分析营销模式
现代通信数据分析营销模式的运用在实际生活中的例子有很多，其中比较有名的有淘宝中量子恒道统计，它主要有两种功能，一种是量子恒道网站统计，另一种是量子恒道店铺统计，网站统计主要是统计客户和第三方的一些数据和内容，比如网站访问量，全面监控数据变化，同时通过分析收集的互联网数据，归纳总结客户的网络使用规律，根据分析结果制定相关的网络营销策略，量子恒道店铺统计通常是实时统计淘宝店铺在运营中产生的数据，利用这些数据对店铺作出相应修改，吸引客户。
三、网络营销中应用大数据应注意的问题
以上是几种基于大数据基础的创新网络营销模式，利用大数据，网络营销可以实现无数种新型模式，但要达到高效利用大数据还需注意几下几点：第一，加强网站建设和运营管理，企业要进行网络营销首先是要建立一个公共网站平台，通过网站平台顾客可以对企业有一个初步的了解，能否给顾客留下好印象，使其对企业产品感兴趣就看网站建设如何，所以，加强网站建设非常重要，建立好网站后还要对其进行运营管理，维护好网站，实时更新资讯，吸引受众；第二，建设一支复合型网络营销人才队伍。成功的网络营销离不开好的人才队伍，人才队伍是网络营销的基础，企业应重视人才吸收，培训现有人才，组间一支高素质、高技能的网络营销人才队伍；第三，积极使用网络营销新手段。在现代社会，科技技术日新月异，企业要做好网络营销必须及时跟上时代潮流灵活使用网络营销新手段，比如利用最流行的通信软件推广企业品牌。
四、结束语
互联网信息技术的不断进步不仅产生、更是加速了网络营销的发展，网络营销与传统营销手段相比，它依托网络平台，减少了广告宣传费用，不仅可以为企业减少成本投入，更是增加了利益收入。
参考文献：
[1]陈卓.基于大数据的中小企业网络营销问题及对策探讨[J].中国市场，2016，09：21-22.
[2]韩松洋.大数据时代政治网络营销的本质研究[J].陕西行政学院学报，2014，02：88-91.
[3]张冠凤.基于大数据时代下的网络营销模式分析[J].现代商业，2014，32：59-60.
篇2
关键词：大数据技术；网络入侵检测；数据挖掘技术
就目前情况而言，随着我国社会科技的发展，我国计算机技术、信息技术得到了快速的发展，而大数据技术则是计算机技术与信息技术发展的产物。大数据技术是一种信息收集、分析、整理与存储技术，其能够实现对多种信息数据的管理，在网络入侵检测中应用大数据技术，不仅能够提高网络入侵检测的精准度与准确度，同时还能够实现自动化、智能化的网络入侵检测管理，这对于保证计算机网络能够安全、稳定的运行具有十分重要的现实意义。
1相关理论概述
1.1大数据技术概述
大数据技术是现代信息化社会发展的必然产物，同时也是推进我国现代社会发展的重要技术。大数据是一种数据的集合，能够实现海量信息的分析、整理与存储，是以信息数据为本质的信息技术，同时，在对大数据中数据信息挖掘的过程中，能够实现对理念、模式、技术及应用的创新，从而达到不断优化、创新大数据技术的目的，促使大数据技术更适用于现代信息化社会发展的需求，为现代社会发展提供辅助型的力量。大数据其实就是一种数据库，在该数据库内存储了各行各业的各类数据信息，相关工作人员在数据库收集数据信息时，便可通过相应的技术收集到想要的信息，提高了信息收集的时效性。大数据技术即通过互联网、物联网及企业数据等建立一个数据源，经过提取、转化、加载完成数据的收集，并能够将数据存储与系统当中，在该系统中，能够实现对信息数据的自动化管理，当使用用户想要收集相关数据时，可根据权限在数据库中提取，从而使得数据变得可视化[1]。
1.2网络入侵检测概念
网络入侵检测是保证网络运行安全的重要技术，网络入侵检测主要是检测的是网络的运行状态，即计算机用户使用计算机网络的行为，并辨别用户的行为是否能够对网络产生入侵威胁，若用户的行为将对计算机网络产生入侵伤害，则网络入侵检测能够对入侵行为进行拦截，并上报网络用户，从而最大程度上保证网络的安全性，确保了网络能够平稳运行。网络入侵检测是计算机网络的内部系统，是一种重要的网络安全管理技术，利用网络入侵检测技术，能够实现对不同系统源的信息收集，并通过对这些数据信息的分析判断计算机网络的运行状况，并辨别计算机网络是否存在入侵危险，是否存在他人网络入侵攻击的问题。此外，利用网络入侵检测能够对计算机网络的运行数据实现全面的监控，当网络开始运行时，网络入侵检测便开展工作，直至计算机网络停止运行，在此过程中，网络入侵检测能够根据自动收集的网络运行状况制作成网络检测记录，并自动上传至系统保存，相关工作人员在进行网络管理时便可到系统中搜寻网络检测记录，从而为计算机网络的稳定运行提供判断支持。同时，当网络入侵检测发现存在入侵攻击时，可自动生成反应报告，并上报给相关工作人员，部分威胁网络入侵检测可以利用防基于大数据技术的网络入侵检测应用研究董天宇 黄云（安徽继远检验检测技术有限公司安徽省合肥市230088）火墙自动地域，而对于抵御难度系数较大的入侵行为，需要相关工作人员根据反应报告及时制定入侵抵御计划，从而保证计算机网络运行的安全性与稳定性[2]。
1.3常见的网络入侵方式
网络入侵是影响计算机网络使用稳定性与使用安全性的关键因素，其不仅可以导致计算机网络正常运行受到影响，同时也能够盗取网络用户计算机中的数据信息，使得网络计算机用户的数据信息泄露，使得网络计算机用户的信息安全无法得到保证，甚至有可能损坏企业的经济效益。据笔者调查研究显示，现阶段常见的网络入侵主要包括三种，分别为网络病毒入侵、网络黑客入侵及拒绝服务攻击。（1）从网络病毒入侵的角度来分析。网络病毒入侵是最为常见的网络入侵方式，其主要是在计算机网络中植入木马病毒，导致计算机网络无法正常的使用。网络病毒入侵对网络运行的损害较大，且修复难度较大，同时，现阶段由于我国网络入侵检测技术还不够成熟，且木马病毒具有较大的感染性与隐蔽性，很多木马病毒无法顺利的被检测出来，致使计算机网络很容易受到网络病毒的侵害。（2）从网络黑客入侵的角度来分析。网络黑客入侵主要是入侵技术人员根据计算机网络中的漏洞深入计算机网络系统当中，并对计算机网络实行修改、植入木马病毒等攻击行为。网络黑客入侵的主要目的为盗取计算机网络中的相关数据，或利用计算机网络指令等。（3）从拒绝服务攻击的角度来分析。拒绝服务攻击是指利用相关技术手段使得计算机网络拒绝为用户提供服务，导致用户的数据信息无法被保存，造成用户的计算机网络瘫痪或停止运行，从而引起用户的数据丢失[3]。
1.4网络入侵检测的重要作用
近年来，伴随着我国社会科技的发展，我国网络入侵检测技术在大数据技术、云计算机技术的支持下得到了快速的发展，但由于我国网络入侵检测技术起步较晚，目前仍处于发展中阶段，很多网络入侵检测产品并不完善，致使其在实际使用过程中还存在诸多的问题。首先，就目前情况而言，我国很多网络入侵检测产品的精准度不高，难以实现对入侵行为的精准把控，存在较大的漏洞，很多入侵行为发现不及时或未发现导致计算机网络运行受到了损害。其次，针对网络入侵行为的拒绝服务攻击的处理能不强，且未有完善的自动修复技术，致使还是存在较大的数据信息丢失威胁。再次，现阶段我国大部分网络入侵检测产品的独立性较强，未能实现与计算机网络其他安全部件的良好联动，致使网络入侵检测功能大打折扣，且成本增加。最后，我国大部分网络入侵检测产品未具备完善的测试评估便上市发行，致使在实际使用中适用性与功能性不强，且对于网络入侵产品的检测标准不统一，致使市场上网络入侵产品质量参差不齐。
2数据挖掘技术在网络入侵检测中的应用
数据挖掘技术是大数据技术的重要组成部分，结合业内相关研究成果与工作经验来看，该技术在网络入侵检测的应用中具有良好表现。具体来讲：
2.1系统模型与检测方法
数据挖掘技术是现阶段我国网络入侵检测中普遍使用的一种检测技术，其能够帮助网络入侵检测提高检测的精准度，促使网络入侵检测能够真正的发挥其功能与价值，同时具有成本低、流程简便的优势。数据挖掘技术是基于大数据技术下的数据信息自动收集技术，将数据挖掘技术应用于网络入侵检测中，能够实现与计算机网络其他安全部件的良好配合，达到1+1>2的目的，同时，在大数据技术的支持下，数据挖掘技术还能够实现自我学习、自我创新，从而达到优化技术的目的，促使数据挖掘技术更具备适用性。就目前情况而言，现阶段我国常用的网络入侵检测系统主要包括两种，一种是在主机上安装网络入侵检测产品，而另一种则是在网络上安装网络入侵检测系统，但无论是那种方式都存在一定的漏洞，而基于大数据的数据挖掘技术主要是将两种系统向融合，构建一个Agent检测系统，在该系统中，既能够实现对主机的入侵检测，又能够实现对网络的入侵检测，同时，能够实现智能化、自动化的检测，从而满足不同环境下入侵检测对检测系统的需求。同时，利用数据挖掘技术构建的网络入侵检测产品可以说是一种新型的网络入侵检测产品，其并不需要进行对硬件、软件的调整，而是直接将系统输入到网络系统当中，具有较强的适应力，且具备自主学习功能，能够应对多变的网络入侵手段与形式，故而能够提升网络入侵检测水平。
2.2系统架构设计
现阶段，国内外常用的网络入侵系统构架主要有两种形式，第一种为设计一个中心管理平台，在在该平台对入侵检测进行管理与控制，但该系统构架适用于小心网络管理中，若将其应用于大型网络管理中容易存在检测数据信息准确度降低的劣势。第二种网络系统构架为分布式体系构架，该构架主要是在子网上构建一个独立的系统，每一个区域均有一个系统负责入侵检测，且每一个系统均可以看做是一个个体，该种方式的系统构架能够全面、细致的检测到每一个子网络上的入侵行为，故而更适用于网络入侵检测系统的构架当中。在进行网络入侵检测系统的构架设计时，首先需要收集预处理数据源，并将预处理数据源转移到数据仓库存储，随后利用数据挖掘技术建立一个数据挖掘引擎，随后将数据信息分别输送到检测模块与规则库当中，且规则库同时需要收集管理控制模块，经过规则库分析与处理的信息也需要传送到检测模块当中，随后检测模块通过对数据信息的检测判断是否存在网络入侵行为，若发现存在入侵规则行为后，需要将信息传递到入侵相应模块当中，从而完成对网络入侵检测的全流程。
2.3数据挖掘算法在网络入侵检测中的应用
数据挖掘技术在网络入侵检测中的应用主要利用的是数据挖掘算法，数据挖掘算法主要是利用关联规则建立数据集合，由此可见，数据挖掘算法主要是挖掘网络入侵数据中的关联性，从而分析入侵属性之间的联系，利用相应规则建立数据排列，并剔除无用数据信息，从而提升了数据信息分析的准确性。关联规则在网络入侵检测中应用的主要机理为：通过应用相应的关联规则算法，可在计算机网络系统中快速发现很多未知的网络入侵检测方式，为网络入侵检测和防范提供必要的数据支撑，从而更好地保护计算机网络运行的安全性和稳定性。和其他网络入侵检测方式相比，利用关联规则算法能够快速有效的挖掘出那些未知的网络入侵方式，同时显示目前计算机用户的各种信息及行为方式，检测现有的行为方式和历史数据及行为是否一致，如果二者之问存在较大的差距，则可判定为入侵行为。在网络入侵检测方中，用户在使用计算机系统时，需要先进行登录，每登录一次可看作是一个事务，用t来表示，随着用户登录次数的更多，会形成t的事务数据库，用D来表示，D数据库有很多个不同类型的表组成。用户登录计算机系统记录样本的集合，可用T来表示；特征项的集合，用z来表示.关联规则的蕴含式为A一B，无论是A，还是B，属于z的子集，而且A和B不存在相互关联，二者之问的交集为空集。A在D中是成立的，其支持度为S，置信度为C。其中S为D中事务包含AUB的百分比，可看作是一个概率。而C则是D包含A事务的同时也包含B事务的百分比，可以看作是一个条件概率。
3结论
综上所述，网络入侵检测技术直接影响着计算机网络运行的安全性与稳定性，因此，为了提升我国网络入侵检测技术的水平，提升网络入侵检测产品的质量，保护计算机网络运行的安全，需要在网络入侵检测中融入大数据技术，并合理的运用数据挖掘算法实现对入侵数据信息的精准信息，从而提升网络入侵检测的精准度，确保不会存在入侵信息的漏失，这对于提升我国网络入侵检测产品的发展十分重要，同时也是满足我国现代信息化社会发展的必然选择。
参考文献
[1]张思松,周同旭.大数据时代下加强计算机网络安全的防范措施研究[J].铜陵学院学报,2020,19(04):103-106.
[2]靳亚洽.基于机器学习的DDoS实时网络入侵检测系统关键技术的研究[D].华南理工大学,2019.
[3]张永,杨学.大数据环境下复杂网络入侵数据智能检测平台设计[J].现代电子技术,2019,42(08):183-186.
篇3
本文对大数据技术在故障处理中起到的关键作用进行了详细的说明，并把业务和用户产生的多种数据进行了深度的研究，进而找出其中包含的有价值的信息，及时找出故障的发生地点，制定出对应的解决方案，从而保证业务的正常运行，满足了用户的使用需求。
1 开展故障处理工作的关键是故障数据信息
当网络开始运行的时候，业务、网络和用户等都会产生非常多的数据。这些数据不仅可以对网络运行情况进行清晰地反映，而且还能够说明业务当时的质量情况。因此，应该全面掌握电信业务运行过程中产生的故障数据信息。
1.1 网络资源故障有关数据;因为网络资源具有种类多，较分散的特点，所以网络资源数据是进行电信故障管理的关键数据来源。网络资源故障相关数据主要包括:
(1)一些最基础的信息数据。(2)每个设备上的重要文件。(3)故障的初始信息。(4}网络资源的配置信息。(5}资源性能故障信息。
1.2 业务服务故障相关数据;如果业务服务产生了故障，那么将没有办法为电信用户提供正常的服务。所以，业务服务数据是找出电信业务发生故障地点的关键数据来源。业务服务故障相关数据有:
（1）业务服务的基本信息。（2）资源故障表。（3）用户的基础使用情况信息。（4）服务系统的文件。（5）用户报修单。（7）积累的经验知识等。
1.3 用户体验类故障信息;用户体验类故障信息和用户的使用感受有着直接的影响。用户体验类故障信息有:
（1）用户自动产生的SLA违反单。（2）SLA的评估结果单和SLA评估数据（3）用户的基本使用信息。（4）积累的经验知识等。
2 基于大数据的故障管理架构
传统的故障管理系统比较落后，数据的来源比较单一，并且故障数据在管理系统中分布的比较分散，使得所有的故障数据不能很好的联系起来，无法及时的进行自动化故障处理工作，只能依靠相关人员来进行维修处理。总而言之，传统的故障管理结构已经没有办法满足现在的网络和业务管理的需求。
为了能够找出故障的发生地点，实行及时保护和解决工作，满足用户的使用需求，文章提出了基于大数据的故障管理框架，形成了以大数据的故障相关数据为基础的研究平台，达到了故障数据的统一储存和管理，并可以向别的应用系统提供故障数据存储、查询、汇总等服务。
2.1 数据源;数据源主要是利用收集手段对电信业务故障相关数据进行全面的采集。除此之外，还对企业内外部数据，例如天气情况、重大事情等进行收集。数据源所拥有的数据必须非常的全面和广泛，从而才能够成为分析大数据的强大数据来源。
2.2 数据存储;数据存储主要是存储所有的数据。存储的数据既包括最基本的原始数据，也包括突然出现的暂时数据。数据存储层的主要功能就是提供故障相关数据的存储、查询等。
2.3 数据汇聚;数据汇聚就是把所有的系统联系在一起，汇总成多数据源的数据，并使其拥有相同的数据格式，为故障处理提供方便。
2.4 数据处理;数据处理主要是对数据集实行多种处理功能，包括互换和质量保证等。
2.5 数据分析;数据分析是对故障进行管理的核心。采用Hadoop技术，提供非实时和实时的计算功能。
2.6 数据监管;数据监管主要通过数据保护和数据访问等手段，为数据提供良好的保护功能。
2.7 数据应用;数据应用层是结合处理故障数据的真实需要，对故障数据服务能力进行多方开放，对外提供查找故障发生地点、检测故障发生原因、进行故障处理等故障使用功能。
3 基于大数据的故障管理应用技术
基于大数据的故障管理应用技术主要是通过监督和控制网络和业务、观察用户的使用行为，形成智能控制、测量和保护系统，对运行中产生的故障相关数据进行汇总和研究，从而能够及时找出故障的发生地点，并及时进行解决，满足用户的使用需求。
在面向用户感知的故障管理过程中，大数据主要在以下四个方面发挥着关键的作用
3.1 多源故障数据处理;故障管理数据的来源非常的广泛，收集的方法也非常多。而在大数据环境下以前的故障管理数据，需要从所有的系统收集和业务有关的数据，达成数据共享平台，使用多种有效的评价和测量方法，来达到数据质量控制的目的。
3.2 面向用户感知的业务质量评估;当用户看视频的时候，系统需要对用户的使用情况和业务质量进行监督和评价，从而为用户的业务质量提供保障。
传统的信息采集和流量监控，只关注视频的使用情况，而在大数据环境下，对用户的业务质量会从多个角度进行分析，建立全面的业务质量评估制度，从而优化了网络使用资源，为用户业务质量提供保障。
3.3 业务质量趋势预测;在上述情景中，系统要根据网络情况、用户使用行为等信息，对用户业务质量进行监督，从而达到用户的满意程度。
通过研究电信业务的传统数据，形成故障预防方式;通过全面分析各类数据，发现其中规律，预测其发展趋势，对故障进行预防和管理，满足用户体验。
3.4 故障定位及恢复;和原始的故障定位系统相比较，使用大数据技术找寻故障发生地点，结合用户、网络等数据，展开数据分析，为找出故障发生点并进行故障解决提供了更有价值的数据信息。
当上述场景中，当视频在观看中产生问题或者用户的业务质量不断降低的时候，系统能够对故障地点进行准确的定位，并制定相应的解决方案，保证业务的持续使用。
篇4
1 大数据分析技术
大数据技术是时代和科技发展的产物。当前，权威领域还没有对该技术有更加准确的官方解释，社会各界对大数据的定义也存在较大的区别。从总体上来说，大数据技术是通过技术的应用，来对海量数据进行处理，在立足这些海量数据基础之上，对这些数据进行专业处理和深度挖掘、分析，对各种资源进行更加合理的应用[1]。随着大数据技术的不断发展，技术已经取得了非常大的发展，在社会和生产领域中的应用越来越多，成为一种影响世界发展的关键技术，是传统技术所无法比拟的，其技术应用产物可以为高层企业决策提供非常好的参考，在基层分析中，也可以发挥非常大的作用。
2 移动通信网络
移动通信网络是一种非常好的通信传输介质，通过该网络的应用，可以有效实现客户与客户之间的通信，客户与服务器之间的通信。在实现整个通信的过程中，都需要强大的专业技术进行支持。随着我国各方面的全方位发展，社会生产和生活对移动通信的需求越来越旺盛，对通信质量要求也越来越高，对网络运行效果提出了更高的要求。为了持续保证网络运行质量，需要根据网络运行中出现的问题，及时做好网络的优化工作，保证网络的通信质量。通过大数据分析技术在网络通信中的应用，可以起到非常好的网络优化作用。但是，在该技术在给网络通信带来更好优化效果的同时，也对网络通信的进一步发展，造成了不小的影响。
3 大数据分析技术在移动通信网络优化应用中存在的问题
通过将大数据技术应用都移动通信网络的优化中，可以在很大程度上提高对网络的优化质量，为网络的更好发展和进步，提供有效的数值支撑。但是在该技术的实际应用过程中，也出现了比较多的问题，这些问题的产生，在很大程度上影响着网络技术的进一步发展和进步，下面将要对大数据分析技术在移动通信网络优化中存在的问题进行有效的分析[2]。
（1）存在着不少安全风险。大数据分析技术在移动通信网络中的主要作用，就是对移动通信网络的各种数据进行研究、处理、分析，在资源转换工作中也发挥着不小的作用。在技术的整个运用环节中，其与整个网络通信的安全因素是密不可分的，但由于当前大数据分析技术的发展还不够成熟，导致技术在运用过程中往往问题较多，很多问题的出现都会对网络通信安全造成不小的影响，严重时会造成网络数据损坏或者丢失。一旦造成重要数据丢失，就有可能对重要用户造成非常大的经济损失，严重影响客户对运营商的信任程度。
（2）移动数据存在的问题。当前移动通信网络发挥非常迅速，网络的覆盖面积也不断增加，在网络通信系统运行过程中，产生的数据资源总量也在不断增加，各类移动数据量越来越大。在对面这些海量移动数据时，大数据分析技术经常会表现出较多的不足，不能很好地完成对一系列数据的处理、分析等工作，对各种网络数据的处理也不够及时。数据方面出现的问题给移动通信企业的运营发展，造成了不小的影响，移动数据方面的问题不断突出。
4 有效的问题解决对策
（1）更好地对存储功能进行利用。大数据分析技术在移动通信网络中的应用，应该对大数据技术的存储功能进行更加充分的利用[3]。在对移动通信网络数据进行分析和处理的过程中，应该充分将大数据技术的存储功能应用起来，对于移动通信网络当中的大量数据进行有效的管理和存储，并在这个基础之上，做好对数据存储的虚拟化，将数据存储虚拟化作为处理移动数据的有效方法，在有效解决移动数据存在各种问题的同时，也可以有效降低网络运行的成本投入。
（2）不断建立和健全相关的管理体系。随着时代的不断发展，大数据分析技术在网络中应用的重要性不断突出，但其中爆发出的网络安全问题需要及时引起我们的重视。虽然大数据技术在生产和生活中的应用越来越多，但在制度和体系建设方面也暴露出来比较多的不足，需要进一步健全相关的管理体系，让大数据技术在网络优化中的应用不断规范化和标准化。此外，在技术的应用环节中，还应该做好对重要数据的安全监测工作，更进一步保障整个移动数据的安全性。当前管理体系的完善性还非常不足，各种安全风险因素往往较多，应该对这些安全风险因素有清醒的认识，通过及时采取各种有效的技术措施来有效弥补这些不足，确实保障每个移动通信网络用户数据的安全性。
（3）将大数据分析技术应用到位置信息的管理过程中。在对移动通信网络的优化过程中，用户位置信息的管理一直是难点和重点，其能更好地符合当前移动通信对用户的基本要求。在过去传统的通信过程中，由于位置管理不是非常理想，导致对移动通信网络的优化难度比较高，在移动通信基站方面就形成了非常明显的限制，各种整体性通信网络服务的限制性比较明显。为了有效解决这个问题，可以将大数据技术有效应用在对用户位置信息的分析和处理上，促进对基站的合理化建设，认真做好基站建设的位置规划，确保基站在假设完成后，可以更进一步将其作用发挥出来，避免过去数据分析不当造成的基站管理混乱情况的出现。
（4）构建非结构化的档案资源数据库。在海洋信息的使用过程中，经常采用的是非结构化的存储模式。这主要是因为海洋信息的种类太过丰富，且还处于不断增多的趋势，这对数据管理的数据库提出了新的要求。目前出现了一种新型的NoSQL数据库技术，其能有效解决非结构数据的存储管理问题，它摒弃了传统关系型数据库ACID的特性，采用分布式多节点的方式，非常适合大数据的存储和管理。由于其采用无关系的数据管理模式，这大大提高了地理信息数据的可扩展性，避免了结构化数据管理模式所带来的弊端。此外，其具有非常强大的数据读写能力，在大数据情况下，依然可以表现得非常有优势。这种数据库采用的是灵活的数据模型，无需先要建立存储字段，定义数据类型非常灵活，并且可以灵活改变数据的类型。总之，该数据库非常适合对地理信息的存储和管理，不仅占用的空间小，对于数据的管理也非常灵活，实际运行效率也很高。
篇5
【关键词】 大数据 Web服务 Web传输
随着现代社会信息化建设的进步，各种网络应用程序已经普遍应用于各领域中，网络软件越来越多，包括互联网子邮件系统、数据搜索引擎系统、文件信息上下载系统等，使网络需要在同一时间内处理的数据量越来越多，面临着海量数据传输效率低下的问题。
一、Web服务概念
Web服务是一种新型的网络应用程序，也是一种模块化的网络应用，Web服务能够处理简单的网络请求，也可以处理逻辑结构复杂的网络应用，其有强大的数据处理功能。当Web服务部署完成之后，其他网络应用程序则可以随时调用其部署的功能。
SOA指的是一种应用于跨网络平台和网络驱动业务的架构模型，SOA架构模型可以按照实际需求利用分布式部署、组合部署等模式对松散耦合的粗粒度组件进行部署，其服务层是整体架构模型的基础部分，可以被网络应用程序直接调用，对网络系统中存在的交互依赖性进行控制。SOA架构模型具有以下几点优势：（1）编码灵活度较高，可以利用不同的组合方式创建基于模块化服务，充分体现了SOA架构模型编码的灵活性。而且，由于网络服务用户不会直接对服务提供者进行访问，因此，这种网络服务的本身也具有较高的灵活性。（2）明确每个开发工作人员的任务角色，例如，负责客户端编程的应用程序开发工作人员只需要考虑界面设计层，不需要掌握数据层的逻辑转换模式，重点解决具有重大价值的数据业务。（3）能够支持多种客户类型，SOA架构模型利用服务接口，以及对Web服务标准的支持，能实现对多种客户类型的数据处理业务，包括智能手机、平板电脑等网络访问。（4）SOA架构模型便于后期维护，其采用的开放性标准协议，以及提供的松散耦合关系，可以有效保证后期维护简单便捷。（5）具有良好的伸缩性和可用性，网络服务的提供者相互独立，可以在集群环境中进行灵活部署。
二、基于大数据的Web服务传输方案的构建
在现有的大数据Web服务传输方案中，应该尽量选择一次性的调用解决方式，如果期望得到快速的大数据处理请求，可以采用一次调用、多次返回的解决方式，将一个返回数据分解成为多个轻量返回数据，从而使返回数据处理更加方便灵活，以此实现快速返回第一次调用数据的实际需求。但是，想要在大数据Web服务传输方案中采用多次返回数据的解决方式，必须采用多线程技术。
如何将多线程技术应用于Web服务传输中，必须综合考虑多线程技术的特性，将一个任务分割成为多个任务。通常情况下，一个任务的最终目标是十分明确的，就是使用户获得请求的全部数据。当应用多线程技术后，需要给每个线程分配各自的任务，使每个线程都可以获得指定数据，由此，提出取模分类的方法，将任务分配给多个线程。
取模分类方法指的是根据用户发出的请求建立索引值，经过取模运算后可以将全部数据按照取模运算后得到的余数进行分类，此时，每个线程都可以查询到与其对应的分类数据，由此，一个数据查询任务被分割成为多个轻量数据查询任务，获得的第一个返回数据的时间是最快的响应时间。
随着网络技术的普及应用，网络承载的数据量越来越多，传统的数据库系统已经不能满足目前网络海量数据处理的实际需求，造成了网络数据传输效率低下。取模分类和多线程技术应用于Web服务传输方案中，可以有效提高海量数据传输效率，增强网络系统的可扩展性。
三、基于取模分类和多线程的Web服务传输方案的实现
3.1 取模分类方法
取模运算经常应用于程序设计中，设定一个整数P和任意一个整数N，存在N=KP+R，其中，K和R均为整数，0≤R
对于整数P，a，b来说，将其取模运算定义为a mod P，以a除以P的余数。在取模运算的基础上，将一个整数集合A={1，2，3，4，5，6}的模值设定为3，对集合中的每个整数进行取模运算，分别得到0，1，2三个余数，再按照余数将集合A分成三个类型，{A1，A4}mod 3=1；{A2，A5}mod 3=2和{A3，A6}mod 3=0。
同理可得，对于任意整数集合Z来说，都可以为其设置一个模值n（n∈N），由此，将集合Z进行取模运算之后，可以按照余数分成n个子集合Zi（i∈N）。
3.2 多线程技术
当客户端发出请求处理大量数据时，会造成数据库系统的数据处理时间增多，使得大量数据在网络传输中耗费过多时间，降低了网络用户的体验感，想要获得请求数据必须等候较长时间。如果客户端请求的数据处理量较小，必然会缩短网络数据传输和处理时间。如果将客户端发送的数据请求按照取模分类进行计算，将模值设置为N，每个线程传输1/N，可以有效缩短网络用户请求数据的等待时间。
目前，网络下载普遍采用的是多线程技术，以此提高网络传输速度，客户端将预先设置的模值分为N个线程，每个线程获得与其对应的数据，由此，当第一个线程完成数据传输的时间就是客户端响应时间，该时间比一次性获取全部数据缩短很多，此时，剩余的线程通过持续加载，多个线程的数据传输时间也明显少于单个线程的数据传输时间，取模分类和多线程技术数据传输原理如图1所示：
多线程技术的应用需要设置合理的模值，在大数据传输过程中，保证每个线程任务分配合理，不会占用过多的系统开销时间，以此实现大数据在网络中的快速传输。
四、结论
综上所述，本文将取模分类方法和多线程技术应用于Web服务传输中，可以迅速响应客户端发出的数据请求，提高网络用户的体验感。本方案按照客户端发出的数据请求特征，采用取模运算方法，分成多个任务在不同线程内进行传输，该方案的有效应用可以明显缩短客户端的数据需求响应时间，切实提高网络用户的满意度，具有良好的实践应用意义。
参 考 文 献
[1] 许春玲，范志刚，宋应文. 机器学习算法的网络大数据级应用实践[J]. 网络新媒体技术，2012，06：63-69
[2] 季文天. 语义Web下大数据量模糊聚类分析[J]. 电脑知识与技术，2011，27：6571-6572
[3] 赵越，陈志伟，蔡淑惠，颜志平. 大数据量科学计算数据的动态Web可视化[J]. 现代计算机（专业版），2012，14：3-6
[4] 江永源. Web大数据量页面优化实践[J]. 程序员，2010，05：107-108
篇6
计算机网络应用的迅猛发展带动了计算机网络管理系统的发展，业界对于网络管理软件产品的应用及研究也更加重视。当前，我国计算机网络管理系统进口产品居多，网络管理系统软件方面的发展与国际上还有很大差距，因此，近年来我国更加重视推广关于计算机网络管理产品的开发和应用。目的在于准确掌握计算机网络管理系统发展的方向，提高这一领域的研究成果，使计算机网络的运行更为稳定、可靠、安全，同时也摆脱我国计算机网络发展对于国外计算机网络管理产品的依赖，促进我国信息产业健康可持续发展，使社会生产、生活更加智能化。
关键词：
计算机网络；管理系统应用；现状；发展
国内迅速发展的计算机网络应用与相对滞后的网络管理系统应用形成巨大反差，计算机网络管理系统是根据计算机原理、计算机网络原理、计算机网络安全等技术研究出来的应用于计算机网络管理的产品，例如Openview、NetSight等都是被广泛应用的网络管理产品，这些产品多来自国外。本文结合计算机网络的组成与应用，对计算机网络管理系统应用的现状进行探讨，对计算机网络管理系统应用发展的方向进行整理、分析，从而正确地抓住计算机网络管理系统应用发展的趋势，更有效率地进行计算机网络管理产品的研究和计算机网络管理系统的应用实践。
一、计算机网络组成与应用
计算机网络系统由硬件系统和软件系统构成，在计算机网络运行过程中，软、硬件的兼容性、可靠性对网络运行的稳定性、安全性极为重要。随着网络技术的发展，网络的开放性使各种信息资源有了更大的、更方便的共享平台，大大提高了信息资源的利用效益，网络的功能拓展特点，又使这些数据可以通过下载、打印等得到更广泛、更直接的应用。因此，在工作、生活中，人们对计算机网络的应用早已成为一种习惯。当前，我国计算机网络广泛地应用于军事、教育、医疗等各领域，网络的交融性、兼容性、开放性使其在应用过程中展示出很多优势。我国关系到国计民生的多个领域，都能较好地利用互联网+、大数据、云计算、物联网等技术开发出功能完备、实用性强的网络应用系统，大中型企业早已建立了自己的电子商务平台，通过网络宣传企业、营销产品等；银行金融行业也广泛开展了各种网上金融服务，如云闪付、手机银行等应用程序。网络视频会议、网络远程监控等功能已被当代人所熟知。在我国，虽然计算机网络应用的范围极广、发展极快，但由于很多原因，我国的计算机网络管理技术发展较为滞后，网络管理系统大多依赖国外计算机网络管理产品，这一现状对我国互联网的进一步发展造成了很大影响。华为、中兴等国内知名网络设备生产商所研发的网管系统，大多只针对自己企业生产的产品进行有效管理，跨平台、跨行业、跨厂商的网管系统还有待开发。同时，业界技术标准有待于进一步统一。
二、计算机网络管理系统应用现状
计算机网络管理在我国发展较晚，技术水平落后于世界先进国家，当前，我国所应用的计算机管理系统大多来自国外，很少有自主研发的计算机网络管理软件。我们在网络管理实践中发现，综合运用一个运行稳定、功能强大、操作简单、界面友好的网络管理系统是加强网络运维手段建设的重要途径，它可以直观反映网络设备的运行状态，链接利用率以及通过查看日志、分析端口状态等方式及时发现潜在的风险，为网络管理人员合理调度资源、规划升级现有网络、迅速排除故障、及时发现网络运行风险提供了重要依据。Openview、NetSight等网络管理软件大都来自国外。网络信息技术虽然在我国得到飞速的发展，但我国对于计算机网络管理系统软件的研究还不成熟，还需要加大力度。在美国提出“数字地球计划”的概念后，全球信息化已成为网络发展的必然趋势，网络管理系统的管理思想不断更新，更多的新技术、新手段应用于网络管理之中，大大地增强了网络系统运行的安全性、稳定性和可靠性。当前，我国计算机网络管理系统的应用现状主要表现在三个方面。
第一，我国网络管理水平较低。例如，我国的计算机网络管理没有通用的平台，各设备提供商技术标准还不够统一，系统不能相互兼容，经常是“单打独斗”，形成不了规模，在国际市场上竞争力较弱，企业之间、行业之间的网络数据交换存在一定的复杂性和风险，网络管理界面的不统一造成了网络应用中的一些障碍，影响了网络应用效率。在网络建设和管理的过程中，重建轻管、重用轻管的现象普遍存在，产生问题的根源有以下两点：一是够用就好。网络建设规划之初缺少前瞻性思考，只满足于现在的需求，对本行业网络需求的增长考虑不足。二是能用就行。这一点是导致网络建设标准不高的主要原因，一旦遇到棘手问题，网管人员常常感觉力不从心，无从下手，改建或重建的成本都很高，也会影响到现有网络的正常运行。
第二，在全球信息化时代背景下，我国虽然认识到计算机网络管理系统开发的重要性，也大力推进相关的研究，但由于我国的计算机网络技术起步较晚，与世界先进国家的差距较大，即便我们再努力，这一差距在短期内还是存在的。
第三，我国计算机网络管理系统过多的依赖国外产品，一方面，国外的计算机网络管理系统不一定适应我国网络应用的环境，另一方面，我国计算机网络管理对国外计算机网络管理产品的依赖增加了我国计算机网络应用的各种风险，不利于我国计算机网络综合水平的发展。例如，在高清网络视频会议应用过程中，各个会场的联通需要依赖网络，而网络管理多使用国外产品，在会议过程中，会议的一些内容是保密的，但这些数据对于网络管理的“后台”却是“不保密的”，这就增加了计算机网络应用过程中保密数据的安全风险。
三、计算机网络管理系统应用发展
计算机网络系统相关的软硬件发展极为迅速，特别是软件更新换代快，系统的性能、兼容性等都有很大提高，满足了网络发展的需要。当下，计算机软硬件的发展都很迅速，但是计算机网络系统本身的缺陷还未解决，软硬件兼容的细节问题及软件应用和发展的细节问题还不同程度存在。同时，计算机网络管理系统虽有发展，但发展方向模糊，不够明确。传统网络管理以“网络平台/应用程序”模式为主，主要针对数据的采集、事件管理、网络功能拓展等展开，如芯片节能技术能使CPU功耗得到很好的控制，集成内存控制器也是在计算机网络产品生产工艺提升的情况下实现的，但在计算机网络应用实践中，网络连接不稳定、文件丢失损坏等问题还不同程度的存在，并且网络应用的安全性随着计算机网络的发展得到了更多的关注和重视。在计算机网络信息技术迅速发展的大背景下，计算机网络管理系统应用的发展有很明显的趋势。
第一，计算机网络管理系统的应用将会继续向综合化、集成化发展，网络为用户提供的各项服务将会更加可靠、安全、方便。例如，数据网络系统服务，在大数据的支持下，各行各业数据库的建设将避免重复的录入、整理，大数据为信息需求方提供了庞大的数据支持，可通过互联网共享整合各类信息资源，进行深入数据挖掘，实现更大的利用价值。同时，计算机网络应用的安全性也会随着网络管理综合化进程得到极大发展。
第二，计算机网络管理系统的应用将会实现分布式网络管理，届时网络的管理将实现跨平台连接，数据交互更加安全、可靠、方便，减少了核心网管节点的负荷，提高了网络运行的效率。
第三，计算机网络管理系统的监控功能将会更加完善，计算机网络系统的运行也将更安全。Openview系统对计算机网络的管理使由无序发展到了主动控制阶段，用户可以通过产品的应用迅速控制网络，并可根据需要增加其他解决方案，使网络管理及监控更加智能化。NetSight网络管理系统也能实现网络安全的全网监控，使网络管理更为灵活，对于网络系统应用过程中的流量控制、警报指令等更为精准，并且能够自动调整网络设备配置、自动修复网络运行中的一些问题。对网络管理系统监控功能的进一步完善，能够使网络运行更加稳定、安全，实现了网络管理系统的智能化，使网络管理系统的应用更加简单、科学。此外，要重视网络软件开发的统一性、规范性，推进网络系统统一界面的发展。
四、结语
综上所述，关注计算机网络管理系统应用的发展是我国社会发展的长久之计，业界同仁应尽快研究、开发出与我国网络实际环境相适应的网络管理产品，以提高我国计算机网络行业在国际上的竞争力，为我国计算机网络发展开辟更广阔的空间。
参考文献：
［1］王睿.计算机网络管理系统应用现状及发展前景［J］.讯世界：下半月，2015（03）：36-36.
［2］李海涛.算机网络管理及中小企业的网络管理［J］.国电子商务，2013（16）：95-95.
篇7
关键词：计算机；网络数据；安全策略
随着科学技术发展以及社会进步，逐渐进入了计算机网络发展时代，计算机网络在生活以及工作中具有重要作用，并且很好提高了人们的生活质量以及办事效率。当然计算机网络的应用在推动社会发展基础上，也带来了很多问题，网络是把双刃剑，能够造福社会，同时也会产生一些负面影响。计算机网络的应用涉及很多个人信息以及数据等，特别是一些重要文件，若是丢失或是泄露等都会造成严重的损失。所以，当前的计算机网络数据安全逐渐成为关注的焦点，应重视对数据安全策略的分析以及研究，积极探索更加优良的计算机网络管理策略。
1计算机网络数据安全概述
对于计算机网络数据安全来讲，需要从计算机网络方面着手研究。计算机网络主要由网络硬件、网络操作系统以及网络应用程序三方面组成，其中网络硬件主要是指网络自身的实体运行，网络操作系统主要是对计算机网络硬件的基本操作以及网络控制，网络应用程序主要是指计算机的基本应用程序，这三方面构成计算机网络[1]。从计算机的基本运行情况能够看出，不管是其中的哪个程序运行或是提供的各种服务等都需要通过数据传输的方式实现，其中会涉及大量的数据，所以，计算机运行需要各种数据作为支撑。计算机网络数据安全策略分析以及研究主要是为了更好帮助计算机进行数据处理，保证计算机数据的安全，能够防御网络中的欺骗以及窃取等。计算机网络运行期间，经常需要对数据进行输出、加入以及存储、传输等操作，在每个环节都需要计算机数据作为基础，所以计算机网络数据安全非常关键。要保证计算机网络数据安全，需要从以下几个方面着手。首先是计算机网络数据处理阶段，保证计算机网络数据安全的安全性，不断防御恶意侵入或是非法入侵等，并且能够及时处理计算机数据，防止因为计算机出现故障或是断电等问题造成数据丢失。其次是计算机网络数据信息传输阶段，保证数据传输阶段的安全性，保证计算机信息能够及时得到传输，并且传输的数据信息与计算机接收到的信息一致，这样才能更好防止计算机信息泄露或是计算机网络数据遭到篡改。最后是计算机网络数据的存储阶段，也需要注意存储阶段的安全性，计算机存储阶段的数据信息安全性主要指计算机中的数据库系统在运行期间能够处于可读性的状态中，授权的计算机用户能够根据适当的方式读取其中的数据。
2计算机网络安全数据影响因素
对于计算机网络数据安全来讲，不断强化网络数据安全的重要前提就是掌握数据网络安全问题的影响因素，这样才能真正做到治标治本。影响计算机网络数据安全的因素包含很多种，笔者总结了比较常见并且出现频率较高的几种因素，具体如下。第一，网络漏洞问题。网络漏洞问题主要是因为计算机需要根据IP地址将信息传输到计算机中，但是因为计算机的操作系统具有多重性以及多样化特点，所以就会出现一些网络安全漏洞，加上计算机程序经常会一次性运行多个，其中任何一个都能够作为信息传输目标，管理上也会存在很多不足。计算机漏洞是影响计算机网络数据安全的重要因素，需要不断加强重视，才能更好阻止计算机不受到网络黑客或是病毒的攻击[2]。第二，计算机病毒。计算机病毒对于我们来讲并不陌生，它会影响计算机网络运行。我们在生活中或是工作中经常会利用计算机传输或是存储一些文件，并且所有计算机中都会有一个共享的目录，虽然这种共享很好提升了计算机数据传输的效率，但是也带来了一些计算机病毒，若是单个计算机遭受侵犯，会影响相关的数个计算机，这种共享的方式方便了病毒的传播。第三，设备故障问题。计算机本身的硬盘设备若是出现问题，也会引起计算机数据信息的泄露。比如计算机的磁盘失效或是计算机自身的电压不稳定等，都会导致计算机出现问题。很多时候计算机出现故障，经常会造成计算机网络数据丢失。或是相关操作人员对计算机硬件设备操作不当，造成计算机出现问题，数据丢失。
3计算机网络数据安全策略
3.1提高计算机访问控制能力
拥有访问权利才能访问计算机网络，所以，需要重视提高计算机访问控制能力。提高控制能力可以从以下几个方面着手。首先是验证用户，利用用户名的方式对访问用户进行验证，待计算机网络正确识别之后允许通过。其次是增加用户验证以及用户名的识别程序，只能输入正确的计算机指令才能进入。再者是对相应的程序增加权限设置，只有拥有权限的人才能进入。在计算机网络应用中增设验证步骤，主要是为了进一步保证计算机网络数据的安全，在此基础上还需要提高计算机中的防火墙防御技术，通过设定计算机屏障，能够严格控制双方的访问权，没有相应的授权不能进入个人账户中[3]。比如我们生活中最常见的用户验证设置“控制面板—用户账户—设置密码/管理其他账户”。防火墙是每个计算机都需要的，防火墙经常设置在内部网、互联网以及外网区域等中，主要是为了保证计算机网络数据的安全。
3.2重视计算机数据加密
计算机中的数据信息非常重要，所以需要不断提高对计算机数据加密的重视，这也是计算机网络数据安全控制中最基础的方式之一，能够对网络中的各种数据进行加密，提高数据信息的安全性。在原有计算机数据信息文件中进行加密处理，将其译成只有计算机能够识别的代码，在计算机加密处理中，将其称之为密文。这些密文职能通过代码翻译或是相对应的计算机钥匙才能打开。在技术发展进步基础上，加密技术也在不断升级，当前已经开始应用微机芯片等方式进行加密，总而言之，数据加密是保证计算机网路数据安全的重要手段。
3.3数据备份以及提高防御能力
保证计算机网络数据安全，还需要注意数据备份，对于重要的数据信息一定要备份，这样才能保证即使计算机网络数据出现问题，还能够存留一份，并且提高了计算机网络数据的恢复能力。与此同时，还需要提升计算机自身对病毒以及黑客的抗干扰能力，在遇到病毒或是黑客侵扰时能够及时阻止，这样才能保证计算机数据的安全。
4结语
综上所述，计算机是我们生活中的必需品，在很多地方都需要应用计算机网络，计算机网络数据安全对于我们来讲非常重要，因此，要不断加强对计算机网络数据安全防护的重视，进一步提高计算机网络数据安全控制能力，保证计算机网络数据的安全。
作者:丁媛 单位:天津市房屋维修资金管理中心
参考文献
[1]任卫红.计算机网络安全的现状及网络安全技术新策略的分析[J].通讯世界,2015(24):17-18.
篇8
关键词:通用分组无线业务; 远程抄表; 数据库; J2EE技术
中图分类号:TN919-34文献标识码:A
文章编号:1004-373X(2010)19-0129-03
Design and Realization of Networking Remote Automatic Meter Reading System
LI Yong-mao
(Changzhou Institute of Mechatronic Technology, Changzhou 213164, China)
Abstract: To meet the reform and development of power industry, and enhance management level of electricity business, GPRS-based network remote automatic meter reading system is presented in this paper. The flow which is needed for in-site measurement is obtained by the measurment in the local first, and then the networking remote automatic meter reading system based on Browser/Server structure is developed in combination with the communication technology of GPRS, the technology of J2EE and database technology. The structure of the measuring system and the method to realize this system are introduced in the aspects of the hardware and software. In the system, the connection pool is used to establish the connection of the Web server and the database, and the technology of xmlhttp is used to display the real-time online data. This product has been used in an actual meter reading system and worked well.
Keywords: general packet radio service; remote meter reading; database; J2EE technique
0 引 言
电力网供电长期以来依靠人力对商业用电和生活用电数据进行抄读,效率极其低下。抄表数据统计主要依靠人力,报表生成周期长,统计结果分析慢,获得结果不能及时反映系统用电量需求分布,对供应系统的网络优化没有参考价值,严重限制了供电系统的供电效率和质量的提高。
传统抄表方式依靠人力抄表,电表数据抄取周期较长,无法获得同一时刻所有用户的电表数据,使得电表数据的获取具有不精确性和时间段的模糊性,导致电网用电量的时空分布结果可信度不高,从而无法给供电管理部门提供有效的参考数据和建议。
自动抄表系统是供电系统监管部门用来对工业和生活用电进行监测、管理和控制,以及对用户用电情况进行统计、分析的重要手段。本文提出了将GPRS通讯技术与J2EE技术相结合的方案应用到自动抄表系统的设计中,构成了网络化的远程自动抄表系统。在底层硬件设计中,采用一种基于通用分组无线业务GPRS(General Packet Ratio Service)[1]无线上网技术的自动数据采集方案。在上层软件设计中,采用美国Sun公司推出的J2EE(Java 2 Platform,Enterprise Edition)平台[2]。该产品已应用在实际抄表系统中,效果良好。
1 系统的整体结构及工作原理
1.1 系统的组成
图1是系统总体设计方案。系统由五部分组成:GPRS数据采集模块、通信服务器、数据库服务器、Web服务器、客户端。
GPRS数据采集模块:它是系统的硬件主要部分。GPRS模块上电后拥有一个动态的IP地址,可以与通信服务器进行Socket通信[3]。它的功能就是将检测到的电能流量以十六进制数据格式发送给通信服务器。GPRS终端也可以接受来之通信服务器的命令。
通信服务器:它打开服务器的某一端口,监听并接受所有GPRS终端向该端口发送的UDP数据包[4],然后将数据包解析成流量等数据,写进数据库中。通讯服务器的另一任务是向GPRS终端发送命令的任务,即向GRPS终端发送UDP数据包。
数据库服务器:通信服务器从GPRS终端获得的数据都存储在数据库服务器上,同时数据库服务器还需对数据进行备份。
Web服务器:它连接着数据库服务器和客户端。首先它向客户端提供Web服务。响应来之客户端的请求,并根据客户端的请求向数据库服务器获取数据,然后再将数据以html格式返回给客户端,使得客户端可以浏览它所请求的数据。Web服务器还可以直接向通信服务器提出请求,通信服务器根据Web服务器的请求向GPRS终端发送命令。
客户端:它采用瘦客户端,只需要一个Internet浏览器即可。客户端的任务就是向Web服务器发出http请求,然后将Web服务器返回的html格式文件显示给用户。
图1 系统总体设计方案
1.2 系统的功能
系统的功能有:查看历史数据,读取实时或整点数据。
查看历史数据:客户端根据自己的需求,要求查看历史上某一段数据的请求,该请求经过Web服务器转送给数据库服务器,数据库服务器将数据经过Web服务器转接以html格式返回给客户端。
读取实时或整点数据:客户端要求读取实时或整点数据请求,Web服务器根据请求来通知通讯服务器,然后由通讯服务器通知GPRS数据采集模块,GPRS数据采集模块通过GPRS网络向通讯服务器发送数据包。当通讯服务器收到数据包时,将数据包解析成流量参数写到数据库服务器中,然后由数据库服务器将数据发送给Web服务器,然后由Web服务器将数据以html格式返回给客户端。
2 GPRS通信模块的设计及其功能
第2.5代通讯技术GPRS(Geneal packet Radio Service,通用分组无线业务)[5]作为第三代通讯技术的前奏,GPRS技术是在现有GSM技术基础上发展而来的一种新的分组交换的数据承载业务,由英国BTCellent公司在1983年提出。GSM技术主要以提供话音业务为主,而GPRS技术在移动终端与计算机通信网络的路由器之间提供了分组传递业务,这就是GPRS网络与GSM网络的最大区别[6]。
GPRS把分组交换技术引入现有GSM系统,为移动用户和数据网络之间提供语音通信。GPRS采用分组交换技术,主要提供非语音的数据业务,特别适用于间断的、突发性的和频繁的、少量的数据传输,给移动用户提供高速无线IP和X.25服务。GSM网络采用电路交换的方式,也适用于偶尔的大数据量传输。
本系统就是利用GPRS的分组无线业务,通过无线网络连接到现场的自动抄表装置上进行数据测量。
在系统中,关键之一是网络协议的选择。目前有┝街知协议,即TCP协议和UDP协议[4]。UDP协议与TCP协议相比较,有以下几个优点:
适用于小数据量的传输;
使用方便,不需要建立连接,是一种无连接的通讯方式;
传输数据的效率高,实时性强。
考虑到UDP上述特点以及流量测量系统对实时性的高要求,本系统采用了UDP协议。
3 系统硬件设计
电能流量测量设备有两种工作方式:一是按事先设定好的时间间隔,周期性地采集用户数据,实时地传送到数据库服务器;二是实时地响应来自于通信服务器的控制命令,按照控制命令进行特定的数据采集任务。这就要求作为数据传输模块和终端设备控制模块的GPRS终端能够实时地解析、处理各种控制命令并向数据传输服务提供尽可能大的吞吐率。另外考虑到系统的可扩展性,本系统硬件设计时没有采用传统的低成本但是高开发费用且性能、功能受限制的单片机加GPRS通讯模块的方案,而是使用了以高性能嵌入式CPU芯片为核心的设计方案。GPRS数据传输终端的硬件组成和连接如图2所示。CPU采用了专为网络解决方案设计的Samsung ARM7 4510B。GPRS模块采用目前比较流行的西门子MC35系列模块。
传输终端的软件采用了以嵌入式实时操作系统为平台、自主知识产权的网络组件为核心的体系结构。操作系统选用了μclinux。μclinux最大的特点就是没有MMU,很适合ARM嵌入式微处理器。该μclinux的内核版本是Linux 2.4,它具备完整的嵌入式TCP/IP网络协议栈,操作系统所有代码加起来编译后的镜像文件小于1 MB。
该系统以数字信号处理器DSP为核心,采用交流取样技术,可以连续地检测和统计电量的有关参数。
抄表数据终端起着管理和协调GPRS网络和仪表数据通信的作用。由于无线传输是基于GPRS的,所以抄表数据传输终端也可以称为GPRS终端,要完成硬件和软件的设计。抄表终端的硬件设计一般都会选用世界知名厂商生产的GPRS模块作为抄表终端与GPRS网络连接的中间件,实现同基站空中接口的连接,选用高速微处理器连接仪表和GPRS模块,处理┝秸擢间的数据通信问题。
图2 GPRS数据采集模块的硬件结构
4 系统软件设计
4.1 B/S结构
目前软件结构设计模式主要有两大类:一是传统的Client/Server(客户端/服务器)模式,它采用Intranet技术,适用于局域网环境可连接用户数有限,当用户数量增多时,性能会明显下降,客户端都要安装。一是正在不断发展的Browser/Server(浏览器/服务器)模式,它采用Internet/Intranet技术,适用于广域网环境,支持更多的客户,可根据访问量动态配置Web服务器、应用服务器,以保证系统性能。客户端只需要标准的Internet浏览器。
由于运行该系统的物理平台的复杂性,例如不同设备的操作系统、数据库服务器等都具有相异性,各种专业网络都有各自不同的网络架构和实现方式,因此必须选择能够较好支持跨平台开发的运行环境进行设计。此外,考虑到使用该系统的人员具有广泛性,依据不同的权限随时可以查看该系统的详细情况,若仍完全采用传统的固定C/S模式,就必须严格对每个客户端进行参数设置,这显然是不可取的[6]。
系统的软件设计采用以Web技术为基础,以浏览器/服务器即B/S为体系结构的方案。B/S模式与传统的C/S模式相比,优点在于:主要工作是服务器端程序的开发。服务器主要负责开发、维护网上的内容与资源,负责信息的收集、存储、,不存在客户端程序的开发和维护。客户端直接利用现有的局域网或Internet连接,不需要特殊设置和安装,使用标准的Internet浏览器,直接访问专用Web服务器页面,就可观看监测和分析电能质量的实时数据,并能查询所需历史数据。
4.2 系统运行环境与工具的选择
考虑到系统的移植性和跨平台性,本系统选择了Sun公司设计开发的J2EE平台,使用JSP(Java Server Pages)作为B/S模式的开发工具。J2EE(Java 2 Platform Enterprise Edition)是一个适用于企业级计算的支持多层、分布式应用的全新概念的Java平台,它为搭建具有可伸缩性,灵活性、易维护性的企业信息系统提供了良好的机制,与传统的互联网应用程序模型相比有着不可比拟的优势。J2EE主要面向网络应用,它定义了一系列规范的标准,使得Java程序员能够共同的遵照这个标准,开发大型面向网络的项目。它同时提供了庞大的开发库,是面向电子商务开发的企业级应用平台。Java具有“编写一次,到处运行”的特性,能够通过JDBC方便连接各类数据库,调用各类API,同时在Internet应用中保护数据的安全模式等。总结该系统的平台解决方案如下:
计算模式:三层B/S模式;
网络操作系统:Windows 2000 Server;
数据库服务器:Oracle 8i;
Web服务器:Apache Tomcat 5.0;
数据库驱动接口:JDBC驱动[7];
主要的开发环境及工具:J2EE,Java,JSP,Javascript。
4.3 连接池(Connection Pool)机制
程序的效率问题在JSP编程过程中是很重要的,即要考虑如何使有限的计算机系统资源为更多的客户提供更好的服务,保证客户的响应速度和服务质量。如果有很多人访问该网站,每一次Web请求都需要与数据库建立一个连接,那么数据库就有可能要同时处理许多建立连接的请求,这对于数据库服务器和Web Server来说是一个很严重的负担,甚至会导致资源耗尽而死机。
本系统使用连接池机制来解决这个问题。连接池最基本的思想就是预先建立一些连接放置于内存对象中以备使用。当程序中需要建立与数据库的连接时,只需到连接池中读取即可,不需新建连接。当程序不需该连接时,只要将该连接放回到连接池中,以便其他程序或用户使用。同时连接池机制对于位于池中的连接具有管理的功能,增加了与数据库连接的强壮性[8]。
4.4 数据库的远程管理
数据库内容包括:现场流量参数的实时数据、历史数据、不合格数据、人员的管理、权限的管理等。
数据库远程管理按照如下流程来实现:
(1) 客户端发出数据的查询或修改指令;
(2) 服务端接收指令,向客户端返回结果;
(3) 客户端接收结果,显示查询数据。
当客户端请求查看实时数据的时候,客户端向服务器发出请求,服务器每隔2 s就将实时数据发送给客户端,客户端接收并显示该数据。该过程就是┮桓霆典型的数据库远程管理过程。传统的技术是页面不断刷新,来获取新的数据,以便让用户看到不断变化的实时数据。但该方法的缺点一是当数据量较大时,占用服务器资源的消耗大;二是用户能明显感到页面的不断刷新,对用户视觉和听觉都有很大影响。本系统采用了Microsoft开发的xmlhttp技术,它是Microsoft xml解析器(MSXML)中的一个客户/服务通讯管道协议[7]。运用xmlhttp可以简单方便地实现数据库远程管理。由于其传送的是XML格式的数据,大大减轻了对服务器的消耗,而且采用xmlhttp协议,可以实现页面无刷新更新数据,使界面更加友好
5 结 语
本系统在硬件上采用了GPRS通信模块,软件上采用B/S模式,开发工具采用了Sun公司提供的J2EE平台,完成了系统的设计。它可以对现场电能流量进行远程、实时、直观地监测和分析。较之其他系统来说,具有远程监控、客户端免维护、服务器端易维护、系统安全可靠、操作简单方便等优点。该产品已应用在实际抄表系统中,效果良好。
参考文献
[1]张小强,杨放春.一种基于GPRS技术的无线监控系统[J].中国数据通信,2004,6(11):92-95.
[2]杨争林,宋燕敏,沈利华.基于J2EE的电力市场技术支持系统研究[J].电力系统自动化,2004,28(8):365-369.
[3]何进,谢松巍.基于Socket的TCP/IP网络通讯模式研究[J].计算机应用研究,2001,18(8):134-135.
[4]芦东昕,张华强,王陈.基于UDP的可靠数据传递技术研究[J].计算机工程,2003,29(22):62-63.
[5]吕捷.GPRS技术[M].北京:北京邮电大学出版社,2001.
[6]方木云,骆国刚.基于B/S的三层结构的ERP库存软件系统开发[J].微机发展,2004,14(4):31-34,37.
[7]陈培久,陈序广.用xml与xmlhttp组件实现网页信息的传递[J].微机发展,2003,13(4):4-6,10.
