分布式系统设计与应用范文

时间:2024-04-11 16:18:00

导语:如何才能写好一篇分布式系统设计与应用,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。

分布式系统设计与应用

篇1

关键词:分布式;热网监控系统;设计;应用

中图分类号:TU995 文献标识码:A

近些年来,我国的经济有了快速发展,人们的生活水平得到了很大提高,对于供热的需求也不断增加,在我国的大多城市当中,集中供热网络得到了长足发展。但是,供热网络的运行安全存在着各种各样的问题,如何及时发现并解决这些问题,是供热工作的重点内容,就给热网监控系统提出了新的要求。

一、分布式热网监控系统的设计

在任何一个监控系统中,都离不开硬件和软件两部分系统,分布式热网监控系统也不例外,其硬件和软件系统分别包括以下内容:

(一)硬件系统

1 监控中心设备。监控中心是整个热网监控系统的核心所在,其作用在于收集并处理整个供热网络的各项相关信息,从而为决策提供准确的数据支持,因此,需要配置的硬件设备是性能较高的服务器、打印机、显示器和配套通讯设备等。

2 检测环境温度设备。在热网监控中,需要及时了解外部环境中的温度情况,以确定供热系统温度调整的准确,所以,还需要有能够检测环境温度的设备,比如Pt100-A级的铂阻温度传感器以及与其相配套的温度变送器,组合成气象箱,安装在合适位置。

3 监控热力站的设备。热力站是整个供热系统的核心所在,其运行状态会直接给整个供热工作造成影响,故而,热力站的监控也是热网监控系统的重要组成部分,其设备主要包括热力站仪表、传感器,控制柜等,通过这些设备的共同工作,来采集并存储热力站工作参数,将数据反馈后按照相关指令进行调整,并起到安全保护和报警功能。

(二)软件系统

1 监控中心软件。监控中心软件承担着整个供热网络各项信息搜集、处理、判断的重要工作,其工作相对较为繁杂,应该具备多项功能,具体包括以下几点:首先,数据报表功能,能够完成对热网实时数据的采集、存储和整理,并将其制成报表归入到数据库中,保证操作人员能够完成对实时或历史数据的查询和分析。其次,平衡分析功能,此功能是对热网进行调整的重要依据,对于热网的工作效率有着重要意义,其采用的计算方法是“周期热量分析管理”法,以此得到相应的调节值,为管理人员决策提供依据。第三,安全告警功能,主要是保证热网运行的可靠,通过在软件中设置相应的安全上、下限参数,并根据分布于供热网络的监控装置,来判断热网运行是否出现不安全状态,并做出告警,以降低热网运行的不安全性。第四,系统查询功能,此功能在后台对热网监控参数进行设置的主要途径,通过对信息采集方式、时间间隔等的调整,根据实际需求来合理调整热网监控方式,得到最为合适的监控数据,提高对热网管理的水平。第五,效益分析功能,热网监控系统的目标之一就是提高热网工作的经济效益,所以,在软件中,需要设计此功能,通过对历史实际供热量与环境温度情况来分析供热的最佳比,以此作为依据,对供热量做出合理的调整,避免热量浪费问题的发生,从而提高供热的经济效益。

2 热力站软件。热力站的调整是整个供热过程调整的中心所在,也需要有相应的软件来实现各项功能,具体包括:首先,采集数据功能,热力站的数据是整个热网监控系统工作的基础所在,所以,在热力站软件中,必须具备采集数据的功能,通过分布于热力站的数据采集设备,得到热力站的实时数据。其次,数据传输功能,在数据采集完成后,还需要将其传输到中央控制室进行集中管理、分析,这就要求软件应有数据传输功能,保证相关数据传输的高效、准确,通常采用的是ADSL-VPN通讯模式。第三,安全报警功能,在热力站运行过程中,还会发生一些不安全问题,比如掉电、管道压力过高等,这些会给热力站运行安全带来极大威胁,通过安全报警软件,能够及时发现这些问题,并通过报警信息反馈给工作人员进行及时解决。第四,自动控制功能,热力站的运行状态是需要不断调整的,这些调整的依据是监控中心发出的指令,这就需要软件具有自动控制功能,能够通过调动相关设备来将热网的循环泵、水泵进行启停或者改变供水频率。

二、分布式热网监控系统的应用

在供热系统中应用分布式热网监控系统,需要遵循一定的供热策略和控制管理原则,以充分发挥热网监控系统的功能,实现集中供热运行水平和经济效益的共同提升。

首先,在对供热量进行调整时,需要保证用户对于供热的舒适感不会受到影响,在此基础上,考虑用户负担和供热成本,比如在供热的初、末期,应该采取降低供热量的方式,从而避免出现高室温,不仅影响了用户舒适感,也造成了大量的浪费。根据此原则,分布式热网监控系统需要将昼夜温差、月份温度变化等作为监控内容,最大程度的保证监控结果的准确、可靠与科学。

其次,在对供热系统进行调整时,应该以一次侧电动调节阀为主要调整手段,辅助以二次回水定压阀,通过对整个供热系统供应和分配情况的汇总分析,利用综合调度算法,得到最佳的回路平衡,从而制定科学的调整方案,通过相应的调整措施,来实现供热区域内供热均衡,提高供热工作的整体水平。

结语

综上所述,分布式热网监控系统对于当前供热工作的水平的提升有着重要作用。在设计分布式热网监控系统时,需要从供热的经济性、效果出发,综合考虑需要调整、计算的要素,将其纳入监控系统的功能模块当中,保证监控效果的最优化;在实际应用时,需要遵循用户经济、舒适相统一的原则,通过合理的调整方法,来保证供热效果的最佳。

参考文献

[1]张喜民,尹忠海,王国庆.基于TCP/IP网络的分布式热网监控系统的研制[J].仪器仪表学报,2007(05):891-896.

篇2

>> 分布式系统中数据冗余的研究 分布式环境中数据存储技术的研究 一种分布式大数据的数据安全管控策略研究 浅谈大数据下的Hadoop分布式架构 大数据环境下基于Hbase的分布式查询优化研究 面向大数据的分布式系统设计关键技术研究 分布式安全存储网络系统的研究 基于一致性树分布的数据分布式存储方法 分布式数据库存储子系统研究 云计算环境中分布式数据存储关键技术研究 探析分布式数据库技术运用在大数据中的策略 基于资源分类信息树的教育资源元数据分布式存储 一种基于影像块组织的遥感数据分布式存储方法 基于分布式的海量数据存储解决方案 车辆通行数据的分布式存储系统浅析 运维系统告警数据的分布式存储方法 海量空间数据的分布式存储管理及并行处理技术分析 一种基于信息分散算法的分布式数据存储方案 分布式系统数据复制的研究 基于分布式大数据的图书馆服务创新模式探索 常见问题解答 当前所在位置:l

[3] Jing Tian, Zhi Yang and Yafei Dai, A Data Placement Scheme with Time-Related Model for P2P Storages,Proceeding of Seventh International Conference on Peer-to-Peer Computing, 2007.

[4] 马延辉,HBase企业应用开发实践[M].机械工业出版社,2014.

[5] Lars George HBase权威指南[M].人民邮电出版社,2013.

篇3

【关键词】分布式 遥感影像数据库 优化设计

在遥感平台和数据通信技术的不断发展下,采用遥感技术进行空间数据存储和管理应用已经逐渐广泛,但是如果想要进一步提高遥感信息应用质量和精度,就必须要实施分布式遥感影像数据库优化设计,以能够对遥感影像数据高效性以及便捷性显著提高,促进遥感影像处理的简洁性以及个性化。

1 分布式遥感影像数据库实现

在分布式遥感影像数据设计中需要实现以下几方面功能,其一采用影像数据库存储各种遥感影像资料;其二对数据库底层的相关函数和方式调用,从而对影像数据库实施各种各样的操作。重点是在进行查询数据的时候,结合实际需求,实现对不同时期、不同格式以及不同形式的影像资料查询;其三在矢栅一体化模型之中,需要将影像数据和矢量数据之间的共同管理,并且还要对两者数据库自动进行更新,以便于对数据库相关内容实施以及定位;其四在Web环境中,分布式遥感影像处理必须要能够实施XML和SOAP调用相关操作。那么基于这些需求,关于分布式遥感影像数据库的设计,图1是遥感影像数据库系统结构图。

在系统优化设计中,采用Web Service实施遥感图像分布式处理,首先一定要依照影像数据库的实际需求进行确定,进一步优化数据流程设计。其中本次数据库运行流程则如图2所示。其中图2的左侧部分是在Web Service技术下获取远程数据的具体流程,右侧部分则显示了数据库的被访问过程。在这一分布式系统中,则是采用读物形式将数据库节点当成是网络数据源,并且在物理结构上这就是在单独服务提供者结点。其系统的运行流程则如下所示:在将Web服务系统构建之后,在UDDI用户服务注册中心可以实施服务查询,这样也就能够得到UDDI返回数据库服务提供者的地址,继续将其请求发送到数据库服务提供者的结点,这样也就能够采用相应技术将数据和消息的传输工作完成。在请求者想数据库请求具体数据的时候,则也就能够直接将其定位到数据库服务提供者结点,之后转输到数据库服务中心,获取所需要的数据,最后将其依照用户的请求方式将数据返回,也就完成了整个数据请求过程。

2 分布式遥感影像数据库的功能设计

基于各方面内容要求,在进行系统功能设计中一定要对不同的数据服务请求进行综合考虑,在进行数据查询的时候,也要为外界进行数据库查询提供相应的数据查询接口,其中包括成像时间查询、分辨率查询以及复合查询等等。图3为系统总体架构。在整个系统之中,对于元数据以及影像数据的存储并没有在同一个数据库之中,其中元数据库则是一个独立的数据库,其原因主要是因为:本次系统需要设计到的影像比较多,因此数据量绝大,并且系统在进行数据访问的时候可以采用多个访问方式,但是元数据库不但要对应系统影像数据库,同时也要关系到信息数据库、矢量数据库以及影像数据库等,将其作为一个独立的数据库更有助于进行影像数据库索引等操作;同时基于数据库安全性考虑,数据库服务中间件在经过数据定向后,才能够进一步对数据库访问,有助于提高数据库安全;将元数据抽出并将其作为一个独立的数据库,将其成功作为是数据服务中间件和影像数据库的中间件连接部分,能够提高客户信息查询速度。

3 SOAP/XML技术在数据库访问中的应用

在分布式系统构建中,系统设计中所采用的技术是SOAP/XML技术,这一技术的应用特点包括平台无关性以及语言无关性;同时SOAP/XML技术也对网络数据传输中存在的各种安全问题进行了综合考虑,在Internet传输过程中能够成功跨越防火墙,更有助于实施网络数据传输;另外在SOAP/XML技术之下,实施数据和消息传输其与OpenGIS标准更相符,有助于实现和其他系统的集成。

4 分布式遥感影像数据库设计效果

在通过对分布式遥感影响数据库设计及功能分析之后,则需要进一步在局域网中对其效果进行测试,基于数据库各种基本操作,SOAP/XML技术的应用能够显著提高数据库在实际应用中的有效性。本次研究中在Web Service环境下对遥感图像分布式处理影像数据库系统设计分析,数据资源的查询工作由消息中间件完成,之后通过元数据库实现影像存储的快速定位,之后和SOAP/XML技术下相结合,成功完成了局域网中的系统设计。经过测试,也有效确定影像数据查找能够对Web Service环境下遥感影像分布式处理要求满足。在下一次研究重点中应该是在对原型系统完善的基础上,进一步补充数据库服务中间件功能,并且要进一步对分不就是环境的不同数据库集成功能满足。

5 结语

在SOAP/XML技术基础上实施分布式遥感影像数据库优化设计,能够实现系统从消息中间间将数据资源查询工作的完成负责,借助于元数据库完成影像资源存储的快速的定位,并且和SOAP/XML技术等辅助接技术相结合,也就能够成功在局域网内实现系统设计,并且从其效果测试结果来看,这一系统设计能够对当前数据查询需求满足,并且也进一步扩大了数据库服务中间件功能,可以在不同数据库集成下完成分布式环境中的各种功能。

参考文献

[1]隋雪莲,任华,庞园园.影像数据库管理系统功能设计[J].数字技术与应用,2014(01):167.

[2]张莉霞,江南,胡斌,等.TB级多源遥感影像高效建库方法研究[J].遥感技术与应用,2013(03):496-504.

[3]马瑞,董玲燕.基于快速索引调度的金字塔影像构建及其可视化[J].人民长江,2013(23):82-85.

[4]王旭辉.Excel数据导入数据库的设计实现[J].现代电子技术,2013(12):71-73.

[5]王月莉,李发红,王占宏.多级多源控制点影像数据库系统的设计与实现[J].测绘通报,2013(03):86-88+115.

[6]徐富新,朱凤燕,黄玉秀等.基于LabVIEW的油滴电量测试系统的数据库访问[J].现代电子技术,2013(12):151-154.

作者简介

吕睿(1979-),男,河南省郑州市人。毕业于北京邮电大学,硕士学位。现为郑州轻工业学院民族职业学院讲师。主要研究方向为计算机网络、数据库、电子商务。

篇4

【关键词】LTE MIMO 多业务全光分布式系统 基站不共址

中图分类号:TN929.53 文献标识码:B 文章编号:1006-1010(2013)-21-0042-05

1 前言

目前,国内的电信运营商一般运营有2G、3G、WLAN和固网宽带等多种网络,于是数字射频系统可以将这些网络合并后通过光纤传输,这样可以减少网络建设的重复投资及物业协调工作。但是由于建筑物对无线信号有着严重的衰减和屏蔽作用,在一些大型场馆、写字楼、地下车库和城中村存在很多的盲区。同时,2G和3G网络下行速率比较低,随着移动业务的增长,难以满足目前智能终端用户对数据业务的体验需求。另外,在安装和组网方面,传统的数字光纤系统都是搭建馈线网络,通过无源合路器件将多频信号融合到天馈端实现覆盖,天线的辐射问题引起人们的恐慌,导致运营商在小区和写字楼的很多建网系统因遭到投诉而拆除。

多业务接入的数字全光分布式系统各个单元之间全部采用光纤连接,克服了五类线传输距离只有100m的劣势,可以利用ONU(Optical Network Unit,光网络单元)驻地网络资源拉远覆盖。同时,运营商4G网络的试点建设正在逐渐加快,在满足高速下载需求和提高用户感知度方面优势明显,为未来高速的无线通信奠定了基础。基于此,LTE多业务分布式系统将能满足运营商多网共建共享的要求,既可以实现传统网络的覆盖和资源共享,又可以提供4G业务接入,而且采用基站不共址接入的设计,组网更灵活,覆盖更深入。

2 LTE多业务系统

2.1 系统概述

LTE多业务光纤分布式系统是集2G、3G、4G、WLAN和固网宽带于一体的室分系统,设备主要由多业务接入单元(AU)、多业务扩展单元(EU)和多业务拉远单元(RU)组成。该系统中接入单元从信源RRU或微蜂窝基站端耦合多种信号,采用数字光纤传输方式,通过光纤将基带信号传输到扩展单元,在扩展单元与WLAN信号合路,然后通过光纤拉远传输给多个远端,远端机对信号进行数字处理后,射频信号通过设备一体化天线实现覆盖。

多业务光纤分布式系统基于数字中频技术的数字光纤传输,克服了模拟光纤传输时信号信噪比恶化的缺点,具有大动态、低噪声的优点,并且可以开发多种功能,支持星型、链、混合组网,具有模拟设备不具有的波动和时延校准、选频、底噪关断以及数字滤波等功能。

系统设备从接入单元到射频远端单元全都是利用光纤或五类线来传输的,射频信号经过数字化处理,主要应用于城中村等特殊场景下的信号深度覆盖,具有接入制式多、传输距离远、覆盖范围广、远端射频单元功率可控可调、有效功率利用率高、集中监控、选址及安装施工方便等特点。系统框图如图1所示。

2.2 传输原理

下行系统中接入单元从信源RRU或微蜂窝基站端接入多种业务的射频信号,经过下变频模块后变成中频信号,中频信号经A/D变换器变换为数字信号,基带信号处理单元将其打包成适合标准接口协议(如CPRI)要求的帧格式后,由数字光纤收发器将其传送到扩展单元。扩展单元实现光电转换、数字中频信号与宽带信号合路,以及下行信号功分/上行信号合路。激光器接收下行数字信号,与ONU或者AC输出的下行宽带信号合路,合路后的数字信号需要以一定的格式进行重新组帧,通过功分单元将下行数字信号输出到8个光口。

上行数字信号在8个光口进行合路,其中的宽带信号传输给ONU或者AC,分离的数字中频信号通过激光器光电转换后传输给主单元。拉远单元通过数字光纤收发器将基带数字信号送入基带信号处理单元,将其恢复成基带数据,经D/A变换器变成模拟中频信号,由上变频模块变换为射频信号,通过功放放大后,经设备自带的一体化天线发射至覆盖区域,达到信号覆盖的目的。

3 LTE多业务MIMO的实现

LTE网络的优势在于能够更好地提供高速数据业务。研究表明,70%的高速数据业务都发生在室内环境中,作为解决室内覆盖的主要方式,LTE室内分布系统建设成为LTE网络建设的重中之重。LTE引入MIMO多天线技术,充分利用空间信道的多径,将用户数据流分解为多个并行的数据流进行发送和接收,在不增加带宽与发射功率的情况下,成倍提高无线通信的质量与数据速率,有效提高系统容量。

3.1 传统MIMO方案

(1)单通道建设方案

LTE单通道设计方案采用单通路设置,使用一路射频单元,不实现MIMO,在室内分布系统建设中与2G/3G共用分布系统和天馈系统,如图2所示:

该方案工程建设简单,投资成本低,受限于一路MIMO的系统容量,无MIMO的优势,不能充分发挥LTE性能,理论上单用户峰值体验速率较MIMO低一倍。

(2)一路新建一路利旧方案

该方案中LTE采用双通道设置,使用两路射频单元实现MIMO,在室分建设中与2G/3G共用分布系统,LTE的一路射频与2G/3G共用一套天馈系统,另一路射频使用单独的天馈系统,LTE的两路射频通过单极化天线的方式进行覆盖,如图3所示:

该方案LTE有两路输出,具有MIMO的效果,峰值速率有明显提升;但需要对原来2G/3G系统的无源器件和天线进行改造使之满足LTE和2G/3G的频段要求,需充分考虑各制式之间的空间隔离,同时新增了天线和端口,物业协调难度高。

3.2 分布式系统MIMO方案

LTE多业务光纤分布式系统的MIMO在RU单元的实现采用双通道单极化方案,设备使用2路射频单元实现MIMO,同时在射频链路上2路射频单元分别合路2G和3G的射频信号输出,在室内分布建设中与2G/3G独立建设,采用独立的天馈系统且LTE每路射频通过单极化天线的方式进行覆盖。对于不方便建设天馈系统的覆盖区域,由设备自带的一体化天线实现覆盖。分布式系统MIMO方案如图4所示:

该方案的优势鲜明,由AU直接耦合基站RRU的无线信号,通过EU中继传输给RU,再由RU直接对室内进行覆盖,工程量小,建网方便,省去了大量的无源器件和天馈系统。同时各个单元之间采用光纤实现数字信号的传输,RU单元对数字光信号进行解调、数字滤波、射频放大后,由设备自带的一体化天线无线覆盖,在实现MIMO功能的同时建设更快捷。

4 多业务基站不共址

LTE多业务分布式系统的RU单元可以对2G、3G、LTE的无线信号进行覆盖。在实际的网络建设中,存在新建的LTE信源跟2G、3G信源不共址的情况,而同一个小区又需要同时满足2G、3G和LTE的无线网络信号覆盖。对此,LTE分布式系统结合硬件和软件的实现,通过光纤的形式,实现了基站不共址的接入方案,使得2个及以上的接入单元所连接的拉远单元均满足多业务覆盖的要求,如图5所示。

多个接入单元同时在网的情况下,根据时钟同步问题,要设置主接入单元和从接入单元,主接入单元只有一端,从接入单元可以有多端。主接入单元和多个从接入单元彼此之间选用一个光传输接口通过光纤连接。

当两个接入单元都正常工作时,从站时钟自动同步上主站,信号正常覆盖。当主接入单元故障时,两个接入单元的通信中断,主从站时钟失步。此刻从接入单元将以自己的时钟作为时钟参考,可以保证其本身及所拖的拉远单元业务正常运行,有网络信号的覆盖效果,这个时候主接入单元所带的拉远单远将没有覆盖效果。由于主接入单元已经出现故障,因此从接入单元的拉远单元就只有一种覆盖业务,该业务即为从接入单元的接入业务。另外,主接入单元的监控系统已经失效,而所有的监控信号都是通过主接入单元上报给一个监控中心的,导致了整个分布式系统的监控瘫痪。当主接入单元掉电或者故障后,在备用电池供电期内主接入单元会将告警信息上报给监控中心,提供网络业务故障的依据。

若主从接入单元时钟同步故障,主从接入单元会智能地以各自的时钟为主,各自独立不相干扰,物理上将多业务分布式系统分割成两个或多个单业务系统实现拉远覆盖。

5 LTE系统升级实现

分布式系统分为2G/3G和2G/3G/4G,在目前LTE还没有普及的情况下,共享已网建的多业务2G/3G室分资源,同时演进成带LTE网络多业务系统的覆盖,是LTE多业务系统未来布局的关键,即既要优化资源,又不能因新的网络增加运行维护的复杂度和施工难度。

5.1 软硬件升级模式

对于一些中小型城市的室分系统,目前仍然是采用2G和3G的多业务系统覆盖。考虑到运营商建网初期的成本压力和覆盖的必要性,可以采用只含2G和3G的业务系统建网,接入单元和拉远单元均只需要满足2G与3G的射频接收和拉远放大即可。后续运营商若需要再引入LTE满足用户高数据业务和建设智慧城市的需求,可直接在原来的系统上升级硬件和软件即可满足LTE多业务的需求,即需增加一端接入单元和一端拉远单元,如图6所示。

新引入的LTE接入单元MU2需跟MU1通过光口4连接,扩展单元仍然采用前系统的,新引入的RU单元RU1-2需跟RU1-1采用光纤连接,通过升级硬件和软件后,实现LTE多业务的方案,同时充分利用2G/3G网络资源。该方案系统改造小、施工简单,但新带来的硬件设备成本高。

5.2 软件升级模式

在目前4G试点的大城市区域,LTE网络已大量建设,所以在实现室分系统建设的方案中,可以直接采用2G、3G和4G集成的方案。该方案的接入单元和拉远单元在硬件上已经满足2G、3G和4G覆盖,若是后续需要进行LTE系统的演进,只需要升级MU、EU和RU的程序即可,如图7所示。

该方案只需一次性建网完成即可,系统集成LTE业务,后续升级不需要对硬件做任何处理,大量减少了再次建网和硬件增加带来的成本压力,系统稳定性更强。

6 总结

LTE多业务系统是一种新型的室分系统,可以在2G、3G多模的基础上简单升级,相比于传统室内覆盖系统,其优势显而易见。本文结合新形势下室内覆盖的背景,基于LTE多业务系统的原理,对LTE多业务系统在MIMO业务、共网共建、业务升级方面作了研究,为室内覆盖带来一种优化的设计模式。

参考文献:

[1] 沈嘉,索士强,等. 3GPP长期演进(LTE)技术原理与系统设计[M]. 北京: 人民邮电出版社, 2008.

[2] 黄韬,袁超伟,杨睿哲. MIMO相关技术与应用[M].北京: 机械工业出版社, 2006.

[3] William C Y Lee. 无线与蜂窝通信[M]. 3版. 北京: 清华大学出版社, 2008.

[4] Lucent, Nokia, Siemens, et al. 3GPP TSG Rl-01-1179 A Standardized Set of MIMO Radio Propagation Channels[R]. 2001.

篇5

关键词:多层体系结构; J2EE; MVC; Struts

DOI:10.16640/ki.37-1222/t.2017.04.184

0 引言

针对传统的客户机/服务器体系结构的种种缺点,计算机科学家提出了三层或多层分布式系统模型[1]。随着不断改进和发展,多层分布式系统逐渐形成了三种具有代表性的主流技术,即CORBA、COM/DCOM和J2EE(Java2 Platform Enterprise Edition)。J2EE为搭建具有可伸缩性、灵活性、易维护性的分布式系统提供了良好的整套机制。

1 多层体系结构模型

三层架构就是将整个系统业务应用划分为三个层次,即:客户层、业务逻辑层、数据访问层。业务逻辑层又可由多个子层组成,具体要看系统的复杂程度。这样就形成了多层分布式体系结构,分布性可以体现在软件上,也可以是硬件,具体模型如图1所示。

多层体系结构模型将表示和业务处理分开,缩减了客户端的规模,又将相关业务和资源分开,降低了服务器的负载,避免了服务器的性能缺陷对整个系统性能的影响。这种在多个服务器上分布应用程序处理的多层可变结构比二层体系结构的伸缩性和扩展性有了很大加强。同时多层体系结构解决了客户机/服务器结构的维护成本问题,改善客户机/服务器结构延展性问题。客户机/服务器结构支持的用户人数有一定限额,这种结构限制了internet/intranet及电子商务的发展。

2 J2EE多层模型

为实现企业级分布式应用,J2EE定义了丰富的技术标准、符合标准的开发工具和API为开发企业级应用提供技术支持,这些技术涵盖数据库访问、分布式通信和安全等。

2.1 J2EE多层模型介绍

J2EE是一个基于Java的适合服务器端的、结合了Java Enterprise API的完整的企业级应用系统开发平台或中间件体系结构,它通过提供一组应用组件和运行时环境来构造可伸缩的企业应用。典型的J2EE结构的应用程序包括四层:客户层、表示逻辑层、业务逻辑层和数据访问层,如图2所示[2]。

客户端层用来实现企业级应用系统的操作界面和显示层。表示逻辑层由web服务器和web组件组成。web组件包括JSP页面和servlets。表示逻辑层也可以包括一些JavaBeans,这一层主要用来处理客户请求,调用相应的逻辑模块,并把结果以动态网页的形式返回到客户端。业务逻辑层也叫ejb层或应用层,由ejb服务器和ejb组件组成,用来实现企业级信息系统的业务逻辑,这是企业级应用的核心。ejb要运行在容器中,容器解决了底层的问题,如事务处理、状态管理、多线程、安全管理、资源池等。表示逻辑层和业务逻辑层也可以合称中间层。数据访问层处理企业系统软件,包括企业基础系统、数据库系统及其它遗留的系统。

2.2 J2EE核心技术

在J2EE中,开发者可以用来实现多层结构的核心技术应该包括Servlets、EJB、JDBC、JNDI、Java RMI等[3]。

Java Servlet是一项服务器端技术,它接收来自Web浏览器的HTTP请求并返回HTTP响应。首先,请求被提交给Servlet引擎,然后Servlet引擎执行适当的Servlet,访问响应对象,并向客户端返回一个响应。

ejb定义了如何编写服务器端M件,并为服务器端组件和管理这些组件的应用服务器之间提供了标准协议,开发者可以利用这些组件象搭积木一样建立自己的分布式应用程序。ejb并不是一个单独的文件,它由一些类、接口、描述文件和其它一些资源文件组成。ejb组件有三种类型:会话Bean、实体Bean、消息驱动Bean。会话Bean用于管理实体Bean和其它会话Bean的交互、访问资源,通常代表客户机执行任务。实体Bean用于表示数据库中的数据,向JDBC或其它一些后端API经常访问的数据提供了一个面向对象的接口。消息驱动Bean响应JMS消息。

JDBC是Java程序与数据库通信的标准API,使Java开发者能够用纯Java API编写数据库应用程序。和ODBC一样,JDBC为开发人员隐藏了不同数据库的不同特性。另外,由于JDBC建立在Java的基础上,因此还提供了数据库存取的平立性。

JNDI是Java对对象名字和目录服务的“中央注册表”,管理着对构建分布式应用程序所需的核心组件的引用。当创建访问远程对象的应用程序时,JNDI以查找返回该对象地址的方式提供对该对象的引用。应用程序首先在WebLogic Server部署中需要的对象,而WebLogic Server服务将返回应用程序访问该对象时所需要的一切属性。

远程方法调用(Remote Method Invocation, RMI)大大增强了Java开发分布式应用的能力,支持存储于不同地址空间的程序级对象之间彼此进行通信,实现远程对象之间的无缝调用。RMI目前使用Java远程消息交换协议JRMP进行通信,JRMP是专为Java调用远程对象制定的协议。因此,Java RMI具有Java的“Write Once, Run Anywhere”的优点,用Java RMI开发的应用系统可以部署在任何支持Java运行环境的平台上。但由于JRMP是专为Java对象制定的,因此,RMI对于用非Java语言开发的应用系统支持不足,不能与用非Java语言编写的对象进行通信,其实也可以把它看作是RPC的Java版本。

3 MVC在J2EE中的应用

J2EE能使遵从这个规定的开发者得到行业的广泛支持,使企业级应用的开发变得简单、快速。然而在实际的开发过程中,设计者往往忽略了Java语言面向对象的特性,模糊了web系统三层之间的界限,从而使整个系统貌似神离,不能获得预期地优越的性能。这就要对J2EE开发模式的理论进行探讨,目前最流行的就是MVC(Model/View/Controller)设计模式,structs、spring、hibernate、JSF等则是实现MVC模式最流行的框架方案[4]。

设计模式就是软件人员在面向对象软件设计中经多次验证的成功解的记录与提炼,是在特定上下文情形下解决一般设计问题的类和相互通信对象的描述,是针对问题和解的抽象,是对一系列具有共性的问题的完整的解决方案。设计模式有效地避免了设计损害了系统的复用性,是可复用面向对象软件的基础。MVC是一个强大的模型,基于功能清楚地分开了代码,修改在某一层上的应用程序不会影响到其它层。代码分布到多个逻辑层和物理层执行,每一层对应于一个特定的应用程序功能,它们之间使用定义明确的、可判定的方式进行通信。通过响应用户和程序输入,在层与层之间传递信号和数据来完成应用程序的功能。

MVC设计模式具有设计清晰、易于扩展、运用可分布的特点,因此在构建Web应用中具有显著的优势。MVC可适用于多用户的、可扩展的、可维护的、具有很高交互性的系统,如电子商务平台、CRM系统和ERP系统等。MVC可以很好的表达用户与系统的交互,可以很方便的用多个视图来显示多种数据,从而可以使系统能方便的支持其它新的客户端类型,如PDA、WAP等。MVC的另一个好处就是将开发团队依照专业技术方向分开。这样,GUI设计专家可以在视图层工作,负责具体功能开发的领域专家在控制层工作,数据库专家在模型层工作。这种明确分工可有效提高开发团队所有成员的效率,从而提高整个开发团队的生产能力。

MVC在J2EE下开发已经成为了开发的主流模式。目前实现MVC模式比较好的框架有structs、spring、hibernate、JSF等。这些框架都提供了很好的层次分隔功能,其中Struts技术是构建J2EE分布式程序的最流行框架方案。

Struts的开发模型分model 1和model 2两种。model 1模式在进行快速和小规模的应用开发时是具有非常大的优势,但是从工程化的角度考虑,它也有一些不足之处,主要在于不方便应用扩展,以及不利于应用系统业务的复用。大型web应用必须采用不同的Model 2设计模式。Model 2是基于MVC模式的框架,"Model"代表的是应用的业务逻辑(通过JavaBean、ejb组件实现),"View"是应用的表示层(由JSP页面产生),"Controller"是提供应用的处理过程控制(一般是Servlet)。这种设计模型把应用逻辑、处理过程和显示逻辑分成不同的组件实现,这些组件可以进行交互和复用。Model 2具有组件化的优点,从而更有利于大规模系统的开发和管理。Struts是一组相互f作的类、Servlet和JSP标记,它们组成一个可复用的Model 2设计。这个定义表示Struts是一个框架,而不是一个库。但Struts也包含了丰富的标记库和独立于该框架工作的实用程序类库。Struts利用taglib获得可重用代码和抽象Java代码,利用Action Servlet配合Struts-config.xml实现对整个系统的导航。Struts增强了开发人员对系统的整体把握,提高了系统的可维护性和可扩充性。

4 结束语

J2EE为搭建多层分布式系统提供了良好的整套机制,包括了J2EE的相关实现技术和应用开发的一般过程。通过多个具体项目的应用研究,开发者可以逐步完善该体系结构,逐步积累各层次的组件,直至最后建立J2EE业务组件库,从而达到提高研发分布式系统的能力、效率和规范软件的研发过程。

参考文献:

[1]梁维海.三层体系结构无关性的研究及实现[D].四川:成都理工大学,2004:1-4.

[2]闫|,郭D.基于Eclipse开发环境的J2EE编程技术[J].河北:唐山职业技术学院学报,2008,6(04):45-46.

[3]王仕超.基于JAVA的MVC模型框架研究[D].江苏:南京理工大学,2003:11-16.

篇6

【 关键词 】 分布式;单点故障;一体机;分布式文件系统

【 中图分类号 】 TP302.1

1 引言

随着公司规模和业务量的增加,相关的开发环境与业务数据也随之成倍的增长。在这种情形下,独立服务器存储空间不足就成为了目前较为突出的问题。虽然公司内部有若干大容量的服务器可以用来保存相关数据,但由于服务器通常位于不同机房,在管理与组织上存在困难,也只能满足一段时间内的存储需求。于是这就要求对多台机器上的空闲空间加以组织利用,来提供更大的磁盘空间,以突破单机存储的限制。

目前大量企业考虑采用NFS方案,使用共享存储服务器进行网络存储应对数据爆发式增长。NFS方案在规模较小、访问量较低时能够满足需求,但随着数据量与访问量的增加,这种方案会显得力不从心,同时也导致性能与用户体验急剧下降。此外,集中式存储需要保证完全不出现宕机,否则依赖其提供数据的应用将均不可用。

考虑到性能瓶颈与单点故障等问题,分布式文件存储系统主机正在逐渐取代集中式存储的地位。在分布式文件系统中,服务器之间的数据由一对多的关系转变为多对多的关系,从而大幅提升性能与可靠性。分布式文件管理一体机具有海量的存储空间,并支持灵活扩展、高性能访问的文件共享存储平台,对较大数据量和高并发访问的应用提供高效、易用、安全、可靠的服务。

2 研究现状

2.1 分布式系统的现状分析

随着存储数据量的爆发式增长与硬件技术的提升,分布式文件系统已经成为一个较为活跃的研究方向。国内外很多大学及研究机构还有公司都已经或正着手开发自主分布式文件系统,以发挥集群系统的优势。同时,在某些开源社区中也开发了一批可运行于Linux操作系统之上的分布式文件系统,这些开源项目也大大促进了分布式文件系统的发展与应用。

目前,用MapReduce框架构建大型的并行数据密集型应用是将海量数据存储到分布式存储云端时使用的主要技术,它同时需要分布式文件系统如GFS、HDFS等去存储和管理分布式的海量数据,并提供较高的聚合I/O带宽,支持大量的客户端和PB级的数据量。在云计算飞速发展与数据爆炸性增长的时代中,分布式并行文件系统以其存储容量大,高聚合I/O性能,高数据容错性,高可扩展性,顺应了信息爆炸的增长需求,成为了解决高性能计算系统的海量数据存储和I/O瓶颈问题的有效方案。

现阶段有数十种以上的分布式文件系统解决方案可供选择,如MFS、lustre、Hadoop、TFS等,并且某些分布式文件系统已经得到了较为广泛的应用。如基于Nehalem服务器平台,验证了MooseFS分布式文件系统的功能,并对该文件系统的性能、可靠性及稳定性进行评估。目前,以浪潮NF5280为核心的解决方案成功应用吉林文化信息资源共享工程。此外,Hadoop也受到了国内外众多软件厂商的关注,并已在电子商务(eBay就是最大的实践者之一)、能源开采(美国第二大石油公司Chevron已经采用)和移动数据(美国有70%的智能手机数据服务背后的支撑)等。

2.2 主流分布式系统对比分析

业务系统会产生大量非结构化数据大文件,如图片、GIS中的位置信息文件、音频、视频流等,对于这些数据的有效处理将大大提高信息系统的性能,提升服务质量,降低对信息系统运维的成本。

对于下文中的分布式文件系统,主要从功能和非功能两大方面,包括不间断写入高并发数据测试性能,模拟各种故障测试高可用性,数据节点数量增加提高性能的程度,分布式文件系统的易操作性等全方位多角度的测试,以得出各个分布式系统的性能数据及验证其对于现有业务需求的契合度。

2.2.1 HDFS分布式文件系统

HDFS有着高容错性的特点,设计用来部署在廉价硬件上,而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的需求,这样可以实现对文件系统中的数据的流式访问。针对HDFS的可靠性,经过长时间高并发不间断的测试,文件系统依然很稳定,可对外提供7×24小时的服务。系统没有单一故障点,任一节点出现故障情况,可通过自动切换达到迅速恢复服务的效果,更加突出其稳定性、可靠性。

2.2.2 TFS分布式文件系统

Taobao! File System作为淘宝内部使用的分布式文件系统,是一个高可扩展、高可用、高性能、面向互联网式服务的分布式文件系统,其设计目标是“支持海量的非结构化数据”。针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据存储。该系统采用完全扁平化的数据组织结构,抛弃了传统文件系统的目录结构;在块设备基础上建立自有的文件系统,减少EXT3等文件系统数据碎片带来的性能损耗;单进程管理单块磁盘的方式,摒除RAID5机制;带有HA机制的中央控制节点,在安全稳定和性能复杂度之间取得平衡;尽量缩减元数据大小,将元数据全部加载入内存,提升访问速度;跨机架和IDC的负载均衡和冗余安全策略;完全平滑扩容。

TFS在其高可用性方面具有较高的优势,但其通用性、用户接口方面具有一些先天不足。TFS目前仅支持小文件的应用,同时由于其算法机制,Client写文件是同步处理的,需要等所有Data Server写成功后才能返回,这大大降低了系统的性能。此外,TFS有自己的文件命名规则,如果用户使用自定义的文件名,则需要自已维护文件名与TFS文件名之间的映射关系,这大大增加了业务人员的负担。

2.2.3 MFS分布式文件系统

MooseFS (MFS)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类Unix文件系统一样,包含了层级结构(目录树),存储着文 件属性(权限、最后访问和修改时间),可以创建特殊的文件(块设备、字符设备、管道、套接字),符号链接,硬链接。

MFS提供通用的文件系统,不需要修改上层应用就可以使用;可以在线扩容,体系架构可伸缩性极强;部署简单;体系架构高可用,所有组件无单点故障;文件对象高可用,可任意设置文件的冗余程度,而绝对不会影响读或写的性能,只会加速;提供Windows回收站的功能;提供类似Java 语言的垃圾回收(GC);提供NetApp、EMC、IBM等商业存储的Snapshot特性;GFS的一个c实现;提供Web Gui监控接口;提高随机读或写的效率;提高海量小文件的读写效率,但是对于大文件的读写效率支持就不太好,在当前的测试中,通常对于大文件的读写速度在180Mb/s左右。

对于以上分布式文件系统,对其在不同并发数与文件大小的情形下进行了写测试,测试结果如表1所示。

3 算法与设计

3.1 系统设计

分布式文件管理一体机在功能上应满足业务需求。根据分布式文件存储系统的功能需求,系统需满足不同业务系统文件的安全存储及无故障运行,并提供友好的操作接口。其具体功能有几种。

3.1.1基于网络编码的分布式文件系统

由于客户端统一使用Fuse标准接口对外提供服务,为了提高Fuse的性能,需要将文件块的大小转化为控制编码矩阵的选择上,也就是系统能够根据文件长度、用户的策略选择自动生成合适的(n; k)纠删码矩阵,应用于文件的编码操作。为了使得BlockSize尽可能的在几十MB的数量级上,系统采用大数据块的文件组织形式,按照文件传输单位进行文件的切分以提升系统性能。同时,对一些误删除的文件,一体机可以根据元数据对其进行恢复,从而最大限度的保证用户数据的安全存储。

3.1.2高可用框架

分布式文件管理高可用系统设计主要有三个部分,分别是文件系统基本功能的设计、监控系统功能的设计和管理平台功能的设计。其中,监控系统功能的设计占主要部分,它又分为Agent子系统、MON子系统和Collector子系统,这三个子系统通过互相的监控和消息通信机制实现对整个一体机的管理,保证一体机实时正常的运行状态。当管理节点的某些机器在宕掉服务、新机器重新接入时,利用高可用的网络通信,无需将整个一体机的机器设备上的服务停掉后重新开启链接即可完成机器的替换,能够保证服务与应用的高可用。

3.1.3一体机监控管理平台

自主开发的一体机管理监控平台中包括六个功能测试模块,分别是首页模块、实时监控模块 、资源管理模块、应用管理模块 、运维管理模块 和系统管理模块。每个模块显示不同的业务模块,界面友好、易操作,能够清晰地掌握一体机的相关信息,并对其进行调整。

3.1.4异地容灾

容灾的基本解决方案是为系统建立远程冗余节点,保证系统业务不间断。分布式文件系统异地容灾解决方案的的设计框架包括本地主备服务器、本地数据服务器、DNS服务器、远程备服务器和远程数据服务器。通过远程备同步本地主服务器的日志和远程数据服务器备份数据的机制实现容灾。通常而言,容灾系统能够经受住大部分对当前活动数据中心损坏或毁灭的事件,当其中一处因意外事故而意外瘫痪或毁坏,该系统将切换至容灾端,使得整个系统能够正常运行。

3.2 软件与架构设计

3.2.1 资源管理子系统设计

一体机采用分层方式对资源管理架构进行设计。如图1所示,总体架构分为界面展示层、应用服务层、业务逻辑层与基础框架层。其中,界面展示层将展示各个设备、服务器、指令与各相关阈值。应用服务层展示了设备应用组件、服务应用组件、指令应用组件与阈值应用组件。在其下是业务逻辑层,展示了各个部分的业务逻辑组件与其关系。最底层为基础框架层,包括数据库操作组件与XML文件操作组件。

3.2.2基于网络编码的文件操作流程设计

为了使分布式文件系统可以在不同的情况下可以用纠删码或者再生码,设计了一个编码基本信息类Coding Matrix,纠删码信息类(RSCoding Matrix)和再生码信息类(MBRCoding Matrix和MSRCoding Matrix),如图2所示。这些所有的编码方案都继承编码基本信息类,这样就达到了一个通用,易扩展的目标。

在系统中申请写一个文件的时候,需要根据文件生成编码矩阵,系统会初始化一个Coding Matrix类。Coding Matrix作为一个通用类,它能够根据不同的编码方案引用到与之对应的编码信息类,为之后文件编码解码及修复时使用。

(1)写流程设计

客户端通过向名字节点发起RPC远程调用,申请文件写操作请求;名字节点结合相应权限检查要创建的文件是否已经存在。名字节点根据文件大小确定文件切片大小,生成相应的编码矩阵Coding Matrix,然后再在INode索引文件中做记录,此时INode索引文件中并没有相应的Block列表与之相对应。文件编码进程按照传输单位(以下称为Packet)遍历整个文件,根据编码矩阵的关系,将相对应的Packet放入相对应的编码缓存域等待或者编码。每遍历k次将相应的编码缓存放入网络传输等待队列,队列非空的情况下唤醒等待的文件块传输进程。

(2)读流程设计

文件读流程的读流程如图4所示,客户端向远程的名字节点 发起RPC文件读取请求;随后名字节点返回给客户端locatedBlocks对象,客户端根据一定的策略(比如最近网络距离、IO等均衡等)选取k个最近的数据节点同时发起连接请求并维护k个连接。k个连接分别通过k个数据预取模块进行管理,解码模块通过预取模块得到数据而不必与底层交互调用解码函数。

(3)文件修复设计

当数据节点监测到有Block失效,通过RPC调用名字节点的Block Report方法通报给名字节点; 名字节点收到Block失效后,根据负载均衡策略选择一个数据节点作为新存储节点NewComer,并通过修复函数将需要传送命令给那些参与修复的数据节点,数据节点在收到传送命令后,先判断参与修复Block的编码方案,并按相应的策略,将数据传送给NewComer。NewComer根据收到的数据,恢复失效Block,之后将该Block添加到Received BlockList,等待下一次心跳时上报给名字节点Name Node。

3.2.3容灾备份设计

分布式文件系统异地容灾解决方案主要包括三个场景的功能,分别是正常工作场景、主备节点失效的场景和主备节点修复工作的场景。公共功能则是进行基础功能部分的实现,文件系统的容灾方案大部分都是通过公共功能来实现的。

分布式一体机的容灾备份包括数据级容灾与应用级容灾。在数据级上,一体机增加了异地的Metalogger服务器、Chunk Server和DNS服务器,其中异地Metalogger同步本地Master的元数据信息。分布式文件系统中数据至少有一份数据备份在异地Chunk Server中,这样能够保证本地服务器失效时数据不丢失,实现数据级容灾。

同时,用户通过访问DNS服务器获取Master服务器的功能,使Master服务器的地址对用户而言透明,即当本地服务器宕机时,异地Metalogger将启动Master服务器功能,此时用户察觉不到系统结构的变化,能够保证业务的不间断,实现了应用级容灾。

4 结束语

分布式文件管理一体机,依托于分布式文件管理平台高效、容错、易用的特点,将软、硬资源高度融合,为非结构化数据的存储提供一体化的解决方案。在自主研发的基础上,一体机实现了高效存取海量非结构化数据的主要功能,同时还实现了其上的高冗余安全性与异地容灾机制,使得其安全与可用性能够得到极大保障。同时,系统清晰的分层设计,能够保证其可扩展性、可管理性与可维护性。此外, 一体机提供标准文件接口,能够在不需改写调用任何接口程序的前提下,直接使用系统命令或操作使用,为高并发业务系统的存储提供保障。

参考文献

[1] 黄晓云.基于HDFS的云存储服务系统研究[D].大连海事大学,2010. DOI:10.7666/d.y1696707.

[2] 赵洋.淘宝TFS深度剖析[J].数字化用户,2013, 3: 048.

[3] Yunxiao A,Yuesheng T,Jingyu W. Chunkserver load balancing selection algorithm on MooseFS[J]. Microcomputer & Its Applications,2013.

[4] Chen S,Schlosser S W. Map-reduce meets wider varieties of applications[J]. Intel Research Pittsburgh,2008.

[5] 许春玲,张广泉.分布式文件系统Hadoop HDFS与传统文件系统Linux FS的比较与分析[J].苏州大学学报:工科版,2010,30(4):5-9. DOI:10.3969/j.issn.1673-047 X.2010.04.002.

[6] 金松昌.基于HDFS的多用户并行文件IO的设计与实现[D].国防科学技术大学,2010. DOI:10.7666/d.d138677.

作者简介:

钱琳(1984-),男,吉林长春人,广西大学,硕士学位,现为南京南瑞集团公司信息系统集成分公司基础架构部研发经理,工程师;工作业绩:主持省部级科技项目4项,国网IT基础架构产品研发;主要研究方向和关注领域:数据挖掘、云计算、大数据、分布式计算。

朱广新(1981-),男,河北人,南京理工大学,硕士学位,现为南京南瑞集团公司信息系统集成分公司基础架构部部门副经理,工程师;工作业绩:国网公司信息系统性能优化项目;主要研究方向和关注领域:模式识别与智能系统。

俞俊(1978-),男,浙江人,东南大学,学士学位,现为南京南瑞集团公司信息系统集成分公司副总经理,工程师;工作业绩:电力信息化建设项目、广域分布式省地一体化调度管理系统建设项目;主要研究方向和关注领域:智能系统。

篇7

1CORBA简介

1.1CORBA的基本概念

CORBA(CommonObjectRequestBrokerArchitecture)是由OMG组织制订的一种标准的面向对象应用体系规范,实现了基于对象软件的互操作性和可移植性[2]。CORBA作为一门新技术,可以完成分布式应用程序之间的通信,在分布式异构软件系统的开发上得到了广泛的应用,也成为实现网管北向接口的主流方案。

1.2CORBA技术的特点

CORBA技术通过分布式计算和面向对象计算相结合的方式实现软件重用,具有以下特点:

1.2.1引入“”的概念。作为CORBA核心,对象请求(ORB)是一个便于实现不同软硬件平台上的互操作和集成的软件总线。在分布式系统中,ORB抽象了远程方法调用的内在复杂性,使其独立于编程语言、网络协议和软硬件平台,因而成为目前最有生命力的跨平台技术[3]

。1.2.2多种类型的对象服务。CORBA体系规范中定义了包括面向对象系统和分布式系统在内的多种类型的服务,如对象命名服务、事件服务、通知服务等。命名服务(NamingService):命名服务将服务对象赋予一个指定的标识,通过名字与对象之间的映射关系来实现对服务对象的查找和定位。因此,可以利用COBRA对象命名服务访问到命名服务所存储的对象引用[4]。事件服务(EventService):事件服务提供了一种异步松散的通信机制,在OMG定义的事件服务中,事件的发送者与接收事件的对象通过标准的CORBA对象事件通道进行异步通讯,事件服务支持推模式和拉模式两种事件传递模式[5]。

1.3CORBA技术的应用

作为比较成熟的分布式面向对象技术,CORBA以其优良的可重用性、便利的服务性特点,在网络管理领域得到广泛的应用和普遍的认可。随着网络技术的发展和人们对分布式系统要求的提高,目前出现了很多成熟、开源的CORBAORB支持,本系统采用ACE-TAO。TAO利用ACE中提供的框架结构对象与模式,针对高效,实时系统所实现的一种CORBA平台,具有源代码开发,实时性高、C++语言开发、符合CORBA2.6规范等特点,为实现电力通信告警信息采集系统提供了切实可行的网管平台。

2系统设计

2.1系统结构

电力通信告警采集系统要求实现对电力通信网中各种设备告警信息采集、综合分析以及上报与管理等功能,进而提高通信管理的自动化水平。在CORBA北向接口的基础上,本系统的构成框图如图1所示。

2.2告警信息采集

告警信息的采集主要完成对系统内不同厂家通信设备的告警信息进行采集。其中,接口管理功能负责对不同厂家设备接口进行管理,而CORBA平台的告警信息采集系统更具有通用性和扩展性。因此,信息采集部分的关键技术是在CORBA北向接口下针对不同的设备配置符合各自的数据采集适配器。

2.3告警信息分析

由于各网管存在着异构性,致使采集到的信息格式存在巨大的差异,因此告警系统需要将采集到的告警数据格式进行统一规范化。按照既定规则,对各种告警信息及性能事件从接口输出,采集适配器将告警信息进行采集。解析告警信息,对告警信息进行字段读取,将信息应用到预先定义的各个报警规则上,读出告警网元、告警时间和状态等信息。将原始告警数据转换成规范化的数据告警格式,对告警数据实现规范化后,将数据放在缓存中,形成缓存队列,送到事件通道,为实现下一步的信息上报。

2.4告警信息上报

对规范化的告警数据处理方式有两种:一种将规范化的告警数据保存到数据库;另一种将告警数据放到缓存空间中,存放到发送队列中,上报到后台客户端服务器。对于缓存空间中规范化的告警数据进行上报过程,系统利用CORBA事件服务有的机制———将事件从提供者传递给消费者,且允许对象动态地注册或注销感兴趣的特定事件即事件通道。事件通道允许多个生产者和消费者之间相互连接,在提供者和消费者之间发起事件传递有:PUSH模式和PULL模式。本告警系统采用CORBA通知服务中的PUSH模式来实现通知的主动上报功能,完成对不同网管的告警信息的采集上报管理。

3系统特点

本系统利用当前计算机软件领域流行的CORBA技术,提出了基于CORBA技术的电力通信告警采集系统的构建模型。通过对CORBA技术的引入,使得该系统具有良好的灵活性、可移植性、可扩展性,从而提高了系统的实用性。

3.1灵活性

CORBA规范实现了客户与服务器的完全分离,大大减少了两者之间的工作量,同时也给软件安装与实施带来许多方便。因此在开发平台和运行平台的选取上有极大的灵活性同时在编程语言的选取上也有着较强的灵活性。

3.2可移植性和可维护性

ACE-TAO所提供的抽象模块使其具有良好的可移植性和可维护性,可以移植到许多操作系统上,如Win32和许多版本的UNIX等,其中ACE已经在很多的平台上经过移植并完成测试。

3.3可扩展性

篇8

关键词 物联网;车载电池管理;分布式;远程管理;事故智能决策

中图分类号:TP319 文献标识码:A 文章编号:1671-7597(2013)16-0024-02

1 基于物联网的车载电池管理系统结构

车载电池管理系统主要通过本车的检测系统生成汽车电池的统计和分析数据,以实现电池系统的实时数据采集、显示、存储和分布的检测,最大程度上消除车载电池带来的突发性安全隐患。基于物联网的车载电池管理系统需要充分认识到车载电池的安全性管理和远程管理的设计着手,从基础设备的自动化出发,从设备的传感器配置着手,并要充分考虑到车载电池控制系统的开放性和相关的标准,根据车载系统的具体需求,特别是车载电池的远程检测和管理等要求设计如下的系统总体功能结构。

系统分为数据采集、网络的联络接口、即时数据平台、基本业务、检测分析系统、突发事件应对系统6个部分。数据采集系统:专门的接口程序组成数据收集系统,该系统安装车载电池系统的微电脑上,可以在检测系统中获取数据,并通过相关的网络系统向车载电池管理系统实时的发送数据;即时数据平台:分为本车数据平台和远程数据平台,两个平台通过相应的网络支持系统及时存储数据采集系统收集上来的车载电池即时数据,可以压缩存储大量的历史数据;基本业务平台:完成对系统组织机构的管理、用户的管理、权限的设置以及维护等功能的设置,为非基本业务系统提供基本的框架;检测分析系统:对即时车载电池数据进行查询计算和分析,形成电池检测报告。使用图形分析工具综合分析历史数据;车载突发性安全问题应对系统:该系统分为本车系统和远程系统,应用在电池突发安全性状况上,可以完成应急预案的生成、,同时记录预案执行状况;网络的支持系统:该系统可以采用多种方法对系统数据进行传输,同时可以通过可用的方式连接互联网,对于不方便用有线方式连接的地方可使用GPRS/CDMA或微波方式远程无线通讯。

2 基于物联网的车载电池管理系统分布式网络拓扑结构

基于物联网的车载电池管理系统分布式的部署,采用面向服务的体系结构的思想,将基于物联网的车载电池管理系统分为车本体车载电池管理系统网络、分布式监控管理网络两大部分。

网络服务将分布在车载电池监控与管理的主服务器上,数据库服务器1台、Web服务器1台、信息收集与智能决策服务器1台、视频监控服务器1台、传感器监控服务器1台,其网络结构如图2所示。

3 基于物联网的车载电池管理系统分布式部署

在基于物联网的车载电池管理系统中,引入分布式计算和人工智能的思想,通过分布式的架构实现系统,解决现有车载电池管理系统中存在的健壮性问题,通过专家系统(智能决策系统)的思想解决现有车载电池管理系统的缺失智能决策和数据分析的能力。具体体现在车载电池管理本地数据管理分布式模型。

基于物联网的车载电池管理系统中,大部分CPU时间都消耗在从收集和分析各服务器的数据上,为减少主管理服务器的负担,我们选择非对称的分布式系统。根据车载电池管理服务器分布式实现的要求建立了基于分布式系统管理服务器模型,如图2。

4 结果分析

通过基于物联网车载电池系统对节点实验车体远程数据采集到电池数据和实际测量结果作为系统训练的样本数据,预测指标按照国家颁发的标准分级,并规定发生很严重、比较严重、严重、一般、轻微的归一化数值分别为0.9,0.7,0.5,0.3,0.1。在数据中,利用数据预处理模块进行数据处理,得到相应的结果如表1,其中系统训练过程中误差曲线如图3,结果表明,本网络进行车载电池突发事故程度预测与实际基本符合,系统实现了对于车载电池的远程管理以及对电池突发事故的智能决策与应对。

参考文献

[1]胡先锋.并联式混合动力汽车传动系参数优化[J].天津汽车,2009,12(2):27-30.

[2]宁焕生,张瑜,刘芳丽,刘文明,渠慎丰.中国物联网信息服务系统研究[J].电子学报,2006,B(12):2514-2517.

[3]陆前锋.基于SJA1000的CAN总线智能控制系统设计[J].自动化,2003(1):23-25.

[4]全渝娟,刘桂雄,洪晓斌,黄国健.分布式时间同步系统的参考时间获取技术分析[J].科学技术与工程,2007,24(15):3740-3745.

[5]齐永欣.基于神经网络的专家系统工具[D].河北农业大学硕士论文,2002,6.

[6]Lin C R, Gerla M.Adaptive Clustering for Mobile Wireless Net-works [J].IEEE J on Selected Areas in Communications,1997(7):1265-1275.

篇9

关键词:船舶综合控制系统;自动化控制;分布式控制;系统设计

随着我国经济的快速发展,物流运输业对船舶的数量、质量要求均有所提升,这促进了造船行业规模的扩大和造船技术的进步。但就目前我国现有的造船技术来看,其与发达国家的造船技术相比还有较大的差距。比如,我国船舶控制系统采用的技术比较落后,很多环节依靠人工操作,造成船舶中各个控制系统的控制精度较低、控制效果较差,进而导致船舶的在线诊断和维护工作具有一定的局限性。因此,为了满足经济发展的需求,需要加强船舶综合控制系统的设计、研究工作,利用现代化的自动综合控制技术,实现船舶综合控制系统的智能化、网络化、数字化和集成化,从而提高船舶在运行过程中的安全性和可靠性。

1船舶自动化控制系统的发展历程

船舶自动化控制是指在船舶的各个设备上安装自动化装置,从而使船舶在无人操作的情况下,按照设定好的程序完成自主运行,并保证船舶运行的稳定性。18世纪,自动化调节技术就被运用到了船舶的部分设计中,为此后实现全面的自动化系统控制奠定了良好的基础;19世纪,船舶的自动化装置已具备了按照设置顺序控制的功能,形成了自动化系统控制的雏形;二战后,控制理论的迅速发展为船舶自动化控制技术水平的提升奠定了坚实的理论基础,相关研究人员将自动化控制技术充分地应用到了船舶设计中,实现了对船舶设备的单独控制和操作;20世纪80年代后,计算机技术的快速发展和广泛应用,全面推进了智能化、网络化系统控制技术的发展;目前,船舶主要采用分布式控制系统,实现了对船舶全方位、分散性的管理和控制,缩小了设备故障的影响范围,提高了船舶运行的安全性和稳定性。

2船舶综合控制系统

由于船舶在设计和建造过程中是由多种联系较为复杂的设备装置构成的,为了方便后期的控制和管理,需要对不同的设备进行分类控制,从而形成分布式船舶控制系统。该系统的分类依据一般为设备功能和设备间的逻辑关系,具体可分为以下3类。

2.1综合船桥控制系统

该主系统由2个子系统组成,分别为综合导航系统和动态定位系统。综合导航系统在船舶的整体运行中主要起导航和定位的作用,且可监控船舶上的各个设备,提高了船舶运行的稳定性和安全性。

2.2机舱控制系统

该系统安装在船舶的机舱中,起着控制中心的作用,可对船舶的主机、发电机、空压机等进行全方位控制,并监测机舱设备等。机舱控制系统由主机控制、操舵控制、辅机控制和电站控制四个子系统组成,其通过各个子系统的相互配合完成控制任务。

2.3损管集控系统

该系统的主要作用是监控船舶设备的运行状态,并随时提取仪表上的参数。如果有异常状况发生,则损管集控系统会自动发出警报,提醒相关工作人员及时处理,避免引发更大的运行故障。该系统由检测器、传感器、执行器和集控室的控制器组成的,各个设备之间可传递信息。如果某个设备存在问题,则会影响整个系统的正常运行,因此,需要做好日常的维护和检修工作。由此可见,分布式船舶控制系统在应用过程中具有诸多优势,比如,其在安装过程中不需要将船舶中的各个设备都通过信号线连接到主机室中,从而缩短了电缆线的长度,且避免信号在传递过程中受到过多的干扰;利用分布式船舶控制系统可有效减少后期维护和检修的次数,当主系统出现问题时,只需检查子系统的运行状态,不需要检修其他具备独立性的控制系统,这样不仅能降低维护成本,还能提高系统运行的稳定性。但在实际应用的过程中,分布式船舶控制系统存在较多缺陷,比如,当系统中的设备数量增多时,会因网络通信负荷过大而降低控制的灵敏度。因此,该系统对网络信号的质量和传输速度有非常高的要求。

3分布式船舶控制系统设计的完善措施

为了提高分布式船舶控制系统控制的可靠性,可以采用高速冗余环网作为系统的网络结构。采用环网结构的网络在实际运行过程中出现单点网络中断的情况时,不会对整个系统的运行造成影响。因此,利用此结构能有效避免因单网发生故障而导致网络通信中断的情况,从而提高系统运行的可靠性和稳定性。此外,使用功耗较低的元件设备能减少系统运行的发热量、减小控制系统的电源负荷,从而有效降低故障发生的概率。此外,从以往的工作实践中发现,降低控制系统中元气件工作状态下的额定值,能提高系统运行的稳定性。

4结束语

综上所述,采用分布式控制系统能提高船舶综合控制系统的控制能力,并能有效降低控制成本和缩小故障的影响范围。因此,在船舶综合控制系统的后期设计工作中,可以以分布式系统为设计基础,并结合实际的控制需求,提高综合控制系统的控制效率,从而提升船舶运行的安全性和稳定性。

参考文献

[1]谢坤,夏伟,胡刚义,等.船舶电力综合控制系统研究与开发[J].机电工程,2015,32(01):113.

[2]何幼富,郑少霓.船舶电站综合控制系统的设计[J].广州航海学院学报,2015,23(06):9-10.

[3]郭远星,施一明,叶莹.船舶综合控制系统研究与设计[J].中国造船,2010,51(03):192.

篇10

关键词:云技术;实时数据库;数据存储;检索

中图分类号:TP311.13

在信息技术快速发展的推动下,数据在存储和处理方面的技术也得到了迅速的发展。云计算技术就是这信息技术发展的重要产物。而且基于云技术的分布式实时数据库与传统的数据库相比,前者具有更加明显的优势和特点。基于云技术的分布式实时数据库实现了传统数据库无法实现的数据永久存储,还可以确保在相同位置上存储或处理信息,大幅降低了数据传输所消耗的资源。基于云技术的分布式实时数据库还可以结合性能较高的广域网络。此类数据库对其存储的数据进行处理时,通常会采用到数据流的形式来辅助完成。运用该方法而确定的运算函数就可以对通过云技术所存储的数据进行针对处理。

1 云技术的定义

对云技术进行详细的研究是实现数据分布式实时数据库高性能存储和检索的关键,也是对其进行探讨的重要前提。随着信息时代的不断发展,云技术得到了迅速的发展,且可以广泛应用在各个领域,并取得了令人满意的成绩,因此以云技术为核心的对应产品也得到了快速的发展。云技术是一种结合了网络存储、网格计算以及效用计算等各层次领域而形成的综合性技术。一般而言,云技术涵盖了多种多样的分布式技术,其中包括数据的存储和事物的协议提取等技术,不仅如此,云技术还可以实现网络的动态路由技术、实时调度事物等技术。这些技术都是分布式实时数据库的重要组成部分。

2 建立分布式实时数据库的框架

随着云技术在实时数据库技术中的不断深入,在不断融合的过程中产生了新型的分布式实时数据库,该数据库的建立需要依靠计算机集群来完成。分布式实时数据库具有非常鲜明的特点,其中包括扩展性高、系统性强等。分布式实时数据库的主要内容包含了数据存储、事物调度以及冲突处理等方面。该数据库与服务平台的连接需要以分布式的客户通讯服务平台结构为基础。而且连接方法也较为简捷,只要某一个节点实现了连接就可以实现相同服务类型的其他节点进行有效的连接。数据库对数据进行存储和检索的过程是以数据服务器为基础平台,依靠接入此平台的各个组件而完成的。这种先进的服务模式不仅提高了数据的处理效率,还改变了传统意义上的数据处理器孤岛的现状。针对数据的检索过程,则是通过将客户端以及服务平台进行连接而实现的。

3 分布式实时数据库高性能数据存储机制

3.1 设计环节

在建立分布式实时数据库高性能数据存储机制之前,需要进行完善的设计,在设计过程中需要重视的环节为规模动态的调整能力和数据一致性的调整等方面。通过专业的研究,可将设计必须要达到的目的进行总结,可大致分为四个方面,首先,要尽可能的增加服务器的节点数量,以此适应系统并发过程的数据处理,最终提高数据库的存储容量;其二,需要加强数据存储环节的实时性和实用性;其三,要完成高精度的系统数据备份,以此控制出现数据读写失败的几率,另外在条件允许的情况下,还可以设立专门的数据备份维护机制,以此确保数据的准确性和一致性。其四,针对服务器节点不确定崩溃现象,应添加节点的恢复以及重新加载功能。在对数据的具体分布进行研究和设计时,可以采用分布式哈希表技术,该技术的特点是,可以将各个节点作为小范围路由和数据存储的载体,从而实现DHT结构的全面寻址和存储功能。

3.2 内部结构

在存储云的内部是由多种服务器以及从属节点构成的,其中服务器包括主管、安全服务器和客户端,这些组成部分可以满足系统内的各种功能要求。从属节点的具体含义是指被存储数据的文件,这些节点处理数据的过程需要根据存储云中客户的请求进行。一般情况下从属节点只能接受主管服务器的控制,而且在该节点与客户端的协调过程中,也需要依托于主管服务器完成。存储云可以满足与高速缓存数据进行连接的各项要求,这样可以从根本上简化了数据的传输过程,改善了传统意义上需要多次变换连接的传输方式。在安全机制方面,存储云主要依靠控制列表来完成预期的指标。在对存储云中的数据进行处理时,需要根据控制列表来进行准确的控制,另外还要求客户端的IP 地址需要处在服务器涵盖的范围之内。

3.3 数据的处理方式

数据的处理过程是存储云系统运行的核心环节,实现这一过程的具体方式是:凡是在存储云内部的数据信息文件中都含有一个索引文件,而且这两个文件的连接较为紧密处在同一个节点当中。因此在对数据进行复制的同时,索引文件也会随之被复制。通常情况下,索引文件中含有每个阶段的起始位置和末端位置。对于那些没有索引文件的少数数据而言,在处理过程需要运用以文件为单位的方式。因此,在此环节中,就需要引进特定的计算函数对数据进行详细的解析和提取。当数据服务器合理的融入到分布式的通讯平台以后,就会形成一个完善的分布式系统,在对该系统添加适量的节点,就可以实现数据的转发和备份。通过存储云的使用,可以实现任何节点的数据与分布式框架在逻辑上的分离。这是分布式实时数据库高性能数据存储机制发挥出最佳效果的关键环节。

4 分布式实时数据库高性能数据检索机制

分布式实时数据库高性能数据检索机制具有特别显著的特征,另外在一定程度上会影响数据库的性能。通过不断的研究,其具体特点可以分为三个方面,第一是确保了数据基本的一致性。一般而言,数据在进行处理之前,备份的环节会不同程度的降低数据的一致性,在此时,该检索系统内部的数据一致性维护机制机会启动;第二是该系统对于不一致数据进行修复的环节,修复过程只要依靠对比和相应的修复机制来完成的;第三是查询过程中等级限定一致性。查询具有的一致性等级就是说指定用户对查询结果具有的一致性等级。对于要求一致性比较高的采用数据点具有的主备份节点进行查询处理,而对于要求一致性并不是很高的可以尽可能的对数据检索耗费的时间进行缩减。分布式实时数据查询,可以根据不同的查询位置分成对备份节点进行数据查询以及对当前节点进行数据查询这两种情况。通过对具体当前节点的数据进行查询可以实现对备份节点的数据查询。本地节点对于数据查询本身还可以具体的分为历史数据查询以及实时数据查询这两种方式。对于历史数据的查询还可以具体划分为磁盘数据查询以及存档缓存查询。

5 数据存储检索机制具有的特点

在系统具体的结构框架下,对于实时数据存储检索机制将要满足大量的实时数据共同存储,并且实现分布式数据冗余备份,合理有效的解决出现数据重复的重要问题,提供性能较高的分布式数据具有的检索功能,对系统规模进行有效的动态扩展,对数据容量具备的处理能力进行不断的开发扩展。

目前的实时数据库在存储检索等工作的研究上依然是进行单方面的副本研究,无法满足可靠性的具体要求也不能满足数据的多重冗余性,虽然现有的一些实时数据库能够在一定范围内做到分布式存储,但对于实时的数据服务器以及数据采集器都只能是比较死板的固定对应,没有灵活性,在服务器各个节点之间都非常独立,没有较大的联合性,无法实现数据以及数据迁移的灵活扩展,并且,只能通过冗余数据对应的服务器实现冗余,并不能保证系统的可靠性,也无法兼顾系统使用的基本成本。

通过科学的设计分布式系统数据存储具有的检索机制,不仅能够满足分布式框架下的实时性,同时能够实现在数据处理的各个节点之间数据能够进行相互的冗余备份并保持一致的维护,并且,采集器内部的数据可以利用分布式通讯通过服务平台存储到多个系统的节点中,从而形成多重冗余,但因为某个节点不能正常工作,对数据点备份造成严重失效的现象。在这种情况下,其他备份却可以进行正常的检索以及存储工作,具备比较灵活的特性,实现了系统规模进行动态伸缩。另一方面,在数据具备的安全性能上,可以利用数据服务器出现的各种数量不同的冗余备份,将重点数据以及一般数据进行区别对待,同时能够科学有效的保证系统具有的可靠性,还能最大程度的降低系统的成本。

6 结束语

随着信息技术的不断改革与发展,云技术已然成为主流和趋势,成为国内外优秀信息产业以及计算机教育机构重点研究对象,尤其在分布式实时数据库中的应用,是具有划时代意义的。因此应以云技术的特点及框架作为研究的基础,重点探讨基于云技术的分布式实时数据库高性能数据存储机制和检索机制,使其发挥出最佳的效果,以此适应技术发展对分布式实时数据库提出的要求,相信通过不断的努力和完善,基于云技术的分布式实时数据库会在高职计算机教学中取得突飞猛进的发展。

参考文献:

[1]柴天佑.流程工业信息化的发展状况及对策[J].中国制造业信息化,2011(50):11-15.

[2]褚健,荣冈.流程工业综合自动化技术[M].北京:机械工业出版社,2011(11):31-32.

[3]刘云生,卢炎生.实时数据库系统(RTDBS)及其特征[J].华中理工大学学报,2011(06):56-59.

[4]梁奎宁.基于云技术的分布式实时数据库高性能数据存储检索机制探讨[J].企业技术开发(学术版),2011(10):101-104.

[5]陈进亚,徐飞.基于云技术的分布式实时数据库高性能数据存储检索机制探讨[J].建材与装饰,2013(04):44-46.

[6]杨庆,戴国忠,叶志宝.流程工业clMS中的实时数据库技术[J].计算机工程与应用,2010(14):96-99.

[7]刘卫昌,马增良.企业综合自动化系统中实时数据库系统设计[J].计算机应用研究,2010(22):146-149.