计算机集群技术范文

时间:2023-09-17 15:15:16

导语:如何才能写好一篇计算机集群技术,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。

计算机集群技术

篇1

张 伟 渤海大学信息科学与技术学院 辽宁锦州 121000

【文章摘要】

计算机集群的概念已经越来越近的走进我们的生活。我们时刻都享受着由此带来的便利,但是,对于其中内部细节并没有太多的了解。本文就从其群集类型入手进行研究,这些都是网站应用程序需要必不可少的技术。不同类别的集群技术在各个行业发挥着重要的作用。

【关键词】

高可用性;集群;Linux Virtual Server ; 负载均衡

0 引言

我国正处于经济发展的重要时期,对计算机技术的重视程度越来越大,对计算机的依赖性也变得越来越大。计算机集群技术是使计算机可以实现众多功能的内在核心技术。对计算机集群及时应用研究的目的就在于通过了解其操作的原理更好的进行程序的操作。从现代的发展形势看,大型的企业以及处理大数据的部门以及离不开计算机集群技术。无论是Linux 集群还是WWW 服务器系统以及其他的中级服务器都是由大量的集群技术完成的。

1 计算机集群技术的定义

关于计算机集群技术定义的说法有很多中,在本文中采用了概括性最全的、最科学的一种。集群就是在现代可以使用的高速网络上将其中的工作站或是其他的中间结构,按照一定的顺序进行连接, 组成新的结构形式,在已有的可以进行与计算机进行直接交流的操作平台上进行调度,不断的调度处理形成可以高速处理的网络系统。将专业化的信息转化为通俗的语言就是将不同的终极客户端比如电脑或是手机进行网络连接,在网络的世界里形成一个可以相互联系的组织,不同的终端可以运行在同一个频道上,并在同一个平台上进行系统化的管理。当人们使用的过程中,终端是在与一个集群进行信息的交流,集群为终端提供他需要的服务, 这个过程中的服务器已经发挥了集群的作用。

计算机集群系统分为俩大部分,其一是集群文件系统;其二是集群NS 系统。这两种系统分别对不同的内容有着作用。集群文件系统可以实现对大量小文件的写毛还可以实现一个大文件的写;而集群NS 系统可以将文件间的共享转变为现实, 具备良好的储备性,其以性能高、负载承受力好而著称。集群NS 系统可以文件系统的扩展,实现文件的线性增长。

计算机集群的种类比较分明,大体可以分为三个类型,这三种类型丰富了计算机集群的组织形式,形成了不同的层次。

科学集群是由主服务器进行统一的管理,在主服务器的下面控制一个程序。当有大量的计算需要进行时,这个控制程序将这些计算按照一定的原则分配到网络的其他节点处进行分块运算,这些运算的结果在程序的指导下返回到控制程序, 控制程序将这个最终结果返回到服务器中。这个过程就是将终端的操作指令进行内部处理的过程,最终有服务器返回给终端,用户从终端得到需要的信息。

负载均衡集群是由负载均衡器和主服务器共同组成的。这种集群的处理过程与科学集群有着相似的地方,其中的区别在与进行操作的程序。负载均衡器对数据指令进行分析,确定指令的性质和复杂度,最为首先接到请求的均衡器会按照系统的安排对实时的服务器工作情况进行分析,当服务器比较繁忙的时候,就会将请求分为多个部分,分到多个节点上进行处理。这种集群可以应对大规模的数据处理操作,速度快并且服务器不会损坏。

高可用性集群是简单的由节点构成, 这些节点主要的针对对象不是服务器而是计算机或是终端上可以进行操作的程序。这些程序需要将一定的数据进行存储已被用户再次使用。高可用性集群就是为软件的数据持续性连接进行服务,利用跟踪、监控的计算机技术对软件的数据进行保留。

2 集群的特点

集群系统是运行在计算机上起到将人为操作指令转达计算机并进行返回作用的程序。这些程序的出现使得计算机可以被人们普遍接受,计算机领域发展的速度变得十分的快。集群有着十分突出的几个特点:

2.1 集群的开发时间短

进行集群开发一般都是用于商业, 从事商业的经济活动,迫于企业的需求必须在短时间内开发成功。在进行开发的过程中,集群系统采用的是商业专用的工作站。这样的开发平台给了集群开发者提供了很好的基础,进行开发的过程比较简单,运行的程序兼容性也比较高。由于这样的平台减少了进行操作系统设计和编译的过程,还不会进行节点的重新研究, 为使用者的开发提供了很好的条件。外界的需求压力加上宽松的开放环境以及成熟的操作系统,使得系统开发周期变得十分短,而且做出的成品质量也十分的高。

2.2 用户使用放心

一般来讲,用户对高端的科技产品了解比较少,对采用的系统或是如何的内部运行没有深入的研究,甚至就不知道如何进行研究。然而,集群帮助用户解决了这个问题。在购买终端机的时候,用户不会担心由于其内部运行速度不快而受到经济损失。因为集群可以将运行速度大大地提高,集群首先将是一个系统,可以处理终端机上的软件操作,识别用户的操作指令,并做出相应的答复;然后它还是一个处理器,这个功能就决定了它的每一个节点都可以成为一个处理数据的工作站, 对输入的指令进行分析处理,甚至是单一的工作站就可以完成指令的操作。这样一来,使得用户不用担心会出现终端机反应速度慢的问题。

2.3 集群研发的费用低

集群一般情况下都是进行小规模生产的,投入的资金比较少,与高额的巨型机投入相比就是九牛一毛。与巨型机或是PC 不同,他们都是大批量进行生产的,价格自然十分的昂贵,一般来讲都会达到上千万美元。集群研发就不会出现这样的情况,一个集群系统仅仅需要几个或是十几个工作站就可以应对几乎所有的用户指令,为用户提供服务,为软件的操作系统提供保留数据。由于其上产批量小,使用的人数比较少,可以共享,导致了价格比较低。

2.4 集群节约了网络资源

集群系统是立足于网络基础上建立起来,对网络资源的共享性做出了比较大的贡献,为整个系统资源的使用提供了新的机会和途径。集群是一种灵活多变的结构,可以将不同性能的、不同结构的工作站进行联合,还可以将终端设备连接在一起。从使用得到情况上看,集群在整个系统中的工作效率比终端机的自身系统的使用效率要高出很多,对资源的分享力或是传送力效率更高。一般来讲,当终端机超过百台的时候,集群使用效率会高到80% 以上,而单机系统的使用效率连其十分之一都不到。当终端系统处于不同的状态或是进行更新的过程中,集群仍然可以进行信息的传递,保障终端数据的连续性。

2.5 集群的编辑性好

集群是计算机运行离不开的内部运转系统。进行集群的创新或是研发都是十分平常的事情,这就需要集群的编辑性好,对不同的操作指令识别能力强,便于不同操作员的编程操作。除了传统的C++ 编程方式,还有支持其他多个系统下的编程方式,支持多种编程语言。兼容性的强大带给系统良好的承接性和创新空间。

3 计算机集群技术的具体应用

集群有着不同的层次,有着良好的特性,对于计算机的发展起到了很大的推动性。集群的出现使得计算机可以在短时间内进行大量数据的处理,使得其在实际的生活生产中的作用十分明显。如今这个“快鱼吃慢鱼”的时代,集群系统满足了人们对时间方面的需求,满足了人们对客观环境的需求。集群以自身的优势在短暂的 时间内从中小规模发展壮大,甚至影响到巨型机的发展。接下来就是对其应用的领域进行说明:

3.1 石油地震数据处

对于石油资源的寻找已经成为现代比较热的问题。集群可以发挥其强大的功能,找到石油资源。一般来讲,三维地震勘探是最为常用的勘探手段并且可以取得良好的效果。三维勘察形成的图像是一个立体的图像,对石油的具置有着更加情绪的反映。在进行勘察的过程中,计算机会储备大量的数据信息,需要计算机进行计算并进行处理。这个处理过程就是由集群系统完成的。集群使得三维成像成为了现实,促进了勘察技术的发展。

3.2 数值天气预报分析

数值预报是通过在不同云层上的收集到的数据进行离散分析得到的。这种预报的初期需要进行资料的大量收集,通过大量数据将不同云层的具体情况进行了解。数据量大、计算的函数比较复杂、需要处理的时间还有比较短。在这样的要求下,就需要采用集群系统进行分析。在长期天气预测的工作中,集群系统发挥了重大的作用,给天气预测发展带来了发展空间。

3.3 CAD 图像处理过程

CAD 图像处理的过程中需要进行数据分析,需要进行多种多样的计算。这个软件的成功运用离不开集群系统的支持。为了让CAD 图像制作过程中可以进行高速的计算,集群系统提供了必要的支持。

集群系统的实际应用远远不止这些, 还包括很多其他的重要方面。从根本上来说,集群是一种程序系统。随着网络技术的不断发展和科技向着高层次的方面研究,这就需要集群系统进行更加高端的程序设计,并为国民经济的发展做出贡献。

4 集群系统发展的未来

集群系统存在着巨大的发展前景,很多的机构或是大学的实验室还在进行着集群系统的深入研究。集群系统之所以有着巨大的潜力在于这是它的结构灵活,使用起来比较方便,加上网络与终端技术的不断向前发展,共同使得集群系统向着高端的层次进行研究。

集群系统的发展可以概括为从模块化的程度向着更高的系统研究。我们知道现代的集群可以分为节点系统、通讯系统等。操作的环境和编译的环境也比较多。但是,这些都是由摩尔定律的理论推动出来的,离不开传感、接口模块以及驱动等。在未来的发展过程中,集群系统会融入更多的理念和技术,将集群的编辑过程进行简化,编译方式更加智能,操作手法更加的便捷,使用的环境更加多样。

5 结语

计算机集群是计算机和网络联合后一直进行研发的系统,这是计算机处理的关注焦点。从集群的特点看,它以超低的价格,极为便捷的操作手段可以取得巨型机或是PC 一样的效果,这样的特点吸引了计算机领域对其的重视程度。放眼我国计算机系统的研发,集群系统对我国的经济发展作用会更加明显。因为集群对资源的希需求量比较少,便于操作。这与我国的发展有着很好的切合点。因此,我国应该跟进时代的脚步进行高科技的发展,形成自身独特的集群系统。

【参考文献】

[1] 黄筱调, 赵松年. 机电一体化技术基础及应用[M]. 北京: 机械工业出版社,1998 .

[2] 王吉会, 等. 创建实验教学新体系培养学生创新能力[J]. 实验室研究与探索,2005,24(3):8-10 .

[3] 朱龙彪, 等. 机电一体化专业方向课程体系的组织与创新实践能力的培养[J]. 南通工学院学报( 社会科学版),2004(3):100-101 .

篇2

关键词:内存数据库;相似度;代价计算;Rough集

中图分类号:TP392

文献标识码:A

文章编号:16727800(2017)004018203

0引言

在数据库集群系统中,数据划分和数据分布是系统运行的基础,做好划分和数据分布可以有效提高系统运行效率。随着内存数据库以及内存数据库集群的出现,针对内存数据库集群的数据划分算法也逐步出现,但都是基于传统数据库集群的解决方案,即仅考虑数据相关性。同时对相似性判断标准都是基于经验性判断选择50%为标准。本文提出基于相似度代价计算的内存数据库集群数据划分策略,在数据相关性基础上提出事务相关性规约,并将相似性判断条件扩大到40%~60%范围内,以更准确、精细地进行数据划分。

1数据划分基本概念

数据划分又称为数据分片或者数据分割,是数据库集群的特征之一,是将集群的数据全集划分为独立的数据片段。数据划分必须遵守3个原则:完整性、不相交性和可恢复性。 数据分片方法有3类:水平分片、竖直分片和混合分片。具体分片策略主要有Range分片算法、Round-Robin分片算法、Hybrid-Range分片算法、表达式分片算法、时间分片算法、哈希分片算法等。 目前数据划分算法主要是针对结构化的关系型数据处理,而且处理过程中将磁盘读取代价作为重要参考标准,处理结果比较固定。这样的数据划分策略对内存数据库集群已不再适用。

2基于Rough集理论的相似度矩阵

在Rough集的研究中[1],事务被表示成统一的信息系统。假定数据库全集R={ r1,r2,r3...,rn},ri(1≤i≤n)是数据集中的一个元数据,事务集合T={t1,t2,t3…,tm},tj(1≤j≤m)是事务集合中的一个事务,trij表示数据ri被事务tj访问,由此可得到事务访问数据矩阵RT。

根据Rough集理论,可以将事务访问数据矩阵对应到信息系统中。假设分配到内存数据库集群的数据集合R={r1,r2,r3...,r8},事务集合T={t1,t2,t3,t4},构造事务访问数据矩阵,事务访问了元数据记为1,未访问记为0,假设访问情况如表1所示。

根据数据划分基本原理,即数据之间的相关性,初步对数据进行划分,可得到元数据r1、r4相关性比较强,可以作为一个划分,r2、r8作为一个划分,其余作为独立划分,得到划分结果如表2所示。

再根据事务之间的相关性,将事务进行合并。之前的研究都是确定一个相似度标准,基于粒计算的数据分片算法[23]中标准一般为同时访问相同元数据不小于50%。50%是一个经验值,被普遍认为是一个划分值,在实际部署中,尤其是在内存数据库集群部署中,50%作为一个相似度划分标准并不一定合理。由于内存数据库的读取效率成几何倍数提高,可以适当增加数据划分数量,即提升相似度划分标准。所以提出首先根据不同相似度标准所付出的代价作为划分依据对事务进行划分,然后对数据进行第二次划分,以得到更精确的数据划分结果。 假设通过代价计算,得到事务相似性划分标准为不小于60%,此时t2和t3事务可以合并,合并之后结果如表3所示。 再根据数据相关性,对数据进一步划分,此时r2、r5和r8可以归为同一个划分,得到划分结果如表4所示。 经过划分之后,得到划分结果为R={(r1,r4),(r2,r5,r8),(r3),(r6),(r7)}。

3代价计算划分算法

上文提到的代价计算,在数据进行第二次划分时,假设一个集群中有n个数据划分,数据库总访问值记为D,单位为千次/s,第i个数据划分在时间t内的数据访问值为Di。Di来自两方面,数据库的读和写,分别记为Dri和Dwi。Dri和Dwi是两个单位时间内的累计值,设Dri的变化函数为ri(t),Dwi的变化函数记为wi(t)。可以得到:

上述代价计算是基于内存数据库的数据库读写代价,在之前的传统数据划分中,基于代价计算的D值都引入了读写系数Vrwc,即要考虑主存与磁盘之间的I/O代价[5]。但是因为内存数据库在运行过程中,数据都加载到了内存,读和写操作损耗时间大大减少,因而数据库的读写损耗可以忽略。 数据进行初步划分之后,D值计算依据是在不同事务相似度标准下的不同值,之前会简单地将这一标准选择为超过50%。但是通过研究,这一标准并不一定是最佳标准,所以本文将计算标准限定在40%~60%,分别计算不同标准下的D值。通过比较D值变化趋势,得到最佳判定标准,并依据该标准对事物进行合并,最后再将数据进行相关性划分,进而得到最佳的数据划分。具体步骤如下: 第一步:简单数据关联度划分,以数据同时被相同一组事务访问为依据,判断数据是否相关,如果相关则删除矩阵中被相同事务访问的数据节点,算法描述如下:〖HT5"〗算法1 //输入:事务访问数据矩阵 //输出:去除相同事务访问的节点行的事务访问数据矩阵 数组tri[n]临时存放第i行事务访问数据记录 数组trj[n]临时存放第j行事务访问数据记录 1:for(i=1;i≤m;i++) 2:for(j=i+1;j≤m;j++) 3:tri[i-1]=trin//依次扫描得到第i行事务访问数据记录 4:trj[j-1]=trjn//依次扫描得到第j行事务访问数据记录 5: if (tri[n]==trj[n]) then 6:delete trj[n]//合并关联度较强的独立元数据 7:end if 8:end for 9:end for〖HT〗由以上操作得到经过初步数据关联性划分的事务访问数据矩阵RT。 第二步:代价计算,事务相关性划分基于第一步的数据访问矩阵RT,根据事务同时访问数据的相似程度,计算事务相关性,根据代价计算公式得到合理的相似值为C,常数A=0,B=0。算法描述如下:〖HT5"〗算法2 //输入:事务访问数据矩阵 //输出:去除相同事务访问的节点行的事务访问数据矩阵 数组tri[n]临时存放第i行事务访问数据记录 数组trj[n]临时存放第j行事务访问数据记录 1:for(k=1;k≤n;k++): 2:for(l=k+1;l≤n;l++) 3:trk[m]=trmk//临时记录第k列数据被事务tr访问的m值 4:trj[m]=trlk//记录第l列数据被事务tr访问的m个值 5:trk[a]∪trl[a]=1,A++;(a取值为0,1,2…m) 6:trk[a]∩trl[a]=1,B++;(a取值为0,1,2…m) 7:if(B/A≥C)then 8:trk[a]=trk[a]∪trl[a]; //对相似事务进行合并 9:delete trl[m]; 7:end if 8:end for 9:end for〖HT〗上一步算法结束之后,根据第一步算法对矩阵再次进行数据相关性划分,算法结束。

4实验结果分析

实验在30台虚拟机上模拟内存数据库集群,模拟数据中有200个事务和1 000个独立元数据。经过第一步算法划分之后合并为800个数据源,在进行代价计算时,得到访问代价跟事务相似性关系如图1所示。 由图1结果可以得到,当事务相似度标准不小于0.52时,较为合理,在该标准下合并事务,事务合并为132个,再次对数据进行关联性划分,得到640个数据划分。通过该算法可以合理划分数据,有效降低集群访问代价。

5结语

本文通过对传统数据库集群数据划分算法进行分析,基于Rough集的新应用[6],提出了针对内存数据库集群的数据划分算法。该算法有两次数据划分过程,第一次是普通的根据数据相关性进行数据划分,第二次首先对访问数据的事务进行相关性划分。传统划分是直接以同时访问数据超过50%为标准,本文创新地提出针对内存数据库的访问代价计算方法,对事务进行规约,同时针对内存数据库的特点,忽略磁盘I/O代价。该算法能够合理地划分数据,有效降低集群访问代价。 不过本文所提出的代价计算40%~60%也是一个经验值,没有计算和论证在此范围外的情况。此外数据库访问代价值D是一个整体值,可能会出现单个节点的Di很高,而整体D值较低的情况,使单个节点可能超出了负载能力[7],导致整个集群效率下降。以上两个问题将作为以后研究的重点。

参考文献:

[1]刘清,孙辉,王洪发.粒计算研究现状及基于Rough逻辑语义的粒计算研究[J].计算机学报,2008(4):543555.

[2]于磊,罗谦,张林林.基于粒计算的数据分片算法的问题发现[J].计算机技术与发展,2011(6):3235.

[3]吴润秀,吴水秀,刘清.基于粒计算的数据分片算法[J].计算机应用,2007(6):13881391.

[4]杨晶,刘天时,马刚.分布式数据库数据分片与分配[J].现代电子技术,2006(18):119121,125.

[5]杨小虎,王新宇,毛明.基于数据划分的分布式模型及其负载均衡算法[J].浙江大学学报:工学版,2008(4):602607,681.

篇3

针对云计算数据中心网络(DCN)环境下,P2P流媒体服务器集群部署引起的较高带宽占用问题,提出了一种基于云计算的P2P流媒体服务器集群部署方法。该方法将P2P流媒体服务器集群部署建模为一个二次分配问题,并基于蚁群算法,寻找每个虚拟流媒体服务器与每个部署点之间的映射关系,实现基于云计算的P2P流媒体服务器集群部署。通过仿真实验证明,基于云计算的P2P流媒体服务器集群部署算法可以有效地减少云计算平台DCN网络带宽占用。

关键词:云计算;P2P;流媒体服务器;集群部署;数据中心网络

中图分类号: TP393.01

文献标志码:A

P2P streaming media server cluster deployment algorithm based on cloud computing

Abstract:

Concerning the high bandwidth occupation problem caused by deploying the P2P (Peer-to-Peer) streaming media server cluster on the Data Center Network (DCN) in cloud, a P2P streaming media server cluster deployment algorithm based on cloud computing was proposed. This algorithm modeled the P2P streaming media server cluster deployment as a quadratic assignment problem, and sought the mapping relationship between each virtual streaming media server and each deployment point to realize the P2P streaming media server cluster deployment based on cloud computing. The simulation experiment demonstrates that the P2P streaming media server cluster deployment algorithm based on cloud computing can effectively reduce the bandwidth usage of DCN in cloud.

Key words:

cloud computing; Peer-to-Peer (P2P); streaming media server; cluster deployment; Data Center Network (DCN)

0 引言

云计算技术在近几年迅猛发展,在计算、存储等方面带来了众多创新性的模式与技术成果[1],为基于云计算实现低延时、大规模P2P流媒体传输提供了契机。首先,云计算环境能够提供大规模P2P流媒体直播服务器所需的计算、存储和可靠的带宽资源[2];其次,云计算技术具有动态可扩展特性与环境感知能力,基于运行状态监控,可实现系统资源与数据传输的动态调度,适于动态变化的P2P对等网络环境,并可改变P2P流媒体服务器资源不可知、不可控的研究现状。

近来,少数前瞻性的研究已开始探索云计算与P2P计算、P2P流媒体的结合应用模式。Fouquet等[3]利用云计算平台中的节点充当超级节点,作为P2P多播树的上层节点,以提升P2P流媒体传输的稳定性。Trajkovska等[4]提出了在云计算和树型P2P网络混合环境中,以QoS参数和付费成本为代价,提供不同服务质量的模型。Payberah等[5]提出了一种基于云计算环境下的P2P直播系统,系统通过动态租用云计算环境下的虚拟机资源,来保证预设的P2P直播系统的预设的QoS。Cervino等[6]提出了一种混合分发网络,通过连接可以互相操作的P2P节点和云节点,使某些分发网络节点进入云基础设施从而提高服务质量。在上述云计算与P2P流媒体技术的结合研究中,均简单地将云计算平台作为一种网络带宽等资源无限的平台,并没有具体地给出将P2P流媒体服务器集群部署到云平台数据中心网络之上的方法。

随着网络密集型应用在云平台数据中心网络的大量部署,DCN的内部网络带宽成为云计算环境下的一个瓶颈资源[7]。如何减少数据中心网络的内部带宽消耗,是应用部署需要考虑的核心问题。Meng等[7]讨论了如何将虚拟机部署到云平台DCN网络的问题,基于虚拟机之间的通信代价以及部署点之间的代价提出了最小化占用DCN网络带宽的优化问题,他们表明这个问题是一个NP-Hard问题,提出了一种基于最大流最小割的TVMPP (Traffic-aware VM Placement Problem)优化算法,但是此算法对于P2P流媒体服务器集群这样有特定结构与流量的应用部署问题却没有显著的效果。本文解决了如何将P2P流媒体服务器集群有效地部署到云计算数据中心网络环境中的问题,使得P2P流媒体服务器集群最小化占用云计算虚拟化网络资源。

1 P2P流媒体服务器部署问题建模

当代的数据通信网络(Data Communication Network,DCN)架构一般是三层体系架构。从顶层到底层依次为:核心交换机、聚集交换机和接入交换机。尽管这种三层架构的物理拓扑结构是一个多根的森林拓扑结构,在现实中的数据包转发是根据使用虚拟局域网和生成树算法构成的逻辑两层拓扑结构。这种两层拓扑结构始终是一棵树,通常根是其中的一个核心交换机。常见的扩展DCN网络架构有VL2[8]、Fat-Tree[9]、BCube[10]三种。

本文在上述的DCN架构基础上,以文献[5]提出的通信代价为基础,形式化地对虚拟化环境下,服务器之间的通信代价进行描述,本文定义部署点为物理机器上可以部署的虚拟机或者是纯粹的物理服务机器。部署点之间通信代价为任何两个部署点路由所经过的最小的交换机的个数。本文定义同一台物理主机上的虚拟机之间的通信代价为0。

本文常用符号如表 1。

2 P2P流媒体服务器部署算法

P2P流媒体服务器的部署算法就是要解决典型的QAP。这类问题是组合优化研究中的一项很重要的内容,是NP难问题。蚁群算法由于并行性与分布性、特别适合大规模启发式搜索[11]的特点可以有效解决QAP问题。在本文使用蚁群算法的过程中,将一只蚂蚁的一个觅食过程定义为寻找每个虚拟流媒体服务器与每个部署点之间的一种映射关系。

由于P2P虚拟流媒体服务器个数m可能会小于部署点个数n,而一般的蚁群算法中两者是相等的,本文通过添加“空”的虚拟流媒体服务器来使得m=n。“空”的虚拟流媒体服务器指的是在逻辑集群树中连接的边的权值为“0”,不向任何其他虚拟流媒体服务器发送、也不接受任何其他虚拟流媒体服务器的数据。这样矩阵

使用蚁群算法解决此问题可以用图的形式进行描述:在图G=(V,E)中,节点V的个数为2n,其中有n个节点表示虚拟流媒体服务器,n个节点表示部署点;边E表示的为连接虚拟流媒体服务器与部署点的代价。一个蚂蚁构建一个完整解的过程为,寻找连接n个节点的虚拟流媒体服务器与n个部署点之间的弧的n条边。用到的符号定义如表2。

3 验证与仿真实验

本文实验平台为惠普个人电脑,配置如下:CPU型号为i5-2400,内存8GB,操作系统为Windows 7 64位。实验数据在eclipse上使用Java编程仿真得到。实验中衡量DCN负载均是以流媒体速率r为单位。

实验一 实验选择了128个部署点,128个P2P媒体服务器构成的服务器集群。针对不同的DCN架构,Tree、FatTree、VL2、Bcube等分别进行了随机部署算法(Random)、TVMPP算法[6]以及SCVMPP算法,实验结果如图 1所示。

从图 1中可以看出Random算法与TVMPP算法在不同的DCN网络下面产生的通信代价(DCN网络带宽占用)基本一样,而本文提出的SCVMPP算法可以有效地减少通信代价。

SCVMPP算法对于不同的DCN架构减少的程度也是不一样的,相对于FatTree以及VL2,Tree架构以及BCube架构减少的DCN网络带宽负载更多。这是由部署点代价矩阵决定的,也即DCN网络架构决定的。

TVMPP算法主要分为两个部分,第一部分使用Gonzalez等[12]提出的KTMM算法将部署点集合划分成k个部署点集合,使得各个部署点集合之间通信代价最小化;第二部分是使用了Gomory-Hu算法[13]将通信代价图先转化为具有最大流最小切割的Gomory-Hu树,然后将虚拟流媒体服务器划分成与第一部分中部署点集合一样大小的虚拟流媒体服务器集合。但是P2P流媒体服务器集群部署中虚拟机的带宽使用较均衡,在Gomory-Hu算法中生成Gomory-Hu树时,所有的最大流最小切割划分代价都是一样的,这导致在虚拟流媒体服务器划分时的效果基本等价于Random划分,也即使得整个TVMPP算法的效果最终等价于Random部署算法。

SCVMPP算法与TVMPP算法不同,是一个正反馈的过程,与所部署的具体应用没有必然的关系,对带宽使用较均衡的应用,也会有效地减少服务器集群所占用的带宽。

实验二 本实验中比较了不同架构下随着集群规模变化的SCVMPP算法与TVMPP算法。实验部署点规模从128变化到1024,实验中DCN架构选择Tree架构和BCube架构,实验结果如图 2、3所示。从图中可以看出,随着部署点规模的增加,SCVMPP算法产生的通信代价总是小于TVMPP算法。

从图2、图3可以看出,随着部署点规模的增加,SCVMPP算法在Tree架构下相对于TVMPP算法的优化百分比没有在BCube架构下好。原因是接入交换机的端口数k,聚集交换机端口数m在部署点规模增加时没有发生变化,在Tree架构下会导致一个部署点通信代价为5的节点随着规模数不断增加,而BCube架构不受此影响。

4 结语

本文针对P2P流媒体服务器集群在云计算环境部署时引起数据中心网络带宽占用过高的问题提出了P2P流媒体服务器集群部署算法。通过对此问题的建模分析得出此问题是一个二次分配问题,并基于蚁群算法,将每个虚拟流媒体服务器部署到云计算环境中的虚拟机上。最后通过实验表明本文提出的算法有效减少了数据中心网络的带宽占用。

本文算法是基于P2P流媒体服务器集群逻辑结构是已知的情况,其结构是未知的情况还有待今后研究。

参考文献:

[1] DIKAIAKOS M D, KATSAROS D, MEHRA P, et al. Cloud computing: Distributed Internet computing for IT and scientific research[J]. IEEE Internet Computing, 2009, 13(5): 10-13.

[2] ANTONOPOULOS N. Cloud computing[M]. Berlin: Springer, 2010.

[3] FOUQUET M, NIEDERMAYER H, CARLE G. Cloud computing for the masses[C]// Proceedings of the 1st ACM Workshop on User-provided Networking: Challenges and Opportunities. New York: ACM, 2009: 31-36.

[4] TRAJKOVSKA I, RODRIGUEZ J S, VELASCO A M. A novel P2P and cloud computing hybrid architecture for multimedia streaming with QoS cost functions[C]// Proceedings of the 2010 International Conference on Multimedia. New York: ACM, 2010: 1227-1230.

[5] PAYBERAH A H, KAVALIONAK H, KUMARESAN V, et al. CLive: Cloud-assisted P2P live streaming[C]// Proceedings of the 2012 IEEE International Conference on Peer-to-Peer Computing. Piscataway: IEEE, 2012: 79-90.

[6] CERVINO J, RODRíGUEZ P, TRAJKOVSKA I, et al. Testing a cloud provider network for hybrid P2P and cloud streaming architectures[C]// Proceedings of the 2011 IEEE International Conference on Cloud Computing. Piscataway: IEEE, 2011: 356-363.

[7] MENG X, PAPPAS V, ZHANG L. Improving the scalability of data center networks with traffic-aware virtual machine placement[C]// Proceedings of the 29th Conference on Information Communications. Piscataway: IEEE, 2010: 1-9.

[8] GREENBERG A, HAMILTON J R, JAIN N, et al. VL2: a scalable and flexible data center network[J].ACM SIGCOMM Computer Communication Review, 2009, 39(4): 51-62.

[9] LEISERSON C E. Fat-trees: universal networks for hardware-efficient supercomputing[J]. IEEE Transactions on Computers, 1985, 100(10): 892-901.

[10] GUO C, LU G, LI D, et al. BCube: a high performance, server-centric network architecture for modular data centers[J]. ACM SIGCOMM Computer Communication Review, 2009, 39(4): 63-74.

[11] DORIGO M, BONABEAU E, THERAULAZ G. Ant algorithms and stigmergy[J]. Future Generation Computer Systems, 2000, 16(8): 851-871.

篇4

关键词:课程群;计算机硬件;农业院校;人才培养

当前我国很多高等农业院校计算机专业已逐渐转变为软件工程和计算机科学与技术两个专业方向。然而,在教学实践中过分强调软件与应用,计算机硬件方面的教学却相对薄弱,导致学生缺乏计算机体系结构、计算机组成与结构等硬件方向的基本能力。即,计算机教育上存在着“重软轻硬”的倾向。

1计算机硬件教学存在问题分析

当前,农业院校计算机科学与技术本科专业中,计算机硬件与结构方向的核心和普通知识点一般体现在以下几门课程中:数字逻辑、计算机组成原理、微机原理、微机接口技术、汇编语言、计算机系统结构、计算机系统结构、嵌入式系统等。在教学过程中,各门课程相互之间内容衔接较多、重复之处也比较多,而某些知识点缺乏前导、造成断层。教师一般按照自己的教学大纲和计划对各门课程内容进行划定,而不是以计算机系统的整个体系结构为主线,造成缺乏系统性和科学性,难以实现学生从大一到大四的完整体系,使知识的连贯性变差;而且计算机硬件技术,例如:处理器技术、存储技术及网络技术等每天都有新的进展和变化,这些变化很难及时地反映到计算机硬件相关教材和实验设备上,因此难以体现发展中的新技术和教材之间的关联。由此造成,学生对这些课程普遍存在没有学习兴趣,教师上课缺乏激情的情况[1]。

因此,学生在掌握计算机硬件基本原理的基础上,如何结合计算机硬件技术的发展,并充分体现硬件技术的系统性和实践性,是当前农业院校计算机硬件教学所面临的重要问题;也是真正实现计算机科学与技术专业培养目标所必须解决的问题。

2计算机硬件课程群

为了解决以上存在的问题,本文提出构建计算机科学与技术专业硬件课程群。课程群方法是近年来高等院校课程体系建设实践中出现的一项新的课程开发技术。其基本思想是把各门课程内容联系紧密,内在逻辑性强,属同一培养能力范畴的同一类课程作为一个课程群组进行建设,从技能培养目标层次有效的把握课程内容的分配、实施、保障和技能的实现。课程群体系的进程如图1所示。

其优势在于以下3个方面:

1) 内容具有科学性。课程群各组成课程之间关系密切、逻辑性强,知识具有递进性,便于组织教学。

2) 实验室高效利用。课程群使计算机专业实验室可以进行大型的跨课程综合型实验,不仅在使用人次上,更重要的是在每次使用的效率上将得到极大的提高。

3) 教学具有可控性。课程群所有课程的教与学透明度提高,教学中的随意性和非计划性减少,可以有效的提高教学的可控性[2]。

3计算机硬件课程群构建的主要内容

本课程群的构建主要针对我校2010级本科教学人才培养实施方案。构建以下3个方面:计算机硬件课程群课程建设,综合型实验与课程设计设置和课程群内容的更新[3]。

3.1计算机硬件课程群课程建设

课程群的建立包括确定核心课程与选修课程。在课程群设置中,以学科方向和模块为核心,同时与专业培养计划相适应。在设置课程群的时候,打破单一授课的限制,使不同专业教研室的教师根据课程群设置凝聚一起,集中对各门核心课程和选修课程的内容与组织进行系统地规划,避免重复和脱节现象。例如:可以考虑把汇编语言课程和计算机组成原理课程结合,侧重于计算机硬件的五大部件、寻址方式和指令系统。这样有利于把计算机组成原理中介绍的一般性的知识和具体的微机系统联系起来,给学生打下牢固的理论基础;也可将汇编语言、计算机组成原理和微机接口技术3门课程全部联系起来,将计算机硬件基础知识全部融合在一起,提供给学生完善的知识体系[4]。

3.2计算机硬件课程群综合型实验建设

计算机硬件课程群建设中,强调实践教学的重要性。在课程群建设中,不是以单一的课程为单位设计实验,而是按照整个课程群来设计一体化的实验环境与实验内容。可以将汇编语言方向、微机接口方向、计算机组成原理和计算机体系结构等实验有机地结合在一起,创建良好的实验环境,灵活运用实验室、开放式实验室等多种手段培养学生的研究能力与团队精神的教育方法。例如,在计算机组成原理实验中设置了8255、8253等实验,同样在计算机接口实验技术中也有同样的内容,因此,可以考虑整合这部分内容,利用几个接口芯片开发一个小系统,不仅使同学学习了相关接口芯片知识,同时也锻炼了芯片在系统中的应用,建立整机概念等。

3.3课程群内容更新建设

根据计算机学科发展情况,及时、动态地调整课程群内核心课程、选修课程的设置,同时考虑到每一门课程具体内容的设置。让学生要尽可能学习掌握同当前主流技术发展方向联系比较紧密的新技术(如Pentium 的超标量流水线、分离的指令Cache 与数据Cache、指令分支预测技术、Itanium 的EPIC 核心技术),以及计算机新技术发展趋势(如未来处理器技术, 现代网络环境对硬件技术的要求, 64 位微处理器技术)等。

4结语

本方案已经通过相关课程专业教师多次研讨,打破以往独立课程设置方式,初步确立计算机硬件的课程群设置,计算机硬件综合实验设置的方案。该方案如果做进一步的深入研究、探讨与实践,必将对提高计算机专业学生软件和硬件能力的协调起到良好的作用,改变当前高等农业院校计算机专业学生硬件能力偏差的现状,提高其学生的自身综合素质和增强其就业能力。

参考文献:

[1] 唐建宇. 计算机硬件课程教学中的若干问题分析与探讨[J]. 福建电脑,2007(5):188-189.

[2] 刘新平,郑秋梅,孙士明,等. 计算机硬件课程群实验体系的改革与完善[J]. 计算机教育,2008(12):117-119.

[3] 王让定,钱江波,石守东,等. CC2005的计算机学科硬件与结构课程群改革探索[J]. 计算机教育,2008(8):137-138.

[4] 刘全利,黄贤英,杨宏雨. 计算机组成原理课程群建设的探讨[J]. 科技信息,2008(4):9-10.

Discuss on the Computer Hardware Course Group in Computer Science and

Technology Teaching of Agricultural Universities

ZHANG Xi-hai, YU Xiao, WU Ya-chun, WEI Xiao-li

(Engineering college, Northeast Agriculture University, Harbin 150030, China)

篇5

关键词: 数据库; 数学模型; 查询优化; 和声搜索算法

中图分类号: TN911?34; TP391 文献标识码: A 文章编号: 1004?373X(2017)03?0114?03

Database query optimization based on improved harmony search algorithm

GAO Jie1, 2

(1. University of Electronic Science and Technology of China, Chengdu 611731, China;

2. Department of Modern Service, Hebei Women′s Vocational College, Shijiazhuang 050091, China)

Abstract: The database query optimization is the foundation of the database application. Since the database query has low efficiency, and it is difficult to obtain the optimal query scheme, a new database query optimization method based on improved harmony search algorithm is proposed. The research status of the database query optimization is analyzed to find out the shortcomings existing in the current algorithms. The mathematical model of the database query optimization was constructed, and solved with the harmony search algorithm. The defect of the standard harmony search algorithm was improved. The VC++ programming is used to test the performance of the database query optimization. The results show that the algorithm can improve the database query efficiency, and has more significant advantage especially for the large?scale database query optimization.

Keywords: database; mathematical model; query optimization; harmony search algorithm

0 引 言

近些年随着网络技术、数据处理技术的不断成熟和融合,出现了许多的数据库,而且数据库规模越来越庞大[1?2]。查询优化操作是数据库应用最常用的技术,查询优化效率的优劣直接决定了数据库访问结果的好坏,因此如何设计性能优异的数据库查询优化方法具有十分重要的实际应用价值[3]。

数据库查询优化问题引起了国内外研究人员的高度重视,它们采用各种技术对其进行深入分析,涌现出了大量、有效的数据库查询优化算法[3]。最原始的数据库查询优化算法基于穷尽策略,即搜索每一种可能的查询方案,找到最优的数据库查询方案,当数据库规模比较小时,其查询效率高[4],然而对于大型数据库,由于查询条件和约束比较多,该算法的计算时间复杂度急剧上升,查询过程耗时相当长,有时甚至无法找到数据库的最优查询方案[5]。为此,有关研究人员提出了基于动态规划的数据库查询优化算法,该算法的查询效率得到了提高,但其实质上仍然采用穷举搜索策略,而对于大型数据库,查询效率低的问题仍然存在[6]。近些年,随着人工智能算法的不断成熟,有学者将遗传算法、粒子群优化算法以及蚁群优化算法[7?9]引入到数据查询优化问题的求解过程中,它们将最优或者次优数据库查询优化方案作为搜索目标,通过模拟自然界一些生物行为进行问题求解,找到数据库查询最优方案的速度明显加快,计算时间复杂度下降,成为当前数据库查询优化问题的主要解决算法[10]。相关研究表明,数据库查询优化受到多种条件约束,是一种典型的NP,这些算法的求解过程易陷入局部最优解,有时不能得到最优查询方案[11]。

和声搜索(Harmony Search,HS)算法[12]是一种模拟乐师调整音调的人工智能算法,具有控制参数少,简单易实现,收敛速度快等优点,在很大程度上防止了局部最优解的出现。为了获得更加理想的数据库查询优化结果,提出改进和声搜索算法的数据库查询优化算法(Improved Harmony Search,IHS),并采用具体实验对其性能进行测试和分析。结果表明,本文算法可以提高数据库查询效率,特别适合于大规模数据库查询问题的求解。

1 改进和声搜索算法

1.1 HS算法

HS算法是一种受到和声音乐启发的人工智能算法,模拟乐师们不断调整各种乐器的音调产生美妙的和声对问题实现求解。设乐器[(i=1,2,…,m)]为待求解问题的第[i]个决策变量,和声为待求解问题的第[j]个解向量,HS工作步骤为:

Step1:设待求解问题为最小优化问题,[f(X)]为问题的目标函数,那么问题可以描述为:

[min f(X)s.t. X∈(x1,x2,…,xN)] (1)

式中:[X]为决策变量[xi(i=1,2,…,N)]组成的解向量;[N]为变量的个数。

Step2:确定[N]的值,音调调节概率和带宽PAR和bw;决策变量取值范围为[[xLi,xUi];]和声记忆库的规模为HMS;记忆库的概率为HMCR。

Step3: 随机生成[HMS]个和声[x1,x2,…,xHMS,]并且将它们保存在和声记忆库中,具体为:

[HM=x11x12…x1Nx21x22…x2N????xHMS1xHMS2…xHMSNf(x1)f(x2)?f(xHMS)] (2)

Step4:通过HM的学习、音调微调和随机选择音调产生新的和声[x′i=(x′1,x′2,…,x′N)],具体如下:

[x′1]通过HMCR的概率,其值来自HM[(x′1~xHMS1)],根据1~HMCR的概率随机产生,即:

[x′i=x′i∈(x1i,x2i,…,xHMSi), if rand

若[x′i]来自[HM,]那么根据式(4)对其音调进行微调。

[x1i=x′i+rand*bw, if rand

式中[rand]为[0,1]的随机数。

Step5: 对[x′i]进行u估,若其优于[HM]的最差解,那么将[x′i]替换为最差解,并保存到[HM]中,即:

[f(xworst)=maxj=1,2,…,HMSf(xj)if f(x)

Step6:如果满足终止条件就停止运行,否则不断重复Step3和Step4。

1.2 IHS算法

相关研究结果表明,与其他人工智能算法相似,HS算法在后期出现搜索停滞、易出现“早熟”现象[13],为此本文对其进行改进,提出IHS算法,具体思想为:引入参数WSR,其值的大小与迭代次数[k]之间是一种动态的变化关系,算法工作初期,其值较大,更新HM的最差和声,算法工作后期更新HM最优和声,可以有效避免“早熟”现象发生,加快算法的收敛速度。

为了分析IHS算法的性能,选择Griewank和Rastrigin函数进行测试,采用HS算法进行对照实验,测试结果见图1。对图1的测试结果进行对比分析可以发现,IHS算法的搜索速度明显要快于HS算法,而且解决了HS算法的“早熟”难题,证明了本文对HS算法改进的有效性。

2 GM?QPSO的数据查询优化问题求解

2.1 数学模型

数据库查询最优方案实际是一个有[n]个关系的连接树:[j1, j2,…, ji,]查询方案评估模型为:

[COST=i=1n-icost(ji)] (6)

设[R]为关系[R]的元组数;[C]为[R]和[S]的公共属性集合,[J=RjoinS,]查询代价[cost(J)]为:

[cost(J)=R×Sci∈CmaxVci,R,Vci,S] (7)

[V(c,R)]为[R]中属性[c]的取值,具体为:[V(c,J)=V(c,J), c∈R-SV(c,S), c∈S-Rmin(V(c,R),V(c,S)), c∈R?S1≤i1,i2,…,im

2.2 IHS算法的数据库查询优化问题求解

(1) IHS参数的初始化。

(2) 设[xi=round(rand(1,N)),i=1,2,…,HMS]随机产生[HMS]个向量,即数据库查询优化问题的可行解。

(3) 计算[HM]每个和声的适应度值,并根据适应度值找到最优和最差的和声[xbest]和[xworst,]适应度计算公式为:

[f(Xi)=1cost(Xi)] (9)

(4) 确定WSR的值,具体如下所示:

[WSR=0.7×1-kTmax+0.3] (10)

式中[k]为当前迭代的次数。

(5) 产生一个随机数rand,若rand>WSR,那么表示[xworst]被选中,且有[xnew=xworst,]否则有[xnew=xbest。]

(6) 若rand

(7) 计算[xnew]的适应度值[fnew=f(xnew),]若[xworst]被选中,且[fnew>fworst,]那么就有[xworst=xnew,]否则[xbest=xnew]。

(8) 如果达到最大迭代次数,最优和声对应的解为数据库最优查询方案,否则返回步骤(3),继续执行。

基于IHS算法的数据库查询优化流程见图2。

3 性能测试

为了分析IHS算法的数据库查询优化问题求解的有效性,采用VC++编程实现仿真实验,并选择HS算法、文献[8]算法进行对比测试,选择查询代价和执行时间(单位:s)对数据库查询最优方案进行评价,所有算法的数据库查询代价和执行时间如图3,图4所示。

对图3中各种算法的数据查询代价进行对比分析,得到如下结论:

(1) 当连接数很小时,IHS算法、HS算法以及文献[8]算法的数据库查询代价相差不大,没有太大的区别。

(2) 随着连接数不断增加,IHS算法、HS算法以及文献[8]算法的数据库查询代价也随之增加,在相同条件下,IHS算法的数据库查询代价要小于HS算法以及文献[8]算法,这是由于IHS算法加快了数据库查询优化问题的求解速度,得到了更加理想的数据库查询方案。

从图4的执行时间可以看出,相对于HS算法以及文献[8]算法,IHS算法找到数据库查询最优方案的时间大幅度减少,尤其当数据库连接数很大时,IHS算法的执行速度更快,优势更加明显,可以满足数据库查询的实时性要求,同时可以应用于网络数据库的查询,应用范围更加广泛。

4 结 语

查询效率直接影响大型数据库的应用范围,为了加快数据库查询的速度,满足数据库在线查询的实际要求,提出基于改进和声搜索算法的数据库查询优化算法,实验结果表明,本文算法可以很快找到数据库查询的最优结果,有效提高了数据库的查询效率,尤其对于大型数据库查询的优越性更加明显,可以应用于实际的数据库系统中。

参考文献

[1] 张敏,冯登国,徐震.多级多版本数据库管理系统全局串行化[J].软件学报,2007,18(2):346?347.

[2] 张丽平,李松,郝忠孝.球面上的最近邻查询方法研究[J].计算机工程与应用,2011,47(5):126?129.

[3] 帅训波,马书南,周相广,等.基于遗传算法的分布式数据库查询优化研究[J].小型微型计算机系统,2009,30(8):1600?1604.

[4] ZHOU Zehai. Using heuristics and genetic algorithms for large scale database query optimization [J]. Journal of information and computing science, 2007, 2(4): 261?280.

[5] CHEN P H, SHAHANDASHTI S M. Hybrid of genetic algorithm and simulated annealing for multiple project scheduling with multiple resource constraints [J]. Automation in construction, 2009, 18(4): 434?443.

[6] 郭聪莉,朱莉,李向.基于蚁群算法的多连接查询优化方法[J].计算机工程,2009,35(10):173?176.

[7] 林桂亚.基于粒子群算法的数据库查询优化[J].计算机应用研究,2012,29(3):974?975.

[8] 郑先锋,王丽艳.自适应逃逸动量粒子群算法的数据库多连接查询优化[J].四川大学学报(自然科学版),2013,50(3):100?103.

[9] 于洪涛,钱磊.一种改进的分布式查询优化算法[J].计算机工程与应用,2013,49(8):151?155.

[10] 徐增敏,张昆,丁勇,等.基于动态视图的数据库性能调优[J].计算机应用与软件,2012,29(12):58?60.

[11] 林键,刘仁义,刘南,等.基于查询优化器的分布式空间查询优化方法[J].计算机工程与应用,2012,48(22):161?165.

篇6

关键词:石英挠性加速度计;参数辨识;改进人工鱼群算法

1 引言

石英挠性加速度计是一款在惯性导航、惯性制导及民用工业上得到广泛应用的惯性器件,由于其自身结构简单、价格低、可靠性高等优点,具有广泛的发展前景。随着对惯导系统等精度要求的不断提高,对石英挠性加速度计的测量精度要求也越来越高。

人工鱼群算法(AFSA)由李晓磊等人在2002年首次提出来[1]。其基本思想是模仿鱼类在水中趋向于食物含量最多的地方活动。根据鱼群的这一特点,人工鱼群算法构造人工鱼群并赋予每条人工鱼一些鱼类的行为(如觅食行为、聚群行为、追尾行为及随机行为),通过人工鱼个体或群体的方式达到寻优的目的。

2 石英挠性加速度计的静态数学模型

石英挠性加速度计的重力场试验是加速度计其他试验的基础。其原理是利用重力加速度作用于加速度计的输入轴、摆轴和输出轴,从而测得加速度计的各项性能参数。它具有标定的偏值和标度因数准确的优点。采用重力场十二位置翻滚试验时,石英挠性加速度计门状态的静态数学模型可表示为:

(1)

式中,Z是石英挠性加速度计的输出值;K0是加速度计的偏值; K1是加速度计的标度因数;K2、K3分别是加速度计的二阶和三阶非线性系数;Ki0是加速度计的输入轴与输出轴的交叉耦合系数;K0是加速度计的输出轴灵敏度系数;θ是加速度计输入轴与水平面夹角。

3 人工鱼群算法(AFSA)

3.1 基本人工鱼群算法的定义

人工鱼群个体的状态可用向量表示为,其中为欲寻优的变量;表示人工鱼个体之间的距离;Visual表示人工鱼的感知范围;δ表示人工鱼个体间的拥挤度因子;Step表示人工鱼移动的步长[1]。

人工鱼群算法引进鱼群的觅食行为、聚群行为、追尾行为及随机行为四种行为方式。由觅食行为和随机行为两种行为方式发现问题最优解的取向,聚群行为和追尾行为两种行为方式得到当前的最优解,若不是最优解则继续算法的迭代过程,直到满足问题设置的终止条件为止。在人工鱼群算法中,随机行为通常作为觅食行为的缺省行为,并且在每个行为方式中人工鱼都自动地朝向问题最优解的方向更新自己的当前位置值。

在算法中为记录最优人工鱼个体的状态,设立了公告板。其目的是记录历史最优的状态,当各人工鱼个体在寻优过程中,每次寻优完就检验自身状态与公告板的状态,如果自身状态优于公告板状态,就将公告板的状态改写为自身状态;如果自身状态不比公告板状态优,就保持原有公告板状态。

根据问题的性质或要求而设定了人工鱼群算法的终止条件。如判断是否达到预设的精度指标或鱼群最大迭代次数,或连续多次所获取的值均不能超过已寻到的极值等方法。

3.2 人工鱼群算法的改进

在原人工鱼群算法中,视野和步长是固定不变的[2]。视野和步长较大,人工鱼的全局搜索能力强并且收敛速度快,求解精度不高,有时还会出现振荡现象。视野和步长较小,人工鱼的局部搜索能力强,收敛速度慢,但求解精度高。为了兼顾全局搜索能力、局部搜索能力和收敛速度,一种改进方法是非线性动态调整视野和步长,算法开始先采用较大的视野和步长,使人工鱼在大范围内进行粗搜索,随着搜索的进行,视野和步长逐渐减小,演化为局部搜索,最后定位在最优解附近区域并进行精细搜索[3]。其方法为:

(2)

式中,是衰减函数,s是大于1的整数,g为当前的迭代次数, 为定义的最大迭代次数。一般的,为0.001,为0.0002。

对聚群行为和追尾行为的一种改进方法是在人工鱼的前进方向上,人工鱼状态周围的伙伴数与群体规模N的比值小于拥挤度因子δ,或者人工鱼间的距离小于Visual/2。对于聚群行为,同时还要满足中心位置的食物浓度优于当前状态的食物浓度值的条件。对于追尾行为,同时还要满足人工鱼的当前邻域中的最小食物浓度值优于当前状态的食物浓度值的条件。它们可以使在增强人工鱼全局寻优能力的同时保证局部范围内的寻优能力和局部人工鱼不会过度拥挤[4][5]。

4 人工鱼群算法辨识过程及结果

利用人工鱼群算法求门状态下的模型参数,初始化人工鱼群的相关参数及编写食物浓度函数表达式。人工鱼个体间的距离表示为:

(3)

食物浓度函数表示为:

(4)

式中,Z为石英挠性加速度计的实际输出值,为根据模型式(1)求得的估计值。

人工鱼群算法辨识石英挠性加速度计参数的流程如图1所示。其中原始鱼群的初始化是在一定范围内通过随机化方式得到。食物浓度函数的最优值取为最小值,把群体的最小值作为公告板的初始值。视野Visual和步长Step根据式(2)计算,s取为3。觅食行为和随机行为作为聚群行为和追尾行为的缺省行为。

设定算法的终止条件为式(4)的精度达到5×10-9。连续运行3次人工鱼群算法对石英挠性加速度计参数进行辨识,其结果见表1所示。从表1中可以看见,人工鱼群算法能够有效辨识石英挠性加速度计门状态的模型参数。

运行第1次人工鱼群算法的迭代过程曲线如图2所示。从图2可以看出,算法迭代至第187次时达到精度要求。

5 结论

本文用改进的人工鱼群算法对石英挠性加速度计参数进行了辨识,算法的终止条件设置为5×10-9。同时采用最小二乘法辨识了加速度计参数。从加速度计的参数辨识结果可以看出,人工鱼群算法能有效辨识加速度计参数,为加速度计模型参数辨识提供了一种新方法。因人工鱼群算法的性能受它的各初始化参数影响,设置合适的人工鱼参数可提高算法的寻优精度、收敛速度等。

参考文献:

[1]李晓磊,邵之江,钱积新.一种基于动物自治体的寻优模式:鱼群算法[J].系统工程理论与实践,2002(11):32-38.

[2]李晓磊.一种新型的智能优化方法―人工鱼群算法[D].浙江:浙江大学博士学位论文,2003.

[3]王联国.人工鱼群算法及其应用研究[D].兰州:兰州理工大学博士论文,2009.

篇7

关键词:自适应;极限学习机;混沌粒子群;基因分类

中图分类号:TP181

文献标志码:A

文章编号:1001-9081(2016)11-3123-04

0 引言

前馈神经网络能够通过输入样本逼近复杂的非线性映射,因此在很多领域都有应用,但是存在学习速度慢、容易陷入局部收敛和在不同场合其参数难以调解等复杂问题,以致其发展受限。为解决这些问题,2006年Huang[1]提出一种新型单隐层前馈神经网络――极限学习机(Extreme Learning Machine, ELM),通过核函数将数据从低维空间映射到高维空间中,处理非线性数据,但是参数随机产生使结果存在一定的随机性,因此容易产生较差的分类效果。1995年James Kennedy和Russel Eberhart提出粒子群(Particle Swarm Optimization, PSO)算法[2-3],该方法是基于群体演化的随机全局优化的一种智能优化算法,其中心思想是对鸟群或鱼群合作捕食行为的研究。在优化复杂函数时,PSO算法的搜索精度不能达到要求,且易陷入局部最优的状况,到搜索后期经常会出现震荡情况。2009年,Lei等[4]提出了基于混沌序列的粒子群优化算法,通过引入混沌序列增强了算法的全局搜索能力。2012年, Han等[5]提出了用PSO算法对ELM进行优化,通过优化ELM 的输入层权值及隐藏层偏差,得到一个最优的网络。2015年,Yang等[6]提出基于Tent混沌序列的PSO算法,在增强全局搜索能力的基础上有效地避免了算法的盲目性,提高了算法收敛速度。

本文通过分析ELM的缺点,提出一种新的自适应混沌粒子群极限学习机(Adaptive Chaotic Particle Swarm Optimization-Extreme Learning Machine,ACPSO-ELM)分类器。在该算法中,首先通过ELM对给定的数据进行初始化,产生一组输入权值和隐藏层偏置,再通过ACPSO算法寻找最优输入权值和隐藏层偏置,最后将得到的结果代入ELM中训练。

改进后的自适应粒子群优化算法步骤如下:

步骤1 给定训练与测试数据集,在训练前,对数据进行归一化处理。

步骤2 建立基于ACPSO的极限学习机神经网络拓扑结构,设置隐层神经元数目,选中激活函数。

步骤3 产生种群,设置粒子数N,每个粒子设置为[-1,1]范围内的随机数向量,设置神经元个数及隐层节点数。

步骤4 初始化ACPSO的速度与位置变量,设置种群的个体最优位置pbest、群体最优位置gbest。

步骤5 计算每个粒子的适应度值,先计算网络实际输出,再求期望输出值与实际输出值的均方误差,即得到粒子的适应度值。

步骤6 根据式(6)、(7)更新自适应粒子群的位置和速度。

步骤7 计算种群适应度方差,根据方差值判断算法是否收敛,若收敛则转步骤9; 否则转步骤8。

步骤8 根据式(10)、(11)进行混沌搜索,用搜索到的点随机取代粒子群中的一个粒子,然后转步骤5。

步骤9 判断是否达到最大迭代次数:若达到,则停止迭代; 否则转步骤5,继续迭代。

3 算法描述与实验结果

本文为得到分类精度高、泛化性能好和鲁棒性高的分类模型,提出了ACPSO-ELM算法,该算法结合ACPSO算法的高稳定与ELM算法分类速度快、精度高的特点,通过实验对算法性能进行验证。本文从UCI标准分类数据集中选择Breast、Heart、Colon三种基因数据集进行实验,实验由Matlab编程仿真实现。每个数据集如表1所示:

为验证ACPSO-ELM算法的高效性,本文分别用ELM、PSO-ELM、ACPSO-ELM、DPSO-ELM在Breast、Heart、Colon三种基因数据集采用10次五折交叉验证,即将每个基因数据集分成5份,选取其中4份作为训练数据集,1份作为测试数据集,进行实验,取10次结果精度的平均值作为算法的精度。本文所用实验粒子群的参数设置为N=20,Kmax=50,ωmax=0.95,ωmin=0.4,在ACPSO算法中,c1=c2=1.5。为进一步比较算法的性能,图1~3给出了该算法在3种基因数据集上的测试精度对比。

由图1~3可以看出ELM的分类结果随着迭代次数的增加存在较大的震荡性,实验结果不稳定,加入PSO算法对ELM的参数优化后,从图1~3可以看出,实验结果不再随迭代次数的增加而大幅度地震荡,说明PSO算法能够有效提高ELM算法的稳定性;同时由图1~3可知,ELM的分类精度也得到了显著的提高,突出了参数优化的重要性。比较PSO-ELM和DPSO-ELM以及ACPSO-ELM三种算法的分类结果表明,ACPSO-ELM算法相比其他两种算法具有更好的分类精度以及稳定性。

本实验中最大迭代次数设置为50,由表2可知,基于自适应混沌序列的粒子群优化算法在运行时间上高于其他算法,比较PSO、ACPSO算法可知,由于PSO算法每次迭代过程中粒子群的数量不变,假设第i次迭代时粒子群的数量为Ni,迭代次数为Kmax,则每次迭代粒子群数量为N1=N2=…=NKmax,设每个粒子一次迭代运行时间为Tp,则PSO算法运行总时间为Tp×Kmax×Ni,对于ACPSO算法,由于每次迭代过程中,粒子群通过适应度值不断更新,粒子数随着迭代的增加而逐渐减少,所以N1≥N2≥…≥NKmax,设每个粒子每次迭代运行时间为Ta,则总运行时间为∑Kmaxi=1Ni×Ta。由于本次实验设定迭代次数为50,所以ACPSO-ELM算法相比其他算法运行时间较长。

综上所述,ACPSO-ELM无论在分类精度还是在稳定性、收敛性上都优于ELM,同时对比于PSO-ELM和DPSO-ELM算法,ACPSO-ELM是一种十分可靠、高效的分类算法。

4 结语

针对ELM算法分类精度低、分类不稳定等情况,本文提出了ACPSO-ELM算法,通过ACPSO算法对ELM算法内权参数进行优化,在不同数据集上,与已有算法PSO-ELM,DPSO-ELM比较可知,本文提出的分类算法具有更高的分类精度以及更好的稳定性,由于本实验迭代次数设置较小,因此算法的分类速度相比其他算法较慢。

参考文献:

[1] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006,70(1): 489-501.

[2] SHI Y H, EBERHART R. A modified particle swarm optimizer[C]// Proceedings of the 1998 IEEE International Conference of Evolutionary Computation. Piscataway, NJ: IEEE, 1998: 69-73.

[3] KENNEDY J, EBERHART R. Particle swarm optimization[C]// Proceedings of the 1995 IEEE International Conference on Neural Networks. Piscataway, NJ: IEEE, 1995: 1942-1948.

[4] LEI X J,SUN J J,MAQ Z. Multiple sequence alignment based on chaotic PSO[J].Computational Intelligence and Intelligent Systems, 2009, 117(2/3):351-360.

[5] HAN F, YAO H F,LING Q H.An improved extreme learning machine based on particle swarm optimization[C]// Proceedings of the 7th International Conference on Intelligent Computing: Bio-Inspired Computing an Applications. Berlin: Springer-Verlag, 2012:699-704.

[6] YANG J M, MA M M, CHE H J, et al. Multi-objective adaptive chaotic particle swarm optimization algorithm[J]. Control and Decision, 2015, 30(12):2168-2174.

[7] HE Z B, WEN X H, HU LIU, et al. A comparative study of artificial neural network, adaptive neuro fuzzy inference system and support vector machine for forecasting river flow in the semiarid mountain region[J]. Journal of Hydrology, 2014, 509: 379-386.

[8] 陆慧娟,安春霖,马小平,等.基于输出不一致测度的极限学习机集成的基因表达数据分类[J].计算机学报, 2013, 36(2): 341-348. (LU H J,AN C L,MA X P, et al. Disagreement measure based ensemble of extreme learning machine for gene expression data classification[J].Chinese Journal of Computers, 2013,36(2):341-348.)

[9] HUANG G B, CHEN L, SIEW C K. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71(18): 3460-3468.

[10] HUANG G B, ZHOU H M, DING X J, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetics, 2012, 42(2): 513-529.

[11] ZHANG Y N, TENG H F. Detecting particle swarm optimization[J]. Concurrency & Computation Practice & Experience, 2009, 21(4):449-473.

[12] 卢新国,林亚平,骆嘉伟,等.癌症识别中一种基于组合GCM和CCM的分类算法[J].软件学报, 2010, 21(11):2838-2851.(LU X G, LIN Y P, LUO J W, et al. Classification algorithm combined GCM with CCM in cancer recognition[J].Journal of Software, 2010, 21(11):2838-2851.)

[13] EBERHART R, KENNEDY J. A new optimizer using particle swarm theory[C]// Proceedings of the 6th International Symposium on Micro Machine and Human Science. Piscataway, NJ: IEEE, 1995: 39-43.

[14] 田东平.基于Tent混沌序列的粒子群优化算法[J].计算机工程, 2010, 36(4):180-182.(TIAN D P. Particle swarm optimization algorithm based on tent chaotic sequence[J].Computer Engineering, 2010, 36(4):180-182.)

[15] 刘斌.微粒群优化算法的改进研究与应用[D].西安:西安交通大学, 2009.(LIU B. Improvement research and application of particle swarm optimization algorithm[D]. Xian:Xian Jiaotong University, 2009.)

[16] 施美珍.基于粒子群优化算法的模糊聚类分析及其应用[D].广州:华南理工大学, 2012.(SHI M Z. Fuzzy clustering analysis and application based on particle swarm optimization[D].Guangzhou: South China University of Technology, 2012.)

[17] 刘丽霞.基于小波理论与LSSVM的模拟集成电路故障诊断方法[D].西安:西安电子科技大学, 2011.(LIU L X.Fault diagnosis method for analog integrated circuits based on wavelet theory and LSSVM[D].Xian: Xidian University, 2011.)

篇8

关键词:蚁群算法;车辆运输;路径优化

中图分类号:TP301.6;S274 文献标识码:A 文章编号:0439-8114(2016)20-5372-03

DOI:10.14088/ki.issn0439-8114.2016.20.052

Abstract: A modified ant colony algorithm was adopted and optimized in grain logistics distribution path in order to reduce transportation cost effectively. The results showed that the modified algorithm provide a better solution in grain logistics distribution path optimization than the basic ant colony algorithm. It can cut down path length about 9% and therefore play a bigger role in utilization of the limited resources.

Key words: ant colony algorithm; grain logistics; path optimization

Z食问题关乎国家的国计民生,其价格高低直接影响国家经济的发展。在粮食价格的组成中,粮食流通成本比重很高,许多加工粮食企业对粮食配送采用人工方式,运输线路不合理,导致运输成本居高不下。因此,研究如何有效地降低粮食的运输成本,将有十分重要的现实意义。

降低粮食的流通成本,要根据各个配送点,设计出运输线路最短的路径,合理利用车辆的资源,用最小的成本达到粮食配送的目的。解决这类问题的方法较多,但是都存在一定的缺陷。蚁群算法是意大利学者Marco Dorigo等于1991年受自然界蚂蚁觅食过程启发而提出的一种新型智能搜索优化算法。随后将蚁群算法成功地应用于旅行商问题求解上,并取得了很好的试验结果。蚁群算法受到许多研究者的关注,并不断应用于实际问题求解,蚁群算法已经被广泛地应用到各个领域解决复杂组合优化问题。因此,本研究对基本蚁群算法进行改进优化,建立数学模型,进而对粮食配送线路进行了试验仿真。结果表明,改进优化的蚁群算法对配送线路优化取得了较好的效果。

1 粮食物流配送数学模型

由一个粮食配送中心向多个粮食配送点送粮,每个粮食配送点的地理位置和需求量固定,每辆运粮车辆的载重量和最大行驶距离固定,要求以最低的运输成本合理安排配送线路,同时满足每个粮食配送点的需求。为了保证数学模型满足配送要求,该模型应该满足以下条件:

1)各条配送线路上各个粮食配送点的粮食需求量之和不超过送粮车辆的最大载重量;

2)粮食配送中心能够完全满足各个配送点的粮食需求;

3)粮食必须在有效的时间内送到各个配送点;

4)粮食运输总费用与运输的总量是成正比。

多配送点粮食物流配送模型如下:设共有M个配送点,分别用1,2,3,…M表示。

式(2)表示粮食运输车在运输线路上成本最小。式(3)表示所有运输车都是从配送中心出发,完成后回到配送中心。式(4)表示每辆车运输粮食的重量不能超过车的最大载重量。式(5)表示每一条线路上只能由一辆运输车完成。式(6)表示变量的取值。

2 改进蚁群算法

蚁群算法是模拟自然界中蚂蚁觅食行为的随机仿生优化算法[1],蚂蚁之间通过传递信息素和协同合作,从而找到食物到巢穴间最短路径。蚁群算法具有较好的鲁棒性、并行性、全局寻优、正反馈机制、分布性等优点,但是也存在收敛速度过慢和容易陷入局部最优等缺点[2]。

2.1 蚂蚁转移规则的改进[3]

为了避免蚂蚁在搜索过程中陷入局部最优而没有得到最优解,本研究对蚂蚁的转移规则进行了改进。初始路径上各个节点的信息素是相同的,当蚂蚁经过某个节点时信息素的值就会增加。蚂蚁就会快速聚集到这些节点上,从而导致算法陷入局部最优。因此,提出干扰策略,提高蚂蚁的搜索空间。

干扰因子表示路径上的蚂蚁拥挤程度,其计算公式为:

参数α是蚂蚁在运动过程中的信息素影响因子,主要表示蚂蚁在进行路径搜索时路径上所积累的信息素浓度对蚂蚁进行路径选择所起的作用大小。

参数β是期望因子或称为能见度因子,表示蚂蚁在运动过程中能见度对路径选择的重要性。

2.2 信息素浓度初始值的改进策略[4]

基本蚁群算法的信息素浓度初始值是一个常数,为了提高算法的收敛速度,提出了信息素浓度初始值的改进策略,在初始化信息素的同时加入了引导功能,让蚂蚁移动时趋向于终点移动,信息素初始化的公式是:

2.3 全局信息素更新策略[4,5]

采用最大最小蚂蚁系统MMAS,就是蚂蚁在进行一次搜索完后,仅对所走过的路径进行全局更新,可以大大缩小蚂蚁的搜索范围,使得蚂蚁的搜索更具有方向性。这种改进策略不但可以提高搜索效率,而且可以保证搜索到的最优解的充分利用。全局信息素更新如公式(10)所示:

2.4 蚁群算法主要步骤[6-8]

1)初始化参数α,β等参数以及蚂蚁的数量和迭代次数NCmax,利用公式(9)初始化每条边的信息素。

2)把n个蚂蚁放到粮食配送中心,利用公式(8)选择蚂蚁下一次移动的粮食配送点,同时把该配送点加入蚂蚁的禁忌表。

3)当蚂蚁完成一次路径搜索后回到出发点,并利用公式(10)更新当前较好路径的信息素。

4)判断迭代次数是否小于NCmax,如果成立,跳回步骤2,重蜕鲜霾街瑁否则,程序结束。

5)当迭代次数等于NCmax,则输出粮食配送最优路径和长度,程序结束。

3 改进蚁群算法仿真试验

以某地区1个粮食配送中心和20个粮食配送点为例,使用改进的蚁群算法在实验室中用MATLAB2010进行模拟测试,配送中心用编号0,其他配送点分别用1,2,…,20,要求运输费用最少。各配送点的横纵坐标和需求量如表1所示。

参数设置为:NCmax=30,Q=2,m=20,α=1,=0.5,β=3,改进算法运行15次后得到了最优配送线路如图1所示。由图1可以看出,共需要4辆车,4辆车的具体配送线路是:0-18-4-3-9-0;0-2-12-5-7-14-15-0;0-8-10-13-11-0;0-6-17-16-20-19-1-0,路径长度为382.01 km。

4 小结

从仿真试验结果来看,用改进的蚁群算法求解粮食物流配送路径优化问题时,有以下几个优点:①找到最优解的概率更高;②求解效率和性能都进一步提升。但蚁群算法作为一种仿生智能优化算法,仍有许多问题和不足之处,需要以后进一步深入研究和完善。

参考文献:

[1] 余昌艳.基于蚁群算法的粮食加工企业物流配送路径优化研究[D].武汉:武汉科技大学,2009.

[2] 高 尚.蚁群算法理论、应用及其与其他算法的混合[D].南京:南京理工大学,2005.

[3] 龙 汀.基于蚁群算法的车辆路径问题的研究[D].合肥:合肥工业大学,2009.

[4] 汪采萍.蚁群算法的应用研究[D].合肥:合肥工业大学,2007.

[5] 刘 霞,杨 超.最小-最大车辆路径问题的蚁群算法[J].理工大学学报,2012,13(3):336-341.

[6] 郭天池.基于蚁群算法的粮食应急调度问题研究[D].郑州:河南工业大学,2011.

篇9

【关键词】实时集群 计算机系统 研究现状 应用 发展

现如今,社会科学技术迅猛发展,计算机已经普及到了千家万户,成为了人们生产生活中必不可少的工具。人们对计算机技术的应用研究也在不断拓展,尤其是实时集群计算机系统的出现在很大程度上改变了人们传统的看法,打破了处理器是提高计算机性能主要办法的观点。集群计算机系统的出现能够实现两台或者多台计算机的有机结合,将计算机的硬件与软件进行融合使用,并运用这种强大的处理功能共同解决问题,降低原有的超级计算机的价格成本,使其具有更高的性价比。因此,各国不断对其进行探索,将这种新型的集群计算机系统应用于军事、仿真等领域,并取得了显著的成效,这也在一定程度上说明了它的巨大优势。鉴于以上内容,集群计算机系统必将在未来的行业发展中占有一席之地,它也将为多元信息处理和控制系统开创一个崭新的局面。

一、集群计算机系统的含义、分类以及功能

想要明确了解集群计算机系统的研究现状,并展望其未来的发展态势,首先就要明确什么是集群计算机系统以及它的分类和主要功能。顾名思义,集群计算机系统就是将多台计算机进行串联使用,从而达到计算效率提升的目的。它是利用高速通信网络,按照一定的组织结构将一组高档工作站、服务器和PC计算机进行紧密结合,从而实现系统高效并行的对策。与以往的单个计算机有所不同,它没有外部的设备实施,不存在显示器、键盘等硬件,但是它却需要具有足够的内存、高性能的主板以及高速的中央处理器等。只有这样,才能实现计算机设备的高性能传递,使通信协议更加高效便捷。

集群计算机具有可拓展功能,不需要使用者过多的花费资金就能够提高系统的性能。另外,它还具有非常良好的恢复和备份功能,这也就使其具有不同的分类情况。 按照应用的目的,可分为高性能集群、高可用性集群两类;按照节点划分,又包括专用和非专用集群。此外,它还能够根据节点硬件的组成情况以及操作系统进行分类。简单来说,实时集群计算机系统最主要的作用就在于其传递功能的发挥,它能够将通信服务器中转化而成的广播信息进行接收,并将原始信息通过统计的方式发送到控制中心,实现资源的有效传达。它的工作就好比大型的计算机,能够完成数据输入与输出的全过程,实现信息的高效传送。

二、实时集群计算机系统的研究现状与发展趋势

实时集群计算机系统概念一经提出就受到了全世界的广泛关注,对其的应用研究也不断涌现。但是其研究现状仍旧存在不平衡现象,国内国外对其的发展探究有很大的区别。

第一,国外研究现状与发展趋势。由于传统计算机所用的处理器和操作系统大多为专用设备,使用成本较高,程序复杂,应用时间要多于硬件系统的使用寿命,浪费资金现象严重。因此,以美国为首的国家不断研发新型的高性能硬件设备,于是就诞生出现了集群计算机系统。美国宇航局在1994年建立了第一个基于PC并行计算机的系统,并于1999年研制成功了256个中央处理器并行使用集群系统。

第二,国内研究现状与发展趋势。与国外的研究热潮相比,我国在这方面的研究和应用机构相对还比较少,只有清华大学和西安交通大学对其进行了研发。1999年,清华大学研制出了8CPU和16CPU计算机,西安交通大学则在同一年研究出了8个PII350集群计算机BSPC-8。但是与国外优秀的研究技术相比,我国系统研发的周期相对较慢,掌握该技术的专业人才也不够。

总的来说,现如今的集群计算机系统已经朝着软件研发方面进行探索,简化了网络协议,并提出了在集群系统硬件上安装新设备的思想。与此同时,为了解决网络通信问题,还引进了先进设备,在设计过程中结合了硬件设施的特点,实现了TCP与IP通信的有效结合。

三、实时集群计算机系统的关键技术应用与未来展望

(一)可拓展性

计算机技术是不断发展变化的,为了更好的适应设备的新功能,集群计算机系统也要具有可拓展性。其能力的延展主要包括三个方面:

第一,资源的可拓展性。其主要是指通过处理器数量、磁盘数量、存储部件数量的增加来提高计算机集群系统的性能;第二,应用的可拓展性。它主要是指计算机应用程序会伴随系统功能的改变予以革新;第三,技术的可拓展性。技术拓展是集群计算机系统的主要拓展功能,它主要由异构可拓展性、代可拓展性和空间可拓展性三方面组成,它能够在关键技术改变的时候,提高计算机的适应程度。

(二)可用性应用技术

篇10

关键词:多核集群 高性能 地震资料

目前,地震勘探分析主要面临两个问题:一是精度如何提高,二是周期如何缩短。那么高性能计算机多核集群系统则是使地震勘探周期缩短的强有力的工具。

一、高性能计算机应用在地震资料处理中

集群有高可用集群、负载均衡集群、科学计算集群等这几类,其中科学计算集群是用来解决有巨大计算量等的复杂问题。它把那些对时间有迫切要求的任务分成若干个部分,每个节点则根据CPU(核)的个数来分配若干任务,然后各节点则进行并行计算。我们可以充分利用其超强的运算能力,来节约勘探时间成本。在地震勘探数据处理分析中,大多数问题的求解都具备固有的可并行性,这也就很容易解释为什么集群在石油勘探行业中被大规模的使用。

二、高性能计算机集群系统的安装

1.集群系统的硬件安装机架化

集群系统硬件安装机架化是一种致力于集中化管理的结构方式。也就是把原先分散放置于同一平面上的计算机设备(例如服务器、磁盘存储器等等)全部放入到专用机架中,形成立体放置的结构,这样即能节省占地面积又便于系统的集中式管理。国际上目前通用的机架是19in的标准机架。该机架具有如下几个特点:a、兼容性好。由于计算机设备制造商琳琅满目,产品结构形式也就不尽相同,又由于设备在性能应用上各有千秋,所以每个计算中心拥有多家计算机产品已司空见惯。这便要求标准机架要具有良好的兼容性。b、通风性好。过去的机架结构大多是前后都是密封门,气流自下向上吹形成冷却方式。但由于制冷系统风压很低(多为25pa),因此气流也只能到达机架的中部,这便造成机架上部形成热区从而导致机械故障。计算机设备机架化后,为缩短风路长度,应将机架内冷却气流方向改为前后,即将原来密封的前后门改成多孔状,以便使气流的风道保持前后畅通,这样计算机设备的散热效果便能得到保障。c、线缆便于管理。多个计算机设备集中放置,就会使线缆的数量增多、密度加大,原有的布线方式不仅让人难以分清设备的电源线和数据线,还严重堵塞了气流风道,形成热区,使得整个计算机设备温度升高,埋下故障隐患,同事给故障排除也增加了困难。当然不当的布线方式还会通过磁场耦合产生干扰和信号反射。针对上述问题,标准机架则采用开孔、架空及分离方法。在机架适当位置来开孔,每个单独机架侧面都会有侧板遮盖,当多个机架并排排列时,可把侧板去掉以便直接连接。架空包括两层含义:一是多排机架构成系统时,各排机架间电缆的连接则是通过架空电缆来过渡的,机架内部也是通过架空电缆梯,把电缆分成若干便于管理的层次;二是所有电缆均可在顶部走线,采用该措施后,原有的电缆后走线则变成上走线,这也就空出机架后部空间,防止电缆对风道产生阻碍。在机架顶部有几个被分开来的电缆槽,可把电源线及数据线分道布置,这样既能解决相互干扰问题又能方便电缆管理。

2.集群系统的软件安装

集群系统软件安装主要包括:a、设置刀片服务器管理中心b、安装管理节点c、配置xCAT配置文件d、分发计算节点操作系统e、配置网络服务f、实现Linux系统双千兆网卡绑定g、安装MARVEL、PG2.0(Paradigm)地震资料叠前偏移处理系统h、安装TOMODO、GeoEast、OMEGA2012、GEOCLUSTER2.1(CGG)和psgseis地震资料处理软件。

三、集群系统应用于地震资料处理中

1.集群系统引入前地震资料处理存在的问题

在集群系统引入前,当时用于处理地震资料的计算机存储容量小、运算速度慢,这便使地震资料处理工作一直处于在常规叠后时间域中进行的状态,常规叠后时间域处理就是假设地下介质是均匀或水平层状,它仅适于处理简单地质或缓变介质所构造出的资料,其优点是操作方法简单、运算量小。但在构造复杂、横向速度变化较为剧烈的地区,常规叠后时间域处理方法已不能准确反映出地下组织构造形态,轻者会造成构造高点漂移,重者则使构造变得面目全非。这主要因为在这些地区所得的CMP道集记录中的反射波旅行时,已不再是双曲线的形式。常规的CMP叠加原则已失效,叠加结果不完全等同于自激自收的零炮检距剖面。这期间虽做出许多努力,但地震资料处理的质量却一直得不到大幅提高。

2.地震资料处理叠前深度偏移技术的实现

地震资料处理按方法分为叠前偏移、叠后偏移,按实现的域则分为时间域、深度域。解决复杂地区的地震资料处理问题最佳方法就是运用地震资料处理中的叠前深度偏移技术,该技术能使复杂构造精确成像。根据构造复杂程度及空间变化速度的大小,各偏移方法在地震资料处理中所处地位如下图a所示。

叠前深度偏移的关键技术是怎样快速准确建立地下速度模型,目前较常用的速度分析方法有深度聚焦分析、相干反演、剩余速度分析和全局层析法等,这些方法大多基于层剥离的快速度扫描思路,由浅到深逐层开始建立层速度模型,但其计算量太大,原有计算机目前尚无法对其进行批量运算处理。从方法上讲,叠前深度偏移对于地下形态基本上是不作假设,速度-深度模型则直接用叠前资料来建立,地下速度纵、横向均可发生变化,CMP道集考虑非双曲效应。因此,叠前深度偏移是符合地下实际情况的,也特别能符合复杂地质的地下情况。其特点是运算量大、方法精细。在实际应用中,叠前深度偏移所处理的资料是深度域的,它满足精细解释储层描述对深度域的期望,使得专家们能够在深度域进行问题研究。在集群系统中,由于有运算速度快、存储容量大的计算机设备做支持以及MARVEL、PG2.0等地震资料叠前深度偏移应用软件的全方位引进,才使叠前深度偏移技术得以实现应用价值。

图a各偏移方法解决复杂问题的地位

四、结束语

通过对计算机设备进行科学合理选型配置,正确安装、全面测试系统软件与应用软件,确保了集群系统时刻处于最佳运行状态。地震勘探和石油物探发展依赖于高性能计算机多核处理系统和高性能存储的发展,它们的进步会使我们精确刻画地下地质构造成为可能。

参考文献