访问趋势热点副本创建思考

导语：访问趋势热点副本创建思考一文来源于网友上传，不代表本站观点，若需要原创文章可咨询客服老师，欢迎参考。

摘要：在分析动态副本创建策略的基础上，对集中式的动态创建策略进行改进，将热点数据副本的创建与数据访问的历史记录相结合。最后通过数据网格模拟器进行模拟实验，得出并分析了实验结果。

关键词：数据网格;副本优化;热点副本

在现代科学研究和应用领域中，大量的数据是重要的资源，如高能物理和粒子物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据仓库等的应用。其数据量将达到TB至PB的级别。同时，地理上广泛分布的科研工作者和用户都希望能访问和分析这些庞大的数据，而现有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容量分布存储和分布处理的要求。因此，数据网格应运而生，以解决上述应用面临的问题。

数据网格计算[1]为各种应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台。它是对广域范围内大规模的数据集进行分布式管理和分析及使用的一个综合的体系结构，实现网格环境中安全、可靠和有效的数据传输以及访问、复制等操作，并提供到不同存储系统的统一接口，较好地解决了上述问题，从而使得数据密集型的高性能计算和大量的共享数据密集型的事务处理及科学研究成为可能。

在数据网格环境下，通过数据的复制使数据更接近用户，可以更快执行用户提交的作业，在更短的时间内访问作业所需的数据文件，以快速提高数据访问性能。作业通过资源（RB）提交给网格。RB将作业调度到不同的计算单元（CE），以提高网格的吞吐量。副本管理器在每个站点管理站点与站点、存储单元与计算单元接口间的数据流。副本优化器负责副本的选择、动态生成和删除。在副本优化服务执行过程中，网络性能和磁盘I/O也是影响作业调度和副本选择的重要因素。优化算法应通过检查计算单元和各个存储单元之间的可用带宽和存储单元的磁盘I/O来从不同的存储节点获得最优的副本。Vazhkudai等人[2，3]表明在网格环境下，磁盘吞吐时间能占用30%的传输时间。因此在计算数据传输时间时，应考虑网络带宽和磁盘吞吐率。这样的优化策略可以更加接近真实的数据网格系统。

本文在有限的网络带宽和磁盘吞吐能力的情况下，根据不断变化的外部访问特征和副本访问历史记录来对副本进行优化，从而使得用户可以就近访问。整个数据网格系统达到一个负载均衡的状态。

1相关工作

在用户提交作业到作业完成这个过程中，副本管理器对作业的生命周期进行三处优化[4]：

a)资源（RB）决定作业在哪个计算单元上运行,即调度的优化。通过计算一个代价函数来实现：

Cost=getAccessCost()+estimatedQueuingTime()。作业总的执行是作业访问文件时间和作业排队时间之和[5]。其中作业访问数据文件时间包括数据文件读取时间、网络带宽延迟时间和磁盘I/O时间。本文中的作业调度流程如图1所示。

b）作业运行中的动态副本选择。一旦作业在计算单元（CE）上运行，它需要访问不同的数据文件。由于一个数据文件在各个网格站点上可能存在多个副本，当一个作业需要访问某个数据文件时，副本优化器（RO）通过调用函数getBestFile()来找到最优的文件副本。

c）动态副本优化，即触发在第三方站点上复制数据文件。每个站点对所请求的数据文件进行监控和记录。当特定的数据文件成为热点数据时，则可以考虑将该文件复制到最有可能被访问到的第三方站点。本文通过数据文件的前N次访问历史记录来判断该数据文件是否可成为热点副本，并通过一定的算法对其进行复制。

本文在使用OptorSim模拟器的基础上对副本管理器的三处优化进行改进。OptorSim通过模拟（欧洲）数据网格中各个独立部件之间的交互作用，从而达到评估不同的数据管理策略——副本优化算法性能的目的。它以EDG的结构为基础，包括了所有必需的部件，但是重点是在数据管理的副本机制上。使用OptorSim模拟器可以用数据复制与作业调度算法相结合的手段来对不同的算法作出评估，从而最大限度地利用网格资源。

2算法优化

复制机制决定动态产生副本的时间以及副本放置的位置。主要有两种方法，即集中的和分布的动态复制方法。本文根据目前数据网格拓扑结构的特点，在集中式动态复制算法[6]的基础上，提出了一种基于访问历史记录的热点副本产生算法。通过自动产生热点数据的副本，并把副本移动到其他站点上，以求提高数据网格总体的性能。

4结束语

本文在集中式动态副本创建算法的基础上，将热点副本的创建与作业访问数据文件的历史记录相结合，使副本创建更具预见性，并且准确性也有了一定的提高。在此基础上，通过OptorSim模拟器，将此算法从两种不同的角度与其他两种算法相比较，并得出了实验数据。但是对于每次复制操作，不仅网络带宽资源被消耗，而且由于磁盘I/O和CPU利用会使副本服务器负载加重。复制频度必须受到控制，以避免网络和服务器负载过重[10]。本文下一步的工作将对历史访问记录中的N取值进行进一步的研究，并讨论在不同的取值时，算法的优劣，使其做到使整个数据网格系统能够负载均衡，用户可以就近访问所需要的数据文件，为用户提供一种快速、优质的服务。

参考文献：

[1]FOSTERI,KESSELMANC,TUECKES.Theanatomyofthegrid:enablingscalablevirtualorganizations[J].IJSA,2001:15(3):20-23.

[2]VAZHKUDAIS,SCHOPFJ.Usingdiskthroughputdatainperditionsofendtoendgridtransfers[C]//Procofthe3rdInternationalWorkshoponGridComputing.Baltimore:[s.n.],2002:2-4.

[3]VAZHKUDAIS,SCHOPFJ.Usingregressiontechniquestopredictlargedatatransfers[J].TheInternationalJournalofHighPerformanceComputingApplications,SpecialIssueonGridComputing:InfrastructureandApplication,2003,17(3):249-268.

[4]BELLWH,CAMERONDG,RUBENCS,etal.Evaluationofaneconomybasedfilereplicationstrategyforadatagrid[C]//Procofthe1stInternationalSymposiumonClusterComputingandtheGrid.WashingtonDC:IEEEComputerSociety,2003:661.

[5]BELLWH,CAMERONDG,CAPOZZAL,etal.SimulationofdynamicgridreplicationstrategiesinOptorSim[C]//Procofthe3rdInternationalWorkshoponGridComputing.London:SpringerVerlag,2002:46-57.

[6]TANGMing,LEEBS,TANGXueyan,etal.Theimpactofdatareplicationonjobschedulingperformanceinthedatagrid[J].FutureGenerationComputerSystems,2006,22(3):254-268.

[7]HUAKA,CAIYing,SHEUS.Patching:amulticasttechniquefortruevideoondemandservices[C]//ProcofACMSIGMM’98.NewYork:ACM,1998:41-50.

[8]ZIPFGK.Humanbehavourandtheprincipleofleasteffort[M].Cambridge,MA:AddisonWesley,1994:15-23.

[9]CAMERONDG,CARVAJALSCHIAFFINOR,MILLARAP,etal.EvaluatingschedulingandreplicaoptimizationstrategiesinOptorSim[C]//Procofthe4thInternationalWorkshoponGridComputing.WashingtonDC:IEEEComputerSociety,2003:52.

[10]TANGMing,LEEBS,YEOCK,etal.Dynamicreplicationalgorithmsforthemultitierdatagrid[J].FutureGenerationComputerSystems,2005,21(4):775-790.