存储范文10篇

时间:2024-01-15 06:20:54

导语:这里是公务员之家根据多年的文秘经验,为你推荐的十篇存储范文,还可以咨询客服老师获取更多原创文章,欢迎参考。

云存储技术及其运用综述

摘要云存储将大量不同类型的存储设备通过软件集合起来协同工作,共同对外提供数据存储服务。云存储服务对传统存储技术在数据安全性、可靠性、易管理性等方面提出新的挑战。文章基于云存储平台架构的4个层次:将多存储设备互连起来的数据存储层、为多服务提供公共支撑技术的数据管理层、支持多存储应用的数据服务层以及面向多用户的访问层展开研究,并以一种云存储典型应用——云备份(B-Cloud)为例,探讨云备份的软件架构、应用特点及研究要点。

[关键词]云存储;服务;云备份

近年来,随着云计算[1-2]和软件即服务(SaaS)[3-5]的兴起,云存储成为信息存储领域的一个研究热点。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[6]。

云存储提供的是存储服务,存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心,只需向SSP申请存储服务,从而避免了存储平台的重复建设,节约了昂贵的软硬件基础设施投资。

云存储这个概念一经提出,就得到了众多厂商的支持和关注。Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储;Google推出在线存储服务GDrive;内容分发网络服务提供商CDNetworks和云存储平台服务商Nirvanix结成战略伙伴关系,提供云存储和内容传送服务集成平台;EMC公司收购BerkeleyDataSystems,取得该公司的Mozy在线服务软件,并开展SaaS业务;Microsoft公司推出WindowsAzure,并在美国各地建立庞大的数据中心;IBM也将云计算标准作为全球备份中心扩展方案的一部分。

2009年12月,因特网数据中心(IDC)的2010年IT和电信行业十大预测中指出:云计算将扩张并走向成熟,会诞生许多新的公共云热点、私有云服务、云应用以及将公共云与私有云联系起来的服务。

查看全文

存储虚拟化技术研究论文

摘要存储技术的发展经历了从单个磁盘、磁带到DAS、NAS、SAN存储网络系统的历程,对存储环境和资源共享的迫切需求推动着存储虚拟化成为主流技术。本文通过对虚拟存储的综述,对虚拟存储化的基本概念、体系结构、实现方法、关键技术做了比较和分析。重点介绍基于网络的虚拟化技术,讨论了其关键技术与主要实现方法。

关键词存储虚拟化;逻辑存储;对称/非对称

1引言

随着信息数字化、网络化开展的各种多媒体处理业务的不断增加,企业的信息量不断增加,面对不断膨胀的数据量和不断增多的物理存储设备,如何能够保证一个存储系统具有高性能的I/O吞吐率、高可靠性和高扩展能力,以及良好的容错性能,成为各个IT产商倾注极大热情去解决的重大问题。特别是由于在存储系统中存在着大量的异构服务器和存储系统,非常有必要进行全面的存储管理,而传统DAS、NAS和SAN等存储形式已无法满足以上对存储设备的需求,所以存储虚拟化逐渐成为共享存储管理的主流技术。

2虚拟存储的概念

存储虚拟化是把不同接口协议(如SCSIiSCSI或FC等)的网络存储设备(如JBOD、RAID和磁带库等)整合成一个虚拟的存储池,根据需要为主机创建和提供虚拟存储卷。存储虚拟化是具存储设备和存储系统的抽象,展示给用户一个逻辑视图,同时将应用程序和用户所需的数据存储操作和具体的存储控制分离。因而可以充分利用异构平台的存储空间,达到最优化的使用效率。

查看全文

文件存储技术优化设计分析

SAN网络的有效应用,可以很大程度上实现对文献存储技术的优化管理控制,并不敢保证SAN网络可以充分全面的实现对文件存储管理策略的合理处置,为文件存储技术的全面改进提供充足完整的支持。

1SAN网络的文件存储技术设计存在的不足

1.1文件读取速度设计缺乏合理性。文件读取速度很大程度上影响着SAN技术的应用质量,也决定了文件存储的最终质量。但是,从当前SAN网络的应用情况来看,文件存储技术所受到的积极影响较为有限,难以充分保障新时期网络技术资源之中的有价值信息得到精准全面的收集应用,也使得SAN网络很难在文件存储管理的过程中,更好的显现出自身的价值。一些文件存储技术的制定对于SAN的推广经验考察存在不足,尤其对于SAN的应用广泛性重视程度较差,这就使得文件存储技术的构建缺乏对SAN的精准操作,很难在网络平台之上得到充分有效的应用处置。一些SAN的应用对于工业需求的特征掌握和控制存在不足,尤其对于管理信息结构的质量研究存在不足,这就使得SAN的应用无法在广泛性建设方面取得足够的进展,难以为文件存储技术的特征分析提供支持,最终导致文件存储技术很难全面的得到SAN技术应用人员的充分支持。部分文件存储速度的设计虽然对SAN网络进行了使用,但对磁盘的客观情况考察存在不足,并没有将磁盘读取速度作为总线速度设置的参考性因素,导致文件读取速度的管理工作难以从磁盘状况设置的角度充分实现自身的应用价值,使得文献读取速度的调控很难为磁盘阵列测试提供帮助,难以在SAN网络的帮助之下实现存储网络传输速度的优化处置。1.2多线程文件设计存在不足。多线程文件的设置工作是保证SAN网络的技术价值得到充分显现的关键,也是提升文件存储技术应用稳定性的基础。但是,从当前的多线程文件设置情况来看,OverlappedI/O技术的应用依然保持在原有的模式,缺乏对SAN技术的完整应用,这就使得多线程文件在与存储系统相衔接的过程中,依然只能使用原有的igabit/s光纤结构进行程序的开销处置,缺乏对操作系统的完整调控能力,最终造成网络协议的开销无法与SAN技术实现有机结合,很难在磁盘读取技术应用方面取得进展。还有一些多线程文件的设计工作对于时间开销的关注程度不足,缺乏对磁盘读写需求的考察,导致多线程文件的设计工作难以在文件读取方法控制方面取得进展,无法为新型技术资源的创新应用提供足够有利的技术性支持,最终造成多线程文件的设计工作很难充分完整的显现出自身的价值,难以为多线程文件综合性管理效率的优化提供帮助。一些多线程文件设计工作对于OverlappedI/O(重叠I/O)技术的使用程序考察存在不足,缺乏对文件操作效率这一关键性因素的考察,导致多线程文件的技术设计很难在操作系统管理方面取得进展,难以有效的保证多线程文件的设置工作可以持久的发挥对文件处理的作用。1.3存储系统软件结构设计存在不足。软件结构的设计很大程度上影响着存储资源的综合性应用水平,但是,一些存储系统中进行软件设计方案构建的过程中,对于SAN网络的技术特征分析存在不足,缺乏对主机装置与数据服务器装置特征的有效分析,这就使得数据服务器的使用难以在磁盘阵列控制方面取得进展,无法为计算机装置充分实现自身技术资源的有效配置提供帮助。还有一些软件结构的设计工作对于SAN稳健性的元数据总结存在不足,尤其在进行集群文件系统建设的过程中,难以结合文件整合应用的实际需要,对软件结构进行合理的优化配置,最终导致存储系统的软件结构控制策略,无法在元数据的有效应用之下得到改良。

2基于SAN网络的文件存储技术优化设计策略

2.1提升文件读取速度设计合理性。文件存储速度的有效控制是提升SAN网络使用质量的关键,也是确保文件存储的质量得到全面合理控制的基础。可以尝试以固定的速度标准作为磁盘的速度设置方案,并将本地磁盘的实际速度进行实验性统计,确保磁盘的读取速度可以在40MB/S以上,使其它的速度控制方案都可以得到有效控制。要加强对SAN网络总线速度情况的关注,尤其要对存储网络的构成特点进行合理化分析,并保证SAN网络的应用可以在测试软件的合理应用之下,足够充分的适应网络存储技术的应用需要。要加强对光纤磁盘特征的重视,并使用平均速度核算的方式,对文件的读取状态予以明确,以此保证磁盘的读取可以在平均速度控制在83MB/S的情况下加以操作,更加有效的实现对速度传输速度的优化措施,并保证数据资源的传输速度可以得到更加合理的设置。SAN存储网络的设计工作还需要对数据资源的传输速度进行完整的调查,尤其要对光纤磁盘的读取特征进行完整的研究,保证各类阵列文件都可以为SAN网络的应用提供较为直接的帮助,使磁盘的实测速度可以在文件状态得到精准分析的情况下,更好的具备设置的科学性。要强化对缓冲区状态的重视,尤其要将实测速度所得的结论进行合理的应用,使磁盘装置的读取速度可以得到更加清晰的认知,为文件读取速度的进一步优化提供高水平的技术性保障。当发现磁盘的读取速度与磁盘的传输量不能保持在理想状态的时候,要对驱动程序的状态进行完整的研究,使用OverlappedI/O技术,对缓冲区的磁盘读取速度进行进一步优化调节,使实测的磁盘读取速度可以得到更大程度的明确,为多个文件同步适应磁盘读取需要提供保障,以更好的适应文件读取峰值速度的控制要求,为磁盘信息传输总量的合理控制提供有利支持。2.2提升多线程文件设置合理性。首先,要对多线程文件设置工作与传统的文件设置差异加以研究,使多线程文件设置的突出需求可以得到更大程度的明确,为OverlappedI/O技术的设计应用提供较为直接的技术性支持。一定要强化对存储系统建设情况的重视,尤其要对igabit/s光纤结构的技术局限性具备足够的认知,保证多线程文件的设置工作可以在技术层面成熟的适应信息资源的传输管理要求。一定要从系统开销的角度,为多线程文件的设置工作提供支持。使应用程序的开销、网络协议的开销与操作系统的开销可以全部得到整合应用,为多线程文件充分适应信息资源的传输使用需要提供帮助。要强化对单线程文件传输特点的关注,并结合多线程文件传输的实际要求,将新型技术资源的应用情况进行完整的研究,以更好的适应光纤宽带应用比例的控制要求,为文件操作效率的进一步优化提供技术性保障。一定要加强对文件资源存储方法的关注,更加完整的实现对宽带应用特征的分析,以便不同类型技术资源的应用比例可以得到更大程度的明确,为多线程文件设置合理性的强化提供必要支持,并为文献操作综合效率的改进提供帮助。可以尝试按照多线程并行的方式处理文件设置的具体工作,并使OverlappedI/O(重叠I/O)技术能够为多线程文件的设置提供支持,使操作系统可以更加全面的实现对多种类技术资源的全面整合应用,并为多线程文件更加充分的适应技术改良需求提供帮助。2.3提升存储系统软件结构设置合理性。存储系统的软件设计需要纳入SAN技术应用的主要位置,以保证软件结构的设置可以为信息资源的高质量存储管理提供完整的支持,并使其软件结构可以逐步实现优化。在制定存储系统的软件应用方案过程中,务必将元数据服务器的性能进行优化设置,尤其要保证软件结构可以与磁盘阵列的控制要求保持一致,使存储系统的软件结构可以在元数据服务器的使用过程中,更好的实现对存储系统基础性技术的优化调节,为存储系统的软件资源凭借自身结构优势得到技术改良提供帮助。在软件结构设置的过程中,一定要强化对SAN访问主机技术特征的重视,并使用用户组和共享目录整合设置的方式,提升软件结构的设置合理性。结论:文件存储技术始终是很多互联网技术研究人员重点关注的问题。将SAN有效的应用于文件存储管理工作之中,可以使文件存储技术的综合质量得到更加充分的显现。因此,从SAN网络应用的角度,对文件存储技术存在的不足加以研究,并制定文件存储技术的优化策略,对提升文件存储技术的综合性管理质量,具有十分重要的意义。

作者:宋煜 纪妙 单位:武汉卷烟厂

查看全文

枣类运输与存储

论文关键词枣灵武长枣贮藏保鲜剂

论文摘要本文研究了用10%KDZ浸泡2—5分或10%KDZ+2%CaCl2+50mg/kgGA3浸泡30分,结合微孔保鲜膜包装,灵武长枣室温放置贮藏效果。结果表明采用10%KDZ+2%CaCl2+50mg/kgGA3处理,可降低果实的失重率,减少维生素c的损失,抑制酒化作用和对糖分的呼吸消耗,减少贮藏过程中的损失;贮藏到20天,好果率仍能维持在83%以上。

灵武长枣是宁夏具有地方特色的优良鲜食枣品种,一般在9月中下旬至10月上旬成熟,果实外观艳丽,营养丰富,甜酸适口,肉质酥脆,风味独特,深受消费者青睐。灵武长枣采摘期短,上市比较集中,鲜枣采摘后在自然条件下极易失水、酒化,果肉很快变得疏松,5、6天后果肉变褐软化,甚至霉烂,失去商品价值,成为灵武长枣产业发展的瓶颈。有关灵武长枣贮藏保鲜方面的研究较少,本试验以灵武长枣为试材,研究了室温条件下不同保鲜剂对长枣采后生理和贮藏效果的影响,以探索长枣适宜的贮藏技术。

1材料与方法

1.1材料与方法

供试灵武长枣2006年10月5日采自宁夏灵武,手工采摘。8日运抵天津科技大学食品加工与保鲜研究室,剔出烂果和病虫果,挑取果实表面绿色面积占总表面积1/3以内的长枣进行处理。试验设3个处理:①用10%KDZ浸泡2~5分(KDZ处理);②10%KDZ+2%CaCl2+50mg/kgGA3浸泡30分(复合保鲜剂处理);③对照(CK)用流水冲洗..洗去表面泥沙等污物。各处理长枣晾干后装入微孔保鲜袋中,折口,室温下放置。每处理500g,每个处理5次重复。KDZ是由天津科技大学研制的以壳聚糖、尼伯金丙酯等为主要成分的枣专用保鲜剂。试验中复合保鲜剂添加的其他成分是在之前所做的单因素处理试验的基础上筛选出来的有较好效果的生理调节剂,与KDZ复配,以期提高保鲜效果。

查看全文

浅析网络交换存储

摘要本文主要分析了以光纤通道存储区域网络FCSAN(FibreChannelStorageAreaNetwork)和基于IP的存储区域网络IPSAN(InternetProtocolStorageAreaNetwork)为代表的网络存储技术现状和特点,探讨了新兴的软交换技术的特点和优势,并就下一代网络环境下的存储网络进行相关分析。

关键字存储区域网络,下一代网络,软交换

1前言

目前基于以太网和广域传输服务的IP网络主导着企业IT策略。IP是一种被广泛使用、价格可以负担、可以扩展到数量庞大的设备及远距离的技术。尽管大部分企业数据可以通过一般IP网络传输,但是块级的数据存储是例外。高性能的存储数据访问一般是通过直接连接存储DAS(DirectAttachedStorage),或通过专用光纤通道存储区域网络SAN(StorageAreaNetwork)进行。网络应用的兴起,同时也带来更多的数据存储和传输的要求,存储和网络逐步紧密的结合,给人们带来了真正的网络存储。而作为网络存储的一种实现方式——存储区域网络,也逐渐被人们认识并应用于各个领域。

DAS是指将存储设备通过SCSI接口或光纤通道直接连接到服务器上,即每一台服务器都带有自己的磁盘、磁带机或是磁带库。这种方式的弊端在于:异构平台下存储资源无法均衡共享,存储设备利用率低、投资形成不可避免的浪费,且每台服务器是一个孤立的存储者,服务器出现异常会使数据不可获得,不能提供真正意义上的网络化存储。

SAN是通过光纤通道协议将若干台存储服务器、存储阵列组成一个单独的数据网络,提供企业级的块级数据存储服务。SAN是将一个或多个网络存储设备(如:磁盘阵列RAID)和服务器连接起来的专用高速网络,它提供了一个能存储大量数据且具有高可靠性和高升级能力的数据存储系统,它为那些需要健壮且易于升级的存储系统的网络提供了一种理想的解决方案。SAN存储方式将成为未来信息存储发展的主流。

查看全文

存储备份技术研究论文

摘要:随着互联网络飞速发展,数据量呈现海量增长,单机存储无法满足需求,分布式存储应运而生并且取得了较大的发展。系统中的数据由于自然灾害、异常故障等原因会遭到破坏,因而需要对数据进行备份加以保护。以基于分布式文件服务器的存储备选份恢复系统为研究对象,探讨了分布式存储下海量数据备份恢复的关键问题:存储备份恢复的高效性、一致性和可靠性。

关键词:备份;存储;分布式;P2P;技术

1存储与备份技术的高效性

1.1高性能多源下载过程

(1)服务器根据相关信息返回存储需要下载文件的Slave的具体信息;(2)根据文件大小和Slave的负载状态,选择合适的Slave建立socket连接对文件进行分块下载;(3)下载完成后把各个文件块合并成为原始文件。

1.2静态下载

查看全文

随机型存储模型研究论文

摘要:研究不确定性因素下随机库存模型中的多时期存储控制系统,着重分析连续盘存的存储控制系统在不同情况下确定的安全库存量的最优采购策略,通过建立模型得出最优解,最后通过算例表明这种方法的优越性。

关键词:运筹学最优采购策略随机型存储模型安全库存量

一、引言

在当今的开放而竞争激烈的国内市场中,效益与效率是人们永远追求的目标。库存与库存管理越来越为企业经营者特别是物流的管理者和经商者所重视,库存管理的首要目标就是保证一定时期内期望数量的产品有现货供应。然而要确定订购量补足库存,就需对其相关成本进行权衡。

因此在满足需求的情况下,决定存储点应保持多少库存、什么时候订货、订购量为多少,等等,达到库存总费用最省的目的,即我们所要研究的最优存储策略。本文针对连续盘存的(s,Q)存储控制系统安全库存量在需求量和提前订货时间随机变化情况下的模型分析,并给出了求解方法和一个案例,结果表明,现实生产工作中,在较不复杂情况下利用随机型存储模型求得的采购成本远低于公司根据经验或其他方式下的采购成本。

二、建立模型

查看全文

云存储安全需求及实现解析

1前言

云计算技术进过了多年的实践探索与理论发展,已经变得日益成熟,已经成为了互联网时代的主要技术之一。云计算技术与传统服务器-客户端模式完全不同,它主要是利用互联网的优势、虚拟化特征、整合分布式计算,大大降低了运维成本、设备成本,也提高了服务的可靠性,日益成为了IT市场新的宠儿,以易扩展、按需提供服务的方式来占领市场。而云存储(CloudStorage)则是一种新型数据访问服务,它以数据管理和数据存储为核心,在云计算的基础上发展起来的。云存储有机地结合了存储硬件设备和应用软件,向终端用户并非提供单纯的存储设备,而是提供存储服务,这完全不同于传统存储应用模式。随着云存储服务的快速发展,已经有越来越多的个人和企业体会到受益于云存储所带来的综合成本下降、便捷与高效。但是值得注意的是,云存储安全问题也越来越受到人们的重视。本文就云存储安全需求及实现进行分析。

2云存储系统架构

全球网络存储工业协会(SNIA)早在2009年4月就已经开始组建云存储技术工作组,日前已经了云数据管理接口(CDMI)规范(第一版),初步规范了元数据、队列、性能、数据对象、计费、计算、容器。云存储系统是一个复杂系统,由客户端程序、接入网、存储设备、公用访问接口、应用软件、服务器、存储设备、网络设备等组成,可以为用户提供多种网络在线存储服务,还可以对外提供高效、可靠、安全的业务访问服务和数据存储服务。云存储系统中最基础的部分就是数据存储层,主要是由不同类型的网络设备和存储设备组成。数据存储层可以实现海量数据的状态监控、存储设备管理、统一管理等。值得注意的是,云存储系统中最复杂、最为核心的部分就是数据管理层。数据管理层采用分布式存储技术和集群技术来负责计费、数据容灾、备份、加密,还可以提供高可扩展性、高可用性的服务,协调多存储设备工作。而数据服务层是利用云存储资源进行应用开发的关键部分,云存储提供商通过数据服务层为用户提供统一的协议和编程接口,进行应用程序的开发。

3云存储安全需求

由于云存储还是一个较为新鲜的话题,目前国内外学术界对于云存储安全的研究还比较少。美国学者XiaosongLou等提出的安全防护方法是采用数据毒化的版权保护方法,对用户的合法主要通过签名和时间戳来进行判断,一旦发现访问用户为非法用户,那么就会迅速地对非法用户的计算能力进行消耗,同时以不可用链接来对他所保护文件的请求进行回应。JeremieTharaud等提出用嵌入水印的方法来对电子医疗信息云存储系统进行保护。为了有效地避免医疗信息被篡改,对于电子医疗信息的使用者和分发者在使用信息时提取水印进行验证。TamleekAli等改进了UCON模型,整个数据安全保护模型基于云计算来进行使用控制,且还定义了一系列的共同保护文件,如认证模块、访问控制模块、文件管理模块等。Bowers等提出了分布式加密系统;Kaiwang等人为了有效地保证数据的完整性及可审计性,将标识用户信息的水印嵌入到数据片中。Cachin等为了解决数据一致性和完整性的问题,采用了加密工具。与此同时,北京邮电大学、中国科技大学、国防科技大学、哈尔滨工业大学、华中科技大学、清华大学等高校也陆续开展了一系列云存储安全保护的工作。云存储安全需求主要有:数据备份安全性、安全性分级安全性、存储安全性、访问安全性。

查看全文

电子信息的存储与运用

一、电子信息的安全存储

1.电子信息存储中的安全隐患

一是个人在上网时缺乏对安全隐私的维护和警惕心理,使得个人信息在网上广泛流传;二是电子设备遭受到一些不怀好意的黑客或者病毒的攻击,这种往往是对方有意而为之的,因而它造成的信息泄露和信息平台无法运营比其他任何方式都要严重;三是由于一些不可抗力,即外界因素,如自然界的雷雨天气、电路的突然断电或线路老化而造成的信息存储的突然中断和存储不完整。这些因素综合起来构成了现代电子信息存储在安全上的极大隐患。这些隐患在电子设备中就像一颗不定时炸弹,不发则已,一发则不可收拾,造成无法挽回的损失。

2.电子信息存储安全的有效措施

(1)信息录入和存储过程要保持心理上的警惕首先,在打开信息存储的相关页面时,应当注意该页面是否存在安全漏洞。尤其在要求输入账号密码等隐私问题上保持警醒,这时最好查看个人的存储设备是否被其他人所共享、在机器上是否发现了不正常存在的数据线或硬件设备、个人所用的网络是否被他人可见等;接下来,录入信息之后应当将公用设备上的相关记录进行消除,如更改上网浏览记录、不定时更改相关密码、删除从电子存储设备中转移过去的拷贝文件等。最后,应当在平时的生活中养成安全录入信息的意识和习惯。如不使用常见的密码设置、注意更新杀毒软件的配置、不随意下载不经安全监测的电子邮件或影音文档、随时备份电子信息并上传至其他备用存储设备等等。(2)电子信息存储应当尽量降低外界的干扰笔者在开篇就提到,电子信息存储的安全问题,不仅仅是受到来自人为因素的干扰,还会受到来自客观和不可抗外力的影响,因而信息存储者必须要具有防范客观干扰因素的思想意识。信息存储者必须针对存储设备的使用规范以及操作要求等来进行信息的存储[2]。这就要求信息存储者对电子信息存储设备的使用和保养有一定的了解,如不能让设备经受来自外界强力的干扰,如受潮、阳光暴晒、猛烈挤压或跌落等;另一方面,要考虑到外界可能产生的不可抗因素,如突然断电造成的信息存储中断,这就转到了笔者上文中提到的话题,即经常对存储信息进行更新和备份,以防造成不可逆转的损失。总之,电子信息的存储安全要考虑两方面的因素:一个是连接网络时的安全问题,一个是信息存储本身的安全问题。这两者对于电子信息的存储安全都具有不可忽视的影响力,缺少任何一方面的警惕心都会造成信息的外泄和丢失,造成重大损失。

二、电子信息的有效利用

查看全文

VWorks网络存储原理

摘要本文讨论了网络协议存储池的基本原理和在嵌入式操作系统中的实现方法。为在嵌入式系统中实现TCP/IP协议栈,提供了一种有效、简洁、可靠的缓冲区管理。

关键词VxWorks;mBlk;clBlk;网络协议存储池

VxWorks操作系统是美国WindRiver公司于1983年设计开发的一种嵌入式实时操作系统(RTOS)。它以良好的持续发展能力、高性能的内核以及卓越的实时性被广泛的应用在通信、军事、航空、航天等高精尖技术及实时性要求极高的领域中。VxWorks操作系统有着优越的网络性能,而缓冲区的数据拷贝是影响网络性能的主要因素。

众所周知,缓冲区在网络协议栈中有两个作用:第一,提供载体,使分组或报文可以在各协议层中流动;第二,为各级缓冲区提供空间。缓冲区的设立使得TCP/IP协议栈支持异步I/O操作,异步操作对于协议栈的I/0性能是非常重要的。在网络输出的过程中每一层需要在数据的首部或者尾部添加数据头和数据尾来对数据进行封装使得接收端对应的层能够进行正确的接收,在输入的过程中每层都需要将本层的数据头和数据尾去掉而最终还原成发送端发送的数据。上述的封装/去封装和拷贝操作使得网络协议对内核的存储器管理能力提出了很多要求。这些要求包括能方便地操作可变长缓存,能在缓存头部和尾部添加数据(如低层封装来自高层的数据),能从缓存中移去数据(如当数据包向上经过协议栈时要去掉首部),并能尽量减少这些操作所作的数据复制。

1使用netBufLib管理存储池的基本原理

网络协议存储池使用mBlk结构、clBlk结构、簇缓冲区和netBufLib提供的函数进行组织和管理。mBlk和clBlk结构为簇缓冲区(cluster)中数据的缓冲共享和缓冲链接提供必要的信息。netBufLib例程使用mBlk和clBlk来管理cluster和引用cluster中的数据,这些结构体中的信息用于管理cluster中的数据并且允许他们通过引用的形式来实现数据共享,从而达到数据“零拷贝”的目的。

查看全文