网络存储技术范文
时间:2023-03-18 17:25:23
导语:如何才能写好一篇网络存储技术,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
关键词:IP存储 SAN 块级存储 光纤通道 TCP/IP FCIP iSCSI iFCP FC IP架构 IP SAN
1 IP技术介绍
IP存储涉及到了一系列的技术,它可以使块级存储的数据在基于IP的网路中传输,这里面有两个技术需要阐明:IP技术的利用和块级存储。网络中块级存储的数据传输不是新技术,今天的存储区域网络SAN即便采用是光纤通道FC技术业仍旧如此。然而,新的IP存储协议则可将多个SAN通过IP如以太网的结构建立起来,并且完全互联。通用互联网文件系统CIFS和网络文件系统NFS是将文件级的请求发送到拥有这些文件系统的服务器上,这些请求得到那些文件服务器或网络存储NAS设备的响应,并发送到网络上的主机。
2 IP存储适应不断增长的网络需求
今天,IP已经成为稳固的且重要的通用网络协议,IP存储自然成为最能适应日益增长的网络存储需求的技术。
2.1 日益增长的网络存储 国际数据协会IDC预计在2008年以后,存储容量将每年增长85%,这一增长表明:重要数据在不断增长,而对存储资源的管理越来越难。因此,各个公司都在致力于开发基于SAN的网络存储系统,用于存储、访问、保护和管理关键业务的数据。实事上,IDC预测到2009年,全球92%的存储将实现网络化。
2.2 IP是早已应用在网络的协议 与其他网络协议相比,在全球范伟内关键业务应用中,IP得到了更为广泛的认可,在以太网环境中,IP技术也是较为经济实用的。得益于IP技术的广泛应用以及其低廉的价格,很多信息专家都致力于IP技术的应用,使得IP技术的开发拥有更广更扎实的基础。IP的这种质量服务体系、链接优先技术和安全机制推动了其技术的快速发展和开发的不断扩大。
2.3 IP存储是IP技术的下一个阶段 在早期的IP技术开发中,多是IP构架在所有事情上,像Ethernet、Token Ring、ATM等,而今天的视频、声音,以及块级存储技术则都是基于IP进行传输的,形成了一切构架在IP上的态势。
3 IP存储的标准过程
目前IETF开发的三种IP存储压缩协议:iSCSI、基于TCP/IP的光纤通道FCIP和互联网光纤通道协议iFCP。
3.1 iSCSI通过IP方式传输SCSI指令 将来iSCSI可提供必要的映射,通过IP传输SCSI指令就像今天的光纤通道可以传输SCSI指令一样。iSCSI是为主机到存储设备的端到端连接而设计的,类似于光纤通道的SAN构架,iSCSI技术包括可使主机到兼容的存储设备之间通过IP交换机进行通讯。而驱动器仍可以使用真正的SCSI驱动器,因为iSCSI并不等同于今天的硬盘连接技术。
3.2 FCIP光纤通道SAN环境的互联 就像iSCSI协议将SCSI指令压缩为IP包一样,FCIP协议将光纤通道指令压缩为IP包,FCIP协议允许独立的SAN环境通过IP网络互联在一起。每个SAN采用标准FC寻址,在FCIP的端点之间建立IP隧道或网关,一旦隧道建立,扩展的FC设备将被视为标准的FC设备,并予以FC寻址。典型的应用是在一个FCIP端点上连接两个或更多架构在标准IP网络之上的FC交换机,通过内部交换链路与先前的SAN光纤环路相结合。
3.3 IFCP具有不同的寻址模式 在最新的IP存储协议中,iFCP介于前面介绍的两种协议之间,如同FCIP一样,iFCP将FC帧压缩,采用通用FC压缩格式,通过IP架构进行传输,与前两种协议的主要区别在寻址模式。FCIP协议是在两个SAN之间通过以太网建立点到点的隧道,构成一个统一的SAN环境。与之相对应的是iFCP在FC和IP之间建立网关到网关的连接是FC帧可以路由到正确的目的地址。与FCIP协议寻址方式不同的是目前的iFCP寻址模式是它可以允许每一个互联的SAN都拥有独立的命名空间。 4 IP存储的寻址
IP存储是一个新兴的技术,尽管其标准早已建立且应用,但将其真正广泛应用到存储环境中还需要解决几个关键技术点。
4.1 TCP负载空闲 由于IP无法确保提交到对方,而将TCP作为底层传输的三种IP存储协议则需要再拥挤的、远距离的IP空间中确保传输的可靠性,由于IP包可以打乱次序传送,因此,TCP层需要重新修正次序,以提交到上一层的协议中,如SCSI。TCP完成这一任务的典型操作是使用重调顺序缓冲器,将数据包的顺序完全整理为正确方式,完成这一操作后,TCP层将数据发送到下一层。
4.2 价格性能比 尽管IP技术很有可能得以应用,但如果对性能较为看重的话,不推荐使用标准的以太网卡。如前所述,TOE可以减少服务器的处理负载,但由于TOE设备较新,其硬件成本及复杂程序都比标准网卡更高。其广泛应用可能会由于价格性能比过高而受阻。像那些增强的iHBA都需要进一步改进,已达到FC技术的水平。
4.3 安全性 当存储设备通过IP架构进行远距离连接时,安全性变得愈加重要。生产厂家必须明确产品的安全级别,并确保其安全性。在IP存储产品广泛应用之前,这一问题时IETF需要解决的。
4.4 互联性 基于IP的技术并没有被所有厂家共同使用,虽然这个协议的标准早已被公布,但并不能保证厂家和厂家使用相同的协议或技术。为了保证这些产品能够互相配合得更好,必须保证厂家之间采用相同的协议,使各厂家产品具有良好的互联性。
5 IP存储的应用现状
IP存储解决方案会慢慢的被采用,其技术的应用可能会经历三个发展阶段。
5.1 阶段一:SAN扩展器 随着SAN技术在全球的开发,越来越需要长距离的SAN连接技术。IP存储技术定位于将多种设备紧密连接,就像一个大企业多个站点间的数据共享,以及远程数据镜像。这种技术是利用FC到IP的桥接或路由器,将两个远程的SAN通过IP架构互联,虽然iSCSI设备可以实现以上技术,但是FCIP和iFCP对于此类应用更为适合,因为他们采用的是光纤通道协议FCP。
5.2 阶段二:有限区域IP存储 在第二个阶段中的IP存储的开发主要集中在小型的低成本的产品,目前还没有真正意义的全球SAN环境,随之而来的技术是有限区域的、基于IP的SAN连接技术。可能会出现类似于可安装到NAS设备中的iSCSI卡,因为这种技术和需求可使TOE设备弥补NAS技术的解决方案。
篇2
关键词:网络存储;NAS;FC SAN;IP SAN
中图分类号:TN914 文献标识码:A 文章编号:1001-828X(2012)09-0-02
引言
回顾计算机技术的发展历程,不难发现计算机核心技术主要有三次大的迁移,计算机发明初期由于主要用于科学计算,因此中央处理器CPU的计算能力是研究的核心技术;随后计算机网络大面积应用,使计算机通信成为耗费时间最多的事件,因此如何提高网络带宽的技术成为热点;现今,计算机的主要应用模式己转化为数据的存储和访问,存储技术业已成为计算机核心热点技术。
受机械部件自身性能的限制,磁盘存储设备数据访问时间平均每年只提高7%~10%,而数据传输率也只是以每年提高20%的速度发展。根据摩尔定律,计算机中央处理器和内存以平均每18个月增长一倍的速度发展。根据吉尔德定律,网络带宽以每6个月增长一倍的速度发展。很显然处理器、网络带宽和磁盘IO之间的性能差距越来越大,而计算机系统性能的提高受限于系统中最慢的部件。因此,数据的存取速度己经成严重影响计算机系统的性能。传统的存储技术难以解决这一问题,采用新的存储技术,提高数据存储的I/O性能的需求越来越迫切。
一、直接附加存储(Direct Attached Storage, DAS)
直接附加存储是传统的存储模式,以服务器为中心的存储结构,将存储设备通过传统的I/O总线、SCSI接口或光纤通道直接接驳到服务器上使用,数据的读写、存储直接发送到存储设备端。DAS不带操作系统,所有的输入输出操作都要通过服务器实现。如果需要访问存储器上的数据,必须先给文件服务器发送请求信息。
DAS的主要优点是特别适合地理上分散分布的服务器环境和存储系统必须直连到应用服务器上的场合。
DAS的不足一是安装、调试比较烦琐,也没有独立的存储操作系统,易造成网络瘫痪;二是因DAS采用异地备份,所以备份操作复杂;三是虽然DAS依靠双服务器实现双机容错功能,但若两台服务器同时出故障,则无法进行正常数据存储。
二、网络附加存储(Network Attached Storage, NAS)
网络附加存储是提供文件级服务的存储设备,通过标准的网络拓扑结构连接到一组计算机上,通过网络文件系统(NFS)或者基于I P网络的网络文件协议等标准的协议提供文件级的数据访问。NAS实际是一种带有网络文件瘦服务器的存储设备。
NAS是以存储设备为中心,采用可伸缩的网络拓扑结构,通过具有高传输速率的光通道的直接连接方式,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内。
NAS 的优点:一是易于安装的即插即用性。NAS内置了网卡,通过交换机直接连接到网络中,基本上不需特别设置就可支持多个计算机平台使用;二是极易部署性。NAS 设备可放置于任何地方,只通过网络连接,用户可直接在网络上存取数据。这既减轻了应用服务器的系统开销,又显著改善了网络性能;三是安全性高。NAS通常将操作系统驻留在主板芯片内,大大提高了整个系统的稳定性和病毒防犯能力;四是扩充方便。NAS 设备本身内置了多个 I/O 接口,使扩充其存储容量极为方便,同时也允许在网络中自由增加 NAS 设备。NAS 为当今异构平台使用统一存储系统提供了解决方案。
NAS 的不足:一是NAS同样采用普通数据网络传输备份和恢复,备份时网络带宽的消耗较大,当网络上有其他大数据流量时会严重影响系统性能;二是由于存储数据通过普通数据网络传输,因此易产生数据泄漏安全问题;三是NAS存储只能以文件方式访问,而不能直接访问物理数据块,因此对事务处理和数据库等应用无能为力。
三、存储区域网络(Storage Area Network,SAN)
网络存储的主角SAN是一种以数据存储为中心,面向网络的存储结构。目前常见的可使用SAN技术主要有两种,一种是采用的是光通道(FC,Fiber Channel)技术,即FC SAN;另外一种技术是利用基于高速以太网协议(TCP/IP协议)的互联网小型计算机系统接口(iSCSI)技术,即IP SAN。
1.FC SAN
篇3
随着信息时代的到来,数据存储已经变得越来越重要,传统的数据存储方式已经不能满足海量数据的存储需求,虚拟网络存储已经变成当今时代数据存储的主流,基于此,本文对虚拟网络存储系统的实现方法、文件系统、数据分配、数据存取及其自适应性等方面分别进行了分析和探讨。
【关键词】虚拟网络存储 实现方法 数据分配及存取 自适应性
在当今时代,网络技术以及计算机技术高速发展,随着人们工作生活节奏的越来越快,对大量的数据进行存储以及管理也提出了更高的要求,传统的数据存储方式已经不再适用,需要寻求更加可靠、性能更佳、易于维护的的新型存储技术,虚拟网络存储技术能够充分利用存储空间,简化管理工作,降低投入成本,能提供良好的存储质量,满足用户的多种需求。
1 虚拟网络存储系统概述
虚拟网络存储系统是一个广域的网络存储环境,其中有多种不同的设备及服务器等,其操作对象多种多样,大致可以分为磁盘、文件、磁盘阵列或者LBA等,虚拟时可以一对一、一对多或者多对一,是一个在可控范围内将操作对象进行模拟转化的过程,模拟抽象之后的设备应该更加便于用户理解与使用,采用虚拟块或者逻辑块的地址。操作者在使用该系统时,不需要知道被隐藏的信息,而且也不能对隐藏的信息进行使用。虚拟网络存储系统能够对存储节点的不同资源进行有效的管理,可实现设备共享以及数据共享。
2 虚拟网络存储的实现方法
2.1 对称虚拟
对称虚拟受到黑客攻击的可能性较小,具有较高的安全性能,如图1-1中所示意的为对称虚拟存储,实现位置是数据通道内部以及应用服务器,数据通道内有两种数据在传递,分别是实际数据和控制数据,数据传递都要经过存储服务器的允许。具体的实现过程是,用户发出指令,经过主机处理之后发送给存储服务器,然后进行数据寻找,相应的数据找到之后经由原来的路径发回给主机,响应完毕。该种存储方法也称为带内存储,管理方便集中,协同能力较高,然而性能上容易产生问题,响应时间会有一定的拖延。
2.2 不对称虚拟
不对称虚拟存储安全性能稍差,受到黑客攻击的可能性较大,客户需要在主机端安装相应的适配卡或者软件对主机服务器进行驱动。如图2-2所示意的为不对称虚拟存储,实现位置是存储服务器,在数据传递时控制以及实际数据传输的通道是不相同的。该种存储方法又称为带外虚拟存储,较难实施的虚拟化模块发生故障的几率较小,具有较高的扩展性能。
3 虚拟网络存储的文件系统
虚拟网络存储的文件系统中主要包括三个具备多种功能的部分,分别是虚拟存储节点(一般有多个)、虚拟存储服务器(一般至少一个)以及客户端(可有多个)。其运作过程如图3-1所示。不同用户的全局命名空间是一致的,由虚拟存储服务器来负责,目录结构是树状的,能实现透明化存取。而对于不同的虚拟节点空间来说,都是自行维护与管理的。虚拟存储服务器中存放着该系统的核心数据结构,对存储资源、全局目录等视图进行维护。
虚拟网络存储文件系统的一个重要特点是数据共享,如果数据的完整性、关联性或者一致性被破坏,其他用户使用起来就会有诸多不便,因此应该保证数据的完整性及其之间的关联性恒定。实现此种性能的二级锁机制技术,即对系统原有的共享式持有锁以及独占式持有锁模式进行结合,细分之后分为为上下两层,分别为文件锁以及数据片锁,能够对文件整体或者其中的任意内容进行锁定。
信息安全技术是一项非常重要的研究内容,数据可能会在网络连接层或者网络存储设备层或者数据管理阶段出现安全问题,发生丢生或者被人为的篡改。在虚拟网络存储系统中,采用数据加密技术来应对此类问题,实现位置是在公用程序接口的后台。
4 虚拟网络存储的数据分配及存取技术
在虚拟网络存储系统中的存储节点上,分配不同的数据,会引起I/O性能的变化,因此针对不同的存储特征,要让数据的分配与存储环境相适应,才能保证系统性能的优良。数据的分配算法主要有轮转分条算法、linear算法、round-robin算法、自适应分条算法等,其中最后一种算法是按照虚拟节点的性能高低进行分配,能够与异构Vnode环境进行良好的融合。
虚拟网络存储系统复杂性较高,对于元数据可集中进行管理。仅用FTP等单一协议是不能满足虚拟网络存储系统中的节点平衡、数据有效存储等要求的。采用将客户的请求与网络协议进行有效转换的技术,让I/O虚拟化的模块与服务器VSFS-S模块协调合作,从而实现数据的存入与获取。
5 虚拟网络存储系统的自适应性研究
动态分配以及静态分配是两种主要的数据分配方法,采用的分配方法不同,就会引起虚拟网络存储系统的自适应性的变化,采用均分hash算法,能够降低其空间的复杂程度,在数据分配时能按照磁盘容量的大小来分配,将其压缩在较小的区间中,具有较高的可靠性。
6 结语
虚拟网络存储系统能对大量的数据进行良好的智能化及自动化存储及管理,采用该技术,能满足企业、个人等需求的不断提升,促进存储网络的不断发展。
参考文献
[1]李昕.Internet信息处理系统中虚拟存储子系统的设计与实现[D].西安电子科技大学,2010.
[2]伟兵,赵跃龙,王文丰,陈超.基于EVMS的带外虚拟存储系统结构[J].计算机工程,2010,14:56-58.
[3]黄河清,曹元大,宋晓华.虚拟网络存储系统自适应数据分配策略[J].计算机工程,2007,19:23-25.
篇4
[关键词]DAS;NAS;SAN;iscsl
随着计算机网络技术的飞速发展,各种网络服务器对存储的需求随之发展,但由于商业企业规模不同,对网络存储的需求也应有所不同,选择不当的网络存储技术,往往会使得企业在网络建设中盲目投资不需要的设备,或者造成企业的网络性能低下,影响企业信息化发展,因此商业企业如何选择和使用适当的专业存储方式是非常重要的。
目前高端服务器所使用的专业存储方案有DAS、NAS、SAN、iscsl几种,通过这几种专业的存储方案使用RAID阵列提供的高效安全的存储空间。
一、直接附加存储(DAS)
直接附加存储是指将存储设备通过SCSI接口直接连接到一台服务器上使用。DAS购置成本低,配置简单,使用过程和使用本机硬盘并无太大差别,对于服务器的要求仅仅是一个外接的SCSI口,因此对于小型企业很有吸引力。但是DAS也存在诸多问题:(1)服务器本身容易成为系统瓶颈;(2)服务器发生故障,数据不可访问;(3)对于存在多个服务器的系统来说,设备分散,不便管理。同时多台服务器使用DAS时,存储空间不能在服务器之间动态分配,可能造成相当的资源浪费;(4)数据备份操作复杂。
二、网络附加存储(NAS)
NAS实际是一种带有瘦服务器的存储设备。这个瘦服务器实际是一台网络文件服务器。NAS设备直接连接到TCP/IP网络上,网络服务器通过TCP/IP网络存取管理数据。NAS作为一种瘦服务器系统,易于安装和部署,管理使用也很方便。同时由于可以允许客户机不通过服务器直接在NAS中存取数据,因此对服务器来说可以减少系统开销。NAS为异构平台使用统一存储系统提供了解决方案。由于NAS只需要在一个基本的磁盘阵列柜外增加一套瘦服务器系统,对硬件要求很低,软件成本也不高,甚至可以使用免费的LINUX解决方案,成本只比直接附加存储略高。NAS存在的主要问题是:(1)由于存储数据通过普通数据网络传输,因此易受网络上其它流量的影响。当网络上有其它大数据流量时会严重影响系统性能;(2)由于存储数据通过普通数据网络传输,因此容易产生数据泄漏等安全问题;(3)存储只能以文件方式访问,而不能像普通文件系统一样直接访问物理数据块,因此会在某些情况下严重影响系统效率,比如大型数据库就不能使用NAS。
三、存储区域网(SAN)
SAN实际是一种专门为存储建立的独立于TCP/IP网络之外的专用网络。目前一般的SAN提供2Gb/S到4Gb/S的传输数率,同时SAN网络独立于数据网络存在,因此存取速度很快,另外SAN一般采用高端的RAID阵列,使SAN的性能在几种专业存储方案中傲视群雄。SAN由于其基础是一个专用网络,因此扩展性很强,不管是在一个SAN系统中增加一定的存储空间还是增加几台使用存储空间的服务器都非常方便。通过SAN接口的磁带机,SAN系统可以方便高效的实现数据的集中备份。SAN作为一种新兴的存储方式,是未来存储技术的发展方向,但是,它也存在一些缺点:(1)价格昂贵。不论是SAN阵列柜还是SAN必须的光纤通道交换机价格都是十分昂贵的,就连服务器上使用的光通道卡的价格也是不容易被小型商业企业所接受的;(2)需要单独建立光纤网络,异地扩展比较困难;
四、iSCSI
使用专门的存储区域网成本很高,而利用普通的数据网来传输SCSI数据实现和SAN相似的功能可以大大的降低成本,同时提高系统的灵活性。iSCSI就是这样一种技术,它利用普通的TCP/IP网来传输本来用存储区域网来传输的SCSI数据块。iSCSI的成本相对SAN来说要低不少。随着千兆网的普及,万兆网也逐渐的进入主流,使iSCSI的速度相对SAN来说并没有太大的劣势。iSCSI目前存在的主要问题是:(1)新兴的技术,提供完整解决方案的厂商较少,对管理者技术要求高;(2)通过普通网卡存取iSCSI数据时,解码成SCSI需要CPU进行运算,增加了系统性能开销,如果采用专门的iSCSI网卡虽然可以减少系统性能开销,但会大大增加成本;(3)使用数据网络进行存取,存取速度冗余受网络运行状况的影响。超级秘书网
通过以上分析,下表总结了这四种方式的主要区别。
通过以上比较研究,四种方案各有优劣。对于小型且服务较为集中的商业企业,可采用简单的DAS方案。对于中小型商业企业,服务器数量比较少,有一定的数据集中管理要求,且没有大型数据库需求的可采用NAS方案。对于大中型商业企业,SAN和iSCSI是较好的选择。如果希望使用存储的服务器相对比较集中,且对系统性能要求极高,可考虑采用SAN方案;对于希望使用存储的服务器相对比较分散,又对性能要求不是很高的,可以考虑采用iSCSI方案。
参考文献:
[1]白广思:CSAN与IPSAN架构比较新论.情报科学,2007,(9)
篇5
关键词:电视媒体网络;存储安全技术;数据存储
现代网络技术的普及应用给电视媒体节目的制作、播出以及存储带来很大的影响,目前已经出现了非线性后期网络制作、硬盘自动播放、媒体资料管理等新的网络电视功能。大量的电视节目的制作资料依赖于网络存储功能,那么网络存储安全性的问题,也在被电视媒体工作者们所关注。
1 网络认证存储安全技术
存储安全是指确保数据存储的完整性、可靠性和调用的便利性,包含了设备安全与应用安全。前者是指存储设备自身的技术可靠性和实用性,后者指的是保存在存储设备中的数据逻辑完整性。目前比较常用的存储技术包括DAS(Direct Attached Storage即直接附加存储)、DAS(Network Attached Storage 即网络附加存储)、SAN(Storage Aera Network即存储区域网)[1]。现在比较常用的是SAN形式存储网络。下面我们就网络存储的安全技术进行介绍:
1.1 认证与授权
认证与授权是存储系统所具备的最基本的服务功能,其中认证是指确定某个实体或信息源的身份,分别是实体认证和信息认证,存储服务器在许可数据的生产者、管理者和使用者访问的时候,首先要对其合法身份进行验证,如果验证身份合法,则赋予访问者相应的权利,叫做授权。
1.2 保密性与完整性
当数据在多个远程存储器上进行生产、存储和使用时,如果出现未被授权者的恶意攻击,一个恶意的旧版本文件就可以取代当前的文件。对此可以通过加密的方式来保证信息的秘密性,为每个会话设置好时间或随机验证信息可以阻挡他人的重发攻击。通过使用接层协议SSL与反协议工PSEC可以保证数据传输的安全性。
1.3 认证密钥的管理
密钥是打开数据库大门的钥匙,当多个用户同时使用数据库中的信息时就需要通过密钥进行认证。对于密钥的有效性和拓展管理就显得非常有必要。当变更组群中的用户时需要对共享文件进行重新加密,此外恢复密钥技术也很关键,在密钥恢复系统中会有一个备份解密的容器,它在某些条件下允许被授权的用户在获得实体信息的协助下解密密文。
2 网络存储安全的高可用技术
网络技术已经成为电视媒体的关键技术,这些技术必须提供全年365天的全天24小时稳定服务。如果这些功能的主机系统出现故障,就会严重影响电视工作的进展。所以,提高系统的可用性就显的非常重要。近些年来,网络服务器的实用性有了很大提升。如内存ECC(错误代码矫正)、硬盘RAID技术、网络负载均衡技术以及其他关于硬盘的冗余设计等都使系统的可靠性的到很大的提升。但是由于系统内部的核心部件(如CPU、主板)长期处于工作状态,每年都难免出现故障,为了提高系统的高可用性,我们可以从以下几方面加以改进:
2.1 双热机备份方法
我们说的双热机备份方法就是指以一台主机作为主服务器,另一台作为备份服务器,在两台主机之间通过纯软件的方式达到双机容错。一般在正常的情况下,主服务器应该为系统提供运行支持,备份服务器则用来监视主服务器的工作状况。当出现故障主服务器不能继续工作时,备份服务器会接替主服务器的位置,为系统提供服务,保证系统工作继续开展。这时备份服务器就成了主服务器。主服务器经过修复后,系统管理员可以指令或以手动的办法恢复主服务器的功能。反之,在系统工作中,主服务器也会对备份服务器的工作状态进行监视,一旦备份服务器出现故障,主服务器会向管理员发出提示,从而保证两台服务器至少有一台在正常工作,为整个系统的持续运行提供保障。双热机备份方法适合在硬件充裕的情况下使用,它能够保障存储系统全天24小时的不间断运行,即使在发生故障时,应用系统也可以保持正常工作状态,保证网络服务、共享磁盘、共享文件夹以及数据库的高效运行。
2.2 群集并发存储方式
这里所说的群集并发存储方式就是指在某一区域内,多台拥有共享空间的服务器通过内部局域网建立连接,群及内部的任何一个服务器的内容都可以被其他服务器所共享。当某一台服务器出现运行故障时,其他的服务器可以代为工作,多台服务器之间互相备份。采用群集并发存储方式可以有效提高系统的效用性,也提高了系统的整体性。具有实时性强、数据流量大、对于系统有严格的可靠性要求的特点。
3 数据存储中的安全隐患
在电视媒体制作中,移动存储设备经常接触不同的计算机,仍然不能避免病毒的入侵。
4 总结
现代网络存储安全技术为电视媒体更好的利用网络平台进行节目制作提供了保障,同网络认证与授权保证了制作者与消费者的信息安全,运用双热机备份和群集并发存储等方式,保证了电视节目制作工作的不间断开展,这些服务为电视媒体工作者们提供了很大便利,在以后的工作中现代网络存储安全技术将会取得更大的进步,为维护网络安全提供保障。
篇6
关键词:SAS技术 IP-SAN 云存储
中图分类号:TP393 文献标识码:A 文章编号:1007-9416(2012)10-0050-02
1、引言
随着高校办学模式的多样化,加上成人教育、在职教育、网络教育等的快速普及和发展,越来越多高校呈现了跨地区的多校区数字化管理模式,体现着学校核心工作的教学信息资源管理与应用也呈现出多元化发展的趋势。学校各方人员在获取各种教学信息资源的手段和方式随着计算机科学的飞速发展和自动化技术、网络技术研究成果的广泛应用亦发生重大的改变,而能支撑这种改变的技术核心是高效、安全的云存储网络。此外,为了适应高校多校区办公的工作模式,需要教学管理信息存储网络能够提供智能化的管理机制来实现多校区之间的协同工作。
如何合理而有效的建设高等学校数字化校园,使高校校园科学、合理地应用现代网络存储技术来保证数字化校园海量信息的存储安全,并为用户提供优质的信息资源服务,是跨校区数字化校园建设工作中面临的实际问题。
本论文基于作者长期从事学校信息化、数字化管理教学工作的实际经验,从高校数字化校园建设的实际需求入手,分析研究了跨校区数字化校园管理云存储网络系统的建设方案以及核心技术,设计了适用可行的结构框架和实施方案,并提出了合理的优化测试意见和升级拓展思路,可供高校数字化校园动态管理进行参考和推广。
2、建设方案及核心技术
数字化校园建设跨校区云存储网络设计与实现与数据备份和容灾有着密切的联系,因此存储网络设计之初就要考虑加入备份与容灾后的网络拓扑结构和模式,避免重新开发时资金的重复投入。
目前高校跨校区数字化校园管理的存储网络面临着一个严重的问题就是如何大幅度的增加存储空间以满足各种数字资源的存放问题,而且这些服务每年对容量的需求还在不断增长,如果要在校内架设镜像站必然对数字化校园存储网络的容量提出很高要求。高校数字化校园建设在建设过程中的前几次设备的资金投入往往比较充分,但却无法应对今后的增长需求,况且数字资源本身也有其自身特点,一味的追求用高速和高稳定性的FC磁盘无疑也会造成浪费。设计一种能适合今后发展需要的廉价的云存储网络系统是数字化校园存储网络建设的基础。
目前国外大型企业、公司、学校等对存储网络有着很高的要求,存储技术和实施方案已经从直接存储模式(DAS)和网络存储模式(NAS)向存储区域网络(SAN)发展,从设备的层面来说,FC-SAN的优点毋容置疑,但相对于一般高校数字化校园管理设备来说,光纤的造价往往过于昂贵,通常只能在建站初期实现第一步的资金投入,后期维护和升级往往比较困难,无法将FC-SAN的优势继续发挥出来。此外,不同SAN厂商的产品在管理方面的兼容性也不尽如人意,为今后的扩容造成不必要的麻烦。
为了在高性能、高安全性的数字存储与存储容量、造价之间找到平衡点,本方案着重从IP-SAN的理论层面纳入进行论证,利用已经成熟的TCP/IP和iSCSI协议构建兼容性强而造价相对低廉的IP-SAN云存储网络,并通过建立IP-SAN+NAS的混合模式将原有早期设备合理的融入到新的以云计算为核心的存储网络中。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储系统是一个以数据存储和管理为核心的云计算系统,是多设备、多应用、多服务协同工作的集合体,它的实现要以WEB2.0技术、集群技术、网格技术和分布式文件系统、CDN内容分发、P2P技术、数据压缩技术、存储虚拟化技术、存储网络化管理技术等多种技术的发展为前提。
架构跨校区数字化校园云存储网络,主要采用SAS技术及RAID技术,在云计算环境下,通过SATA硬盘组建RAID 6磁盘阵列,建立基于iSCSI协议的跨校区IP-SAN网络,利用IP-SAN存储网络技术实现跨校区数字化校园管理建设。
本方案较好的解决了高校跨校区数字化校园管理存储设备在容量、安全性、扩充性、成本和今后的维护等方面的问题,具有很高的灵活性。着力解决校园存储系统的选项工作,用于提高用户的访问性能和服务种类,并能满足数字化校园管理不断增长的电子数据信息量的要求。
3、框架设计与实现
要满足多校区、廉价和云存储三个方面的要求,并能提供安全可靠的存储服务,可以选择IP-SAN结构的存储网络,整个网络的结构示意图如图1。
整个网络分为三个区域,分别代表主校区和两个分校区。每个校区的内部结构类似,以主校区为例,又分为两个区域,第一区域为IP-SAN区域,以SAS技术构建的存储阵列通过存两台内置双四核处理器和iSCSI HBA适配卡的储服务器构建成廉价的海量存储设备,存储服务器之间实现热备份功能,运用iSCSI协议双端口接入两台千兆的以太网交换机,实现与服务器/主机群的连接,两台以太网交换机彼此进行冗余配置,服务器/主机通过双网卡与双千兆交换机连接。
第二部分为局域网,服务器与工作机、检索机通过千兆交换机实现连接,再通过路由器接入校园网,提供不同的数据库服务,这部分的网络结构与原来各个校区的网络结构一致,不同的只是交换机和路由器已经能够提供千兆的连接带宽。
在两个分校区与主校区之间,IP-SAN的交换机使用路由器通过租用的100Mbps电信Internet通道直接进行连接,由于主校区和分校区都在一个城市内,通过Internet连接时经过电信内部路由器跳接的次数并不高,虽然不能保证实时传输的性能,但连接带宽往往较高,而且费用较低。各校区之间也可以通过光纤专线实现连接,但考虑到专线费用昂贵而且带宽较低低,两端还要使用转换器/路由器将TCP/IP协议再次封装为专线的E1或E2协议后实现连接(即使使用FC-SAN,FC交换机也需要转换器将FC协议转换为V35串口或TCP/IP协议后才能再次封装为E1或E2协议而无法直接转换或两端直接连接,所以FC-SAN跨校区的带宽也不高,造价则因为需要多个转换器而更昂贵),并不适合数字校园存储的造价方面的要求。分校区按相同的方式构建IP-SAN存储网络,其目的主要用于容灾和数据异地备份,此外还负责对视频数据进行智能缓冲,在播放软件的支持下对分校区重复点播的视频进行缓存,减少对校区之间带宽的占用。此外,分校区也设立了服务器用于实现容灾功能,在主校区出现故障后利用备份数据和服务器将云管理系统切换到当地的服务器继续进行。
进行数据备份时,采用从主校区存储设备直接镜像到两个分校区的存储阵列的方法。
这个基于IP-SAN的云存储网络构建好以后,每个校区都有各自的分云数据中心,校区内部服务可以形成云内互联,而校区与校区之间形成云间互联,又与每个服务终端形成云-端互联,这样就形成了“资源虚拟化、管控自动化、IT能力服务化”为特征的数字化校园跨校区管理私有云应用平台,这个平台有全局的智能联动管理“CLOUD OS”,对所有校区的计算、存储和网络三大IT基础资源池进行全局的调度和资源编排与交付,此外,还根据各校区用户、业务系统的不同互访需求,实现网络层的资源隔离和安全访问控制。
4、测试优化与升级拓展
这套存储系统建立后,在正式投入前还需要进行检测,从局部的阵列性能优化测试到全局的虚拟用户网络负载测试对整个存储网络进行深入的了解,找到系统潜在的问题并进行解决和优化。
测试平台作为一个单位分别放置在主校区和两个分校区,分校的存储网络通过路由器与主校区IP-SAN中的千兆交换机实现连接,应用服务器分别找到各个校区的存储服务器分配的iSCSI存储阵列。通过测试进行相应的软硬件选项与配型,最终完成整个云存储网络系统的软硬件资源优化。一般情况下,数据中心的各种系统(包括软硬件和基础设施)是一大笔资源投入,在建成后一般经历3-5年硬件系统就即将面临逐步老化与更换,而软件技术则不断面临升级的压力。另一方面,随着社会的发展,不断变化、增加的业务需求也对资源扩展产生考验。而此IP-SAN云存储网络系统在传统架构基础上纳入了云计算模式,将不断产生的业务需求作为服务构架整个系统的核心,采用租用第三方云设施的方式,剥离了云存储系统中与数字化校园管理核心业务无关的因素(如IT基础设施),如需自己重新建设,可按需获得。
在此云存储网络系统建设中,网络是最底层的管道,因此采用“网络先行”的思路建设,在进行网络构架设计时充分考虑了数字化校园建设发展过程中会面临的挑战和解决方案,实现了网络层的云就绪,以承载未来云计算IT平台的动态需求和最终成本问题。
参考文献
[1]周东华.构建网络存储方案.运城学院学报,2005年4月:1008一8008.
[2]林许岸.网络数据安全策略的研究与实施.电脑知识与技术,2005年第14期.
[3]王佳隽.云计算技术发展分析及其应用探讨[J].计算机工程与设计,2010年20期.
篇7
FC-AE-ASM建立在以消息为基础的通信架构之上,每条消息携带了发送方ID、接收方ID、数据功能、数据内容等所有的关键信息,节点在收到消息之后,按照协议约定进行解读和判断,并以此决定下一步操作,如是否应该接收,接收后需要完成的任务等。在FC-AE-ASM网络中,一条消息可以以单帧或多帧方式传播,帧是数据传输的基本单元,要实现对FC网络传输“数据”的监控,其根本在于对“帧”的监控。帧头中各个字段分别代表了该消息的类型、优先级、服务类型、消息长度、消息发送方和接收方身份等个性信息,是实现网络节点间信息准确交互的保证,帧数据内容主要实现航电系统网络功能,是数据分析的主要对象。ASM帧通过FC帧格式的数据域封装ASM帧头实现协议映射。ELS帧通过FC帧格式的数据域封装ELS帧头实现协议映射。其中ASM非数据块帧为单帧单消息传输,消息量大;ASM数据块消息采用多帧发送的方式,到达目的节点后,基于消息ID和偏移量进行消息重组,多个分帧帧头相同,无需对所有分帧进行过滤;ELS帧主要用作网络管理,每帧的数据量小,处理速度快;此外,作为FC网络组成部分,监控卡自身需要ELS帧进行网络配置,因此,还需对所接收到的本地ELS帧和需监控的ELS帧进行鉴别、分流和处理。完成对FC网络数据的实时监控,应根据帧组织和帧功能的不同设计相应的监控方案。合理的存储机制是影响实时数据消化和处理速率最为重要的环节之一。FC网络通讯速率快,数据量大,为避免丢帧漏帧,监控方案必须保证较高的存储速率;海量的监控数据检索和筛选困难,监控数据的存储方式要考虑后期的数据处理,尽可能的减小后期数据分析难度;同时,监控卡存储空间有限,需要最大限度的提高存储区利用率,减少不必要的空间消耗。考虑如上因素,设计了一种帧压缩按序存储策略。这种方法由逻辑发起,将收到的监控帧不分类型地按序连续存储,提高了存储效率,并在存储前经过预处理和重组过程,增加了监控帧头,为后期数据处理提供了方便。由于FC是一种高速的传输网络,现有的FC网络已经达到了2G、4G的通信速率。一方面,实时的监控需要能实时分析、提取和处理海量的通信信息;另一方面,针对不断变化的监控需求,监控方案设计需要能满足灵活配置的要求。面对以上要求,采用软件监控方式的需要占用大量的主机资源,处理速度慢,效率低,难于达到实时监控的目的;而采用纯硬件方式则具有配置困难、监控方案更改不便、监控不灵活的缺点。针对监控效率和监控灵活性的要求,文章设计了硬件逻辑和软件相结合的监控方案。其中逻辑实现帧的接收、鉴别和分流,软件实现监控方案的配置、监控功能的使能和禁止。
2数据监控策略
图2为的系统数据监控架构。采用软硬件结合方式,按帧类型和功能区分进行监控。监控开始时,主机软件通过写过滤掩码寄存器(以表1为例)配置监控方案,选择需要监控的帧头或数据字段作为目标字段,并将过滤条件写入各字段对应CAM表中,完成监控设置,并通过PCIe接口函数开启监控功能。硬件逻辑利用FC-MAC接收到帧后,存放至接收缓冲区RX_BUFF,帧类别判断及分流系统对该帧进行协议分解,判断帧类型。当接收到ASM非数据块帧时,根据过滤掩码寄存器提供的方案,依次读取各目标字段的值并与对应CAM表的值进行对比,若相同,则提交数据到DMA引擎,并写入主机存储器,若不相同,则对比下一目标字段,若所有目标字段均与CAM表不符合,则直接丢弃。当接收到数据块消息帧时,由于所有分帧的帧头信息相同,因此在接收到数据块消息时,只需对第一帧帧头进行处理筛选,若符合,则后续帧全部提交至主机存储器,若不符合,则后续相同ID的帧全部丢弃。ELS帧主要用来进行网络管理,监控节点作为接入FC网络的一个对象,同样接收网络上发来ELS帧。因此,对监控节点而言,接收到的ELS分为两部分:发给监控卡的本地ELS帧和其余ELS帧,后者才是真正需要监控的ELS数据。因此,逻辑收到ELS帧时,根据帧头信息区分该帧是否为发给自己的本地ELS帧,若是,则提交到内嵌PPC协议处理器进行处理,否则将数据提交给MAC缓冲,依次读取各目标字段的值并对比CAM表,若相同,则提交DMA引擎,并写入主机存储器,否则直接丢弃。
3监控数据存储策略
数据监控机制完成了目的数据的获取,但是在航电通信网络中,通信数据量大,监控数据多,进一步的数据处理和存储仍然存在较多的问题需要解决。首先,FC传输速率快,数据量大,为避免丢帧漏帧,对存储速率要求很高;其次,海量的监控数据检索和筛选困难,需设计数据预处理和重组机制;此外,为提高后期网络故障诊断效率,需完成协议帧的快速提取和定位。为了更好的管理监控数据,我们设计了帧压缩按序连续存储方式。该方式利用逻辑对满足监控要求的ASM帧和ELS帧进行预处理后重新组包,将所有帧看做“数据”,在其前端增加监控帧头,组成新的“监控帧”,并按顺序由DMA引擎通过PCIe接口提交至主机存储区。连续存储减少了在缓冲区间来回切换的消耗,提高了存储效率,预处理主要检查帧的完整性和协议一致性,将结果记录在监控帧头的Flag字段中,将封装后的监控帧长度记录到Length字段中。增加监控帧头的存储方式可以在第一时间内获取监控数据的基本特性,如数据总量、数据的正确性等,在短时间内识别并提取出问题帧,大大缩短了数据分析周期,提高了后期网络故障诊断效率。采用逻辑硬件处理可以保证较高的预处理的速度,预处理过后的“监控帧”不再需要主机进行干预即可立即存储,大大提高了主机存储速率。每个监控帧的完整信息格式如图4所示。
4设计与验证
验证试验中,我们选用XILLIX公司V5FXT系列FPGA搭建监控卡。该系列FPGA具有高速的GTX串行IO接口,可支持多种FC通信速率,内嵌的PPC协处理器提供了强大的数据处理和控制能力,内嵌的PCIe硬核提供了高速的PCIe主机接口。将监控逻辑和驱动软件加载到监控卡上,用于监控一个模拟航电节点,该节点可以向外发送ASM消息及ELS帧。监控卡驱动软件设置几种不同的监控方案,并使能监控功能。采用虚拟FC协议节点制造超短帧、超长帧发送,采用故障注入方式产生CRC错、无效EOF及EOF缺失等协议错误帧。经过实际测试,FC监控策略可以实现正确的监控要求。验证时采取的拓扑结构如下:
5结束语
篇8
关键词:网络时代 图书馆员 素质 能力
中图分类号:G256 文献标识码:A 文章编号:1672-3791(2013)01(c)-0249-02
随着网络技术和数字技术的迅速发展,人类已步入信息时代,以因特网为代表的信息网络造就了一个全新的信息交流平台。在信息社会里,人们对话的文献信息的广度、深度和准确度的要求越来越高。与此相适应的现代化通讯网络技术和计算机管理也越来越深入到图书馆,致使图书馆在文献信息存储、管理服务方式上均发生了巨大变化。图书馆不再是一个静止不动的藏书楼,已成为信息高速公路中的一个重要站点,正在向现代化、智能化、信息化、虚拟化、网络化发展。网络信息技术的高速发展[1],同时,在农村的广大基层人们的知识水平普遍不高,获取信息的收到还是比较单一的,这一网络技术促进知识的传播与流动形成了鲜明的对比,图书馆是人们获取知识的地方,图书馆员就在当中发挥着重要的桥梁作用,作为一个新时代的图书馆工作者就要对自身素质和能力提出了更高的要求,才能很好的适应不断变化的工作环境和生存空间,才能跟得上时展的步伐。更好的跟人民大众服务。
本文结合本人的一些经验,探讨一下在信息时代图书馆员提高自身素质的必要性和可行性。
1 网络时代图书馆发展的特点
随着科技的发展,新技术革命的到来,电子计算机作为图书馆现代化应用的工具,广泛应用到图书馆的各个领域,传统的图书馆被电子图书馆、数字图书馆、网络化图书馆所取代,我国和其他国家一样,把信息现代化作为社会经济发展的出发点之一,图书馆的现代化是其中一项,这样图书馆就向“以网络为中心的计算机技术、通信技术、信息数字化技术以及计算机国际语言化发展”。并具有以下特点:(1)图书馆的收藏模式向网络检索数字型的方向发展;(2)图书馆的服务方式由传统手工检索变为联机检索;(3)图书馆资源向声像、缩微、电子印刷等多媒体并存的方向发展;(4)图书馆管理和服务向网络资源共享方向发展。因此,作为一个图书馆员,只有不断的加强自身学习,才能掌握最新的知识,给读者提高准确无误的信息,给他们提供满意的服务[2]。
2 网络时代图书馆员的素质亟待提高
网络时代的到来,图书馆的整个业务流程和服务方式都发生了巨大变化,服务手段从简单型向现代化技术型转变,服务方式由被动借还的低层次向主动提供信息的高层次转换,面对未来图书馆的现代化、信息化、智能化、社会化、服务手段多样化的发展,图书馆员必须适应时代需求,不断提高综合素质,调整知识结构,吸收新的知识,使自身成为一专多能的复合型、多元知识型的人才。
(1)图书馆员的思想道德素质:过硬的思想道德素质是图书馆员做好图书馆工作的基础。图书馆员是整个图书馆事业的主体骨干,是图书馆任务的承担者和目标实现者。因此图书馆员在思想上牢固树立全心全意为读者服务、坚持“以读者为中心”为社会大众服务的思想观念,在工作中任劳任怨、无私奉献,立足本职,为图书馆事业做出应有的贡献。
(2)加强图书馆员职业道德教育,培养敬业爱岗精神。图书馆的职业道德教育是一个永恒的主题,它是指以图书馆的社会地位、功能、权利、方针和任务相一致的道德准则和行为规范。主要表现为,政治思想觉悟高、热爱图书馆事业,具有脚踏实地的工作作风和高度的责任感,对工作一丝不苟,对业务技术精益求精。图书馆员的职业道德,还体现在为读者服务过程中,对待读者是否富有爱心、耐心,是否贯彻“读者第一,服务至上”的方针。只有树立良好的职业道德,形成团结互助,严谨求实,认真负责,文明服务的新风尚,才能更好地在知识信息时代体现自身的服务价值,成为优秀的信息传播者和管理者。
(3)图书馆员的业务素质。美国图书馆学家谢拉认为:“图书馆员作为知识的管理者,不可缺少的是关于知识的知识”。当今科技发展日新月异,新技术层出不尽,边缘学科不断涌现,现代科技知识的迅速发展给图书馆员们提出了新的课题,图书馆工作的标准经过现代化、信息化业务手段的多样化、网络化,这就要求图书馆员必须具有广博的知识,精深的专业技能和较高的信息分析能力,能从总体上概括了解知识体系及相互关系[3]。首先,随着交叉学科和边缘学科等多种学科日益复杂,图书馆员在熟练掌握图书馆和情报信息专业知识的基础上应掌握几门学科的专业知识,及与其相关学科知识以及网络知识,以适应图书馆发展趋势,紧跟图书馆事业发展的步伐。以便更好地开展好信息服务工作。其次,随着图书馆计算机管理系统的引进,计算机技术、网络技术、多媒体技术、信息处理技术等,现代化技术广泛应用到图书馆工作中,这就要求图书馆员在掌握计算机的一般理论知识的基础上,还要学会利用计算机网络技术、多媒体技术,迅速、准确地为读者提供各种信息服务,娴熟地收集图书及信息资料为教学、教研、科研工作服务。学习掌握新技术知识和技能是对每个图书馆员的迫切需要。在信息时代的今天只有掌握了图书馆自动化这门学科的理论知识和基本技能,熟练掌握图书馆各科室工作流程和技术、服务读者的方法和方式,开发信息资源的能力等,才能更好地做好本职工作。再次,具有一定的外语水平,图书馆现代化的重要标志是计算机管理.要很好地使用计算机和在网上开发利用信息资源.就要有一定的外语水平,才能在信息网络上及时跟踪捕捉现展信息,整理开发利用信息资源提高网络信息资源利用率。因此,图书馆员不但要具备精深的专业知识,掌握熟练地业务技能及具备一定的外语水平,还要掌握与其相关学科知识,做到一专多能。即“图书馆员必须是通才型复合型的人才。以适应网络时代图书馆现代化的需要。
3 网络时代图书馆员的能力
在人类历史迈向21世纪的今天,信息时代对图书馆专业人员的知识结构提出更高更广博的要求。科学文化的飞速发展和进步,广博的知识和敏锐的信息意识都要通过能力反映到具体的服务工作中。所以图书馆员必须掌握现代管理技术的能力以适应现代科学技术的飞速发展需要,图书馆要想充分发挥其社会教育职能和和文化传播职能,图书馆员就必须加强现代技术理论的学习和研究,用现代管理技术的理论来充实自己,图书馆员必须学会使用这些先进的管理手段和现代技术,另外还要备较强的获取信息利用的能力。图书馆作为传播文化知识的重要阵地,要有效地开发利用信息资源,实现信息的真正价值。这就要求图书馆员具备敏锐的信息意识和信息素质,掌握获取信息、更新、传播、开发利用信息等方面的能力[4]。在网络时代的今天,图书馆员除了需要具备较高的整体素质外,还必须具有较强的综合能力。因此新形势下图书馆专业人员应具备以下几种能力。
(1)信息处理能力:信息处理能力包括对信息的感觉力、洞察力、分析力以及概括力等,图书馆员还必须有激活信息的能力,信息是财富但必须使其发挥作用,否则就是一页废纸。激活信息,使信息发挥最大效益为社会大众服务,
(2)获取信息利用的能力。图书馆作为传播文化知识的重要阵地,要有效地开发利用信息资源,实现信息的真正价值。这就要求图书馆员具备敏锐的信息意识和信息素质,掌握获取信息、更新、传播、开发利用信息等方面的能力。这就要求图书馆员必须具备信息搜捕和检索的能力。
(3)现代信息技术运用开发和利用的能力:图书馆员除了具备现代化信息、技术知识外,更要熟练地运用现代化信息技术,如:能用计算机处理各种信息,能建立各种文献数据库,能在网上获取信息,以及网上解答读者的各种咨询,并指导读者检索各种文献信息等。并在实际工作中不仅提供“精、高、尖”技术信息,而且提供“短、平、快”的实用性信息。
(4)解答读者各种咨询的能力。如文献检索咨询、数值咨询、新技术咨询、网络咨询等。不但根据读者的特性提供具有针对性的信息,而且还能通过对读者专业特征、研究兴趣的智能分析而主动向读者推荐最可能需要的信息。
(5)较高的信息筛选转化和知识整合能力:随着社会知识和科学技术的迅猛发展人类的知识文化层次有了很大的提高,社会将更需要具体的适应信息和经过转化、加工、分析、研究而形成的竞争情报,这种竞争情报不可能从网上或文献资料中直接得到,必须经过人脑的转化整合和再加工。即利用数据仓库、数据挖掘、知识提取、人工智能等技术对信息内容进行深加工,向读者提供能够用于决策支持、智能查询、科学研究、解决问题的策略。这是一种新的知识和新的信息即信息浓缩和提炼的能力。因此,图书馆员,必须具有能力能从浩如烟海的信息资源中筛选出所需的信息,并将其转化、整合为直观的知识信息,以满足社会大众需求。
4 结语
人类社会已步入21世纪网络时代,图书馆将面临严峻的挑战,只有加强图书馆员的思想素质建设,提高他们的整体业务素质能力,才能适应网络时代图书馆的发展需要,从而为图书馆事业做出应有的贡献。
参考文献
[1] 郭太敏.论信息素质与人才培养[J].中国图书馆学报,2002,28(3):81-83.
[2] 鲁蓉蓉.略论21世纪信息素质教育[J].高校图书馆工作,2004,24(2):40-41.
[3] 张汾.论新时期图书馆员的素质培养[J].科技开发与经济,2003,13(8):39-40.
篇9
【关键词】网络平台服务提供商 法律责任 归责原则
就目前来说,网络平台服务提供者主要有搜索引擎服务提供者,网络存储、分享服务提供者,电子商务服务平台、社交网络服务平台等平台服务提供者。本文主要通过对搜索引擎服务提供者和网络存储、分享服务平台提供者进行责任分析,围绕这些与网络知识产权联系相对紧密的主体展开论述。
搜索引擎服务提供商责任分析
在互联网时代,搜索引擎是信息整合的重要利器,是网民进入互联网的重要端口,其地位不容忽视。作为网络服务的重要平台,搜索引擎服务供应商拥有更大的用户规模,其影响力之大,在网络知识产权了保护的几个主体论述中不可不论。
搜索引擎服务提供商责任概述。搜索引擎服务提供商在互联网上所担任的是网络技术服务和网络内容整合服务的角色。这两者的角色已经被日益发展的互联网融合成一个大的系统,搜索引擎服务提供商不再单纯地从事其中的一项工作,而应变为从技术到内容的垂直整合者,其责任也应包括技术服务者责任与内容提供者责任。搜索引擎服务提供商在进行搜索服务提供的同时应该承担保护网络知识产权的义务。为此,必须尽到对其所提供的信息是否涉及侵犯网络知识产权进行必要的审查义务,在归责原则上适用过错责任原则和过错推定责任原则。在责任的承担上搜索引擎服务提供商应当承担直接责任或者与侵权信息的者一起承担共同责任。
搜索引擎服务提供商侵权责任产生的原因。搜索引擎服务提供者侵权责任的产生,有其深刻的历史和社会根源。侵权原因大致可以划分为以下几个方面:一,网络发展初期,网站经营者追求自身经济利益,忽视自身的社会责任;二,网络技术的便捷性助长了对网络知识产权的侵权;三,网络传播的多元主体及多渠道加大了侵权责任的扩展;四,社会认知的相对滞后以及网络立法与监管的不健全,容忍了对网络知识产权的侵权。
搜索引擎服务提供商侵权责任及其承担方式。涉及到侵权责任,必然要从侵权责任的规则原则谈起。目前,我国法学界在侵权责任的归责原则的体系上基本形成了统一认识,确认的归责原则包括:过错责任原则(包含过错推定责任原则)、无过错责任原则和公平责任原则。其中涉及网络知识产权侵权责任的规则原则当以过错责任原则为主,无过错不承担责任,这也与我国民法立法和理论体系相吻合。过错责任原则,是以过错作为价值判断的标准,判断行为人对其造成的损失是否承担其侵权责任的规则原则。过错推定责任原则,指在法律有特别规定的场合,从损害事实的本身推定加害人有过错,并据此确定造成他人损害的行为人赔偿责任的规则原则。
搜索引擎服务提供者所担当的往往是帮助犯或者不作为犯,其在主要情况下是不会承担最大责任的。比如,其因为帮助传播盗版侵权类知识产品而承受一定的经济制裁,但是其收益却是远大于其因为受制裁而遭受的损失,单纯对其进行经济制裁,从根本上并不足以遏止盗版侵权泛滥之势。搜索引擎服务提供者作为独立的法人,应当对已侵权行为承担责任,法人侵权责任的承担方式是指法人对其侵权责任是单独承担还是与具体的自然人承担连带责任。对于法人的侵权责任,在大陆法系国家和地区中存在着两种承担方式:一种是以德国和日本为代表,主张法人单独承担;一种是以瑞士和我国台湾民法为代表,主张法人与其代表人承担连带责任。对于搜索引擎服务提供者的责任的追究,考虑到最大限度的制裁这一价值目标,我们应当在此设置成法人和其代表人承担责任,承担方式包括:行政罚款、责令停止侵害、赔偿损失、指令整改,整改不成吊销营业执照等,对涉及刑事责任的按照刑事法律处理。
搜索引擎服务提供商责任规范解决方案。一,行业自律是搜索引擎服务提供商应对网络知识产权保护的必由之路;二,加强对搜索引擎服务提供者的日常运作的监管力度是应对网络知识产权保护的合理要求;三,用正版来节制盗版,对正版网络知识产权的客体网络交易价格及获取便宜性进行再设计;四,加大对保护知识产权的宣传力度,整体提升社会民众对网络知识产权保护的意识。
通过以上的分析和思考,我们基本厘清了搜索引擎服务提供者的责任,及其应对保护网络知识产权所能做的一些措施。有人说:当前或以后侵犯网络知识产权的侵权方式将会发展的越来越隐蔽。不在前台明目张胆的进行,转而以一种更加隐秘的或者伪装的形式来进行侵权,借助先进的技术和工具在特定群体之间传播。我们在短期内不能杜绝盗版侵权,但我们做到最大限度的保护,也因此彰显出法律的价值。
网络存储、分享服务提供商责任分析
网络存储、分享服务提供商责任概述。同搜索引擎服务提供商一样,网络存储、分享服务提供商是与网络知识产权保护紧密相关的又一活动主体。作为网络服务提供者,二者在侵权责任的承担上有着类似的担当。网络存储、分享服务涉及知识产品的网络传播,如果处理不当就会成为盗版侵权产品泛滥传播的重要帮凶。基于对知识产权权利人权利的有效保护和维护网络环境的需要,应根据网络服务供应商是否有权利和能力控制用户之间的数据传输来分别确定其应当承担的民事责任。网络存储、分享服务提供商就是属于拥有权力和能力控制用户之间的数据传输的主体。同搜索引擎服务提供商一样对其存储、分享的信息要尽到必要的审查义务。在归责原则上一样适用过错责任原则,在责任的承担上也表现的比搜索引擎服务提供商承担的更大。
网络存储、分享服务提供商侵权责任。在网络运营过程中,网络存储、分享服务提供商是与盗版侵权行为最接近的网络平台运营主体,其所涉及到网络知识产权的侵权问题也最为直接。网络存储、分享服务提供商有多重运营模式:开放式存储平台、封闭式存储平台、半开放式存储平台。其中以开放式网络存储、分享平台涉及的侵犯网络知识产权的行为最多且影响力最大,半开放式网络存储、分享平台次之,封闭式网络存储、分享平台为最低。在这里我们主要针对开放式网络存储、分享平台进行讨论,作为网络存储中心,它起到网络数据存储仓库的作用,而且作为开放式信息传播的重要平台,网络存储、分享服务提供者在提供给网络用户存储空间的同时,有义务对其提供的空间承担相应的法律责任。网络存储分享这一形式并无过错,错误的是我们没有合理的利用好它,其所提供的空间给盗版侵权类知识产品提供便利,使盗版侵权类知识产品存储、传播变的更加容易。网络存储、分享服务平台上充斥着比搜索引擎的盗版链接更加可怕的侵权类知识产品,网络存储、分享服务提供者给互联网用户提供了一定熟练地的网络空间的同时,有义务维持这一空间的法制状态,对其传输的信息进行必要的审查。对于因为盗版侵权,网络存储、分享服务提供者要承担比上传侵权知识产品的网络用户要承担更大的责任,这种责任就是直接责任。
网络存储、分享服务提供商责任的承担方式。可以预见,在这样的网络存储、分享服务平台上,盗版问题是必然存在并占据一定比例的。对于这一部分我们有必要进行应对性分析。网络存储、分享服务提供商侵权责任的承担方式主要包括:消除影响、停止侵权、删除侵权信息资源、赔偿损失、赔礼道歉。行政指令整改、吊销网络运营资格、情节严重的没收财产追究相关人员的刑事责任。对于网络存储、分享服务提供商责任在承担责任之后所作的关闭,有必要返还网络用户在使用该平台的过程中所上传合法数据,这些信息是用户的个人信息财产,不能被随便剥夺其再次获取的权利。现行的行政制裁措施中这方面的考虑有所欠缺。网络存储、分享服务提供商责任应该在行政机构做出相应的整改要求的同时,向社会公布信息,以便宜用户对其所有的信息进行下载备份。另外,如果用户上传的信息不是作为可以被公共查阅的封闭信息,这样的危害可以说是最低限度的,我们不应当干涉这类信息的使用。即此类信息不具备对知识产权的侵犯。
篇10
针对密云卫星地面站大数据量、多平台的需求,分析了流行的存储技术DAS、NAS和SAN,并比较三者的差异。比较结果表明,SAN是密云卫星地面站网络存储方案的最佳选择。从体系结构和可靠性两方面进行分析SAN技术的优越性,以此研究为基础,从密云地面站实际需求出发,设计了一套SAN存储系统解决方案,并在探月工程嫦娥三号任务中投入建设运行。经过2年的运行表明,本文设计的网络存储系统解决方案在系统可靠性、系统容量、吞吐率和响应速度等方面均满足设计要求。
【关键词】卫星地面站 网络存储 SAN架构 可靠性分析
1 引言
密云卫星地面站是探月工程地面应用系统的一个卫星数据接收站,承担着接收嫦娥卫星下行科学数据并本地存储数据的任务。密云站主要完成探测任务管理,卫星探测数据的接收与存储管理功能,同时为用户提供全面的、集中的站内数据接收设备监视与控制功能。因此,密云地面站不仅要存储卫星下行的科学数据,还要存储地面站每一秒种记录的设备监视信息、控制信息和日志信息。在嫦娥三号任务建设阶段,密云地面站充分考虑到国家未来深空探测任务的增加以及观测接收科学数据的增加,现有的存储设备以及存储方案已经不能满足需要。因此,统筹考虑建设一个适应密云地面站未来发展的网络存储系统势在必行,也获得了国家探月工程专项资金的支持,研究人员于2011年开始调研与设计网络存储方案。
2 网络存储技术比较分析
目前,网络存储技术的发展科归纳为3个方向:直接连接存储(DAS,Direct Attached Storage)、网络附接存储(NAS,Network Attached Storage)和存储区域网络(SAN,Storage Area Networks)。
DAS是传统的存储方式,服务器后端连接着SCSI阵列,该磁盘阵列附属于一台服务器,不支持其他服务器共享存储。随着数据量的不断增大,逐渐暴露出诸多弊端,如存储空间得不到合理利用、数据分散不易管理、存储架构得不到扩展等。
NAS是一种特殊的专用数据存储服务器,是可以直接连接到网上向用户提供文件级服务的存储设备,NAS有自己的简化的实时操作系统,它将硬件和软件有机地集成在一起,通常用于专用文件服务。NAS采用的数据传输协议为NFS和CIFS。由于,其数据传输需要通过普通网络,受到网络带宽的限制,传输效率不能得到保证。
SAN是继NAS之后出现的一种新的网络存储技术。主要思路是通过专用的交换机和网关建立服务器与磁盘阵列的直接连接,从传统的以太网中独立了出来,成为独立的存储区域网络,将原有以太网上的存储事务转换到主要由存储设备组成的SAN网络上。SAN取代服务器完成整个存储过程的控制和管理,减少了对服务器处理时间的占用,提高了服务器的使用效率。FC SAN是以光纤通道技术(FC)为基础,可以提供高达4Gb/s的传输速率,解决了NAS数据访问对网络带宽占用的问题,数据的访问不影响LAN的性能,在有大量数据访问时,不会大幅度降低正常网络性能。而随着数据爆炸式的发展,SAN是人们公认的具有发展潜力的存储技术解决方案。
根据上述研究内容分析,了解当前流行的网络存储技术的各自优势。从地面站网络存储系统关注的性能指标出发进行讨论研究,就以下项目对前三种网络存储技术进行比较,比较结果见表1。
从比较结果看出,SAN网络存储技术具有高带宽,易扩展、高可用、可靠以及安全高等品质性能,是密云地面站网络存储系统建设方案的首选。同时,大量资料表明,SAN也成为多媒体信息流存储、大数据量的快速网络存储、数据仓库以及决策支持等应用领域中较理想的存储方案。
3 SAN存储技术概述
3.1 FC SAN体系结构
FC SAN是通过光纤通道技术连接服务器、磁盘阵列、磁带库等存储设备的高性能专用网络。FC SAN的典型体系结构如图1所示,大致可以分为4个层次,从下到上的顺序依次为存储设备、交换设备、应用设备和LAN。
3.2 FC SAN架构可靠性分析
可靠性是指部件、元件、产品或者系统在规定的环境下、规定的时间内、规定条件下无故障地完成其规定功能的概率。本文利用可靠性R指标,对SAN架构进行可靠性计算。
在图1中,为了方便讨论,假设LAN和电源等其他系统的可靠性为1,假设某一个应用设备通过单条数据链路的可靠性概率为Pi。从应用设备到存储设备,根据数据交换的逻辑过程知道,在某1条数据链路中,1台应用设备通过1台交换机就能够访问到一套存储设备,是典型的串联关系模型;在整个系统中,1台应用设备可以通过2台交换机访问存储层中2套存储设备,可以看作是并联关系,共有4条数据链路。串联关系和并联关系在概率论和可靠性理论中具有严格的数学定义。就目前产品市场而言,单个设备的可靠性Tj一般高于0.9,假设Tj=0.9(j=1,2,3),在图1中一条链路由3个设备串联,系统可靠性概率计算公式为Pi=T1T2T3=0.93=0.729(i=1,2,3,4);多条链路并联的后的系统可靠性概率为:R=1-(1-P1)(1-P2)(1-P3)(1-P4)=1-(1-0.729)4=0.994。
表2:SAN架构的并联与串联关系模型可靠性计算分析
单个设备可靠性 串联可靠性 并联可靠性
Tj =0.9 Pi=0.729 R=0.994
Tj =0.8 Pi=0.512 R=0.943
Tj =0.7 Pi=0.343 R=0.813
上述计算结果表明,当单个设备可靠性Tj大于0.9时,系统整个可靠性概率R大于0.99。SAN架构的并联关系模型可靠性极高,远远高于单条数据链路的串联关系模型。随着时间的推移,单台设备的可靠性逐渐下降,两种模型的可靠性差异越来越大,并联模型的可靠性优势越发明显。因此,密云站在设计存储方案时首选采用FC SAN架构的并联关系模型。
4 密云卫星地面站网络存储系统设计
4.1 系统需求分析
密云卫星地面站主要完成卫星探测数据的接收与存储管理功能,同时为用户提供全面的、集中的站内数据接收设备监视与控制功能。密云站不仅要存储卫星下行的科学数据,还要存储地面站监视信息和控制信息。
在探月工程嫦娥三号任务设计中,密云站计算机系统由6台业务运行服务器(IBM)、4台应用工作站以及存储系统构成。6台业务运行服务器采用的是AIX6.0操作系统,要求均能独立访问共享存储系统;同时4台应用工作站采用的是Windows7专业版操作系统,也要独立访问共享存储系统。因此,在设计存储系统时要求采用的共享文件系统必须支持异构多操作系统。
设计中,LAN中6台业务运行服务器和4台工作站需要同时向磁盘写入16路科学数据,每一路科学数据的最大传输速率可达15MB/s,因此要求存储系统的吞吐率不小于240MB/s。同时,每一路写入的科学数据文件的最大容量可达810GB,要求存储系统支持大文件的读写。同时,系统数据库记录的设备监视信息、控制信息以及站内日志信息,要求做到实时记录与定期转存,也是一个不可忽视的数据量,平均每月增长几个GB。
由此可见,嫦娥三号任务中,密云站接收科学数据量大、数据吞吐率高以及平台异构等要求是对存储系统最严峻的考验。现有的单机连接独立存储设备的方案已经不能满足任务需要。因此,统筹考虑建设一个适应密云地面站未来发展的网络存储系统势在必行。
4.2 系统设计原则
系统设计时要充分考虑未来地面站的业务发展需要,分别从系统的吞吐率、安全性、可靠性和扩展性方面考虑。
4.2.1 吞吐率高
要求存储系统的吞吐率为不小于240MB/s,同时每一路写入的数据文件的最大容量可达810GB。
4.2.2 安全性好
通过Stornext软件实现文件共享访问控制机制。
4.2.3 可靠性好
确保2台MetaData服务器互为备份,一旦处于活动状态的主机发生故障,另一台主机主动接管其所有业务;正常情况下,2台主机还能做到负载均衡。
4.2.4 扩展性好
采用先进的光纤通道技术,可在光纤网络上增加光纤设备;只需增加硬盘即可实现存储空间扩容,满足系统扩展需要。
4.3 Stornext共享文件系统工作原理
SAN存储网络结构只提供底层的物理上的共享访问支持,并不提供文件系统层的共享访问,从而造成存储空间浪费、多机并行处理/集群计算无法有效展开。为了确保大量客户端主机对同一存储设备的共享访问,就需要专门的共享文件系统软件。
Stornext文件系统是一个高性能的共享文件系统,支持采用不同操作系统的多台服务器同时访问文件系统,所有的用户节点(访问接入点)都可以运行Stornext客户端(统称DLC),访问Stornext共享文件系统,并支持在多种拓扑结构上访问数据,比如SAN。
Stornext的工作原理是:LAN客户端通过LAN向MetaData服务器(MDS)发出I/O操作请求;MetaData服务器处理该请求,并将数据访问的许可证和磁盘地址返回给客户端;LAN客户端通过LAN得到访问许可和数据块地址,并通过Stornext的客户端(DLC)向数据盘读写数据。Stornext为存储系统提供便捷的文件创建、存储与共享管理功能。
4.4 系统设计
密云卫星地面站存储系统采用FC+千兆以太网的双网共享存储架构构建网络。配置了两台MDS(Meta Data Server)服务器,采用双机集群方式,2台MDS均正常工作,共同处理同一事务,当其中一台发生故障时,另外一台主机承担所有事务。磁盘阵列采用2台EMC CX480,配置双控制器,A(10T)、B(10T)两个磁盘柜,满载20TB的光纤接口硬盘。配置2台32口的FC交换机,用于存储设备与应用设备之间的数据交换,可以提供高达4Gb/s的传输速率。密云站6台业务服务器中,2台服务器通过HAMP软件构成双机热备系统(TASK1/TASK2),完成地面站计划调度与任务管理功能;2台服务器构成双机集群方式(DTS1&DTS2),完成数据接收与传输功能;另外2台服务器也是双机集群方式,加载数据库(DATABASE1&DATABASE2);6台业务服务器与4台工作站均配备4GB高速光纤通道卡(HBA),通过光纤连接到FC交换机形成SAN存储网络。数据交换通过光纤通道进行,不通过局域网LAN,提高了LAN网络的利用率。密云卫星地面站存储系统主要设备及管理软件见表3。
5 密云卫星地面站网络存储系统运行效果
密云卫星地面站网络存储系统于2012年5月建成并投入试运行。系统试运行1年间,运行可靠、稳定,保障了各个应用系统的正常运行。为2013年12月中国探月工程“嫦娥三号”任务地面应用系统数据接收分系统密云卫星地面站成功接收科学探测数据奠定了坚实的基础。成功解决了卫星地面站原有的数据存储问题。在资源整合上,所有存储空间都在磁盘阵列上,磁盘阵列满配后空间可达到25TB,通过Stornext共享文件系统为每个应用服务划定LUN,还可以根据实际需要为应用服务扩展空间。在存储系统空间扩展上,只需增加硬盘数量即可达到扩展容量的要求,扩容期间,所有应用服务不中断,保证了业务连续性。在可靠性上,整个架构不存在单点故障,不论是MetaData服务器还是,数据交换链路均实现了热备份设计,MetaData主备服务器自动切换仅需要5s。在系统吞吐率上,经过验收测试,存储系统可以提供1020MB/S的读写速率。在安全性上,系统采用了Stornext共享文件系统,实现了文件共享的访问控制机制,每个应用服务均需要得到Stornext文件系统的授权才能访问存储系统,并且磁盘空间的获取对于应用服务是透明的,减少了应用服务器的工作。
6 结束语
通过对DAS,NAS和SAN三种网络技术的对比分析以及实践应用,表明SAN架构在资源整合、空间扩展、可靠性、吞吐率和安全性等方面具有明显优势。随着网络数字化时代的到来,所有企业都会面临着数据容量大、数据传输率高、系统可靠性高等众多要求,那么构建SAN网络存储系统是必然的选择。密云地面站网络存储系统的建设成功就是一个很好的应用例子。
参考文献
[1]郝尚永.基于SAN架构的医院网络数据存储系统设计与实现[J].医院数字化,2009,30(12):47-48.
[2]汪宏伟.基于SAN的高可靠性校园网络信息存储系统的设计[J].情报探索,2006,(2):54-56.
[3]张建忠,陈松乔,方正等.一种基于SAN架构的存储网络系统的设计与实现[J].中南大学学报(自然科学版),2008,39(2)350-355.
[4]郭永基.可靠性工作原理[M].北京:清华大学出版社,2002,43-50.
[5]王月,贾卓生.网络存储技术的研究[J].计算机技术与发展,2006,16(6):107-112.
[6]赵俊杰,詹永照,蔡涛.网络存储安全系统研究综述[J].计算机应用与软件,2008,25(2):271-274.
作者简介
薛喜平(1984-),男。中国科学院国家天文台,硕士,助理研究员,研究方向为计算机网络以及计算机软件应用。负责国家天文台密云卫星地面站计算机系统、应用软件和卫星下行科学数据的管理工作。
相关期刊
精品范文
10网络监督管理办法