存储系统主流技术比较分析.doc

存储系统主流技术比较分析 信息技术系统现已进入以数据为中心的时代，随着存储技术的不断发展和完善，企业的技术基础架构正在从以前复杂的以服务器为中心的IT架构逐渐向以数据存储为中心的方向演变。我公司目前技术系统已初步建成以SAN存储（主要为EMC的 Symmetrix DMX）为核心，NAS（主要为NetAPP的FAS3170）存储为补充的多层次的存储系统架构。下面将从存储系统架构、磁盘技术、存储管理和云存储等几个方面分析存储技术在我公司技术系统的应用和发展方向。一、 存储系统架构存储系统架构的发展由内置存储进化为独立的外置存储，再由直连式存储发展为网络式存储，由功能单一的SAN存储网络发展为统一多功能存储，目前SAN架构与IP网络也有逐渐融合的趋势。发展过程如下图所示：内置存储外置存储Direct-Attached Storage直接式存储（DAS）Fabric-Attached Storage网络存储（FAS）Network-Attached Storage网络接入存储（NAS） Storage Area Network存储区域网络（SAN）1.1、 内置存储与外置存储传统的内置存储是将存储设备（通常是磁盘）与服务器其他硬件直接安装于同一个机箱之内，且该存储设备是为服务器所独占使用。外置存储既是将存储设备从服务器中独立出来，根据与服务器物理连接的方式可分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）；网络化存储根据传输协议又分为：网络接入存储（Network-Attached Storage，简称NAS）和存储区域网络（Storage Area Network，简称SAN）。1.2、直连式存储（Direct-Attached Storage，DAS）直连式存储必须依赖服务器主机操作系统进行数据的IO读写和存储维护管理，所以数据备份和恢复必然占用服务器主机资源（包括CPU、系统IO等），直连式存储与服务器主机之间的连接通道通常采用SCSI连接，带宽为10MB/s、20MB/s、40MB/s、80MB/s等，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。而且直连式存储无法很好的处理数据共享的需求，目前只使用于较简单的应用中。1.3、SAN与NAS使用存储网络可以提高数据存储的统一性，实现数据集中管理，且数据容易扩充并具有容错功能。针对存储网络可采取两种不同的实现手段，即SAN(Storage Area Networks)存储区域网络和NAS（Network Attached Storage）网络接入存储。存储区域网络（SAN）采用光纤通道（Fibre Channel）技术，通过光纤通道交换机连接存储阵列和服务器主机，采用SCSI、FC-AL接口，建立专用于数据存储的区域网络。网络接入存储（NAS）采用网络技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。随着IP网络技术的发展，网络接入存储（NAS）技术正发生质的飞跃。随着千兆以太网（1000Mbps）的商用化，为网络接入存储（NAS）带来质的变化和市场广泛认可。由于网络接入存储采用TCP/IP网络进行数据交换，并采用业界标准文件共享协议如：NFS、HTTP、CIFS实现共享。不同厂商的产品（服务器、交换机、NAS存储）只要满足协议标准就能够实现互连互通，无兼容性的要求；目前万兆以太网（10000Mbps）的成熟和推广，存储网络带宽将大大提高NAS存储的性能。NAS和SAN最本质的不同就是文件管理系统在哪里。SAN结构中，文件管理系统（FS）还是分别在每一个应用服务器上；而NAS则是每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统。换句话说：SAN提供的是存储空间服务（磁盘）而NAS提供文件系统管理与服务（文件服务）。NAS的结构及采用的协议使得NAS具有以下优点：异构平台下的文件共享；容易安装，使用和管理都很方便，实现即插即用；广泛的连接性，可以适应复杂的网络环境；较低的总拥有成本等。但是在实际应用中NAS也表现出一些缺陷：(1)在文件访问的速度方面：NAS采用的是File IO 方式， File的IO请求先经过整个TCPIP协议栈封装，再经过网络传输，再对存储设备进行读写。数据取出来之后要经过类似的与之相反的过程，这带来巨大的网络处理开销，因此NAS的文件访问速度相对SAN而言较低，不适合对访问速度要求高的应用场合，如数据库应用，在线事务处理等。2)NAS需要占用LAN的带宽，需要为NAS划分独立的存储专用网络。而SAN采用Fibre Channel协议构建的专用于存储的网络。存储设备和SAN中的应用服务器之间采用Block IO的方式进行数据交换。独特的体系结构和构建技术使得SAN具有如下优点：高性能、高速存取，目前光纤通道可提供2Gbps-4 Gbps的带宽，新的8Gbps的设备也已投入商用；集中存储和管理：可以整合各种不同的存储设备形成一个统一的存储池，向用户提供服务；可扩展：服务器和存储设备相分离，两者的扩展可以独立进行；实现LANfree backup，数据备份不占用LAN带宽；当然SAN也有自身的缺陷：如异构环境下的文件共享方面以及较高的拥有与维护成本。1.4、IP与SAN的融合（iSCSI与FCoE）SAN(Storage Area Networks)是专用于存储的网络。基于FC（Fibre Channel网状通道）协议的 SAN是目前存储系统的主流技术。但是IP技术仍然是IT行业中最成熟、最开放、发展最迅速、成本最低、管理最方便的数据通讯方式。通过IP技术实现存储架构，可以更好的适应广域网数据应用、大规模服务器数据集中、海量数据存储等应用对新一代存储系统的要求。其中代表性技术就是iSCSI（TCP/IP上的SCSI ）。iSCSI协议是一种纯粹的IP存储网络技术，它不包含任何的FC内容，iSCSI通过IP网络传输SCSI指令集，在IP网络上实现块级数据传输。 iSCSI协议位于TCP/IP协议和SCSI协议之间，可以起到连接这两种协议网络的作用。 2003年，以IBM等公司共同发起的iSCSI(Internet SCSI)协议，通过IETF组织的审议，公布为RFC标准。基于iSCSI协议构建的IP SAN存储，已崭露头角，成为新一代存储系统的标准，成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。我公司基础网络系统中已实现10Gb网络技术的应用，为IP存储技术在我公司存储系统中的推广建立了坚实的网络基础。且目前Citrix终端虚拟化系统已实际使用iSCSI存储技术并表现良好。随着基础网络设备的不断更新，10Gb网络技术将在我公司技术系统很快得到普及，届时IP-SAN技术也将在我公司的存储系统中成为越来越重要的组成部分。随着网络技术的高速发展，网络传输带宽正成倍增长。目前10GB正成为商用主流技术，且20Gb/s，20Gb/s甚至100Gb/s的技术标准正在制定中。而FC SAN的带宽主流仍为2-4Gb，8Gb技术正逐渐推广。传统FC在底层传输速率的发展已明显落后于以太网。为了让存储系统更好的使用以太网资源，目前已推出了FCoE（ Fibre Channel over Ethernet以太网光纤通道）。即将光纤通道架构运行于10Gbps增强型以太网（CEE）上，从而形成融合网络。FCoE技术标准可以将光纤通道映射到以太网，可以将光纤通道信息插入以太网信息包内，从而让服务器-SAN存储设备的光纤通道请求和数据可以通过以太网连接来传输，而无需专门的光纤通道结构，从而可以在以太网上传输SAN数据。FCoE面向的是10G以太网，其应用的优点是在维持原有服务的基础上，可以大幅减少服务器上的网络接口数量（同时减少了电缆、节省了交换机端口和管理员需要管理的控制点数量），从而降低了功耗，给管理带来方便。此外它还提高了系统的可用性。由于FCoE不使用TCP/IP协议，因此FCoE数据传输不能使用IP网络。FCoE是专门为低延迟性、高性能、二层数据中心网络所设计的网络协议。FCoE协议要求底层的物理传输是无损失的。因此，厂商已经开发了针对以太网标准的扩展，尤其是针对无损10Gb以太网的速度和数据中心架构。这些扩展可以进行所有类型的传输。这些针对以太网标准的扩展被Brocade等厂商称为“融合型增强以太网（CEE）”，被思科称为“数据中心以太网（DCE）”。增强型以太网能够支持多种传输类型，包括FCoE和TCP/IP，因此许多厂商认为它将是下一代数据中心的统一架构，增强型以太网将能够将服务器和存储、IP网络以及其他服务器连接在一起，从而为集群式应用程序服务。FCoE技术被业界认为有可能将彻底颠覆存储网络架构目前的格局，成为未来主导的存储传输协议。虽然目前尚未在我公司存储系统中实际应用，但是该技术仍值得我们长期关注和了解。二、 磁盘技术磁盘是存储系统的基础部件，磁盘的性能与稳定性是存储系统的重要性能指标之一。磁盘随着接口类型的不同可以分为IDE、SATA、SCSI、SAS、FC等类型。其中目前主要为外置存储设备所使用的是SATA磁盘、SAS磁盘与FC磁盘。2.1、SATA磁盘、SAS磁盘与FC磁盘SATA（Serial ATA）磁盘属于高性价比磁盘，其单个磁盘容量比SAS和FC磁盘大，转速比SAS和FC磁盘低，当然价格也比后者低，因此SATA磁盘主要应用于对容量需求大或者性能要求相对不高的场合，例如视频监控、文件服务、数据备份等应用，或者小型的数据库、应用系统等。而SAS（Serial Attached SCSI即串行连接SCSI）磁盘和FC（Fiber Channel，光纤通道）磁盘都属于高性能磁盘（主流转速15000转/s，主流容量300GB），主要用于对性能要求苛刻的关键核心应用。SAS和FC磁盘都是采用相同的内部结构，包括相同的物理盘片、相同的读写磁头、相同的传动装置，采用相同的读写原理。从结构上看，两者的唯一区别在于磁盘与外部系统连接的接口，SAS磁盘采用了SAS接口， FC磁盘采用了FC接口，满足不同的连接接口要求。决定磁盘性能的主要指标包括磁盘转速、缓存容量、内部数据传输率、平均寻道时间、延迟时间等，其中磁盘转速是最关键的指标。主流SAS磁盘和FC磁盘采用相同的内部结构，同时都采用15000转的转速，决定了两者绝大部分指标都相同。指标上的区别主要在于外部传输率，这是由物理接口所决定的，SAS磁盘采用了SAS接口，目前支持300MB带宽，下一代将支持600MB，FC磁盘采用了FC接口，目前最大支持400MB带宽。而实际上，受内部传输率限制，外部传输率并不会成为传输带宽瓶颈。下图是希捷15K/10K转磁盘参数表，其中把2.5寸SAS盘和3.5寸FC盘放在同一个列中，其中SS后缀表示的是2.5寸SAS磁盘，FC后缀表示的是3.5寸FC磁盘：从中可以看出SAS盘和FC盘只要转速一样性能完全一致。目前我公司存储系统仍以FC磁盘为主，部分采用了SATA磁盘。但是随着将SATA技术和SCSI技术有机结合的SAS技术的逐步成熟和速度的提高， SAS磁盘将成为传统HDD硬盘的主流产品。与FC磁盘相比，SAS盘主要好处有以下几点：在兼容性方面，SAS技术了简化内部连接的设计，通过共用组件降低设计成本。为保护用户投资，SAS的接口技术可以向下兼容SATA。SAS系统的背板既可以连接具有双端口、高性能的SAS驱动器，也可以连接高容量、低成本的SATA驱动器。在成本方面，SAS的相对于FC更是明显。SAS产品的成本从芯片级开始，都远远低于FC，而正是因为SAS突出的性价比优势，使SAS在硬盘接口领域，给光纤存储带来极大的威胁。与FC相比，SAS不仅成本更加低廉，而且还能更有效地处理故障。SAS在组件层次上对故障进行报告。FC无法在组件层次上报告故障，只能对环路层次上的故障进行报告，这就意味着对故障进行纠正需要更长的时间，从而使可用性水平下降与SAS技术相比，FC技术唯一的优势就是连接距离。在SAS规范里面并没有严格限定线缆长度，而是靠发送水平和接收敏感度来考察，制造商通过检测线缆特性来判定其所能达到的距离高质量线缆可以连接得更远，当然成本也更高。现在SAS线缆连接距离的要求已经提高到8米，通过3个扩展器之后，SAS的连接距离能够超过32米，足以应付机内存储设备连接和近距离DAS的要求了。而FC是傲人的10公里2.2、固态硬盘技术传统的HDD (Hard Disk Drive )硬盘由干机械架构的存在，其主轴转速基本已没有太大的提高空间，而且硬盘相应的发热噪音和寿命问题是难以解决的问题。在HDD硬盘遭遇性能瓶颈时，SSD(Solid State Disk)固态硬盘却以其速度较快、防震及耗电量较少等优势，拥有着极为广阔的发展前景。固态硬盘也称作电子硬盘或者固态电子盘，是由控制单元和固态存储单元（DRAM或FLASH芯片）组成的硬盘。固态硬盘的接口规范和定义、功能及使用方法上与普通硬盘的相同，在产品外形和尺寸上也与普通硬盘一致。由于固态硬盘没有普通硬盘的旋转介质，因而抗震性极佳。而且其芯片的工作温度范围很宽（-40-85）。固态硬盘的存储介质分为两种，一种是采用闪存（FLASH芯片）作为存储介质，另外一种是采用DRAM作为存储介质。基于闪存的固态硬盘采用FLASH芯片作为存储介质，这也是我们通常所说的SSD。它最大的优点就是可以移动，而且数据保护不受电源控制，能适应于各种环境，但是使用年限不高，适合于个人用户使用。在基于闪存的固态硬盘中，存储单元又分为两类：SLC（Single Layer Cell 单层单元）和MLC（Multi-Level Cell多层单元）。两者特性及区别如下图示：SLC全称是单层式储存(Single Level Cell)，是指一个Block(块，Flash的基本存储单元，也可称为Cell)只有两种电荷值，高低不同的电荷值表明0或者1，因为只需要一组高低电压就可以区分出0或者1信号，所以SLC最大的驱动电压可以做到很低。SLC因为结构简单，在写入数据时电压变化的区间小，所以寿命较长，传统的SLC Flash可以经受10万次的读写，因此出现坏块的几率较小，因为存储结构非常简单，一组电压即可驱动，所以其速度表现更好。不过这种一个块只存储一组数据的模式无法在相同的面积上实现较高的存储密度，所以SLC的闪存容量相对来说都比较小。MLC的全称是多层式储存(Multi Leveled Cell)， MLC充分利用块的技术，它采用较高的电压驱动，通过不同级别的电压在一个块中记录两组位信息(00、01、11、10)，这样就可以将原本SLC的记录密度理论提升一倍。不过MLC相比SLC除了同制程、同面积时理论大一倍的记录空间外，也存在一些先天的弊端，比如说电压区间更小，Flash就需要更多的CRC校验空间，这会大概占据块中10%的空间，因此实际使用中MLC的容量不到SLC的一倍。而因为MLC Flash电压变化更频繁，所以基于MLC技术的Flash在寿命方面相较SLC要差。此外MLC技术还有一个缺点，就是它的读写速度不如SLC，一个块存储两组位数据，自然需要更长的时间。基于DRAM的固态硬盘：采用DRAM作为存储介质，目前应用范围较窄。它仿效传统硬盘的设计、可被绝大部分操作系统的文件系统工具进行卷设置和管理，并提供工业标准的PCI和FC接口用于连接主机或者服务器。应用方式可分为SSD硬盘和SSD硬盘阵列两种。基于DRAM的固态硬盘需要独立电源来保护数据安全。固态硬盘与传统机械硬盘比较，拥有以下优点：1. 启动快，没有电机加速旋转的过程。2. 不用磁头，快速随机读取，读延迟极小。3. 相对固定的读取时间。由于寻址时间与数据存储位置无关，因此磁盘碎片不会影响读取时间。4. 基于DRAM的固态硬盘写入速度极快。5. 无噪音。因为没有机械马达和风扇，工作时噪音值为0分贝。某些高端或大容量产品装有风扇，因此仍会产生噪音。6. 低容量的基于闪存的固态硬盘在工作状态下能耗和发热量较低，但高端或大容量产品能耗会较高。7. 内部不存在任何机械活动部件，不会发生机械故障，也不怕碰撞、冲击、振动。8. 工作温度范围更大。典型的硬盘驱动器只能在5到55范围内工作。而大多数固态硬盘可在-1070工作，一些工业级的固态硬盘还可在-4085。9. 低容量的固态硬盘比同容量硬盘体积小、重量轻。但这一优势随容量增大而逐渐减弱。直至256GB，固态硬盘仍比相同容量的普通硬盘轻。下图为固态硬盘与传统机械硬盘读性能比较从图中可以看出，固态硬盘的平均读取速度为143MB/s，机械硬盘仅为66.8MB/s，前者是后者的两倍多，表现出固态硬盘出色的读取性能。下图为固态硬盘与传统机械硬盘传输速率性能比较从中可以看出机械硬盘在瞬间传输速率较低，而固态硬盘的最小与最大传输速率相对稳定很多。固态硬盘与传统机械硬盘比较，存在着以下缺点：1. 成本高。每单位容量价格是传统硬盘的5-10倍（基于闪存），甚至200300倍（基于DRAM）。2. 容量低。目前固态硬盘最大容量远低于传统硬盘。3. 由于不像传统硬盘那样屏蔽于法拉第笼中，固态硬盘更易受到某些外界因素的不良影响。如断电（基于DRAM的固态硬盘尤甚）、磁场干扰、静电等。4. 写入寿命有限（基于闪存）。一般闪存写入寿命为1万到10万次，特制的可达100万到500万次。（但以目前的技术来说，其寿命已经远远高于实际使用年限。比 如，Intel固态硬盘的官方数据显示，无论使用频度高低，它最少也有5年的有效使用期。）5.基于DRAM的固态硬盘能耗会高于传统硬盘，尤其是关闭时仍需供电，否则数据丢失。固态存储介质迟早会取代机械磁盘，这是磁盘技术的大势所趋。固态存储介质的可靠性、容量、存储密度以及成本均会越来越变得让人容易接受。而且随着固态存储介质应用的推广，相信对目前存储产品的格局会产生根本性的影响。虽然固态存储介质目前未在我公司存储系统中实际投产，但是相信很快我们将会实际使用，由于我公司业务处理系统，数据通信系统，查询统计系统处理过程对数据IO的高性能要求越来越高，固态存储介质将会以很快的速度实际应用在很多核心技术系统中。三、 存储管理3.1统一存储传统的NAS和SAN是两种不同的技术，但两者并非相互竞争，它们应用在不同的场合，是相互补充的。两种结构可能因满足不同的需求而同时存在。当然这也带来了一些问题：两者构建技术不同，企业要求同时构建和管理两种不同的存储结构，增加了实现和管理成本，同时也不能很好地做到存储资源的整合等。NASSAN的融合技术即统一存储正是在这种情况下应运而生。统一存储实现在一套存储系统中，可以同时实现SAN/NAS/iSCSI的支持。从硬件结构来看，统一存储系统同时提供了支持SAN所需的FC接口和支持NAS和iSCSI所需的以太网接口。从软件上来看，统一存储系统同时实现了支持SAN的FCP协议、支持NAS的NFS和CIFS协议以及支持iSCSI的iSCSI协议前端的业务主机就可以利用相应的方式来访问后端FAS系统上的数据。这样，只要一套存储系统，用户就完全可以根据自己应用的具体情况自由选择合适的存储架构，对于那些需要高性能高可靠性的应用系统，就可以采用SAN架构。对于那些基于文件存储的数据且需要被前端多台主机共享的数据，就可以采用NAS架构。如果想节约成本又想实现SAN的架构，就可以利用iSCSI架构。如果用户的应用有不同的数据存储和访问的需求，就可以同时利用SAN/NAS/iSCSI这三种架构的组合。从管理的角度来看，用户不管采用那种架构或同时采用几种架构，都可以使用统一的管理界面来管理整套存储设备和存储空间，可以简化存储系统的管理维护工作量。统一存储在我公司技术系统中已有较广泛应用。但是，在建设和应用的过程中也发现，目前传统存储厂商仍然将SAN作为高端存储设备的默认架构，而把统一存储作为中端存储设备看待。这样，对统一存储设备的维护及服务力度不够，对用户的技术支持也存在一定问题。使用户对将核心应用数据存放于统一存储心存疑虑。另外，理论上说，统一存储可以解决用户全部的存储需求。这样也必然带来风险集中度过高的问题，一旦发生软硬件故障，对用户技术系统造成的影响也将是巨大的。所以，目前我公司技术系统中统一存储还是适用于终端虚拟化系统、电子办公系统等非核心系统且存储容量需求较大的应用。随着统一存储在行业内重要性不断增加，相关的服务和支持不断完善后再逐步增加应用。3.2虚拟存储与FAST虚拟存储即在物理存储系统和服务器之间增加一个虚拟层，它管理和控制所有存储并对服务器提供存储服务。服务器不直接与存储硬件打交道，存储硬件的增减、调换、分拆、合并对服务器层完全透明。 虚拟存储隐藏了复杂程度，允许将现有的功能集成使用，摆脱了物理容量的局限。自动存储分层 (FAST) 技术主要用来在最大程度地降低成本和复杂性的同时，并可以从基于固态存储介质的性能改善中受益。可以逐步推广固态存储介质在存储系统中的应用范围。从 I/O 角度来看，FAST 的主要目标是将随机 I/O 尽可能多地转移到高性能介质（固态存储介质）上，以最大程度地减少 HDD 上的随机 I/O 负荷，并减少平均延迟。随机 I/O 和顺序 I/O 之间的区分非常重要，因为对于连续读写，闪存与 HDD 相比性价比优势并不明显（原因在于 HDD 非常适于处理顺序 I/O）。实现 FAST 有两种本质上不同的方式：迁移和缓存。基于迁移的 FAST 可自动化数据迁移的流程。当一个数据块被确定为“热”数据时，会将该数据块移至速度较快的介质，当该数据块变“冷”时，会将其移回速度较慢的介质。移入和移出闪存都需要访问 HDD。基于缓存的 FAST 使用缓存方式将热数据“提升”到高性能的介质中。由于 HDD 上仍保留有数据的副本，因此当数据变“冷”时，只需将其从缓存中释放即可，而不需要额外的 HDD I/O。虚拟存储层将热数据提升到缓存，同时将 HDD 的I/O 开销保持在最低水平。无论何时接收到针对卷或 LUN 上某个数据块的读取请求，系统都将自动提升该数据块。提升是直接在系统缓冲区缓存中发生的，所以不需要额外的 HDD I/O。由于数据块在第一次从磁盘读取之后可以立即进行提升，因此也不需要额外的磁盘 I/O。相比之下，基于迁移的 AST