毕业论文-有关mfs分布式文件系统设计

摘要当前互联网高速发展，在互联网的众多应用中，视频网站是其中主要应之一。视频文件中央存储是视频网站的视频总库，拥有该视频网站的所有视频文件。以前的存储系统是SANNAS的方式，特点是需要的厂家支持，要用专业的网络设备，专业的人才稀少，设备成本高昂。1TB的存储空间的成本要5000，而现在互联网海量的视屏文件，上EB的存储空间，其主要的收入来自于广告，而版权，带宽是其主要的支出，加上运营，损耗，传统的存储方式成本实在太高，无法使用，于是需要使用低成本，高性能的解决方案。由于科学技术的不断的发展，硬件成本不断的降低，大容量硬盘已经价格低廉，而传统的存储价格没有降低，于是有了利用硬盘价格便宜，用本地磁盘当存储的分布式存储的解决方案，来应对现在的形式。由于中央存储是视频网站后端管理系统视频下发与分发的一个环节，性能要求主要来自于视频网站新视频下发与分发的环节。以每天发布50部视频，每部视频1G为例，要求中央存储写性能20MB/S，以视频网站流媒体节点6的为例，同时读的性能要120MB/S。稳定性要求是不会因为大流量而宕机。冗余要求每个数据文件至少要有2份拷贝。易用性要求当系统发生故障时能快速的恢复，当存储空间不足时，能够快速的扩容。目录1绪论111可靠性1111可靠度的重要性1112可信性基准程序法112故障注入2121故障注入实现方法综述2122软件实现的故障注入方法22方案综述321课题思路322模拟方法选择3221故障、错误、失效概念3222故障参数选择33软件模拟方案生成431故障、错误分类法及传播模型4311ODC故障、错误分类4312ODC分类下的数据4313故障传播模型432错误、故障细化分析和模拟4321错误类型分析4322故障分析基础4323赋值故障分析和模拟4324控制故障分析和模拟4325算法故障分析和模拟5326时间/序列故障分析和模拟5327接口故障分析和模拟5328功能故障分析533软件故障模拟方案54硬件模拟方案生成641电气级硬件故障642硬件故障的表征及模拟方案6421处理器硬件故障分析和模拟6422地址总线硬件故障分析和模拟6423内存和数据总线硬件故障分析和模拟643硬件故障模拟方案65结论8参考文献9附录10谢辞111分布式文件系统MOOSEFS由于用户数量的不断攀升,我对访问量大的应用实现了可扩展、高可靠的集群部署（即LVSKEEPALIVED的方式），但仍然有用户反馈访问慢的问题。通过排查各服务器的情况，发现问题的根源在于共享存储服务器NFS。在我这个网络环境里，多个服务器通过NFS方式共享一个服务器的存储空间，使得NFS服务器不堪重负。察看系统日志，全是NFS服务超时之类的报错。一般情况下，当NFS客户端数目较小的时候，NFS性能不会出现问题；一旦NFS服务器数目过多，并且是那种读写都比较频繁的操作，所得到的结果就不是我们所期待的。图81为某个集群使用NFS共享的情形用户负载均衡器WEB服务器NFS备份服务器MYSQL服务器NFS服务器挂接NFS图11多个应用共享NFS文件系统这种架构除了性能问题而外，还存在单点故障，一旦这个NFS服务器发生故障，所有靠共享提供数据的应用就不再可用。尽管用RSYNC方式同步数据到另外一个服务器上做NFS服务的备份，但这对提高整个系统的性能毫无帮助。基于这样一种需求，我们需要对NFS服务器进行优化或采取别的解决方案。然而优化并不能对应对日益增多的客户端的性能要求，因此唯一的选择只能是采取别的解决方案了。通过调研，分布式文件系统是一个比较合适的选择。采用分布式文件系统后，服务器之间的数据访问不再是一对多的关系（1个NFS服务器，多个NFS客户端），而是多对多的关系，这样一来，性能大幅提升毫无问题。11关于MOOSEFS到目前为止，有数十种以上的分布式文件系统解决方案可供选择，如LUSTRE,HADOOP,PNFS等等。我尝试了PVFS,HADOOP,MOOSEFS这三种应用，参看了LUSTRE、KFS等诸多技术实施方法，最后我选择了MOOSEFS（以下简称MFS）这种分布式文件系统来作为我的共享存储服务器。为什么要选它呢我来说说我的一些看法1、实施起来简单。MFS的安装、部署、配置相对于其他几种工具来说，要简单和容易得多。看看LUSTRE700多页的PDF文档，让人头昏吧。2、不停服务扩容。MFS框架做好后，随时增加服务器扩充容量；扩充和减少容量皆不会影响现有的服务。注HADOOP也实现了这个功能。3、恢复服务容易。除了MFS本身具备高可用特性外，手动恢复服务也是非常快捷的，原因参照第1条。4、我在实验过程中得到作者的帮助，这让我很是感激。111MFS特性（根据官方网站翻译）高可靠性（数据能被分成几个副本存储在不同的计算机里）。图82展示了这种特性图12MFS文件副本存储位置通过增加计算机或增加新的硬盘动态扩充可用磁盘空间可以设置删除文件的空间回收时间ROOTMYSQLBKSERYDIRMFSGETTRASHTIMEBIND940TARGZBIND940TARGZ600文件被删除10分钟后（600秒），才真正删除文件，回收磁盘空间。为文件创建快照112MFS文件系统的组成MFS分布式文件系统由元数据服务器、元数据日志服务器（也称备份服务器）、数据存储服务器、客户端（用户主机）等几部分组成元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器MASTER，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个MASTER服务器，进一步提高系统的可靠性。元数据日志服务器。备份MASTER服务器的变化日志文件，文件类型为CHANGELOG_MLMFS。当元数据服务器数据丢失或者损毁，可从日志服务器取得文件进行恢复。数据存储服务器CHUNKSERVER。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器CHUNKSERVER之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。113MFS读写处理过程MFS读取数据分以下4个步骤1、客户端向元数据服务器发请求。2、元数据服务器把所需数据存放的位置（CHUNKSERVER的IP地址及CHUNK编号）告知客户端。3、客户端向已知CHUNK服务器请求发送数据。4、客户端取得所需数据。整个读取数据如图13所示图片来源于官方网站WWWMOOSEFSORG图13MOOSEFS读取数据过程数据传输并不通过元数据服务器。这既减轻了元数据服务器的压力，同时也大大增加了整个系统的吞吐能力。在多个客户端读取数据时，读取点（CHUNKSERVER）有可能被分散到不同的服务器。写入数据的过程比读取数据要复杂一些，它大致分8个步骤1、客户端向元数据服务器发送写入请求。2、元数据服务器与CHUNKSERVER进行如下交互（这个过程是可选项目，只有当所需的CHUNKS【注1】不存在时才进行这个交互）元数据库服务器指示在某些CHUNK服务器创建分块CHUNKSCHUNK服务器告知元数据服务器，第步的操作成功。3、元数据服务器告知客户端，你可以在哪个CHUNK服务器的那个CHUNKS写入数据。4、向指定的CHUNK服务器写入数据。5、与其他CHUNK服务器进行数据同步。同步的服务器依据设定的副本数而定副本为2，则需同步一个CHUNK服务器。6、CHUNK服务器之间同步成功。7、CHUNK服务器告知客户端数据写入成功。8、客户端告知元数据服务器本次写入完毕。整个写入过程如图14所示（图片来源于官方网站WWWMOOSEFSORG）图14MFS数据写入过程与读取数据一样，MFS写入数据过程中，数据的传输任然不需要经过元数据服务器。注1CHUNKSERVER是相对于服务器的而CHUNKS则是以磁盘分区为对象，一个CHUNKS就是一个MFS磁盘分配单位2元数据服务器安装和配置元数据服务器可以是LINUX,也可以是UNIX,你可以根据自己的使用习惯选择操作系统,在我的环境里,我是用FREEBSD做为MFS元数据的运行平台。GNU源码，在各种类UNIX平台的安装都基本一致。211安装元数据服务1、下载GNU源码WGETHTTP/NCUDLSOURCEFORGENET/PROJECT/MOOSEFS/MOOSEFS/1611/MFS1611TARGZ2、解包TARZXVFMFS1611TARGZ3、切换目录CDMFS16114、创建用户USERADDMFSS/SBIN/NOLOGIN5、配置/CONFIGUREPREFIX/USR/LOCAL/MFSWITHDEFAULTUSERMFSWITHDEFAULTGROUPMFS6、编译安装MAKEMAKEINSTALL212配置元数据服务元数据服务器的配置文件被放置于安装目录/USR/LOCAL/MFS/ETC。与MFS1512版本不同的是MFS16X版安装完成只有模版文件，其后缀形如MFSMASTERCFGDIST。为了使MFSMASTER正常工作，需要两个配置文件MFSMASTERCFG及MFSEXPORTSCFG。前者为主配置文件，后者为权限控制文件（MFS客户端挂接时使用）。（1）主配置文件MFSMASTERCFG,可直接从模版文件拷贝而来，打开这个配置文件/USR/LOCAL/MFS/ETC/MFSMASTERCFG，看看都有哪些内容WORKING_USERMFSWORKING_GROUPMFSSYSLOG_IDENTMFSMASTERLOCK_MEMORY0NICE_LEVEL19EXPORTS_FILENAME/USR/LOCAL/MFS/ETC/MFSEXPORTSCFGDATA_PATH/USR/LOCAL/MFS/VAR/MFSBACK_LOGS50REPLICATIONS_DELAY_INIT300REPLICATIONS_DELAY_DISCONNECT3600MATOML_LISTEN_HOSTMATOML_LISTEN_PORT9419MATOCS_LISTEN_HOSTMATOCS_LISTEN_PORT9420MATOCU_LISTEN_HOSTMATOCU_LISTEN_PORT9421CHUNKS_LOOP_TIME300CHUNKS_DEL_LIMIT100CHUNKS_WRITE_REP_LIMIT1CHUNKS_READ_REP_LIMIT5REJECT_OLD_CLIENTS0DEPRECATED,TOBEREMOVEDINMOOSEFS17LOCK_FILE/VAR/RUN/MFS/MFSMASTERLOCK尽管每行都被注释掉了，但它们却是配置文件的默认值，要改变这些值，需要取消注释，然后明确指定其取值。接下来说明一下其中一些项目的含义。EXPORTS_FILENAME/USR/LOCAL/MFS/ETC/MFSEXPORTSCFG权限控制文件的存放位置。DATA_PATH/USR/LOCAL/MFS/VAR/MFS数据存放路径，只元数据的存放路径。那么这些数据都包括哪些呢进目录看看，大致分3种类型的文件，如图85所示图15MFS文件类型这些文件也同样要存储在其他数据存储服务器的相关目录。MATOCS_LISTEN_PORT9420MATOCSMASTERTOCHUNKSERVER，即元数据服务器使用9420这个监听端口来接受数据存储服务器CHUNKSERVER端的连接。MATOML_LISTEN_PORT9419MATOMLMASTERTOMETALOGGER，用于备份元数据服务器的变化日志。注MFS1512以前的版本没有这个项目。MATOCU_LISTEN_PORT9421元数据服务器在9421端口监听，用以接受客户端对MFS进行远程挂接（客户端以MFSMOUNT挂接MFS）其他部分看字面意思都不难理解。还有几个与时间有关的数值，其单位是秒。这个配置文件，不必做修改就能工作了。（2）配置文件/USR/LOCAL/MFS/ETC/MFSEXPORTSCFG,也可直接从模版文件复制而来。这个文件的内容，十分类似NFS服务器的EXPORTS文件实际配置时，可参照这个文件的默认行来修改以满足自己的应用需求我的MFSEXPORTSCFG文件的内容为192168930/24/RW,ALLDIRS,MAPALLMFS（3）复制文件CP/USR/LOCAL/MFS/VAR/MFS/METADATAMFSEMPTY/USR/LOCAL/MFS/VAR/MFS/METADATAMFS这是一个8字节的文件，为MFS16X新增项目。213元数据服务器MASTER启动元数据服务器可以单独启动，即使没有任何数据存储服务器（CHUNKSERVER）也是能正常工作的；因此当我们安装配置完MFS后，即可启动它。执行命令/USR/LOCAL/MFS/SBIN/MFSMASTERSTART，如果没有意外，元数据库服务器就应该作为一个守护进程运行起来。现在我们可以通过3个方面来检查一下MFSMASTER的运行状况1、检查进程，运行结果如图26所示图86检查MFSMASTER进程运行情况2、检查网络状态，运行结果如图27所示图87MFSMASTER监听端口3、检查系统日志，输入内容如图28所示图28MFSMASTER启动后的系统日志输入MFS的日志会直接写入系统日志。当我们增加数据存储服务器（CHUNKSERVER）或数据存储服务器（CHUNKSERVER）处故障时，都能在系统日志找到这些记录。注意，这个日志跟元数据变化日志不是一回事情。214关闭元数据服务器关闭元数据服务器，务必使用/USR/LOCAL/MFS/SBIN/MFSMASTERS这种方式或者执行/USR/LOCAL/MFS/SBIN/MFSMASTERSTOP。如果直接使用KILL杀死进程，将导致下次启动时出现找不到相关文件，而不能正常启动服务器。这个一定要谨慎。当然，如果发生了这个事情，还是可以通过MFSMETASTORE来恢复的。22元数据日志服务器安装和配置元数据日志服务为MFS16以后版本新增的服务，即可以把元数据日志保留在元数据服务器，也可以单独存储。为保证其可靠性，最好单独放置。需要注意的是，源数据日志守护进程跟元数据服务器（MASTER）在同一个服务器上，备份元数据日志的服务器作为它的客户端，从元数据服务器取得日志文件进行备份。221安装元数据日志服务器METALOGGER1、下载GNU源码WGETHTTP/NCUDLSOURCEFORGENET/PROJECT/MOOSEFS/MOOSEFS/1611/MFS1611TARGZ2、解包TARZXVFMFS1611TARGZ3、切换目录CDMFS16114、创建用户USERADDMFSS/SBIN/NOLOGIN5、配置/CONFIGUREPREFIX/USR/LOCAL/MFSWITHDEFAULTUSERMFSWITHDEFAULTGROUPMFS6、编译安装MAKEMAKEINSTALL231元数据日志服务（METALOGGER）配置该服务仅需要一个配置文件，这里我们只需要从模板文件复制一个，然后稍微加以修改即可，下面是我的某个METALOGGER的配置文件ROOTHYNFS2ETCMOREMFSMETALOGGERCFGWORKING_USERMFSWORKING_GROUPMFSSYSLOG_IDENTMFSMETALOGGERLOCK_MEMORY0NICE_LEVEL19DATA_PATH/USR/LOCAL/MFS/VAR/MFSBACK_LOGS50META_DOWNLOAD_FREQ24MASTER_RECONNECTION_DELAY5MASTER_HOST1921689318MASTER_PORT9419MASTER_TIMEOUT60DEPRECATED,TOBEREMOVEDINMOOSEFS17LOCK_FILE/VAR/RUN/MFS/MFSMETALOGGERLOCK这个配置文件，唯一需要修改的地方就是MASTER_HOST，它的值必须是元数据服务器的主机名或者地址。另外，为方便大家进一步理解，我把配置文件里其他几个项目简单的说明一下（）SYSLOG_IDENTMFSMETALOGGER元数据日志服务运行时，在系统日志输出的标识。如图89所示图29METALOGGER在系统日志输出的字串标识（）DATA_PATH/USR/LOCAL/MFS/VAR/MFS从元数据服务器MASTER抓回文件，然后进行存放的路径。（）BACK_LOGS50存放备份日志的总个数为，超出则轮转。在做元数据恢复时，仅仅需要最近的那个日志文件备份，因此默认的日志个数就足够了，这也保证了日志备份不会写满整个分区。（）META_DOWNLOAD_FREQ24元数据备份文件下载请求频率。默认为小时，即每隔一天从元数据服务器MASTER下载一个METADATAMFSBACK文件。当元数据服务器关闭或者出故障时，MATEDATAMFSBACK文件将消失，那么要恢复整个MFS,则需从METALOGGER服务器取得该文件。请特别注意这个文件，它与日志文件一起，才能够恢复整个被损坏的分布式文件系统。232元数据日志服务（METALOGGER）运行及关闭、启动过程为/USR/LOCAL/MFS/SBIN/MFSMETALOGGERSTARTWORKINGDIRECTORY/USR/LOCAL/MFS/VAR/MFSLOCKFILECREATEDANDLOCKEDINITIALIZINGMFSMETALOGGERMODULESMFSMETALOGGERDAEMONINITIALIZEDPROPERLY启动过程如果不能跟元数据服务器进行通信的话，系统会给出错误信息。、关闭服务，执行命令/USR/LOCAL/MFS/SBIN/MFSMETALOGGERSTOP、检查服务的运行状况。从两个方面看，一个是元数据服务器，另一个是本身的数据生成情况。察看元数据服务器网络连接，可以看见日志服务器连接到元数据服务器的TCP9419端口。查看日志服务器的工作目录，正常情况应该看见已经有文件生成了（从元数据服务器获取过来的）。可以手动从元数据服务器复制一个日志文件过来比较文件的内容。24数据存储CHUNKSERVER服务器的安装配置数据存储服务器CHUNKSERVER也是可以运行在各种类UNIX平台的，因此不再多说。一个MFS环境到底能集群多少服务器，作者的说法是上PB容量，个人建议，最好3台以上；并且专门用来做存储，不要把它跟MASTER搞到一个机器（理论上没问题，实现也是可以的，但这不是一个好策略）。因为每个数据存储服务器的安装和配置都是相同的，所以只需按照一个服务器的操作就可以了。241安装数据存储服务器CHUNKSERVER1、下载GNU源码WGETHTTP/NCUDLSOURCEFORGENET/PROJECT/MOOSEFS/MOOSEFS/1611/MFS1611TARGZ2、解包TARZXVFMFS1611TARGZ3、切换目录CDMFS16114、创建用户USERADDMFSS/SBIN/NOLOGIN5、配置/CONFIGUREPREFIX/USR/LOCAL/MFSWITHDEFAULTUSERMFSWITHDEFAULTGROUPMFS6、编译安装MAKEMAKEINSTALL242配置数据存储服务器CHUNKSERVER数据存储服务器有2个配置服务器需要修改，一个是主配置文件MFSCHUNKSERVERCFG,另一个配置文件是MFSHDDCFG。每个服务器用来分配给MFS使用的空间最好是一个单独的硬盘或者一个RAID卷，最低要求是一个分区。作者举的例子是创建一个大文件，然后挂接在本地，这不是个好主意，只能用来做实验了。1、修改配置文件/USR/LOCAL/MFS/ETC/MFSCHUNKSERVERCFG。下面是修改了的配置文件WORKING_USERMFSWORKING_GROUPMFSDATA_PATH/USR/LOCAL/MFS/VAR/MFSLOCK_FILE/VAR/RUN/MFS/MFSCHUNKSERVERPIDSYSLOG_IDENTMFSCHUNKSERVERBACK_LOGS50MASTER_RECONNECTION_DELAY30MASTER_HOST192168019MASTER_PORT9420MASTER_TIMEOUT60CSSERV_LISTEN_HOSTCSSERV_LISTEN_PORT9422CSSERV_TIMEOUT60CSTOCS_TIMEOUT60HDD_CONF_FILENAME/USR/LOCAL/MFS/ETC/MFSHDDCFG这个配置文件里，没有注释符号“”就是被修改过的项了，接下来是里面某些项的含义说明MASTER_HOST192168019元数据服务器的名称或地址，可以是主机名，也可以是IP地址，只要数据存储服务器能访问到元数据服务器就行。LOCK_FILE/VAR/RUN/MFS/MFSCHUNKSERVERPID与元数据服务器MASTER的处理完全相同。CSSERV_LISTEN_PORT9422CSSERVCHUNKSERVER,这个监听端口用于与其它数据存储服务器间的连接，通常是数据复制。HDD_CONF_FILENAME/USR/LOCAL/MFS/ETC/MFSHDDCFG分配给MFS使用的磁盘空间配置文件的位置。2、修改配置文件/USR/LOCAL/MFS/ETC/MFSHDDCFG。在我的服务器上，只有一个1T的SATA硬盘，分了一个800G容量的分区来做为MFS存储服务的组成部分。为了使MFS拥有写目录的权限，需要修改目录的属主。我的服务器的分区挂接点是/DATA,用CHOWNRMFSMFS/DATA把属主改变。因为我的每个服务器只需贡献一个分区做为MFS,因此配置文件只需要如下一行内容就可以了这个文件默认情况下有好几行，我们最好把它删掉，因为按常规情况用注释符号“”好像不起作用。/DATA243启动数据存储服务器CHUNKSERVER在数据存储服务器CHUNKSERVER执行命令/USR/LOCAL/MFS/SBIN/MFSCHUNKSERVERSTART启动数据存储守护进程通过以下几种方式来检查CHUNKSERVER的运行状态1、查看进程PSAUX|GREPMFSCHUNKSERVER2、查看网络状态，正常情况下应该看见9422处于监听状态，如果有其他数据存储服务器CHUNKSERVER在同一个元数据服务器MASTER管理下运行的话，应该能看见其他CHUNKSERVER跟本机的连接情况。如图810所示图810CHUNKSERVER与MASTER的连接状况3、查看元数据服务器的系统日志，可以看见新增的数据存储服务器CHUNKSERVER被加入。TAILF/VAR/LOG/MESSAGESMAR27142800MFSCTRLMFSMASTER29647SERVER3192168071USEDSPACE6582791372861GB,TOTALSPACE879283101696818GB,USAGE749244关闭数据存储服务器跟元数据服务器MASTER相似，执行命令/USR/LOCAL/MFS/SBIN/MFSCHUNKSERVERS（或者执行命令/USR/LOCAL/MFS/SBIN/MFSCHUNKSERVERSTOP）,CHUNKSERVER服务就停下来了。为了使系统重启过程能自动启动CHUNKSERVER服务，可以通过在/ETC/RCLOCAL文件追加行/USR/LOCAL/MFS/SBIN/MFSCHUNKSERVERSTART来达到这个目的（MASTER的自动重启处理也可同样处理）。25MFS客户端的安装及配置我的生产环境，只有CENTOS和FREEBSD两种环境，因此下面的描述，只有CENTOS及FREEBSD挂接MFS文件系统的情形，其他类型的UNIX系统，待日后尝试。对比前面的操作过程，客户端挂接后使用MFS集群文件系统才是最费时的事情。251CENTOS作为MFS的客户端。一、安装MFS客户端MFSMOUNT需要依赖FUSE,因此需要先安装好FUSE，这里我选用FUSE274TARGZ。1、解包TARZXVFFUSE274TARGZ2、切换目录CDFUSE2743、配置/CONFIGURE4、编译安装MAKE；MAKEINSTALL如果系统已经安装了FUSE,则跳过这个步骤。安装MFS客户端程序1、修改环境变量文件/ETC/PROFILE,追加下面的行，然后再执行命令SOURCE/ETC/PROFILE使修改生效。如果不执行这个操作，在后面安装MFS的过程中，执行命令/CONFIGUREENABLEMFSMOUNT时可能出现“CHECKINGFORFUSENOCONFIGUREERRORMFSMOUNTBUILDWASFORCED,BUTFUSEDEVELOPMENTPACKAGEISNOTINSTALLED“这样的错误，而不能正确安装MFS客户端程序。2、解包TARZXVFMFS1611TARGZEXPORTPKG_CONFIG_PATH/USR/LOCAL/LIB/PKGCONFIGPKG_CONFIG_PATH3、切换目录CDMFS16114、创建用户USERADDMFSS/SBIN/NOLOGIN5、配置/CONFIGUREPREFIX/USR/LOCAL/MFSWITHDEFAULTUSERMFSWITHDEFAULTGROUPMFSENABLEMFSMOUNT6、编译安装MAKEMAKEINSTALL检查MFS客户端安装的结果。通过查看目录/USR/LOCAL/MFS/BIN目录的文件，应该发现如图811所示的文件图211安装MFS客户端生成的文件二、挂接和使用MFS文件系统1、创建挂接点MKDIR/MNT/MFS。2、保证FUSE模块被加载内核。使用的命令是MODPROBEFUSE。3、挂接MFS/USR/LOCAL/MFS/BIN/MFSMOUNT/MNT/MFS192168019注意，所有的MFS都是挂接同一个元数据服务器MASTER,而不是其他数据存储服务器CHUNKSERVER4、通过查看磁盘使用情况来检查是否被挂接成功。ROOTMYSQLBKDFHFILESYSTEMSIZEUSEDAVAILUSEMOUNTEDON/DEV/HDA119G27G16G15/DEV/HDA751G180M48G1/BACKUP/DEV/HDC1145G64G131G5/DATA/DEV/HDA519G173M18G1/HOME/DEV/HDA324G217M23G1/VAR/DEV/HDA229G16G26G6/USRTMPFS17G017G0/DEV/SHMMFS192168019942125T256G22T11/MNT/MFS5、进入目录/MNT/MFS，上传一个文件，看是否正常接着在手动用TOUCH创建一个文件，然后再删除它们，看是否可以正常操作。6、设置文件副本数量，建议以3份为佳。设置副本数目MFSRSETGOAL3/MNT/MFS查看设置是否如我所愿MFSGETGOAL/MNT/MFS/SERYDIR/BIND940TARGZ/MNT/MFS/SERYDIR/BIND940TARGZ37、设置删除文件后空间回收时间。默认的回收时间为7天（604800秒）修改回收时间为10分钟MFSRSETTRASHTIME600/MNT/MFS8、把挂接命令追加到文件/ETC/RCLOCAL，可实现开机自动启动挂接MFS252FREEBSD作为MFS客户端FREEBSD安装和挂接MFS集群文件系统,比CENTOS操作起来要复杂一些MFSMOUNT需要依赖FUSE,并且需要在内核中加载FUSEFS模块。一、安装FUSE1、解包TARZXVFFUSE274TARGZ2、切换目录CDFUSE2743、配置/CONFIGURE4、编译安装MAKE；MAKEINSTALL如果系统已经安装了FUSE,则跳过这个步骤。二、安装内核模块FUSEFSKMOD1、执行系统命令SYSINSTALL，如图812所示图212FREEBSDSYSINSTALL菜单界面2、光标选定CONFIGURE,进入下一步。如图213所示图213FREEBSDSYSINSTALL菜单界面（续一）3、选择“PACKAGES”,进入下一步。如图214所示图214FREEBSDSYSINSTALL菜单界面（续二）4、选择“FTP”作为安装源，进入下一步。如图215所示图215FREEBSDSYSINSTALL菜单界面（续三）5、选择“KLD”后，回车执行默认动作“OK”，进入下一步选软件包。如图216所示图216FREEBSDSYSINSTALL菜单界面（续四）6、选择“FUSEFSKMOD039P1_2”,按OK返回到第“4”步出现的那个操作界面。这时我们用“TAB”键选中底部右边的“INSTALL”，完成安装后，会出现一个安装成功的提示，然后瞬间消失。三、加载内核模块FUSE加载FUSEFS模块KLDLOAD/USR/LOCAL/MODULES/FUSEKO。如果加载不成功，请检查是否存在模块文件FUSEKO检查FUSEFS模块是否被加载到内核如果没有类似上面馆的输出，就表明FUSEFS模块没有加载成功。四、安装包PKGCONFIG1、CD/USR/PORTS/DEVEL/PKGCONFIG2、MAKEINSTALLCLEAN五、安装MFS客户端1、解包TARZXVFMFS1611TARGZ2、切换目录CDMFS16113、创建用户PWUSERADDMFSS/SBIN/NOLOGIN4、配置/CONFIGUREPREFIX/USR/LOCAL/MFSWITHDEFAULTUSERMFSWITHDEFAULTGROUPMFSENABLEMFSMOUNT5、编译安装MAKEMAKEINSTALL检查MFS客户端安装的结果。通过查看目录/USR/LOCAL/MFS/BIN目录的文件，应该发现如下文件。如图217所示图217FREEBSD安装MFS客户端后生成的文件列表六、使用和挂接MFS文件系统1、创建挂接点MKDIR/MNT/MFS2、挂接MFS/USR/LOCAL/MFS/BIN/MFSMOUNT/MNT/MFSH192168019注意，所有的MFS都是挂接同一个元数据服务器MASTER,而不是其他数据存储服务器CHUNKSERVER3、通过查看磁盘使用情况来检查是否被挂接成功。ROOTMYSQLBKDFHFILESYSTEMSIZEUSEDAVAILCAPACITYMOUNTEDON/DEV/AD4S1A26G570M24G2/DEVFS10K10K0B100/DEV/DEV/AD4S1G356G157G170G48/DATA/DEV/AD4S1F17G215M15G1/HOME/DEV/AD4S1D28G11G25G4/USR/DEV/AD4S1E24G362M21G2/VAR/DEV/FUSE025T256G22T11/MNT/MFS1、进入目录/MNT/MFS，我们可以看见前面步骤用CENTOS上传到分布式文件系统MFS里的文件。2、设置文件副本数量，建议以3份为佳。设置副本数目MFSRSETGOAL3/MNT/MFS查看设置是否如我所愿MFSGETGOAL/MNT/MFS/SERYDIR/BIND940TARGZ/MNT/MFS/SERYDIR/BIND940TARGZ36、设置删除文件后空间回收时间。默认的回收时间为7天（604800秒）修改回收时间为10分钟MFSRSETTRASHTIME600/MNT/MFS七、开机自动挂接MFS创建文件/ETC/RCLOCAL,加入如下内容/BIN/SH/SBIN/KLDLOAD/USR/LOCAL/MODULES/FUSEKO/USR/LOCAL/MFS/BIN/MFSMOUNTH192168019就能实现开机或重启系统自动挂接MFS文件系统。3破坏性测试测试对象包括数据存储服务器CHUNKSERVER和元数据服务器MASTER。311测试数据存储服务器我用5个服务器组成了MFS的存储平台，其中一个是MASTER,其余四个服务器是CHUNKSERVER。先停止一个CHUNKSERVER服务，然后在某个MFS客户端往挂接点的目录（/MNT/MFS）里复制数据或者创建目录/文件、或者读取文件、或者删除文件，观察操作是否能正常进行。再停止第2个CHUNKSERVER，重复执行上述操作；然后再停止第3个服务器，执行类似的文件读些操作。减少CHUNKSERVER试验后，我们再来逐步增加CHUNKSERVER服务器,然后对MFS执行读写等相关访问操作，检验其正确性。通过增减CHUNKSERVER服务器的测试，服务的可靠性确实不错，哪怕只剩下最后一个服务器，也能正常提供存储访问服务。312测试元数据服务器元数据服务器最重要的文件在目录/USR/LOCAL/MFS/VAR/MFS，MFS每一个数据的变化，都被记录在这个目录的文件里。我们可以通过备份这个目录的全部文件，来保障整个MFS文件系统的可靠性。在正常情况下，元数据服务器的改变日志文件CHANGELOGS实时地、自动地复制到所有的数据存储服务器，并且以CHANGELOG_CSBACKMFS的形式命名。换句换说，即使元数据服务器报废了，也能再部署一个元数据服务器，然后从数据存储服务器CHUNKSERVER及备份服务器MFSMETALOGGER取得恢复所需要的文件。本地测试1、停止元数据服务/USR/LOCAL/MFS/SBIN/MFSMASTER2、备份元数据服务器数据CD/USR/LOCAL/MFS/VARTARCZVFMFSTGZMFS3、删除目录MVMFSMFSBK或RMRFMFS4、启动元数据服务/SBIN/MFSMASTERSTART启动失败，提示不能初始化数据。5、解包TARZXVFMFSTGZ6、执行恢复操作/SBIN/MFSMETARESTOREA7、启动元数据服务/SBIN/MFSMASTERSTART8、在MFS客户端检查MFS存储的数据是否跟恢复前一致能否正常访问等等。迁移测试1、安装新的MFS元数据服务器。2、从当前的元数据服器（）或日志备份服务器MFSMETALOGGER复制备份文件METADATAMFSBACK/METADATE_MLMFSBACK到新的元服务器目录METADATAMFSBACK需要定时用CRONTAB备份3、从当前的元数据服器（）或日志备份服务器MFSMETALOGGER复制元数据服务器数据目录（/USR/LOCAL/MFS/VAR/MFS）到这个新的元数据服务器。4、停止原先的那个元数据服务器（关闭计算机或停止它的网络服务）。5、更改新的元数据服务器的IP为原来那个服务器的IP6、执行数据恢复操作，其命令为MFSMETARESTOREMMETADATAMFSBACKOMETADATAMFSCHANGELOG_MLMFSMFSMETARESTOREA恢复成功后再执行启动新的元数据服务操作。7、启动新的元数据服务/USR/LOCAL/MFS/SBIN/MFSMASTERSTART8、在MFS客户端检查MFS存储的数据是否跟恢复前一致能否正常访问等等。注意如果元数据服务不是以命令MFSMASTARSTOP方式停止的话,再次重启会出现意外,因此需要先执行MFSMETARESTOREA然后再启动4性能测试这里不打算介绍具体的测试过程，老实说，我也没仔细做过对比测试。因此这里收录网友JINXIU的测试报告。小文件性能测试二级100100文件夹创建列表删除单片15K5EXT3CLIENT单进程REAL0M0762SUSER0M0048SSYS0M0261SREAL0M0179SUSER0M0036SSYS0M0125SREAL0M0492SUSER0M0036SSYS0M0456S单片15K5EXT3CLIENT10并发进程最长时间REAL0M0724SUSER0M0015SSYS0M0123S最长时间REAL0M0057SUSER0M0006SSYS0M0025S最长时间REAL0M0226SUSER0M0010SSYS0M0070S6CHUNKSERVERCACHECLIENT单进程REAL0M2084SUSER0M0036SSYS0M0252SREAL0M4964SUSER0M0043SSYS0M0615SREAL0M6661SUSER0M0046SSYS0M0868S6CHUNKSERVERCACHECLIENT10并发进程最长时间REAL0M1422SUSER0M0007SSYS0M0050S最长时间REAL0M2022SUSER0M0008SSYS0M0108S最长时间REAL0M2318SUSER0M0008SSYS0M0136S二级10001000文件夹创建列表删除单片15K5EXT3CLIENT单进程REAL11M37531SUSER0M4363SSYS0M37362SREAL39M56940SUSER0M9277SSYS0M48261SREAL41M57803SUSER0M10453SSYS3M11808S单片15K5EXT3CLIENT10并发进程最长时间REAL11M7703SUSER0M0519SSYS0M10616S最长时间REAL39M30678SUSER0M1031SSYS0M4962S最长时间REAL40M23018SUSER0M1043SSYS0M19618S6CHUNKSERVERCACHECLIENT单进程REAL3M17913SUSER0M3268SSYS0M30192SREAL11M56645SUSER0M3810SSYS1M10387SREAL12M14900SUSER0M3799SSYS1M26632S6CHUNKSERVERCACHECLIENT10并发进程最长时间REAL1M13666SUSER0M0328SSYS0M3295S最长时间REAL4M31761SUSER0M0531SSYS0M10235S最长时间REAL4M26962SUSER0M0663SSYS0M13117S三级100100100文件夹创建列表删除单片15K5EXT3CLIENT单进程REAL9M51331SUSER0M4036SSYS0M32597SREAL27M24615SUSER0M8907SSYS0M44240SREAL28M17194SUSER0M10644SSYS1M34998S单片15K5EXT3CLIENT10进程最长时间REAL10M22170SUSER0M0580SSYS0M11720S最长时间REAL33M32386SUSER0M1127SSYS0M5280S最长时间REAL33M7808SUSER0M1196SSYS0M10588S6CHUNKSERVERCACHECLIENT单进程REAL3M21720SUSER0M3089SSYS0M26635SREAL9M26535SUSER0M3901SSYS1M11756SREAL10M51558SUSER0M4186SSYS1M26322S6CHUNKSERVERCACHECLIENT10并发进程最长时间REAL1M23023SUSER0M0429SSYS0M3869S最长时间REAL4M10617SUSER0M0643SSYS0M11588S最长时间REAL4M20137SUSER0M0649SSYS0M14120S6CHUNKSERVERCACHECLIENT50并发进程最长时间REAL1M26388SUSER0M0074SSYS0M0679S最长时间REAL4M37102SUSER0M0132SSYS0M2160S最长时间REAL4M37392SUSER0M0132SSYS0M2755S6CHUNKSERVERCACHECLIENT100并发进程最长时间REAL1M29338SUSER0M0062SSYS0M0363S最长时间REAL4M54925SUSER0M0069SSYS0M1212S最长时间REAL4M35845SUSER0M0068SSYS0M1640S6CHUNKSERVERCACHEREMOTECLIENT10并发进程最长时间REAL4M0411SUSER0M2985SSYS0M12287S最长时间REAL8M31351SUSER0M4223SSYS0M29800S最长时间REAL4M3271SUSER0M3206SSYS0M11922S结论单盘多进程性能没有提升，因为都在IOWAIT，甚至增加进程会消耗大量调度时间。MFS多进程时性能会提升，主要性能消耗集中在CPU系统时间。因此实际海量小文件性能要大大强于本地文件系统。5MFS系统维护MFS分布式文件系统的维护工作包括1、状态监控包括元数据服务器MASTER、备份服务器MFSMETALOGGER、数据存储服务器CHUNKSERVER、客户端等几个部分。除了用NAGIOS监控个对象外，MFS提供了一个WEB界面的状态查看服务MFSCGISERV，这个文件位于MFS安装目录下（/USR/LOCAL/MFS/BIN）。启用这个服务，在浏览器地址栏输入HTTP/MASTERIP9425查看整个MFS的运行情况。2、容量扩展增加机器，配置CHUNKSERVER，实现在线扩容。3、故障恢复最关键的恢复操作是元数据，前面的内容已经描述过了。参考文献1CHARLESABELL深入理解MYSQLM北京人民邮电出版社，200920502DANIELPBOVETMAYBEBACKINTHEPAST,TOONESELFTHEPARANOIDWEIRDBELIEFDISILLUSIONMENT,THESEDAYS,MYMINDHASBEENVERYMESSY,INMYMINDCONSTANTLYALWAYSFEELONESELFSHOULDGOTODOSOMETHING,ORWRITESOMETHINGTWENTYYEARSOFLIFETRAJECTORYDEEPLYSHALLOW,SUDDENLYFEELSOMETHING,DOIT一字开头的年龄已经到了尾声。或许是愧疚于自己似乎把转瞬即逝的很多个不同的日子过成了同一天的样子；或许是追溯过去，对自己那些近乎偏执的怪异信念的醒悟，这些天以来，思绪一直很凌乱，在脑海中不断纠缠。总觉得自己自己似乎应该去做点什么，或者写点什么。二十年的人生轨迹深深浅浅，突然就感觉到有些事情，非做不可了。THEENDOFOURLIFE,ANDCANMEETMANYTHINGSREALLYDO而穷尽我们的一生，又能遇到多少事情是真正地非做不可DURINGMYCHILDHOOD,THINKLUCKYMONEYANDNEWCLO