moosefs 分布式文件系统,mofs自组装

　　moosefs 分布式文件系统,mofs自组装

　　MooseFS是Linux下的开源半分布式文件系统，以下简称MFS。目前很多企业都在用。它之所以被广泛使用，是因为它有以下优点：

　　安装和配置简单方便

　　高可靠性(数据的多个副本存储在多个不同的服务器上)

　　可以通过添加新的服务器或硬盘来动态扩展容量。

　　删除的数据可以保留一段时间(类似于windows中的回收站机制，需要配置数据保留时间)

　　不难看出，MFS是开源的，但功能并不逊于专业存储系统。让我们了解一下如何安装和配置MFS。

　　MFS文件系统结构

　　整个文件系统包括以下角色：

　　管理-主服务器

　　元数据服务器-MetaloggerServer

　　数据存储服务器-ChunkServer

　　客户-客户

　　每个角色的作用如下：

　　1.管理服务器，负责各个数据存储服务器的管理，文件读写调度，文件空间恢复和多节点副本恢复。

　　2.元数据日志服务器，负责备份主服务器的更改日志文件。文件类型是changelog_ml。*.mfs，以便在主服务器出现问题时接管它的工作。

　　3.数据存储服务器负责连接管理服务器，服从管理服务器的调度，提供存储空间，为客户提供数据传输。

　　4.客户端通过fuse内核接口连接远程管理服务器管理的数据存储服务器。共享文件系统似乎与本地unix文件系统具有相同的效果。

　　准备工作

　　准备服务器：

　　操作系统：Centos 5.8 x86_64

　　服务器：192.168.0.201

　　元数据服务器：192.168.0.202

　　数据存储服务器：192.168.0.203

　　数据存储服务器：192.168.0.204

　　客户：192.168.0.205

　　下载安装包：

　　wget http://pro . hit . gemi us . pl/hit redir/id=p 4 cvhpozkva 0 jjik . m0 ee 6 dyhzegoqb 1 kaipmvk 29 ex . M7/URL=

　　moosefs.org/tl_files/mfscode/mfs-1.6.26.tar.gz

　　添加相关用户和用户组：

　　groupaddmfs

　　useradd-gmfsmfs-s /sbin/nologin

　　编译MFS

　　整个MFS安装非常简单，只有以下步骤。

　　tarzxvfmfs-1.6.26.tar.gz

　　cdmfs-1.6.26。/configure -前缀=/usr/local/MFS-with-default-user=MFS-with-default-group=MFS

　　制造

　　安装

　　注意客户端部分需要在安装前检查是否安装了fuse。如果没有，请执行以下部分：

　　yuminstallfuse

　　yuminstallfuse-devel

　　使用

　　服务器(192.168.0.201):

　　mfsmaster.cfg的配置

　　cd/usr/local/mfs/etc

　　cpmfsmaster . CFG . distmfsmaster . CFG

　　vim mfsmaster.cfg

　　mfsmaster.cfg文件如下所示，

　　所有带#的都是默认配置，不带#的需要手动配置。

　　# WORKING _ USER=mfs运行mfsmaster的用户。

　　#WORKING_GROUP=mfs运行mfsmaster的组。

　　#SYSLOG_IDENT=mfsmaster是SYSLOG中主服务器的标识。

　　#LOCK_MEMORY=0是否要执行mlockall()以避免mfsmaster进程溢出？

　　#NICE_LEVEL=-19运行优先级

　　# exports _ filename=/usr/local/MFS/etc/MFS exports . CFG是其权限控制文件的挂载目录和存储路径。

　　# TOPOLOGY _ FILENAME=/usr/local/MFS/etc/MFS TOPOLOGY . CFG

　　# data _ path=/usr/local/MFS/var/MFS数据存储路径，存储三种类型的文件，changelog、sessions和stats。

　　#BACK_LOGS=50元数据的更改日志文件数

　　#BACK_META_KEEP_PREVIOUS=1

　　#REPLICATIONS_DELAY_INIT=300延迟复制时间

　　# replications _ delay _ disconnect=3600 chunk服务器断开复制的延迟

　　#MATOML_LISTEN_HOST=*元数据日志服务器侦听的IP地址。

　　#MATOML_LISTEN_PORT=9419元数据日志服务器监听的端口地址。

　　#MATOCS_LISTEN_HOST=*用于ChunkServer连接的IP地址

　　#MATOCS_LISTEN_PORT=9420用于ChunkServer连接的端口地址

　　#MATOCL_LISTEN_HOST=*用于客户端挂钩连接的IP地址

　　#MATOCL_LISTEN_PORT=9421客户端挂钩连接的端口地址

　　#CHUNKS_LOOP_CPS=100000

　　# chunks _ loop _ time=个块的回送频率

　　#CHUNKS_SOFT_DEL_LIMIT=10

　　#CHUNKS_HARD_DEL_LIMIT=25

　　#CHUNKS_WRITE_REP_LIMIT=2一个周期内复制到ChunkServer的最大块数。

　　#CHUNKS_READ_REP_LIMIT=10一个周期内从ChunkServer复制的最大块数。

　　#REJECT_OLD_CLIENTS=0弹出上一版本的客户端钩子。

　　#已弃用：

　　# CHUNKS _ DEL _ LIMIT-请改用组块_删除_限制

　　# LOCK _ FILE-locksystem已更改，而和andthisoptionisusedonlyto

　　searchforoldlockfile

　　mfsmaster.cfg的配置

　　cd/usr/local/mfs/etc

　　cpmfsmaster。CFG。distmfsmaster。稳频发电机（发生器）（constant frequency generator的缩写）

　　vimmfsmaster.cfg

　　mfsmaster.cfg文件的内容如下：

　　该配置文件中每个条目分为三部分，客户端互联网协议(互联网协议)地址、挂接的目录、客户端拥有的权限。默认带#号的配置是不生效的。

　　*/rw，alldirs，maproot=0

　　#192.168.1.0/24/rw，alldirs，maproot=0，password=密码

　　#10.0.0.0-10.0.0.5/testrw，maproot=nobody，password=test

　　#10.1.0.0/255.255.0.0/publicrw，mapall=1000:1000

　　#10.2.0.0/16/rw，alldirs，maproot=0，mintrashtime=2h30m，maxtrashtime=2w

　　复制元数据文件

　　cd/usr/local/mfs/var/mfs/

　　mv元数据。MFS。空元数据。马凡综合征

　　与管理服务器相关的命令：

　　启动命令：/usr/local/MFS/sbin/mfsmasterstart

　　安全停止命令：/usr/local/MFS/sbin/MFS masters

　　更多帮助信息：/usr/local/MFS/sbin/MFS masterh

　　元数据日志服务器(192.168.0.202):

　　mfsmetalogger.cfg的配置

　　cd/usr/local/mfs/etc

　　cpmfsmetalogger。CFG。distmfsmetalogger。稳频发电机（发生器）（constant frequency generator的缩写）

　　vimmfsmetalogger.cfg

　　mfsmetalogger.cfg文件的内容如下：

　　带#号的均为默认配置，不带#号的需手工配置。

　　#WORKING_USER=mfs

　　# WORKING _ GROUP=mfs

　　#SYSLOG_IDENT=mfsmetalogger

　　#LOCK_MEMORY=0

　　#NICE_LEVEL=-19

　　#数据路径=/usr/local/mfs/var/mfs

　　#BACK_LOGS=50

　　#BACK_META_KEEP_PREVIOUS=3

　　#META_DOWNLOAD_FREQ=24元数据备份文件下载请求频率，默认是24小时。

　　#MASTER_RECONNECTION_DELAY=5

　　主主机=192.168.0.201此处需要修改为主服务器的互联网协议(互联网协议)

　　#主端口=9419

　　#MASTER_TIMEOUT=60

　　#已弃用，toberemovedinMooseFS1.7

　　# LOCK _ FILE=/var/run/MFS/MFS metalogger。锁

　　与元数据日志服务器相关的命令：

　　启动命令：/usr/local/MFS/sbin/mfsmetaloggerstart

　　安全停止命令：/usr/local/MFS/sbin/MFS metaloggers

　　更多帮助信息：/usr/local/MFS/sbin/MFS metaloggerh

　　数据存储服务器(192.168.0.203和192.168.0.203):

　　mfschunkserver.cfg的配置

　　cd/usr/local/mfs/etc

　　cpmfschunkserver。CFG。distmfschunkserver。稳频发电机（发生器）（constant frequency generator的缩写）

　　vimmfschunkserver.cfg

　　mfschunkserver.cfg文件的内容如下：

　　带#号的均为默认配置，不带#号的需手工配置。

　　#WORKING_USER=mfs

　　# WORKING _ GROUP=mfs

　　#SYSLOG_IDENT=mfschunkserver

　　#LOCK_MEMORY=0

　　#NICE_LEVEL=-19

　　#数据路径=/usr/local/mfs/var/mfs

　　#MASTER_RECONNECTION_DELAY=5

　　#BIND_HOST=*

　　主主机=192.168.0.201元数据服务器的名称或地址，可以是主机名或互联网协议(互联网协议)地址

　　主端口=9420

　　#MASTER_TIMEOUT=60

　　#CSSERV_LISTEN_HOST=*

　　#CSSERV_LISTEN_PORT=9422该端口用于与其他数据存储服务器间的连接，通常是数据复制。

　　#硬盘驱动器_ CONF _文件名=/usr/local/mfs/etc/mfshdd.cfg分配给马凡综合征使用的磁盘空间配置文件的位置。

　　#硬盘测试FREQ=10

　　#已弃用，toberemovedinMooseFS1.7

　　# LOCK _ FILE=/var/run/MFS/mfschunkserver。锁

　　#BACK_LOGS=50

　　#CSSERV_TIMEOUT=5

　　mfshdd.cfg的配置

　　cd/usr/local/mfs/etc

　　cpmfshdd。CFG。distmfshd。稳频发电机（发生器）（constant frequency generator的缩写）

　　vimmfshdd.cfg

　　mfshdd.cfg文件的内容如下：

　　/数据

　　上面的/数据是一个马凡综合征分区，需要将此分区的属主改为mfs。

　　chownRmfs.mfs/data

　　与数据存储服务器相关的命令：

　　启动命令：/usr/local/MFS/sbin/mfschunkserverstart

　　安全停止命令：/usr/local/MFS/sbin/mfschunkservers

　　更多帮助信息：/usr/local/MFS/sbin/mfschunkserverh

　　客户端(192.168.0.205):

　　创建挂接点

　　mkdirp/data/MFS

　　挂载马凡综合征的命令

　　/usr/local/MFS/bin/MFS mount/data/MFS-h 192。168 .0 .201

　　查看挂载情况：

　　查看挂载信息：

　　卸载马凡综合征挂载：

　　卸载/数据/mfs

　　查看更多帮助信息：

　　/usr/local/MFS/bin/MFS mounth