Moosefs分布式文件系統集群講解配置
1 管理服務器(master-server):負責各個數據存儲服務器的管理,文件讀寫調度,文件空間回收以及恢復.多節點拷貝
2 元數據日志服務器(changelog-server): 負責備份master服務器的變化，（一般情況下可以和管理服務器放在一起）文件類型為changelog_ml.*.mfs，以便于在master server出問題的時候接替其進行工作
3數據存儲服務器(chunk-server):負責連接管理服務器,聽從管理服務器調度,提供存儲空間，并為客戶提供數據傳輸.
4客戶端(clients): 通過fuse內核接口掛接遠程管理服務器上所管理的數據存儲服務器,.看起來共享的文件系統和本地unix文件系統使用一樣的效果.
MFS文件系統的讀寫原理：
MFS分布式文件系統搭建：
系統環境：
RHEL6.4
selinux is disabled
iptables is flush
一、yum 源定義，用來解決軟件包的依賴性問題
- # cat yum.repo
- [base]
- name=yum
- baseurl=ftp://192.168.2.234/pub/RHEL6.4
- gpgcheck=0
- [HA]
- name=ha
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/HighAvailability
- gpgcheck=0
- [lb]
- name=LB
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/LoadBalancer
- gpgcheck=0
- [Storage]
- name=St
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/ResilientStorage
- gpgcheck=0
- [SFS]
- name=FS
- baseurl=ftp://192.168.2.234/pub/RHEL6.4/ScalableFileSystem
- gpgcheck=0
二、主機解析準備
- # cat /etc/hosts
- 192.168.2.88 node1 mfsmaster
- 192.168.2.89 node2
- 192.168.2.90 node3
- 192.168.2.82 node4
- 192.168.2.85 node5
實驗將用node1作為master-server
node3和node4作為chunk-server
node5作為clients
所有節點必須有以上準備
三、安裝準備
#yum install rpm-build gcc make fuse-devel zlib-devel -y 安裝編譯環境使用的依賴(其實安裝過程中會提示安裝)
#rpmbuild -tb mfs-1.6.27.tar.gz 將gz包構建成rpm包的方式 注意：包的格式很重要(只支持大的版本)
## ls /root/rpmbuild/RPMS/x86_64/ 生成的rpm包
mfs-cgi-1.6.27-2.x86_64.rpm mfs-client-1.6.27-2.x86_64.rpm
mfs-cgiserv-1.6.27-2.x86_64.rpm mfs-master-1.6.27-2.x86_64.rpm
mfs-chunkserver-1.6.27-2.x86_64.rpm mfs-metalogger-1.6.27-2.x86_64.rpm
1.master-server安裝：
- # yum localinstall mfs-cgi-1.6.27-2.x86_64.rpm mfs-master-1.6.27-2.x86_64.rpm mfs-cgiserv-1.6.27-2.x86_64.rpm -y
可以用cgi進行頁面監控：
master-server：主要文件和目錄
/var/lib/mfs mfs數據目錄
metadata.mfs mfs啟動文件
/etc/mfs 主目錄(存儲配置文件)
mfsmaster.cfg mfs主配置文件(定義相關參數，用戶、組等設定)
mfsexports.cfg mfs被掛接目錄及其權限控制文件
mfstopology.cfg 定義 MFS 網絡拓撲結構的文件
配置文件默認不需要修改就可以使用
#chown -R nobody /var/lib/mfs 注意給數據目錄以mfs的權限
# mfsmaster 啟動mfs
#mfsmaster stop 關閉mfs
#netstat -antlpe（mfsmaster開啟三個端口：客戶端連接9421端口，監聽9422端口;數據節點9420端口）
#/usr/share/mfscgi
#chmod +x *.cgi 給所有的cgi頁面可執行權限(以便與在web下查看狀態)
# mfscgiserv ------- -》啟動cgi監控
http://192.168.2.88:9425/
查看mfs監控信息
2.chunk-server安裝配置（node3 and node4）
#rpm -ivh mfs-chunkserver-1.6.27-2.x86_64.rpm
#cd /etc/mfs/
#cp mfschunkserver.cfg.dist mfschunkserver.cfg
# cp mfshdd.cfg.dist mfshdd.cfg
# vim mfshdd.cfg 存儲文件
/mnt/chunk 真正存儲的目錄(將客戶端/mnt/mfs的文件存儲)
#mkdir /mnt/chunk
#mkdir /var/lib/mfs
#chown nobody /var/lib/mfs/
#chown nobody /mnt/chunk
# mfschunkserver 啟動mfs服務器（注意，mfsmaster的解析必須到位）
#l. 產生一個隱藏鎖文件
.mfschunkserver.lock
3.clients端的安裝與配置；
# yum localinstall mfs-client-1.6.27-2.x86_64.rpm
#cp mfsmount.cfg.dist mfsmount.cfg
#vim mfsmount.cfg
修改master和分布式目錄/mnt/mfs
#mkdir /mnt/mfs
#mfsmounts 執行客戶端掛載
mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root 掛載成功
# df 查看掛載設備
mfsmaster:9421 6714624 0 6714624 0% /mnt/mfs
# ll -d /mnt/mfs/ 掛載后自動讀寫
drwxrwxrwx 2 root root 0 Jun 8 10:29 /mnt/mfs/
測試：MFS測試：
# mkdir hello{1,2}
# ls
hello1 hello2
# mfsdirinfo hello1/
hello1/:
inodes: 1
directories: 1
files: 0
chunks: 0
length: 0
size: 0
realsize: 0
# mfssetgoal -r 3 hello1/ 設置備份次數
hello1/:
inodes with goal changed: 1
inodes with goal not changed: 0
inodes with permission denied: 0
# mfsgetgoal hello1/ 查看文件備份數
hello1/: 3
# mfsgetgoal hello2
hello2: 1
#cp /etc/fstab hello1/
# cp /etc/passwd hello2/
# mfsfileinfo /hello/fstab 查看文件具體信息
fstab:
chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
copy 1: 192.168.2.82:9422
copy 2: 192.168.2.90:9422
# mfscheckfile passwd
測試存儲關系：
# mfsfileinfo fstab
fstab:
chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
copy 1: 192.168.2.90:9422
[root@node5 hello1]# mfsfileinfo ../hello2/passwd
../hello2/passwd:
chunk 0: 000000000000000C_00000001 / (id:12 ver:1)
no valid copies !!!
客戶端：誤刪除文件(不小心刪除/mnt/mfs/hello*/passwd)
# mfsmount -m /mnt/test/ -H mfsmaster 恢復目錄掛載到mfsmaster上
mfsmaster accepted connection with parameters: read-write,restricted_ip
# mount
#cd /mnt/test/
## mfscheckfile passwd
# mv 00000005\|hello2\|passwd undel/
直接恢復到之前的mfs目錄中
# umount /mnt/meta/
mfschunk-server可以自動檢測客戶端的配置文件：
# mfschunkserver stop
在客戶端重新拷貝文件，
#cp /etc/inittab /mnt/mfs/hello1
#mfsgetgoal hello1/fstab 查看文件份數
#mfsgetgoal hello1/inittab
# mfsfileinfo inittab 剛開始只有一個chukserver，只能保存一份
開啟chunkserver
#mfschunkserver
# mfsfileinfo inittab 查看文件的備份數，恢復成chunkserver的數
inittab:
chunk 0: 0000000000000006_00000001 / (id:6 ver:1)
copy 1: 192.168.2.184:9422
copy 2: 192.168.2.185:9422
注意:
在mfsmaster中，正常運行時，數據文件為metadata.mfs.back
當主機出現故障，數據文件會保存成metadata.mfs
使用非正常關閉，(kill -9 pid) 數據文件將不會恢復
# mfsmetarestore -a- 非正常啟動后會丟失metadata.mfs文件，必須恢復一下
然后重新啟動mfsmaster(mfsmaster啟動必須有metadata.mfs文件)
