【51CTO專稿】MooseFS（簡(jiǎn)稱MFS）是一款分布式文件系統(tǒng)，其運(yùn)行機(jī)制和原理可以參考其官方網(wǎng)站，51CTO上對(duì)MooseFS的基本概念和部署安裝也介紹過(guò)，對(duì)MooseFS不太了解的朋友們可以先自行研究一下。

本文是我自己在研究和使用MooseFS的過(guò)程中整理的一些注意事項(xiàng)和排錯(cuò)經(jīng)驗(yàn)，寫出來(lái)分享給大家，一同探討。

一、有關(guān)“副本”

MFS語(yǔ)言是通過(guò)“副本”機(jī)制來(lái)保證文件的高可用，我們可以通過(guò)MFS的管理命令setglobal來(lái)設(shè)置文件的“副本”，這個(gè)值表示某個(gè)目錄級(jí)別或文件級(jí)別的副本個(gè)數(shù)。

將“副本”設(shè)置為大于1的某個(gè)數(shù)字可以用多個(gè)數(shù)據(jù)服務(wù)器來(lái)進(jìn)行冗余備份。當(dāng)一個(gè)數(shù)據(jù)文件被保存為多個(gè)副本時(shí)，整個(gè)系統(tǒng)可以在有單臺(tái)數(shù)據(jù)服務(wù)器故障時(shí)仍然提供正常服務(wù)。

對(duì)于一些比較重要的文件來(lái)講，我們通常將“副本”設(shè)置為大于2的某個(gè)值，這將這些文件能夠抵御多臺(tái)數(shù)據(jù)服務(wù)器的崩潰。一般可用的副本數(shù)的設(shè)置應(yīng)該是超過(guò)預(yù)期的無(wú)法訪問(wèn)的服務(wù)器的數(shù)量，在生產(chǎn)環(huán)節(jié)中一般設(shè)置為3（實(shí)際上同一單位時(shí)間內(nèi)2臺(tái)服務(wù)機(jī)宕機(jī)的機(jī)率為零），這時(shí)我建議大家可以根據(jù)實(shí)際情況，將chunkserserver數(shù)據(jù)數(shù)據(jù)服務(wù)器設(shè)置成一個(gè)大于或等于4的值。

在下面的MFS文件分布應(yīng)用場(chǎng)景中，我們的chunkserver機(jī)器的數(shù)量等于4，當(dāng)一臺(tái)chunkserver數(shù)據(jù)服務(wù)器出現(xiàn)故障，不能被其他服務(wù)器訪問(wèn)時(shí)，其上的數(shù)據(jù)仍然會(huì)有另外的兩份備份，仍然可以對(duì)提供數(shù)據(jù)的讀寫服務(wù)，此時(shí)并不會(huì)影響用戶的訪問(wèn)。但是此時(shí)該數(shù)據(jù)的“副本”值大于當(dāng)前的副本數(shù)目，于是數(shù)據(jù)服務(wù)器會(huì)將該數(shù)據(jù)同步到其他服務(wù)器中以滿足要求的文件副本數(shù)量。這里有個(gè)特別需要注意的地方，就是可用的chunkserver數(shù)據(jù)服務(wù)器數(shù)量小于某個(gè)特定文件的“副本”值，此時(shí)需要的副本數(shù)量將無(wú)法被滿足。類似，當(dāng)可用的數(shù)據(jù)服務(wù)器數(shù)量等于文件的“副本”值時(shí)，如果數(shù)據(jù)服務(wù)器的容量已經(jīng)達(dá)到100%，這時(shí)將不會(huì)再接受對(duì)大于“副本”值文件的同步需求。

當(dāng)遇到以上這些情況時(shí)，我們就需要盡快的增加數(shù)據(jù)服務(wù)器來(lái)保存需求的文件副本。當(dāng)我們?cè)黾右粋€(gè)新的數(shù)據(jù)服務(wù)器時(shí)，它可以在任意時(shí)間加入到系統(tǒng)中。新的空間容量將立即生效，并被用來(lái)保存新的數(shù)據(jù)，或者接收來(lái)自其他數(shù)據(jù)服務(wù)器的同步需求。我們可以通過(guò)MFS提供的管理工具mfsfileinfo來(lái)查詢系統(tǒng)中某個(gè)文件的狀態(tài)，從前判斷其當(dāng)前的副本數(shù)量與設(shè)置的“副本”值是否有差別，當(dāng)然，我們也可以通過(guò)管理工具來(lái)修改“副本”值。

另外，在數(shù)據(jù)服務(wù)器中的數(shù)據(jù)是有版本信息的，當(dāng)一個(gè)具有舊版本數(shù)據(jù)的數(shù)據(jù)服務(wù)器（比如下線了一段時(shí)間）重新連接到管理服務(wù)器時(shí)，它會(huì)使自己同步新版本的數(shù)據(jù)，并且將舊版本的數(shù)據(jù)刪除來(lái)釋放空間，從而避免數(shù)據(jù)的不一致情況發(fā)生。

有興趣的朋友可以讀一下MFS的源碼，多了解下MFS的數(shù)據(jù)分布算法，這個(gè)由于不在本文的專業(yè)范疇之類，這個(gè)請(qǐng)大家自行研究。

二、DRBD+Heartbeat+mfsmaster實(shí)現(xiàn)高可用性

大家通過(guò)官網(wǎng)的MFS運(yùn)行機(jī)制就應(yīng)該能理解MFS元數(shù)據(jù)服務(wù)器的重要性，這時(shí)候我們可以用DRBD+Heartbeat雙機(jī)來(lái)確保MFS的元數(shù)據(jù)服務(wù)器的高可用性。

DRBD的底層設(shè)備可以是單獨(dú)的磁盤也可以是分區(qū)，這里建議大家用Raid1+0的分區(qū)來(lái)運(yùn)行。

DRBD+Heartbeat+mfsmaster元服務(wù)器安裝中的注意事項(xiàng)：

1、我們?cè)谂渲肈RBD時(shí)可能會(huì)遇到報(bào)錯(cuò)：

drbdadm create-md ha: exited with coolcode 40

這是由于DRBD認(rèn)為底層設(shè)備已被占用，所以我們用dd命令破壞即可解決此問(wèn)題。

2、Primary機(jī)器上可以先把DRBD啟動(dòng)起來(lái)，先掛載/drbd至目錄下，然后

./configure --prefix=/drbd/mfs --with-default-user=mfs --with-default-group=mfs

注意：安裝時(shí)候一定要記得帶prefix=/drbd/mfs，把安裝目錄全部置于DRBD的掛載目錄，這樣方便以后不用去指定路徑去掛載，Secondary機(jī)器上不需要執(zhí)行這步，因?yàn)橹挥蠵rimary機(jī)器出問(wèn)題時(shí)Secondary機(jī)器才會(huì)真正生效，此時(shí)它也會(huì)憑Heartbeat定義腳本mfsmaster來(lái)自動(dòng)掛載。

3、雙機(jī)中的resource腳本內(nèi)容為：

centos1.cn7788.com IPaddr::192.168.11.30/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/drbd::ext3  mfsmaster 

mfsmaster腳本內(nèi)容為：

#!/bin/bash
 
  case "$1" in
   'start')
           drbdadm primary r0
           mount /dev/drbd0 /drbd
           /drbd/mfs/sbin/mfsmaster start
        ;;
   'stop')
           /drbd/mfs/sbin/mfsmaster -s 
           umount /drbd
           drbdadm  secondary r0      
           ;;
   'restart')
        ;;
   *)
        echo "Usage: $0 { start |  stop | restart }"
        ;;
esac
exit 0

groupadd -g 65534 mfs
useradd -u 65534 -g mfs -s /bin/false mfs

working directory: /drbd/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... ok
sessions file has been loaded
exports file has been loaded
loading metadata ...
can't open metadata file
if this is new instalation then rename metadata.mfs.empty as metadata.mfs
init: file system manager failed !!!
error occured during initialization - exiting

cd /drbd/mfs/var/mfs
mv metadata.mfs.empty metadata.mfs

backup file is newer than current file - please check it manually - propably  you should run metarestore
init: file system manager failed !!!
error occured during initialization - exiting

/drbd/mfs/sbin/mfsmetarestore -a