面試官：如何實現文件的大規模分布式存儲？

作者：冰河 2020-09-27 06:52:22

在生產環境中，往往需要對FastDFS實現高可用，進而實現文件的大規模分布式存儲。那么，如何實現FastDFS的高可用呢?今天，我們就基于CentOS 8服務器來搭建FastDFS高可用集群環境。

作者個人研發的在高并發場景下，提供的簡單、穩定、可擴展的延遲消息隊列框架，具有精準的定時任務和延遲隊列處理功能。自開源半年多以來，已成功為十幾家中小型企業提供了精準定時調度方案，經受住了生產環境的考驗。為使更多童鞋受益，現給出開源框架地址：

https://github.com/sunshinelyz/mykit-delay

寫在前面

服務器版本

我們在服務器的命令行輸入如下命令來查看服務器的內核版本。

[root@localhost lib]# cat /etc/redhat-release  
CentOS Linux release 8.1.1911 (Core)

可以看到，集群中每臺服務器的內核版本為：release 8.1.1911 (Core)。

服務器規劃

這里，我們總共規劃了6臺服務器，分別為：2臺tracker服務器，4臺storage服務器，其中2臺storage服務器為group1，兩臺storage服務器為group2。具體如下所示。

tracker服務器

tranker1：192.168.175.101

tracker2：192.168.175.102

storage服務器

storage1：192.168.175.103 group1

storage2：192.168.175.104 group1

storage3：192.168.175.105 group2

storage4：192.168.175.106 group2

環境準備

下載FastDFS

在每臺服務器上執行如下命令下載FastDFS。

[root@localhost source]# wget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz 
[root@localhost source]# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz 
[root@localhost source]# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz

安裝環境依賴

在每臺服務器上執行如下命令安裝FastDFS所依賴的環境。

[root@localhost dest]# yum install gcc gcc-c++ 
[root@localhost dest]# yum install libtool zlib zlib-devel openssl openssl-devel 
[root@localhost dest]# yum -y install pcre pcre-devel libevent libevent-devel perl unzip net-tools wget

安裝FastDFS

安裝libfastcommon

在每臺服務器上依次執行如下命令。

(1)解壓libfastcommon的壓縮包

[root@localhost source]# tar -zxvf V1.0.43.tar.gz

(2)編譯并安裝編譯并安裝

[root@localhost source]# cd libfastcommon-1.0.43/ 
[root@localhost libfastcommon-1.0.43]# ./make.sh && ./make.sh install

(3)檢查執行的結果，看安裝是否成功

[root@localhost libfastcommon-1.0.43]# ls /usr/lib64|grep libfastcommon 
libfastcommon.so 
 
[root@localhost libfastcommon-1.0.43]# ls /usr/lib|grep libfastcommon 
libfastcommon.so

安裝fastdfs

在每臺服務器上依次執行如下命令。

(1)解壓fastdfs

[root@localhost source]# tar -zxvf V6.06.tar.gz

(2)安裝fastdfs

[root@localhost source]# cd fastdfs-6.06/ 
[root@localhost fastdfs-6.06]# ./make.sh && ./make.sh install

(3)檢查fastdfs是否安裝成功

[root@localhost fastdfs-6.06]# ls /usr/bin|grep fdfs 
fdfs_appender_test 
fdfs_appender_test1 
fdfs_append_file 
fdfs_crc32 
fdfs_delete_file 
fdfs_download_file 
fdfs_file_info 
fdfs_monitor 
fdfs_regenerate_filename 
fdfs_storaged 
fdfs_test 
fdfs_test1 
fdfs_trackerd 
fdfs_upload_appender 
fdfs_upload_file

安裝部署tracker服務

復制tracker的配置文件

在兩臺tracker服務器上，依次執行如下命令。

[root@localhost fastdfs-6.06]# cd /etc/fdfs/ 
[root@localhost fdfs]# cp client.conf.sample client.conf 
[root@localhost fdfs]# cp tracker.conf.sample tracker.conf

注意：無須生成storage.conf文件，這兩臺tracker不做為storage。

安裝Nginx

在兩臺tracker服務器上，依次執行如下命令。

注意：tracker上不需要安裝fastdfs-nginx-module

(1)解壓Nginx

[root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz

(2)nginx配置,http_stub_status_module 模塊

[root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/ 
[root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module

(3)編譯安裝Nginx

[root@localhost nginx-1.17.8]# make && make install

(4)檢查安裝是否成功

[root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx 
nginx

(5)查看指定的編譯參數是否起作用

[root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V 
nginx version: nginx/1.17.8 
built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)  
configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module

配置并啟動FastDFS

在兩臺tracker上，配置并啟動FastDFS。

(1)創建tracker服務所需的目錄

[root@localhost fdfs]# mkdir /data/fastdfs 
[root@localhost fdfs]# mkdir /data/fastdfs/tracker 
[root@localhost fdfs]# chmod 777 /data/fastdfs/tracker

(2)配置tracker服務，修改 tracker.conf 文件

[root@localhost fdfs]# vi /etc/fdfs/tracker.conf

只修改base_path一項的值為我們在上面所創建的目錄即可

base_path = /data/fastdfs/tracker

(3)啟動 tracker 服務

[root@localhost fdfs]# /etc/init.d/fdfs_trackerd start

(4)檢查tracker服務啟動是否成功

[root@localhost fdfs]# ps auxfww | grep fdfs 
root      15067  0.0  0.0  12320   964 pts/0    S+   15:14   0:00  |   |           \_ grep --color=auto fdfs 
root      15026  0.0  0.1  90160  5940 ?        Sl   15:13   0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

說明：能看到 fdfs_trackerd,表示tracker服務啟動成功。

(5)檢查tracker服務是否已綁定端口 22122

[root@localhost dest]# netstat -anp | grep 22122 
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      15026/fdfs_trackerd

說明：22122端口是在/etc/fdfs/tracker.conf中定義的，如下所示：

# the tracker server port 
port = 22122

配置client.conf

兩臺tracker上，配置client.conf,配置fastdfs的客戶端使用的配置文件。

(1)配置client.conf

[root@localhost fdfs]# vi /etc/fdfs/client.conf

以下兩項配置用到的tracker目錄和服務器地址端口

base_path = /data/fastdfs/tracker 
tracker_server = 192.168.175.101:22122 
tracker_server = 192.168.175.102:22122

說明：兩臺tracker上的client.conf配置相同

(2)從客戶端的配置可以看到：客戶端只需要了解tracker_server的信息。tracker server作用也正是負載均衡和調度

(3)Storage server作用是文件存儲，客戶端上傳的文件最終存儲在 Storage 服務上

測試文件

用client.conf上傳文件測試。

(1)從tacker上傳一個文件

[root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt

注意返回的是group1，我們可以group1下面的兩臺機器均找到此txt文件：

storage1上

[root@d5d19e99e782 docker_tmp]# ls /data/fastdfs/storage/data/00/00 
rBEABF5aTEeAXHF4AAAABHf4XZU792.txt

storage2上

[root@f201111d0698 docker_tmp]# ls /data/fastdfs/storage/data/00/00 
rBEABF5aTEeAXHF4AAAABHf4XZU792.txt

(2)指定group上傳文件

如果想指定上傳到某個group怎么辦?例如：指定上傳到group2

[root@0268c2dc2bf6 ~]# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/a.txt 192.168.175.105:23000 
group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

說明：指定group2中任一臺的ip和端口即可。

(3)查看效果

storage3上

[root@494ac47d63f8 fdfs]# ls /data/fastdfs/storage/data/00/00 
rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

storage4上

[root@59fa1efff362 fdfs]# ls /data/fastdfs/storage/data/00/00 
rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

安裝部署storage服務

生成默認配置文件

四臺storage上：生成啟動fastdfs默認的配置文件。

[root@localhost fastdfs-6.06]# cd /etc/fdfs/ 
[root@localhost fdfs]# cp storage.conf.sample storage.conf 
[root@localhost fdfs]# cp client.conf.sample client.conf

說明：不需要生成tracker.conf,因為storage上不再運行tracker服務

安裝Nginx

四臺storage上：安裝nginx及fastdfs-nginx-module

(1)解壓nginx

[root@localhost source]# tar -zxvf nginx-1.17.8.tar.gz

(2)解壓fastdfs-nginx-module

[root@localhost source]# tar -zxvf V1.22.tar.gz

(3)修改config文件，把/usr/local 替換成 /usr

[root@localhost source]# cd fastdfs-nginx-module-1.22/ 
[root@localhost fastdfs-nginx-module-1.22]# cd src 
[root@localhost src]# vi config

(4)Nginx配置,添加fastdfs-nginx-module和http_stub_status_module 模塊

[root@localhost fdfs]# cd /usr/local/source/nginx-1.17.8/ 
[root@localhost nginx-1.17.8]# ./configure --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/

(5)編譯安裝nginx

[root@localhost nginx-1.17.8]# make && make install

(6)檢查安裝是否成功

[root@localhost nginx-1.17.8]# ls /usr/local/soft/ | grep nginx 
nginx

(7)查看指定的編譯參數是否起作用

[root@localhost fdfs]# /usr/local/soft/nginx/sbin/nginx -V 
nginx version: nginx/1.17.8 
built by gcc 8.3.1 20190507 (Red Hat 8.3.1-4) (GCC)  
configure arguments: --prefix=/usr/local/soft/nginx --with-http_stub_status_module --add-module=/usr/local/source/fastdfs-nginx-module-1.22/src/

配置并啟動storage服務

四臺storage上：配置并啟動storage服務

(1)創建storage服務所需的目錄

[root@localhost fdfs]# mkdir /data/fastdfs/storage 
[root@localhost fdfs]# chmod 777 /data/fastdfs/storage/

(2)配置storage服務

編輯storage的配置文件:

[root@localhost fdfs]# vi /etc/fdfs/storage.conf

各配置項包括：

group_name = group1 
#配置base_path為上面所創建的storage目錄 
base_path = /data/fastdfs/storage 
#store_path ：存儲所在的目錄，可以設置多個，注意從0開始 
store_path0 = /data/fastdfs/storage 
#tracker_server的ip和端口 
tracker_server = 192.168.175.101:22122 
tracker_server = 192.168.175.102:22122  
#指定http服務的端口 
http.server_port = 80

配置的不同之處：

192.168.175.103   group_name = group1 
192.168.175.104   group_name = group1 
192.168.175.105   group_name = group2 
192.168.175.106   group_name = group2

(3)啟動storage服務

[root@localhost fdfs]# /etc/init.d/fdfs_storaged start 
正在啟動 fdfs_storaged (via systemctl)：                   [  確定  ]

(4)檢查storage服務啟動是否成功

[root@localhost fdfs]# ps auxfww | grep fdfs 
root      15630  0.0  0.0  12320   972 pts/0    S+   15:46   0:00  |   |           \_ grep --color=auto fdfs 
root      15026  0.0  0.1 155696  6964 ?        Sl   15:13   0:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf 
root      15573  2.7  1.7 150736 66292 ?        Sl   15:45   0:02 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

說明：看到fdfs_storaged,表示storage服務啟動成功

(5)檢查storage服務是否已綁定到端口：23000

[root@localhost fdfs]# netstat -anp | grep 23000 
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      15573/fdfs_storaged

說明：23000 端口是在配置文件 /etc/fdfs/storage.conf中定義的，如下:

# the storage server port 
port = 23000

配置fastdfs-nginx-module

四臺存儲服務器上：配置fastdfs-nginx-module

(1)生成配置文件

[root@localhost nginx-1.17.8]# cp /usr/local/source/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/

(2)編輯配置文件

[root@localhost nginx-1.17.8]# vi /etc/fdfs/mod_fastdfs.conf

配置以下幾項

group_name=group1 
connect_timeout=10 
tracker_server=192.168.175.101:22122 
tracker_server=192.168.175.102:22122 
url_have_group_name = true 
store_path0=/data/fastdfs/storage 
group_count = 2 
 
[group1] 
 
group_name=group1 
storage_server_port=23000 
store_path_count=1 
store_path0=/data/fastdfs/storage 
 
[group2] 
 
group_name=group2 
storage_server_port=23000 
store_path_count=1 
store_path0=/data/fastdfs/storage

說明：最上面的group_name：當機器屬于group1這組時，值為group1;當機器屬于group2這組時，值為group2。

說明：url_have_group_name = true。注意：這一項不要漏掉，會導致nginx不正常工作

(3)復制另兩個web訪問用到配置文件到fdfs配置目錄下:

[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/http.conf /etc/fdfs/ 
[root@d5d19e99e782 /]# cp /usr/local/source/fastdfs-6.06/conf/mime.types /etc/fdfs/

配置Nginx

四臺存儲服務器上：配置nginx

編輯nginx的配置文件:

[root@localhost conf]# vi /usr/local/soft/nginx/conf/nginx.conf

在server listen 80 的這個server配置下面，

增加一個location

location ~/group([0-9]) { 
    root  /data/fastdfs/storage/data; 
    ngx_fastdfs_module; 
 
}

啟動nginx

(1)啟動Nginx

[root@localhost storage]# /usr/local/soft/nginx/sbin/nginx

(2)檢查nginx是否已成功啟動

[root@localhost storage]# ps auxfww | grep nginx 
root      24590  0.0  0.0  12320   980 pts/0    S+   16:44   0:00  |   |           \_ grep --color=auto nginx 
root      24568  0.0  0.0  41044   428 ?        Ss   16:44   0:00  \_ nginx: master process /usr/local/soft/nginx/sbin/nginx 
nobody    24569  0.0  0.1  74516  4940 ?        S    16:44   0:00      \_ nginx: worker process

配置tracker服務

說明：這一步等待四臺storage server配置完成后再進行。使用n=Nginx做upstream負載均衡的原因：可以通過一個地址訪問后端的多個group

(1)文件上傳完成后，從瀏覽器訪問各個storage的Nginx即可:

例如:

http://192.168.175.103/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt 
http://192.168.175.104/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt 
http://192.168.175.105/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt 
http://192.168.175.106/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

說明：各臺storage server的ip地址后面跟著上傳時所返回的地址。注意：只能訪問各臺機器所在的group,

如果想通過統一的ip地址進行訪問
需要在Nginx中通過upstream訪問到后端的機器
此Nginx應運行在tracker上

(2)配置nginx.conf

[root@0268c2dc2bf6 ~]# vi /usr/local/soft/nginx/conf/nginx.conf

內容:

添加 upstream到后端的storage。

upstream fdfs_group1 { 
                server 192.168.175.103:80 weight=1  max_fails=2 fail_timeout=30s; 
                server 192.168.175.104:80 weight=1  max_fails=2 fail_timeout=30s; 
   } 
 
   upstream fdfs_group2 { 
                server 192.168.175.105:80 weight=1 max_fails=2 fail_timeout=30s; 
                server 192.168.175.106:80 weight=1 max_fails=2 fail_timeout=30s; 
   }

針對帶有group的url進行處理

location /group1 { 
    proxy_next_upstream http_502 http_504 error timeout invalid_header; 
    proxy_pass http://fdfs_group1; 
    expires 30d; 
} 
  
 location /group2 { 
     proxy_next_upstream http_502 http_504 error timeout invalid_header; 
     proxy_pass http://fdfs_group2; 
     expires 30d; 
 
}

(3)重啟測試

[root@0268c2dc2bf6 ~]# /usr/local/soft/nginx/sbin/nginx -s stop 
[root@0268c2dc2bf6 ~]# /usr/local/soft/nginx/sbin/nginx

在瀏覽器中訪問:

http://192.168.175.101/group1/M00/00/00/rBEABF5aTRiAEuHwAAAABHf4XZU322.txt 
http://192.168.175.101/group2/M00/00/00/rBEABl5aUAqAXLCZAAAABHf4XZU043.txt

本文轉載自微信公眾號「冰河技術」，可以通過以下二維碼關注。轉載本文請聯系冰河技術公眾號。

責任編輯：武曉燕來源：冰河技術

分布式存儲服務器