Storm入門教程：安裝部署步驟詳解
本文以Twitter Storm官方Wiki為基礎，詳細描述如何快速搭建一個Storm集群，其中，項目實踐中遇到的問題及經驗總結，在相應章節以“注意事項”的形式給出。
一、Storm集群組件
Storm集群中包含兩類節點：主控節點（Master Node）和工作節點（Work Node）。其分別對應的角色如下：
1. 主控節點（Master Node）上運行一個被稱為Nimbus的后臺程序，它負責在Storm集群內分發代碼，分配任務給工作機器，并且負責監控集群運行狀態。Nimbus的作用類似于Hadoop中JobTracker的角色。
2. 每個工作節點（Work Node）上運行一個被稱為Supervisor的后臺程序。Supervisor負責監聽從Nimbus分配給它執行的任務，據此啟動或停止執行任務的工作進程。每一個工作進程執行一個Topology的子集；一個運行中的Topology由分布在不同工作節點上的多個工作進程組成。
Storm集群組件
Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper集群來實現的。此外，Nimbus和Supervisor進程都是快速失敗（fail-fast)和無狀態（stateless）的；Storm集群所有的狀態要么在Zookeeper集群中，要么存儲在本地磁盤上。這意味著你可以用kill -9來殺死Nimbus和Supervisor進程，它們在重啟后可以繼續工作。這個設計使得Storm集群擁有不可思議的穩定性。
二、安裝Storm集群
這一章節將詳細描述如何搭建一個Storm集群。下面是接下來需要依次完成的安裝步驟：
1. 搭建Zookeeper集群；
2. 安裝Storm依賴庫；
3. 下載并解壓Storm發布版本；
4. 修改storm.yaml配置文件；
5. 啟動Storm各個后臺進程。
#p#
搭建Zookeeper集群
Storm使用Zookeeper協調集群，由于Zookeeper并不用于消息傳遞，所以Storm給Zookeeper帶來的壓力相當低。大多數情況下，單個節點的Zookeeper集群足夠勝任，不過為了確保故障恢復或者部署大規模Storm集群，可能需要更大規模節點的Zookeeper集群（對于Zookeeper集群的話，官方推薦的最小節點數為3個）。在Zookeeper集群的每臺機器上完成以下安裝部署步驟：
1. 下載安裝Java JDK，官方下載鏈接為http://java.sun.com/javase/downloads/index.jsp，JDK版本為JDK 6或以上。
2. 根據Zookeeper集群的負載情況，合理設置Java堆大小，盡可能避免發生swap，導致Zookeeper性能下降。保守起見，4GB內存的機器可以為Zookeeper分配3GB最大堆空間。
3. 下載后解壓安裝Zookeeper包，官方下載鏈接為http://hadoop.apache.org/zookeeper/releases.html。
4. 根據Zookeeper集群節點情況，在conf目錄下創建Zookeeper配置文件zoo.cfg：
- tickTime=2000
- dataDir=/var/zookeeper/
- clientPort=2181
- initLimit=5
- syncLimit=2
- server.1=zoo1:2888:3888
- server.2=zoo2:2888:3888
- server.3=zoo3:2888:3888
其中，dataDir指定Zookeeper的數據文件目錄；其中server.id=host:port:port，id是為每個Zookeeper節點的編號，保存在dataDir目錄下的myid文件中，zoo1~zoo3表示各個Zookeeper節點的hostname，第一個port是用于連接leader的端口，第二個port是用于leader選舉的端口。
5. 在dataDir目錄下創建myid文件，文件中只包含一行，且內容為該節點對應的server.id中的id編號。
6. 啟動Zookeeper服務：
- java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg
或者
- bin/zkServer.sh start
7. 通過Zookeeper客戶端測試服務是否可用：
- java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181
或者
- bin/zkCli.sh -server 127.0.0.1:2181
注意事項：
| 由于Zookeeper是快速失敗（fail-fast)的，且遇到任何錯誤情況，進程均會退出，因此，最好能通過監控程序將Zookeeper管理起來，保證Zookeeper退出后能被自動重啟。詳情參考這里。
Zookeeper運行過程中會在dataDir目錄下生成很多日志和快照文件，而Zookeeper運行進程并不負責定期清理合并這些文件，導致占用大量磁盤空間，因此，需要通過cron等方式定期清除沒用的日志和快照文件。詳情參考這里。具體命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>。 |
安裝Storm依賴庫
接下來，需要在Nimbus和Supervisor機器上安裝Storm的依賴庫，具體如下：
1. ZeroMQ 2.1.7 – 請勿使用2.1.10版本，因為該版本的一些嚴重bug會導致Storm集群運行時出現奇怪的問題。少數用戶在2.1.7版本會遇到”IllegalArgumentException”的異常，此時降為2.1.4版本可修復這一問題。
2. JZMQ
3. Java 6
4. Python 2.6.6
5. unzip
以上依賴庫的版本是經過Storm測試的，Storm并不能保證在其他版本的Java或Python庫下可運行。
安裝ZMQ 2.1.7
下載后編譯安裝ZMQ：
- wget http://download.zeromq.org/zeromq-2.1.7.tar.gz
- tar -xzf zeromq-2.1.7.tar.gz
- cd zeromq-2.1.7
- ./configure
- make
- sudo make install
注意事項：
如果安裝過程報錯uuid找不到，則通過如下的包安裝uuid庫：
- sudo yum install e2fsprogsl -b current
- sudo yum install e2fsprogs-devel -b current
#p#
安裝JZMQ
下載后編譯安裝JZMQ：
- git clone https://github.com/nathanmarz/jzmq.git
- cd jzmq
- ./autogen.sh
- ./configure
- make
- sudo make install
為了保證JZMQ正常工作，可能需要完成以下配置：
- 正確設置 JAVA_HOME環境變量
- 安裝Java開發包
- 升級autoconf
- 如果你是Mac OSX，參考這里
注意事項：
如果運行 ./configure 命令出現問題，參考這里。
安裝Java 6
1. 下載并安裝JDK 6，參考這里；
2. 配置JAVA_HOME環境變量；
3. 運行java、javac命令，測試java正常安裝。
安裝Python2.6.6
1. 下載Python2.6.6：
- wget http://www.python.org/ftp/python/2.6.6/Python-2.6.6.tar.bz2
2. 編譯安裝Python2.6.6：
- tar –jxvf Python-2.6.6.tar.bz2
- cd Python-2.6.6
- ./configure
- make
- make install
3. 測試Python2.6.6：
- python -V
- Python 2.6.6
安裝unzip
1. 如果使用RedHat系列Linux系統，執行以下命令安裝unzip：
- apt-get install unzip
2. 如果使用Debian系列Linux系統，執行以下命令安裝unzip：
- yum install unzip
下載并解壓Storm發布版本
下一步，需要在Nimbus和Supervisor機器上安裝Storm發行版本。
1. 下載Storm發行版本，推薦使用Storm0.8.1：
- wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
2. 解壓到安裝目錄下：
- unzip storm-0.8.1.zip
修改storm.yaml配置文件
Storm發行版本解壓目錄下有一個conf/storm.yaml文件，用于配置Storm。默認配置在這里可以查看。conf/storm.yaml中的配置選項將覆蓋defaults.yaml中的默認配置。以下配置選項是必須在conf/storm.yaml中進行配置的：
1) storm.zookeeper.servers: Storm集群使用的Zookeeper集群地址，其格式如下：
- storm.zookeeper.servers:
- - “111.222.333.444″
- - “555.666.777.888″
如果Zookeeper集群使用的不是默認端口，那么還需要storm.zookeeper.port選項。
2) storm.local.dir: Nimbus和Supervisor進程用于存儲少量狀態，如jars、confs等的本地磁盤目錄，需要提前創建該目錄并給以足夠的訪問權限。然后在storm.yaml中配置該目錄，如：
- storm.local.dir: "/home/admin/storm/workdir"
3) java.library.path: Storm使用的本地庫（ZMQ和JZMQ）加載路徑，默認為”/usr/local/lib:/opt/local/lib:/usr/lib”，一般來說ZMQ和JZMQ默認安裝在/usr/local/lib 下，因此不需要配置即可。
4) nimbus.host: Storm集群Nimbus機器地址，各個Supervisor工作節點需要知道哪個機器是Nimbus，以便下載Topologies的jars、confs等文件，如：
- nimbus.host: "111.222.333.444"
5) supervisor.slots.ports: 對于每個Supervisor工作節點，需要配置該工作節點可以運行的worker數量。每個worker占用一個單獨的端口用于接收消息，該配置選項即用于定義哪些端口是可被worker使用的。默認情況下，每個節點上可運行4個workers，分別在6700、6701、6702和6703端口，如：
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
#p#
啟動Storm各個后臺進程
最后一步，啟動Storm的所有后臺進程。和Zookeeper一樣，Storm也是快速失敗（fail-fast)的系統，這樣Storm才能在任意時刻被停止，并且當進程重啟后被正確地恢復執行。這也是為什么Storm不在進程內保存狀態的原因，即使Nimbus或Supervisors被重啟，運行中的Topologies不會受到影響。
以下是啟動Storm各個后臺進程的方式：
Nimbus: 在Storm主控節點上運行”bin/storm nimbus >/dev/null 2>&1 &”啟動Nimbus后臺程序，并放到后臺執行；
Supervisor: 在Storm各個工作節點上運行”bin/storm supervisor >/dev/null 2>&1 &”啟動Supervisor后臺程序，并放到后臺執行；
UI: 在Storm主控節點上運行”bin/storm ui >/dev/null 2>&1 &”啟動UI后臺程序，并放到后臺執行，啟動后可以通過http://{nimbus host}:8080觀察集群的worker資源使用情況、Topologies的運行狀態等信息。
注意事項：
啟動Storm后臺進程時，需要對conf/storm.yaml配置文件中設置的storm.local.dir目錄具有寫權限。
Storm后臺進程被啟動后，將在Storm安裝部署目錄下的logs/子目錄下生成各個進程的日志文件。
經測試，Storm UI必須和Storm Nimbus部署在同一臺機器上，否則UI無法正常工作，因為UI進程會檢查本機是否存在Nimbus鏈接。
為了方便使用，可以將bin/storm加入到系統環境變量中。
至此，Storm集群已經部署、配置完畢，可以向集群提交拓撲運行了。
向集群提交任務
1. 啟動Storm Topology：
- storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中，allmycode.jar是包含Topology實現代碼的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。
2. 停止Storm Topology：
- storm kill {toponame}
其中，{toponame}為Topology提交到Storm集群時指定的Topology任務名稱。
參考資料
1. https://github.com/nathanmarz/storm/wiki/Tutorial
2. https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster
原文鏈接：http://blog.linezing.com/2013/01/how-to-install-and-deploy-storm-cluster?spm=0.0.0.0.cTpkWf
【編輯推薦】
