用Git子模塊和Docker Compose實(shí)現(xiàn)高效開發(fā)工作流
搭建開發(fā)環(huán)境一直讓程序員們頭疼，本文使用Git子模塊和Docker Compose實(shí)現(xiàn)高效率的開發(fā)工作流，讓程序員能夠輕松搭建出開發(fā)環(huán)境，把精力投入到需要開發(fā)的應(yīng)用本身。
問題
自我們從Continuous Software雇傭了第一位遠(yuǎn)程開發(fā)的程序員以來，我們就意識(shí)到精簡(jiǎn)開發(fā)工作流的重要性。當(dāng)新入職的程序員接手由很多應(yīng)用組成的復(fù)雜項(xiàng)目時(shí)，我們想盡量避免以下這幾個(gè)問題：
- 缺少stack模塊：Node.js、PHP、PostgreSQL等
- 不清楚項(xiàng)目組件/應(yīng)用的總體概況
- 本地配置沖突：監(jiān)聽端口、數(shù)據(jù)庫(kù)配置等
此外，就我個(gè)人經(jīng)驗(yàn)而言，我們這樣的程序員太容易找不著北了。曾經(jīng)，我入職一個(gè)公司的第一整天都花在搭建開發(fā)環(huán)境上，試圖去理解所有的東西怎么才能一起工作，而無法直接就去理解公司開發(fā)的應(yīng)用到底是怎么工作的。
方案
在具體介紹如何解決上述問題之前，我想先直接展示一下我們項(xiàng)目采用的開發(fā)工作流。
每個(gè)項(xiàng)目都在Bitbucket上有自己的Team(和GitHub上的Organization對(duì)應(yīng))。每個(gè)應(yīng)用在Team下創(chuàng)建一個(gè)repository(比如，api、dashboard、cpanel)。在這些子模塊之上，創(chuàng)建了一個(gè)名為development的repository。子模塊的同一層級(jí)里，有README.md和docker-compose.yml兩個(gè)文件。
- kytwb@continuous:~/path/to//$ ls -la
- total 40
- drwxrwxr-x 11 kytwb amine 4096 Mar 14 16:30 .
- drwxr-xr-x 4 kytwb amine 4096 Nov 1 20:17 ..
- drwxr-xr-x 20 kytwb amine 4096 Mar 11 14:24 api
- drwxr-xr-x 11 kytwb amine 4096 Mar 3 13:21 cpanel
- drwxr-xr-x 10 kytwb amine 4096 Mar 12 11:37 dashboard
- -rw-r--r-- 1 kytwb amine 2302 Mar 2 15:28 docker-compose.yml
- drwxrwxr-x 9 kytwb amine 4096 Mar 14 16:30 .git
- -rw-r--r-- 1 kytwb amine 648 Dec 22 17:20 .gitmodules
- -rw-r--r-- 1 kytwb amine 1706 Dec 17 16:41 README.md
當(dāng)新程序員加入項(xiàng)目時(shí)，只需在Bitbucket上瀏覽developmentrepository，根據(jù)README.md的步驟就可以快速搭建環(huán)境。具體步驟如下所示：
- $ git -v
- $ docker -v
- $ docker-compose -v
- $ git clone git@bitbucket.com:/development.git && cd
- $ git submodule init && git submodule update
- $ git submodule foreach npm install
- $ docker-compose up -d
至此，一切就都已經(jīng)搭建好，并運(yùn)行在本地機(jī)器上了。
實(shí)現(xiàn)原理
本章介紹我們是如何實(shí)現(xiàn)上述工作流的。
前提條件
- $ git -v
- $ docker -v
- $ docker-compose
我們的開發(fā)堆棧完全基于Docker。因此，程序員需要先安裝Docker。這時(shí)他們不需要特別熟悉Docker，只需要在開發(fā)時(shí)使用Docker即可，我們間接地將他們引入了容器的世界，之后會(huì)以此為橋梁向他們解釋如何使用Docker實(shí)現(xiàn)持續(xù)集成、持續(xù)交付等等。README.md中并沒有詳細(xì)介紹如何安裝Docker，因?yàn)榘惭b很簡(jiǎn)單。
當(dāng)docker-compose還叫Fig的時(shí)候我們就已經(jīng)用它來編排開發(fā)堆棧里的容器。之后Docker收購(gòu)了Fig，重命名為Docker Compose。有人提議將Docker Compose合并到Docker代碼里，但是基于很多原因最終并沒有這么做，所以Docker Compose仍然需要單獨(dú)安裝。
同樣地，本文沒有詳細(xì)介紹Docker Compose的安裝，因?yàn)楹芎?jiǎn)單。
搭建倉(cāng)庫(kù)(repository)
如前所述，需要?jiǎng)?chuàng)建一個(gè)開發(fā)倉(cāng)庫(kù)，以及為每個(gè)應(yīng)用創(chuàng)建對(duì)應(yīng)的倉(cāng)庫(kù)。這里我們創(chuàng)建了api、dashboard和cpanel。當(dāng)創(chuàng)建這些倉(cāng)庫(kù)的時(shí)候，重點(diǎn)關(guān)注developmentrepository的搭建。
- $ git clone git@bitbucket.com:/development.git && cd
現(xiàn)在將應(yīng)用程序的倉(cāng)庫(kù)添加為developmentrepository的子模塊。只需要鍵入如下命令：
- $ git submodule add git@bitbucket.org:/api.git
- $ git submodule add git@bitbucket.org:/dashboard.git
- $ git submodule add git@bitbucket.org:/cpanel.git
這樣，你的developmentrepository根目錄下會(huì)創(chuàng)建出.gitmodules文件。程序員也就可以在克隆developmentrepository的時(shí)候一次得到所有的應(yīng)用程序并運(yùn)行：
- $ git submodule init && git submodule update
更多子模塊的信息，請(qǐng)參考Git官方文檔。
#p#
Docker化一切
現(xiàn)在我們已經(jīng)搭建好了developmentrepository，可以通過cd的方式訪問所有不同的應(yīng)用程序。接下來我們要用之前提到的編排工具：Docker Compose來容器化所有的應(yīng)用及其配置。
首先從api應(yīng)用程序開始。打開docker-compose.yml，為API聲明一個(gè)容器，并為這個(gè)容器選擇基礎(chǔ)鏡像。本示例中的代碼基于Node.js，因此選擇官方Node.js鏡像：
- api:
- image: dockerfile/nodejs
這時(shí)，運(yùn)行命令docker-compose up -d會(huì)創(chuàng)建出一個(gè)名為<project>_api_1的容器，這個(gè)容器什么也不做(啟動(dòng)后立即退出)。運(yùn)行命令docker-compose ps可以得到由docker-compose.yml編排的所有容器的信息。
接下來配置api容器，使其多一些功能。為了實(shí)現(xiàn)這個(gè)目的，我們需要：
- 將源代碼掛載到容器里
- 聲明用什么命令運(yùn)行應(yīng)用
- 暴露合適的端口以供訪問應(yīng)用
這樣配置文件類似：
- api:
- image: dockerfile/nodejs
- volumes:
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- ports:
- - "8000:8000"
現(xiàn)在再運(yùn)行docker-compose up -d，就啟動(dòng)了api應(yīng)用，可以在http://localhost:8000訪問它。這個(gè)程序可能會(huì)崩潰，可以使用docker-compose logs api檢查容器日志。
這里，我懷疑api的崩潰是因?yàn)樗B不上數(shù)據(jù)庫(kù)。因此需要添加database容器，并讓api容器能夠使用它。
- api:
- image: dockerfile/nodejs
- volumes:
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- ports:
- - "8000:8000"
- links:
- - database
- database:
- image: postgresql
- ports:
- - "5432:5432"
通過創(chuàng)建database容器，并將其鏈接到api容器，我們就可以在api容器里找到database。要想展示API的環(huán)境(比如，console.log(process.env))，必須使用如下變量，比如POSTGRES_1_PORT_5432_TCP_ADDR和POSTGRES_1_PORT_5432_TCP_PORT。這是我們?cè)贏PI的配置文件里使用的關(guān)聯(lián)到數(shù)據(jù)庫(kù)的變量。
通過link指令，這個(gè)數(shù)據(jù)庫(kù)容器被認(rèn)為是API容器的依賴條件。這意味著Docker Compose在啟動(dòng)API容器之前一定會(huì)先啟動(dòng)數(shù)據(jù)庫(kù)容器。
現(xiàn)在我們用同樣的方式描述其它應(yīng)用程序。這里，我們可以通過環(huán)境變量API_1_PORT_8000_TCP_ADDR和API_1_PORT_8000_TCP_PORT，將api連接到dashboard和cpanel應(yīng)用。
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- ports:
- - "8000:8000"
- links:
- - database
- database:
- image: postgresql
- dashboard:
- image: dockerfile/nodejs
- volumes:
- - ./dashboard/:/app/
- working_dir: /app/
- command: npm start
- ports:
- - "8001:8001"
- links:
- - api
- cpanel:
- image: dockerfile/nodejs
- volumes:
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- ports:
- - "8002:8002"
- links:
- - api
就像之前為數(shù)據(jù)庫(kù)修改API配置文件一樣，可以為dashboard和cpanel應(yīng)用使用類似的環(huán)境變量，從而避免硬編碼。
現(xiàn)在可以再次運(yùn)行docker-compose up -d命令和docker-compose ps命令：
- kytwb@continuous:~/path/to/$ docker-compose up -d
- Recreating _database_1...
- Recreating _api_1...
- Creating _dashboard_1...
- Creating _cpanel_1...
- kytwb@continuous:~/path/to/$ docker-compose ps
- Name Command State Ports
- ----------------------------------------------------------------------------------
- _api_1 npm start Up 0.0.0.0:8000->8000/tcp
- _dashboard_1 npm start Up 0.0.0.0:8001->8001/tcp
- _cpanel_1 npm start Up 0.0.0.0:8002->8002/tcp
- _database_1 /usr/local/bin/run Up 0.0.0.0:5432->5432/tcp
應(yīng)用應(yīng)該就已經(jīng)啟動(dòng)并運(yùn)行了。
從http://localhsot:8000可以訪問api。
從http://localhsot:8001可以訪問dashboard。
從http://localhsot:8002可以訪問cpanel。
#p#
更進(jìn)一步
本地路由
在使用docker-compose up -d運(yùn)行所有容器之后，可以通過http://localhost:<application_port>訪問我們的應(yīng)用。基于當(dāng)前配置，我們可以很容易地使用jwilder/nginx-proxy加上本地路由功能，這樣就可以使用和生產(chǎn)環(huán)境類似的URL訪問本地應(yīng)用了。比如，通過http://api.domain.local訪問http://api.domain.com的本地版本。
jwilder/nginx-proxy鏡像將一切變得很簡(jiǎn)單。只需要在docker-compose.yml里加上描述去創(chuàng)建一個(gè)名為nginx的新容器。根據(jù)jwilder/nginx-proxy的README文件(掛載Docker守護(hù)進(jìn)程socket，暴露80端口)配置該容器就可以了。之后，在現(xiàn)有容器里再添加額外的環(huán)境變量VIRTUAL_HOST和VIRTUAL_PORT，如下：
- api:
- image: dockerfile/nodejs
- volumes:
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- environment:
- - VIRTUAL_HOST=api.domain.local
- - VIRTUAL_PORT=8000
- ports:
- - "8000:8000"
- links:
- - database
- database:
- image: postgresql
- dashboard:
- image: dockerfile/nodejs
- volumes:
- - ./dashboard/:/app/
- working_dir: /app/
- command: npm start
- environment:
- - VIRTUAL_HOST=dashboard.domain.local
- - VIRTUAL_PORT=8001
- ports:
- - "8001:8001"
- links:
- - api
- cpanel:
- image: dockerfile/nodejs
- volumes:
- - ./api/:/app/
- working_dir: /app/
- command: npm start
- environment:
- - VIRTUAL_HOST=cpanel.domain.local
- - VIRTUAL_PORT=8002
- ports:
- - "8002:8002"
- links:
- - api
- nginx:
- image: jwilder/nginx-proxy
- volumes:
- - /var/run/docker.sock:/tmp/docker.sock
- ports:
- - "80:80"
nginx容器會(huì)檢查所有運(yùn)行在Docker守護(hù)進(jìn)程之上(通過掛載的docker.sock文件)的容器，為每個(gè)容器創(chuàng)建合適的nginx配置文件，并設(shè)置VIRTUAL_HOST環(huán)境變量。
要想完成本地路由的搭建，還需要在etc/hosts里添加所有的VIRTUAL_HOST。我是手動(dòng)用node.js的hostile包來完成這個(gè)工作的，不過我猜應(yīng)該可以自動(dòng)化實(shí)現(xiàn)，就像jwilder/nginx-proxy可以根據(jù)nginx配置文件動(dòng)態(tài)變化一樣。這里需要再研究一下。
現(xiàn)在可以再次運(yùn)行docker-compose up -d，然后使用和生產(chǎn)環(huán)境一樣的url訪問應(yīng)用程序，只需用.localTLD代替.comTLD。
建議
本文發(fā)表在AirPair上，如果你對(duì)更進(jìn)一步這一章有任何建議，請(qǐng)隨意fork并修改它。如果你發(fā)現(xiàn)本文有任何錯(cuò)誤，也請(qǐng)幫忙修改。
