用 Nginx 來做私有 docker registry 的安全控制
docker registry 介紹
docker registry 就是管理 docker 鏡像的服務， Docker 公司維護的 registry 就是 http://hub.docker.com ，它可以讓我們方便的下載預先做好的鏡像。
- $ docker pull ubuntu
上面的命令就是缺省的從這個Docker官方源下載。在國內為了加快訪問，你也可以使用 docker.cn 的服務，他們同步了常用的鏡像，使用也非常方便，如：
- $ docker pull docker.cn/docker/ubuntu
大部分公司在推廣使用 docker 時，都會為了使用方便，在公司內部自己架設一個，不僅僅是為了安全、節省大量的帶寬，而且也可以有效推動內部對docker的有效利用，如下圖:
Docker公司的 docker registry也是開源的，我們可以很容易的架設自己的私有docker registry，啟動時典型的docker方式，就是：
- $ docker run -d -p 5000:5000 registry
使用也很簡單了，下面的命令就是把官方的ubuntu鏡像放在私有的registry：
- $ docker tag ubuntu company.com:5000/ubuntu
- $ docker push company.com:5000/ubuntu
不過他有以下幾個問題：
- registry缺省沒有安全權限的設置，任何人都可以pull、push，這個基本上是不能接受的。
- 十月發布的docker 1.3.x版本的發布有很多新的功能，但也強制基本鑒定（basic authentication）必須使用https，極其煩人。
這篇博客就把作者做的一些實驗分享給大家，讓你也能在docker環境下起這些服務體會一下，再簡單解釋一下是如何用nginx來怎么這些問題。所有的實驗都是在Windows boot2docker的環境下完成，理解后在其他docker環境應該也一樣。
先會把成功的環境演示一下，后面再把其中的技術稍微解釋一下。
#p#
演示環境說明
讓我們先來看看這個nginx+registry的服務是怎么組成的。
dokk.co 這是docker服務器的名字也就是你的公司docker私有服務器的地址，因為https的SSL證書不能用IP地址，我就隨便找了個名字，做實驗沒有問題。
registry 服務器作為上游服務器處理docker鏡像的最終上傳和下載，用的是官方的鏡像。
nginx 是一個用nginx作為反向代理服務器，通過模塊提供https的ssl的認證和basic authentication，加上必要的配置，用的是我自己做的一個鏡像 larrycai/nginx-auth-proxy 。
這里可以看到典型的互聯網服務，nginx把這些https、認證服務搞定，registry關注docker的鏡像服務就可以了。
可以很方便的啟動這些服務，命令如下：
- $ docker run -d --name registry -p 5000:5000 registry
- $ docker run -d --name nginx --link registry:registry -p 443:443 larrycai/nginx-auth-proxy
命令稍加解釋一下
--name registry:這是docker的容器鏈接(link)技術，為了方便 nginx 容器的訪問 registry（對應 --link registry:registry )，稍后還有解釋。
-p 5000:5000 registry 作為上游服務器，這個 5000 端口可以不用映射出來，因為所有的外部訪問都是通過前端的nginx來提供，nginx 可以在私有網絡訪問 registry 。端口映射出來只是為了方便調試，確保查看 registry 是否獨立也能工作。
-p 443:443 就是對外服務的https端口。
嘗試
多說無益，嘗試一下，看看到底現在可以能做啥了。
Registry服務
先驗證 registry 是否正常：
- $ docker pull hello-world # 這個hello world包很小，適合做實驗
- $ docker tag hello-world localhost:5000/hello-world
- $ docker push localhost:5000/hello-world
- The push refers to a repository [localhost:5000/hello-world] (len: 1)
- Sending image list
- Pushing repository localhost:5000/hello-world (1 tags)
- 511136ea3c5a: Image successfully pushed
- 7fa0dcdc88de: Image successfully pushed
- ef872312fe1b: Image successfully pushed
- Pushing tag for rev [ef872312fe1b] on {http://localhost:5000/v1/repositories/hello-world/tags/latest}
結果一切正常，registry已經能提供后端的 docker registry 服務了。
#p#
docker的HTTPS服務
現在看看nginx的https服務怎么樣，先用curl命令。（ larrycai:passwd 是我預先放置的用戶和密碼）
- $ curl -i -k https://larrycai:passwd@dokk.co
噢
- curl: (6) Couldn't resolve host 'dokk.co'
對了，這是自己杜撰的域名，需要在 /etc/hosts的localhost 后面加上 dokk.co ，如下。
- $ cat /etc/hosts
- 127.0.0.1 boot2docker localhost localhost.local dokk.co
再來一次嘗試一下
- $ curl -i -k https://larrycai:passwd@dokk.co
- HTTP/1.1 200 OK
- Server: nginx/1.6.2
- Date: Sat, 29 Nov 2014 09:21:18 GMT
- Content-Type: application/json
- Content-Length: 28
- Connection: keep-alive
- Expires: -1
- Pragma: no-cache
- Cache-Control: no-cache
- "\"docker-registry server\""
說明連通了 nginx 和 registry 。說句實話，以前我沒玩過nginx，看到這么簡單，還是有點小激動，這么容易。
實際上也打開瀏覽器訪問 https://192.168.59.103 , 192.168.59.103是 boot2docker 的VM的IP地址(你可以換成你的docker機器的IP地址）
忽略安全告警后，輸入用戶名和密碼 larrycai:passwd ，還是正確的訪問到了上游的registry了。我用的是chrome，如果是IE，可能會要你存盤才能看到 "\"docker-registry server\"" 這行字符串。
#p#
docker 的 login 服務
如果我們希望 docker push 需要訪問控制的話，在docker中是通過 docker login 先來登錄的，成功后的配置信息存放在 ~/.dockercfg 。
先來試試不登錄的情況：
- $ docker tag hello-world dokk.co/hello-world
- $ docker push dokk.co/hello-world
- The push refers to a repository [dokk.co/hello-world] (len: 1)
- Sending image list
看上去沒啥反應，也沒報啥錯，但是明顯沒有 push 上去，再去docker的log（ /var/lib/boot2docker/docker.log ）中查查
- docker@boot2docker:~$ tail -f /var/lib/boot2docker/docker.log
- [debug] http.go:162 https://dokk.co/v1/repositories/hello-world/ -- HEADERS: map[User-Agent:[docker/1.3.2 go/go1.3.3 git-commit/39fa2fa kernel/3.16.7-tinycore64 os/linux arch/amd64] Authorization:[Basic Og==]]
- Error: Status 401 trying to push repository hello-world: <html>
- <head><title>401 Authorization Required</title></head>
- <body bgcolor="white">
- <center><h1>401 Authorization Required</h1></center>
- <hr><center>nginx/1.6.2</center>
- </body>
- </html>
- [00246b13] -job push(dokk.co/hello-world) = ERR (1)
可以發現提示需要鑒權，和預想的一樣（這里要理解是docker的daemon和registry交互而不是docker客戶）
好吧，先用docker登陸是否成功。
- $ docker login -u larrycai -p passwd -e test@gmail.com dokk.co
- 2014/11/29 12:42:12 Error response from daemon: Server Error: Post https://dokk.co/v1/users/: x509: certificate signed by unknown authority
OMG，鏡像內部放的自簽名證書它不相信，我們需要把服務器的根證書在docker這端自己認證一下。
讓我們把我做 dokk.co 的根證書 ca.pem 下載下來，再加入到 boot2docker 的證書（ /etc/ssl/certs/ca-certificates.crt ）中。當然為了演示方便， ca.pem 已經放在容器中了，你可以直接把它拷貝出來。( docker cp 是個好命令，別忘了）
- $ docker cp nginx:/ca.pem $PWD
- $ cat ca.pem | sudo tee -a /etc/ssl/certs/ca-certificates.crt
不好意思，證書是docker的daemon需要用到的，docker服務需要重啟。先停掉服務是個好習慣（體會到加 --name 的好處了吧）。
- $ docker rm -f registry nginx
- $ sudo /etc/init.d/docker restart
然后再次運行registry和nginx服務，然后 login
- $ docker run -d --name registry -p 5000:5000 registry
- $ docker run -d --name nginx --link registry:registry -p 443:443 larrycai/nginx-auth-proxy
- $ docker login -u larrycai -p passwd -e test@gmail.com dokk.co
- Login Succeeded
再上傳試試
- $ docker tag hello-world dokk.co/hello-world
- $ docker push dokk.co/hello-world
- Sending image list
- Pushing repository dokk.co/hello-world (1 tags)
- 511136ea3c5a: Image successfully pushed
- 7fa0dcdc88de: Image successfully pushed
- ef872312fe1b: Image successfully pushed
- Pushing tag for rev [ef872312fe1b] on {https://dokk.co/v1/repositories/hello-world/tags/latest}
一切***，測試結束，永遠的v5。
#p#
技術討論
現在來簡單過一遍一些技術要點，不懂nginx的話也沒多大關系，看懂關鍵點，多做實驗。
basic auth
- 可以在 Dockerfile 中看到 nginx 編譯的時候加載了 http_auth_request 模塊
- RUN curl -s http://nginx.org/download/nginx-1.6.2.tar.gz | tar -xz -C /tmp \
- && cd /tmp/nginx-1.6.2 \
- && ./configure --with-http_ssl_module --with-http_auth_request_module && make && make install
然后在 nginx.conf 中配好用戶名密碼文件 docker-registry.htpasswd ，這個文件是有 htpasswd 命令產生。
- location / {
- auth_basic "Restricted";
- auth_basic_user_file docker-registry.htpasswd; # larrycai:passwd
- proxy_pass http://docker-registry;
- }
你可以試著進入 nginx 容器，運行 htpasswd 命令（ docker exec 也是一個神奇的命令）
- $ docker exec -it nginx bash
- root@ea80e44b037b:/# htpasswd -c .htpasswd newuser
- New password:
- Re-type new password:
- Adding password for user newuser
- root@ea80e44b037b:/# cat .htpasswd
- newuser:$apr1$ZVVA17EI$pGLB1MtHbyML.K/ZfWNHD1
https ssl認證
上面可以看到， nginx 編譯的時候加載了 http_ssl 模塊。在 Dockerfile 中把預先創好的證書文件 server.crt/server.key 放到鏡像中
- ADD server.crt /etc/ssl/certs/docker-registry
- ADD server.key /etc/ssl/private/docker-registry
然后在 nginx.conf 中把 ssl 開關打開，配好證書。
- ssl on;
- ssl_certificate /etc/ssl/certs/docker-registry;
- ssl_certificate_key /etc/ssl/private/docker-registry;
關于https自簽名證書的問題，自己可以搜索學習，我是照著 Building private Docker registry with basic authentication 做的，關鍵是還要保留CA的證書，應該可以從瀏覽器中導出，我就直接放在鏡像里了。
在 boot2docker 下如何處理證書，可以查看 boot2docker的issues #347 。現在重啟后，證書目錄會重置，現在可以放在腳本中 /var/lib/boot2docker/bootlocal.sh 自動加載，代碼如下。
- #!/bin/sh
- cat /var/lib/boot2docker/ca.pem | sudo tee -a /etc/ssl/certs/ca-certificates.crt
nginx 到 docker registry
- 這個如果有 nginx 的知識一看就明白了，不懂的話，直接使用就好了，官方配置 https://github.com/docker/docker-registry/tree/master/contrib/nginx ，主要就是下面一些代碼
- proxy_set_header Host $http_host; # required for docker client's sake
- proxy_set_header X-Real-IP $remote_addr; # pass on real client's IP
- proxy_set_header Authorization ""; # see https://github.com/dotcloud/docker-registry/issues/170
- proxy_read_timeout 900;
- client_max_body_size 0; # disable any limits to avoid HTTP 413 for large image uploads
- chunked_transfer_encoding on; # required to avoid HTTP 411: see Issue #1486 (https://github.com/dotcloud/docker/issues/1486)
- root /usr/local/nginx/html;
- index index.html index.htm;
- location / {
- auth_basic "Restricted";
- auth_basic_user_file docker-registry.htpasswd; # testuser:testpasswd & larrycai:passwd
- proxy_pass http://docker-registry;
- }
- location /v1/_ping {
- auth_basic off;
- proxy_pass http://docker-registry;
- }
- location /_ping {
- auth_basic off;
- proxy_pass http://docker-registry;
- }
#p#
摘要
在這篇博客中，我們演示了如何用Nginx作為前端服務器來解決Docker 私有registry的安全認證問題，通過它，你應該可以架設一個可以使用的安全的私有regsitry。
- 用nginx配好basic auth (使用htpasswd）
- 做好https自簽名證書
- 用nginx配好https服務
- 把CA根證書導入要訪問的docker機器
所有的代碼你都可以在 github上的larrycai/nginx-auth-proxy 上找到。
當然現在常用的 pull 命令下載鏡像也要認證了，在公司內部會非常討厭，***是可以匿名訪問。而且一些出錯處理也很簡單，這些用nginx是比較容易實現的，有機會的話，我會再寫博客講解，如果你有好的方案的話，也請告知。
Docker 可以幫助我們做很多事情，關注我的新浪微博 @larrycaiyu ，我特別愿意探討軟件開發中如何使用docker。
