京東容器化MySQL生產實踐

作者：鮑永成 2017-01-10 16:04:02

京東容器數據庫系統，MySQL Docker容器實例達到萬級以上。架構簡單可靠，Docker容器計算平臺與MySQL集群管理平臺解耦處理。為描述方便，京東容器化數據庫系統命名為CM(Containerized MySQL)，底層京東Docker容器計算平臺命名為JDOS。

本文重點介紹JDOS如何支持CM。CM是更大的話題，后續數據庫團隊會分享相關實踐。

介紹

CM依賴京東堅實的JDOS技術，MySQL Docker容器實例達到萬級以上。

CM借助JDOS技術優勢獲得主要3個方面的技術收益：

CM借助Docker容器資源隔離能力，有效支持同一宿主物理機上多MySQL實例直接資源隔離，極大提高數據庫實例部署密度，有效提升資源使用率。
CM借助Docker容器資源平滑升級能力，方便數據庫實例平滑擴容需求。
CM借助JDOS平臺資源池化提供管理容器生命周期API能力，實現用戶自助上下線數據庫以及自動化運維。

本文會從架構設計，性能測試等方面說明京東CM落地實踐過程。

整體架構

CM與JDOS解耦，CM負責管理MySQL主從等集群方式的生命周期管理;京東JDOS負責單個MySQL容器實例生命周期管理。

京東Docker容器集群分多Region，多POD部署，且不同集群之間網絡互通，有效支持每個MySQL實例可被業務系統直接調用，確保***的網絡延遲性能。

MySQL集群實例

優先級、配額

數據庫cluster根據業務重要性劃分不同的優先級，京東的劃分更加細致，這里我們簡化分2種優先級：核心系統，非核心系統。

云數據庫管理平臺只需要在調用京東JDOS平臺API時候，帶上priority=0，即可表示創建的是核心系統依賴的數據庫。京東JDOS平臺會強制把屬于該cluster的多MySQL實例調度到不同的機架，且不資源“超配”。

底層資源云化和核算成本需求，會針對按事業部配給一定的配額，所在的創建數據庫集群實例成功后，自動從該部門扣除對應的資源值，反之銷毀會歸還配額到部門。

監控、告警

數據庫cluster自身DB層面的告警由云數據庫集群平臺提供。涉及到底層計算、網絡、存儲等資源層面的告警，由底層京東Docker容器平臺提供數據給云數據庫集群。

JDOS架構

JDOS是京東統一數據中心計算，網絡，存儲管理平臺。除支持CM外，也支持京東全部的業務系統運行環境。

JDOS系統基于京東扎實的Openstack，Docker等開源技術的持續研發能力，提供穩定，高性能的計算資源平臺。每個組件都是獨立服務部署，采用MQ互相交互信息，京東重構了主要的核心組件服務，使JDOS平臺可以支持更大的集群規模，目前穩定在6K臺物理計算節點。重新設計JDOS升級功能，做到平滑無感知，有效支撐長時間運行容器的穩定性。

JDOS控制節點

JDOS控制節點服務組件，借助Haproxy做PooL模式部署，有效避免單點和負載能力問題。

控制節點3臺物理機，分別跨在不同的機架上，避免Tor交換機，機架電力，服務器等故障影響。

控制節點服務組件混合部署，進一步提升控制節點每個服務組件的高可用和負載能力。

比如計算服務API，鏡像服務API，認證服務API，網絡服務API，存儲服務API進程混部同一臺物理機。