Apache Mesos模塊間通信架構

作者：佚名 2014-01-06 17:13:59

Mesos主要由四種組件組成，分別是mesos-master，mesos-save，scheduler和Executor，各個組件之間采用了基于protocal buffer的actor model進行通信（采用開源庫libprocess）。也就是說，各個模塊分別是一個server(實際上是socket server)，分別監聽來自其他模塊的消息，一旦收到某個消息后，便會調用相應的消息處理函數進行處理。

1. 介紹

（什么是apache mesos？參考：《統一資源管理與調度平臺（系統）介紹》,本文分析基于Mesos SVN Revision 1327410）.

2. 通信框架概述

對于某個計算框架（如Hadoop，Spark等），如果想接入Mesos，需要編寫兩個組件，分別是FrameworkSchduler和 FrameworkExecutor，這兩個組件分別實現Scheduler和Executor接口，并分別通過SchedulerDriver和 ExecutorDriver接入Mesos，如圖中黑色虛線，表示這幾個組件之間通過函數調用產生關系。

其他組件，即mesos-master，mesos-save，SchedulerProcess和ExecutorProcess之間則通過消息機制進行通信（使用libprocess開源庫）。

（1）【SchedulerProcess與mesos-master】：mesos-master為各個framework分配資源，這些資源直接傳遞給SchedulerProcess，再由SchedulerProcess調用 FrameworkScheduler的相關函數，由FrameworkScheduler將這些資源分配給框架中的任務，并返回給mesos- master，由mesos-master轉發給相應的mesos-slave。

（2）【SchedulerProcess與Mesos-slave】：如果SchedulerProcess中保存了Mesos-slave的地址，則直接將相關消息發送給Mesos-slave，不必再由mesos-master轉發。

（3）【Mesos-master與Mesos-slave】：Mesos-master管理mesos-slave，如監控slave的健康狀況等

（4）【Mesos-slave與ExecutorProcess】：Mesos-slave負責管理各個framework的executor，并為executor分配資源等。

具體如下圖所示。