Redis 集群中如何處理非本節點的 slot

作者：寫代碼的SharkChili 2025-02-21 15:43:29

這篇文章就來聊聊當某個節點處理到非它所負責的slot時是如何處理的，這一點很好的體現了redis對于raft協議良好的設計與實現。

我們都知道redis集群有16384個槽，它會因為我們集群個數配置的不同而分配不同的slot給各個節點，而這篇文章就來聊聊當某個節點處理到非它所負責的slot時是如何處理的，這一點很好的體現了redis對于raft協議良好的設計與實現。

一、詳解redis集群指令處理

1. 整體流程

假設我們現在集群中有個節點，每個節點各自負責一部分槽，此時我們的客戶端向節點2發起一個set指令，而該指令對應的key應該是要存放到節點1中，對此節點2的做法是查看自己所維護的節點列表是否有負責該slot的節點，如果發現了而回復給客戶端move指令，告知客戶端到指令的ip端口的節點進行鍵值對存儲：

了解完整體流程之后，我們通過源碼的方式來印證這些實現上的細節，我們都知道redis客戶端發送的指令都會被redis的processCommand處理，該函數如果發現當前是以集群的方式啟動并且符合以下兩個條件則以集群的邏輯解析這條指令：

發送指令的不是master服務器。
參數中帶有key。

那么redis就會調用getNodeByQuery查詢重定向的節點，如果發現查詢到的節點不是自己或者為空則調用clusterRedirectClient進行重定向處理：

int processCommand(redisClient *c) {
    //......
    //如果開啟了集群，且發送者不是master且參數帶key則步入邏輯
    if (server.cluster_enabled &&
        !(c->flags & REDIS_MASTER) &&
        !(c->flags & REDIS_LUA_CLIENT &&
          server.lua_caller->flags & REDIS_MASTER) &&
        !(c->cmd->getkeys_proc == NULL && c->cmd->firstkey == 0))
    {
        int hashslot;

        if (server.cluster->state != REDIS_CLUSTER_OK) {
         //......
        } else {
            int error_code;
            //查找可以處理的節點
            clusterNode *n = getNodeByQuery(c,c->cmd,c->argv,c->argc,&hashslot,&error_code);
            //如果為空且或者非自己，則調用clusterRedirectClient進行重定向
            if (n == NULL || n != server.cluster->myself) {
                flagTransaction(c);
                clusterRedirectClient(c,n,hashslot,error_code);
                return REDIS_OK;
            }
        }
    }

   //......
   //處理當前請求指令并返回
}

2. 詳解節點定位步驟getNodeByQuery

步入getNodeByQuery即可看到查詢的核心流程，無論是單條還是多條客戶端指令，他都會封裝成multiState結構體交由后續邏輯處理，而后續邏輯就會遍歷這些指令并計算出對應的slot，然后執行如下邏輯：

如果發現定位到的節點是自己，且當前節點正在做遷移，則做個遷移標記，然后檢查當前節點是否有這個槽，如果沒有則發送ASK指令告知客戶端重定向到另一個遷移的目標槽試試看。
如果對應的key沒有找到對應的槽，則直接返回當前節點。
找到目標槽，直接返回MOVE指令和目標槽的信息。

對應我們給出getNodeByQuery的核心代碼段：

clusterNode *getNodeByQuery(redisClient *c, struct redisCommand *cmd, robj **argv, int argc, int *hashslot, int *error_code) {
    //......
    //如果是exec命令則用客戶端的multiState封裝這些命令
    if (cmd->proc == execCommand) {
        /* If REDIS_MULTI flag is not set EXEC is just going to return an
         * error. */
        if (!(c->flags & REDIS_MULTI)) return myself;
        ms = &c->mstate;
    } else {
       //如果不是exec則自己創建一個multiState封裝這單條指令保證后續邏輯一致
        ms = &_ms;
        _ms.commands = &mc;
        //命令個數1
        _ms.count = 1;
        //命令參數
        mc.argv = argv;
        //命令參數個數
        mc.argc = argc;
        //對應的命令
        mc.cmd = cmd;
    }

    
    //遍歷multiState中的命令
    for (i = 0; i < ms->count; i++) {
        struct redisCommand *mcmd;
        robj **margv;
        int margc, *keyindex, numkeys, j;
  //解析出命令、參數個數、參數
        mcmd = ms->commands[i].cmd;
        margc = ms->commands[i].argc;
        margv = ms->commands[i].argv;
        //解析出key以及個數
        keyindex = getKeysFromCommand(mcmd,margv,margc,&numkeys);
        for (j = 0; j < numkeys; j++) {
            //拿到key
            robj *thiskey = margv[keyindex[j]];
            //計算slot
            int thisslot = keyHashSlot((char*)thiskey->ptr,
                                       sdslen(thiskey->ptr));

            if (firstkey == NULL) {
             
                firstkey = thiskey;
                slot = thisslot;
                //拿著計算的slot定位到對應的節點
                n = server.cluster->slots[slot];

                
                //如果定位到的節點就是當前節點正在做遷出或者遷入，則migrating_slot/importing_slot設置為1
                if (n == myself &&
                    server.cluster->migrating_slots_to[slot] != NULL)
                {
                    migrating_slot = 1;
                } else if (server.cluster->importing_slots_from[slot] != NULL) {
                    importing_slot = 1;
                }
            } else {
               //......
            }

           
            //如果正在做遷出或者嵌入，且當前找不到當前db找不到key的位置，則missing_keys++意為某個key可能正在被遷移中所以沒有命中
            if ((migrating_slot || importing_slot) &&
                lookupKeyRead(&server.db[0],thiskey) == NULL)
            {
                missing_keys++;
            }
        }
        getKeysFreeResult(keyindex);
    }

   
    //所有key都沒有對應節點，直接返回當前節點
    if (n == NULL) return myself;

    //......
    //正在遷出且這個key在當前節點沒有被命中，則將error_code設置為ask，并返回遷出的節點信息，告知客戶端到返回節點嘗試指令
    if (migrating_slot && missing_keys) {
        if (error_code) *error_code = REDIS_CLUSTER_REDIR_ASK;
        return server.cluster->migrating_slots_to[slot];
    }

    //......
    //返回其他節點，error_code設置為move
    if (n != myself && error_code) *error_code = REDIS_CLUSTER_REDIR_MOVED;
    return n;
}

3. 結果告知客戶端

上述流程發現處理的節點不是自己之后，調用clusterRedirectClient進行重定向，如果是REDIS_CLUSTER_REDIR_MOVED則告知客戶端這些slot后續直接找重定向節點處理就好了，后續無需找自己。若是REDIS_CLUSTER_REDIR_ASK則說明當前節點正處于數據遷移到目標節點，你可以到遷移的節點進行請求，后續再次發起請求是還是找當前節點看看能否出去，如果不能在進行重定向：

void clusterRedirectClient(redisClient *c, clusterNode *n, int hashslot, int error_code) {
    //......
    if(......){
    //......
    } else if (error_code == REDIS_CLUSTER_REDIR_MOVED ||
               error_code == REDIS_CLUSTER_REDIR_ASK)
    {
        //返回move命令告知要移動到的節點后續直接到move的，如果是ask則返回正在遷往的節點地址，是臨時措施，下次客戶端還會找當前節點
        addReplySds(c,sdscatprintf(sdsempty(),
            "-%s %d %s:%d\r\n",
            (error_code == REDIS_CLUSTER_REDIR_ASK) ? "ASK" : "MOVED",
            hashslot,n->ip,n->port));
    } else {
        redisPanic("getNodeByQuery() unknown error.");
    }
}

二、小結

這篇文章比較精簡，我們通過源碼的方式簡單的剖析了去中心化的redis如何在不同節點處理不同槽的請求，大體過程比較簡單：

接收并處理客戶端傳入的key指令操作。
通過getNodeByQuery獲取key對應的slot所屬節點。
如果是當前節點的slot直接處理。
如果不是則查看是否正在遷出，如果是則返回ask讓客戶端到別的節點試試看，反之進入步驟5。
如果定位的slot對應的節點是別的節點則直接用move指令重定向客戶端，讓客戶端到另一個節點詢問結果。

責任編輯：趙寧寧來源：寫代碼的SharkChili