對于網絡上面很重要的一部分內容——在線游戲來說，服務器的負載均衡是非常非常重要的。數以萬計的用戶同時在一個平臺上進行游戲，那么數據的交換和傳遞，以及每一個用戶的瀏覽速度，游戲質量都是有一定標準的。那么，我們就來以QQ的在線游戲為例，說一下這方面的負載均衡問題。

近日在與業內人士討論時,提到QQ游戲的實現方式并不是我原來所想的那樣,于是,今天又認真抓了一下QQ游戲的包,結果確如這位兄弟所言,QQ 游戲的架構與我當初所設想的那個架構相差確實不小｡下面,我重新給出QQ***在線的技術實現方案,并以此展開,談談大型在線系統中的負載均衡機制的設計｡

從QQ游戲的登錄及游戲過程來看,QQ游戲中,也至少分為三類服務器｡它們是:

***層:登陸/賬號服務器(Login Server),負責驗證用戶身份､向客戶端傳送初始信息,從QQ聊天軟件的封包常識來看,這些初始信息可能包括"會話密鑰"此類的信息,以后客戶端與后續服務器的通信就使用此會話密鑰進行身份驗證和信息加密;

第二層:大廳服務器(估且這么叫吧, Game Hall Server),負責向客戶端傳遞當前游戲中的所有房間信息,這些房間信息包括:各房間的連接IP,PORT,各房間的當前在線人數,房間名稱等等｡

第三層:游戲邏輯服務器(Game Logic Server),負責處理房間邏輯及房間內的桌子邏輯｡

從靜態的表述來看,以上的三層結構似乎與我以前寫的那篇文章相比并沒有太大的區別,事實上,重點是它的工作流程,QQ游戲的通信流程與我以前的設想可謂大相徑庭,其設計思想和技術水平確實非常優秀｡具體來說,QQ游戲的通信過程是這樣的:

1.由Client向Login Server發送賬號及密碼等登錄消息,Login Server根據校驗結果返回相應信息｡可以設想的是,如果Login Server通過了Client的驗證,那么它會通知其它Game Hall Server或將通過驗證的消息以及會話密鑰放在Game Hall Server也可以取到的地方｡總之,Login Server與Game Hall Server之間是可以共享這個校驗成功消息的｡一旦Client收到了Login Server返回成功校驗的消息后,Login Server會主動斷開與Client的連接,以騰出socket資源｡Login Server的IP信息,是存放在QQGame\config\QQSvrInfo.ini里的｡

2.Client收到Login Server的校驗成功等消息后,開始根據事先選定的游戲大廳入口登錄游戲大廳,各個游戲大廳Game Hall Server的IP及Port信息,是存放在QQGame\Dirconfig.ini里的｡Game Hall Server收到客戶端Client的登錄消息后,會根據一定的策略決定是否接受Client的登錄,如果當前的Game Hall Server已經到了上限或暫時不能處理當前玩家登錄消息,則由Game Hall Server發消息給Client,以讓Client重定向到另外的Game Hall Server登錄｡重定向的IP及端口信息,本地沒有保存,是通過數據包或一定的算法得到的｡如果當前的Game Hall Server接受了該玩家的登錄消息后,會向該Client發送房間目錄信息,這些信息的內容我上面已經提到｡目錄等消息發送完畢后,Game Hall Server即斷開與Client的連接,以騰出socket資源｡在此后的時間里,Client每隔30分鐘會重新連接Game Hall Server并向其索要***的房間目錄信息及在線人數信息｡

3.Client根據列出的房間列表,選擇某個房間進入游戲｡根據我的抓包結果分析,QQ游戲,并不是給每一個游戲房間都分配了一個單獨的端口進行處理｡在QQ游戲里,有很多房間是共用的同一個IP和同一個端口｡比如,在斗地主一區,前50個房間,用的都是同一個IP和Port信息｡這意味著,這些房間,在QQ游戲的服務器上,事實上,可能是同一個程序在處理!!!QQ游戲房間的人數上限是400人,不難推算,QQ游戲單個服務器程序的用戶承載量是2萬,即QQ的一個游戲邏輯服務器程序最多可同時與2萬個玩家保持TCP連接并保證游戲效率和品質,更重要的是,這樣可以為騰訊省多少money 呀!!!哇哦!QQ確實很牛｡以2萬的在線數還能保持這么好的游戲品質,確實不容易!QQ游戲的單個服務器程序,管理的不再只是邏輯意義上的單個房間,而可能是許多邏輯意義上的房間｡其實,對于服務器而言,它就是一個大區服務器或大區服務器的一部分,我們可以把它理解為一個龐大的游戲地圖,它實現的也是分塊處理｡而對于每一張桌子上的打牌邏輯,則是有一個統一的處理流程,50個房間的50*100張桌子全由這一個服務器程序進行處理(我不知道QQ游戲的具體打牌邏輯是如何設計的,我想很有可能也是分區域的,分塊的)｡當然,以上這些只是服務器作的事,針對于客戶端而言,客戶端只是在表現上,將一個個房間單獨羅列了出來,這樣作,是為便于玩家進行游戲以及減少服務器的開銷,把這個大區中的每400人放在一個集合內進行處理(比如聊天信息,"向400人廣播"和"向2萬人廣播",這是完全不同的兩個概念，那么具體的負載均衡問題我們也會分開來談)｡

4.需要特別說明的一點｡進入QQ游戲房間后,直到點擊某個位置坐下打開另一個程序界面,客戶端的程序,沒有再創建新的socket,而仍然使用原來大廳房間客戶端跟游戲邏輯服務器交互用的socket｡也就是說,這是兩個進程共用的同一個socket!不要小看這一點｡如果你在創建桌子客戶端程序后又新建了一個新的socket與游戲邏輯服務器進行通信,那么由此帶來的玩家進入､退出､逃跑等消息會帶來非常麻煩的數據同步問題,俺在剛開始的時候就深受其害｡而一旦共用了同一個socket后,你如果退出桌子,服務器不涉及釋放socket的問題,所以,這里就少了很多的數據同步問題｡關于多個進程如何共享同一個socket的問題,請去google以下內容:WSADuplicateSocket｡

以上便是我根據***的QQ游戲抓包結果分析得到的QQ游戲的通信流程,當然,這個流程更多的是客戶端如何與服務器之間交互的,卻沒有涉及到服務器彼此之間是如何通信和作數據同步的｡關于服務器之間的通信流程,我們只能基于自己的經驗和猜想,得出以下想法:

1.Login Server與Game Hall Server之前的通信問題｡Login Server是負責用戶驗證的,一旦驗證通過之后,它要設法讓Game Hall Server知道這個消息｡它們之前實現信息交流的途徑,我想可能有這樣幾條:a. Login Server將通過驗證的用戶存放到臨時數據庫中;b. Login Server將驗證通過的用戶存放在內存中,當然,這個信息,應該是全局可訪問的,就是說所有QQ的Game Hall Server都可以通過服務器之間的數據包通信去獲得這樣的信息｡

2.Game Hall Server的***房間目錄信息的取得｡這個信息,是全局的,也就是整個游戲中,只保留一個目錄｡它的信息來源,可以由底層的房間服務器逐級報上來,報給誰?我認為就如保存的全局登錄列表一樣,它報給保存全局登錄列表的那個服務器或數據庫｡

3.在QQ游戲中,同一類型的游戲,無法打開兩上以上的游戲房間｡這個信息的判定,可以根據全局信息來判定｡

以上關于服務器之間如何通信的內容,均屬于個人猜想,QQ到底怎么作的,恐怕只有等大家中的某一位進了騰訊之后才知道了｡呵呵｡不過,有一點是可以肯定的,在整個服務器架構中,應該有一個地方是專門保存了全局的登錄玩家列表,只有這樣才能保證玩家不會重復登錄以及進入多個相同類型的房間｡

在前面的描述中,我曾經提到過一個問題:當登錄當前Game Hall Server不成功時,QQ游戲服務器會選擇讓客戶端重定向到另位的服務器去登錄,事實上,QQ聊天服務器和MSN服務器的登錄也是類似的,它也存在登錄重定向問題｡

那么,這就引出了另外的問題,由誰來作這個策略選擇?以及由誰來提供這樣的選擇資源?這樣的處理,便是負責負載均衡的服務器的處理范圍了｡由 QQ游戲的通信過程分析派生出來的針對負責均衡及***在線系統的更進一步討論,將在下篇文章中繼續｡