A/B測試系統(tǒng)設(shè)計
1.什么是A/B測試
A/B 測試，簡單來說，就是為同一個目標制定兩個方案，讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案的效果更好，以便全面推廣。
A/B 測試在有的公司又稱為小流量測試或者灰度發(fā)布，原因：
一 是為了統(tǒng)計新功能的效果;
二 是為了在全流量上線前修復可能出現(xiàn)的BUG。
雖然在業(yè)務(wù)上的含義有所差異，但是在系統(tǒng)設(shè)計上卻是完全相通的。
2.A/B測試系統(tǒng)的模塊
A/B測試有三個主要的功能模塊：
一是用戶分類
二是效果統(tǒng)計
三是流量分配
3.用戶分類模塊設(shè)計
用戶分類是A/B測試的核心。
為了滿足不同的業(yè)務(wù)場景，這里簡述兩種分類方案：
全用戶抽樣
這種分類方案的使用場景是新功能是針對全站的。而操作方法也很簡單：(userId % X) < n。其中X是抽樣的比例，例如按照1%抽樣，那么X就等于100。而n是抽樣的份數(shù)，這里有一個流量從小到大的過程，也就是n從1到X的過程。
按用戶特質(zhì)分類
這種分類的使用場景是新功能是針對某種特定用戶的。比如我們針對大學生人群設(shè)計了一個新功能，如果采用全用戶抽樣，那么不是我們的特定用戶的統(tǒng)計效果就會沖淡新功能的真實效果，導致統(tǒng)計結(jié)果趨于平淡，無法體現(xiàn)真實效果。這時候我們就需要針對特質(zhì)人群來做抽樣。
不同的分類方法模塊設(shè)計也會不同，這里提出一種比較通用的用戶分類模塊設(shè)計方案：用戶標簽(tag)系統(tǒng)。
我們把用戶的分類用tag來表示，屬于某個分類的用戶，就給他打上一個對應(yīng)的tag。怎么找到某個分類的用戶需要具體情況具體分析，這里就不深入了。我們需要建立一個用戶tag存儲模塊，這個模塊的功能非常簡單，就是存取一個用戶的tag。這個模塊可以僅僅只是一個Redis服務(wù)器，也可以是一個數(shù)據(jù)庫，還可以是一個RESTful Service。根據(jù)業(yè)務(wù)需要進行選擇。
有了用戶tag存儲模塊后，我們把我們需要抽樣的用戶打上一個tag，比如大學生。有時候為了更精確的統(tǒng)計效果，我們在統(tǒng)計的時候不是小流量和全流量對比，而是兩個對照組對比，那么兩個對照組都需要打上tag，比如大學生A，大學生B。有時候我們需要一個流量從小到大的過程，那么我們就把目標人群分成n份，打上不同的tag，比如大學生1…大學生n。這樣在測試過程中，我們可以不斷增加測試流量。
4.效果統(tǒng)計簡述
有了tag系統(tǒng)后，效果統(tǒng)計模塊就很好設(shè)計了。我們在出報表的時候，根據(jù)tag的不同，把用戶對應(yīng)的數(shù)據(jù)統(tǒng)計到不同的報表里，自然就可以出兩組對比報表。至于具體需要統(tǒng)計哪些維度的哪些指標，這個就根據(jù)業(yè)務(wù)的需要來選擇，此處暫且不表。
5.流量分配模塊設(shè)計
流量分配模塊針對不同的業(yè)務(wù)需要也有很多種設(shè)計方案，這里簡單提幾種：
從nginx分流
這種設(shè)計方案最簡單。首先把不同的代碼部署到兩組服務(wù)器上面，各自獨立，然后在nginx上面加載一個模塊，根據(jù)用戶的tag和流量分配規(guī)則，把流量轉(zhuǎn)發(fā)到不同的服務(wù)器。這種方案的缺點很明顯，對于小流量，如果上一臺服務(wù)器就存在單點問題，上兩臺服務(wù)器又存在資源浪費問題，在兩組服務(wù)器上面的壓力會不均勻。以服務(wù)器作為最小分配單元粒度顯得太大了。
通過配置文件或者硬編碼的形式分配流量
這種方案由于對代碼不透明，所以開發(fā)人員需要完全了解流量分配規(guī)則、完全跟進流量從小大到的變化等過程，而且要開發(fā)很多相關(guān)的代碼，在流量完全上線后又要刪除這些代碼，造成人力資源浪費。
通過獨立的模塊進行流量分配控制，在業(yè)務(wù)代碼里面通過注解的方式進行流量分配。
這種方案是我們推薦的設(shè)計方案，接下來會詳細介紹這種設(shè)計。
在現(xiàn)代軟件開發(fā)中，為了避免系統(tǒng)存在單點故障，各種軟件都是作為分布式多機部署的。在多機部署的情況下，流量分配模塊的數(shù)據(jù)同步問題就必須考慮。我們推薦采用zookeeper進行基本數(shù)據(jù)存儲，而像用戶標簽則存儲在另外的獨立系統(tǒng)中。利用zookeeper的通知機制，我們可以動態(tài)的改變流量分配策略。
SDK依賴這兩個存儲系統(tǒng)來進行流量分配。Zookeeper里面存儲采用何種策略來分配流量，而用戶標簽系統(tǒng)只存儲用戶的標簽。業(yè)務(wù)系統(tǒng)集成SDK只需要在配置里面初始化SDK，然后在需要流量分配的方法上面寫上注解就可以：
1)初始化SDK
2)添加注解
我們目前支持兩種注解級別：
一是類級別，也就是整個類里面的所有方法的調(diào)用都涉及到流量分配;
二是方法級別，就是只有這個方法的調(diào)用涉及到流量分配。
這里詳細說一下方法級別的注解如何使用。
首先創(chuàng)建一個interface，當然也可以使用已有的interface：
然后針對兩種實現(xiàn)創(chuàng)建這個interface的兩個實現(xiàn)類，***個是默認的實現(xiàn)類：
默認的實現(xiàn)類上面需要添加@Primary注解，表示這個是默認實現(xiàn)類。
在需要流量控制的方法上，添加@Switch注解，表示一個動態(tài)開關(guān)。featureUID表示這個開關(guān)的具體策略，alterBean表示開關(guān)打開之后需要調(diào)用這個bean上面的相應(yīng)的方法。
接下來是我們第二個實現(xiàn)類：
***是調(diào)用這個方法的時候怎么傳入環(huán)境參數(shù)：
到這里SDK的集成就全部完成了。根據(jù)具體的策略和用戶的tag，我們會選擇正確的方法去執(zhí)行。
