轉(zhuǎn)轉(zhuǎn)運營系統(tǒng)之商品標簽平臺
1. 背景
轉(zhuǎn)轉(zhuǎn)作為國內(nèi)領(lǐng)先的二手電商平臺，商品品類橫跨數(shù)碼3C、家電家居乃至奢品、汽車，用戶群體與需求呈現(xiàn)顯著差異化。例如，學生群體側(cè)重性價比，白領(lǐng)階層偏好品質(zhì)服務(wù)。為了實現(xiàn)商品與用戶的精準匹配，就需要精細化的運營策略，然而，精細化的運營卻面臨以下難題：
1.1 精細化運營面臨四大難題
- 二手商品數(shù)據(jù)復(fù)雜性高：二手商品除了商品本身的標品屬性外，還存在成色、機況、質(zhì)檢報告等大量的非標屬性。這些屬性描述方式多樣，缺乏統(tǒng)一標準，信息分散在商品描述、圖片、質(zhì)檢報告等不同地方，導(dǎo)致商品數(shù)據(jù)結(jié)構(gòu)復(fù)雜，難以標準化管理。
- 商品管理和篩選效率低下：傳統(tǒng)電商的標準化SPU維度無法有效處理二手商品豐富的非標屬性，平臺難以基于這些關(guān)鍵屬性對商品進行精細化管理和篩選。
- 用戶體驗受影響：由于缺乏對非標屬性的有效利用，導(dǎo)致用戶在搜索商品時難以精準定位到符合需求的商品，例如，用戶想要搜索“成色好”的二手手機，傳統(tǒng)篩選系統(tǒng)可能無法有效支持這種基于非標屬性的搜索。
- 運營效率難以提升：由于數(shù)據(jù)復(fù)雜且難以有效管理，平臺難以基于數(shù)據(jù)進行深入分析，無法精準了解商品銷售情況、用戶偏好等，從而難以制定有效的數(shù)據(jù)驅(qū)動運營策略，限制了運營效率的提升。
1.2 商品標簽平臺旨在解決上述痛點
- 結(jié)構(gòu)化非標屬性數(shù)據(jù)：將分散、非結(jié)構(gòu)化的非標屬性信息轉(zhuǎn)化為結(jié)構(gòu)化的標簽，實現(xiàn)數(shù)據(jù)標準化管理。
- 提高商品管理和篩選效率：基于標簽系統(tǒng)，平臺可以高效地篩選和管理商品，提升運營效率。
- 提升用戶體驗：通過基于標簽系統(tǒng)的精準搜索和推薦，幫助用戶快速找到心儀的商品，提升購物體驗。
- 實現(xiàn)數(shù)據(jù)驅(qū)動運營：利用標簽數(shù)據(jù)進行深入分析，為平臺運營決策提供數(shù)據(jù)支持，提升運營效率和競爭力。
2. 系統(tǒng)總覽
整個商品標簽平臺大致上可分為三層：
系統(tǒng)架構(gòu)圖
應(yīng)用層：應(yīng)用層作為系統(tǒng)的入口，負責提供用戶操作界面（后臺配置中心、標簽后臺組件）和RPC 接口，是用戶和外部系統(tǒng)與標簽平臺進行交互的通道。
服務(wù)層：服務(wù)層是系統(tǒng)的核心業(yè)務(wù)處理層，負責執(zhí)行關(guān)鍵的商品標簽匹配、標簽生命周期管理、離線數(shù)據(jù)管理、商品管理和數(shù)據(jù)互聯(lián)互通等核心業(yè)務(wù)邏輯。
數(shù)據(jù)層：數(shù)據(jù)層為服務(wù)層提供多樣化的數(shù)據(jù)存儲能力，包括關(guān)系型數(shù)據(jù)庫（MySQL）、搜索引擎（ES）、本地緩存（Local Cache）和分布式緩存（Redis），以滿足不同類型數(shù)據(jù)的存儲和高效訪問需求。
3. 系統(tǒng)核心設(shè)計之如何保證標簽的實時性
3.1 背景
作為電商平臺，商品的更新和用戶的行為都會時刻發(fā)生，商品標簽的實時性會直接影響到用戶的體驗和整體的運營效率。那么在標簽平臺中，是如何設(shè)計來保證實時性呢？
實時性設(shè)計示意圖
解釋：增量（給變動的商品重新匹配標簽）；存量（給符合標簽規(guī)則的商品進行標簽綁定）
3.2 核心設(shè)計
- 流量分離：上圖中，雖然執(zhí)行的都是商品和標簽的匹配操作，但明確區(qū)分了實時性要求高的增量打標和非實時性的存量打標。為什么這么做呢？
流量分離示意圖
- 提升實時打標響應(yīng)速度：增量打標專注于處理商品變更、價格變更等實時事件，通過消息隊列驅(qū)動，可以做到事件發(fā)生時立即觸發(fā)打標流程，大幅降低打標延遲，保證實時性。
- 降低存量打標對實時性的影響：存量打標通常存在不確定性，標簽圈選的商品數(shù)量級未知，將存量與增量打標分離，可以避免存量打標任務(wù)對實時打標鏈路造成性能沖擊，保證實時打標的穩(wěn)定性和低延遲。
- 資源隔離，提升系統(tǒng)穩(wěn)定性：將不同類型的打標任務(wù)隔離處理，可以更好地進行資源調(diào)配和管理，避免資源爭搶，提升系統(tǒng)的整體穩(wěn)定性。
- 事件驅(qū)動：通過對商品進行監(jiān)聽，讓系統(tǒng)對商品數(shù)據(jù)的變更事件立即做出反應(yīng)，而不是被動等待或輪詢。當商品數(shù)據(jù)發(fā)生變化（例如商品創(chuàng)建、更新、價格變動、屬性變更等）時，系統(tǒng)能夠立即捕獲這些事件，并觸發(fā)后續(xù)的打標流程。
事件驅(qū)動示意圖 - 引入去重 MQ (Deduplication MQ) 機制：在實踐中發(fā)現(xiàn)，一個商品的某一塊數(shù)據(jù)發(fā)生了變化，那么其他數(shù)據(jù)會產(chǎn)生一種聯(lián)動效應(yīng)，一起發(fā)生變化，所以在增量通道中新增"ES處理去重MQ"和"增量標簽匹配去重MQ"兩種去重消息隊列，減少因消息重復(fù)導(dǎo)致的商品與標簽的重復(fù)匹配，提升標簽數(shù)據(jù)的準確性和可靠性，降低不必要的資源消耗。
MQ去重示意圖
4. 系統(tǒng)核心設(shè)計之如何保證數(shù)據(jù)的一致性
4.1 背景
針對存量打標，是對平臺所有存量商品進行標簽匹配的操作。涉及大量數(shù)據(jù)的批量處理，數(shù)據(jù)量巨大，處理時間長，處理環(huán)節(jié)多，任何環(huán)節(jié)出現(xiàn)異常都有可能導(dǎo)致數(shù)據(jù)不一致的發(fā)生。為了避免這種情況的發(fā)生，平臺建立了一套完整的機制，用于保證數(shù)據(jù)的一致性。
數(shù)據(jù)一致性設(shè)計流程圖
4.2 機制拆解
- 全局統(tǒng)一入口：定義打標任務(wù)統(tǒng)一入口，確保每次打標任務(wù)都能夠按照預(yù)設(shè)的流程執(zhí)行下去，最終形成任務(wù)流的閉環(huán)。
- 全局互斥鎖：每個存量打標任務(wù)圈選的商品數(shù)量是不可預(yù)測的，可能存在前一個任務(wù)還未執(zhí)行完成，后一個任務(wù)已經(jīng)啟動的情況，所以采用全局互斥鎖的操作，來保證同一時刻，只有一個任務(wù)在執(zhí)行打標任務(wù)，避免多任務(wù)并發(fā)執(zhí)行導(dǎo)致任務(wù)流執(zhí)行紊亂。
- 全局異常捕獲：任務(wù)即使做了統(tǒng)一入口的操作，但在任務(wù)執(zhí)行過程中，也會出現(xiàn)因為任務(wù)內(nèi)部異常導(dǎo)致執(zhí)行流中斷的情況，所以就引入全局異常捕獲機制，并記錄異常任務(wù)的執(zhí)行進度，為后續(xù)任務(wù)恢復(fù)提供數(shù)據(jù)保證。
- 異常任務(wù)恢復(fù)：每次新任務(wù)開始執(zhí)行之前，默認校驗上次任務(wù)是否存在異常，如果存在異常，就根據(jù)異常任務(wù)的執(zhí)行進度，開展異常任務(wù)斷點續(xù)傳的操作，進一步避免由于任務(wù)異常中斷而導(dǎo)致數(shù)據(jù)遺漏問題。
- 數(shù)據(jù)異步處理：利用MQ的異步化處理能力，提升系統(tǒng)效率的同時，并結(jié)合MQ的持久化和消息可靠投遞機制，保障任務(wù)的順利向下游執(zhí)行，降低數(shù)據(jù)丟失的風險。
為了保證數(shù)據(jù)的一致性，在任務(wù)執(zhí)行的過程中每個步驟環(huán)環(huán)相扣，嚴密協(xié)作。從任務(wù)級別的全局互斥鎖，到流程內(nèi)部的斷點續(xù)傳機制，再到消息隊列的可靠傳輸，以及全局異常監(jiān)控，每一個步驟都指向了同一個目標：確保存量商品標簽數(shù)據(jù)更新的完整性、準確性和可靠性，最終實現(xiàn)系統(tǒng)數(shù)據(jù)的一致性。
5. 系統(tǒng)核心設(shè)計之如何消除數(shù)據(jù)讀取瓶頸
5.1 背景
在整個系統(tǒng)中，特別是進行規(guī)則匹配時，往往需要頻繁地根據(jù)規(guī)則去查找、讀取大量的標簽基礎(chǔ)數(shù)據(jù)。如果每次都直接從MySQL讀取，在高并發(fā)、大數(shù)據(jù)量的情況下，MySQL很容易成為性能瓶頸，嚴重影響打標整體效率。為了避免這種現(xiàn)象的發(fā)生，設(shè)計了一套健全的多級緩存結(jié)構(gòu)。
多級緩存設(shè)計示意圖
5.2 核心理念
- 多級緩存的數(shù)據(jù)維護
- 始終以MySQL為權(quán)威源，所有上層緩存都遵循隨MySQL數(shù)據(jù)變而變的基本原則
- 特殊場景主動清理，在“存量打標任務(wù)”啟動時，優(yōu)先主動清理本地緩存和Redis緩存，確保任務(wù)基于最新數(shù)據(jù)進行
- 數(shù)據(jù)按需加載，緩存數(shù)據(jù)通常在首次訪問時，從更權(quán)威的數(shù)據(jù)源 (Redis 或 MySQL) 按需加載并緩存
- 多級緩存的數(shù)據(jù)讀取
性能高度依賴緩存，多級緩存是保證打標效率的重要組件之一，所以在整個標簽系統(tǒng)的匹配流程中，始終遵循緩存優(yōu)先原則
容錯降級能力設(shè)計：在整個緩存數(shù)據(jù)使用中，即使部分緩存層失效，系統(tǒng)仍能退回到下層緩存或數(shù)據(jù)庫，以短暫的性能損失來保證整個標簽數(shù)據(jù)的可用性
多級緩存架構(gòu)在整個打標系統(tǒng)中至關(guān)重要。維護上，以MySQL為權(quán)威，緩存失效策略為主，輔以特殊場景清理；讀取上，緩存是性能核心，數(shù)據(jù)獲取分層依賴，并具備容錯能力。并且這種設(shè)計在性能、一致性和可靠性之間取得了平衡，從而支撐起高效穩(wěn)定的打標流程。
6. 未來構(gòu)想
標簽平臺作為轉(zhuǎn)轉(zhuǎn)運營系統(tǒng)中的重要組成部分之一，未來還有很大的效率提升空間，后續(xù)也將從以下幾部分入手，進一步提升效率：
- 商品維度：支撐商品打標數(shù)量級由百萬級至千萬級
- 標簽維度：標簽數(shù)據(jù)的結(jié)構(gòu)化，如對標簽數(shù)據(jù)樹形化處理，利用樹的特點，提升匹配效率等
7. 總結(jié)
轉(zhuǎn)轉(zhuǎn)商品標簽平臺的成功實踐，充分證明了結(jié)構(gòu)化非標數(shù)據(jù)對于二手電商平臺精細化運營的重要性。平臺提供了一種技術(shù)驅(qū)動的解決方案，巧妙地結(jié)合了分層架構(gòu)、事件驅(qū)動、消息隊列、多級緩存、和數(shù)據(jù)一致性保障機制等技術(shù)手段，有效解決了精細化運營的痛點，并提供強大的技術(shù)支持。
