之家push系統迭代之路

作者：李娟娟、董歡歡 2023-08-02 08:05:54

push系統是汽車之家APP的基礎功能，是觸達用戶的一個非常重要的手段，它每天給幾千萬用戶提供及時有趣的內容服務，對于提高主軟活躍度及用戶粘性起到重要作用。未來它將繼續致力于召回喚醒沉默用戶、促進用戶活躍、提高功能使用體驗。

前言

在這個信息爆炸的互聯網時代，能夠及時準確獲取信息是當今社會要解決的關鍵問題之一。隨著之家用戶體量和內容規模的不斷增大，傳統的靠"主動拉"獲取信息的方式已不能滿足用戶個性化信息的需求，信息主動尋找用戶的方式，更適合移動互聯網。push系統能在用戶不啟動APP的場景下獲取到相關信息，利用機器學習技術構建模型，為用戶提供精準的個性化推薦，讓用戶第一時間知曉產品、內容、活動等的最新動態。

1、系統綜述

push是一種有效召回用戶的產品，它涉及到的業務場景有：運營場景化推送（活動、消息通知、熱點）、算法精準推送（定時個性化推送），它的核心模塊如下：

數據處理：用戶數據、內容數據以及用戶歷史行為數據等。

流程預測：通過召回、排序、干預、過濾等，生成待推送渲染數據。

JOB：調度、觸發推送任務的執行。

推送通道：查詢、過濾有效設備，封裝協議和消息體，識別不同APP，下發到終端。

終端：對消息進行積攢處理，請求廠商或第三方渠道，進行消息下發。

APP：通知欄或彈窗展示推送消息，并上報到達和點擊數據。

圖片

接下來將從數據、算法、架構三個方面介紹push精準推送系統的構成：

數據：數據是push系統的基石，包括用戶數據、內容數據以及用戶歷史行為數據等。它以離線畫像為主，輔以實時行為畫像。
算法：算法需要適應高度復雜性并處理大量數據，傳統的人工策略已無法進行分析干預，因此需要一套基于復雜信息的處理邏輯。隨著push業務復雜度的提高，算法也從最初的樹模型發展到以神經網絡為基礎的深度學習模型。
架構：架構保證push系統可以進行近實時化、全自動化的運行。架構包含了收集用戶行為、提取用戶畫像特征、存儲用戶數據、生成推送結果等。用戶對內容的時效性、個性化要求越高，系統架構就會越復雜。

2、系統迭代及優化

2.1 鏈式任務

push采用鏈式任務支撐整個系統，每批次預測任務都需要經過特征提取、召回、排序、打散、重排、生成推薦結果等步驟，隨著新特征的接入以及召回和排序場景的不斷迭代優化，任務失敗的頻率越來越高，主要存在如下問題：

● 特征數據難以復用：特征數據存儲在臨時表中，任務執行失敗時需人工介入恢復，無歷史數據可用。

● 流程執行鏈路過長：召回、排序、重排等關鍵流程每一步失敗都將造成任務失敗且重試成本高。

● 非明文類召回功能接入成本高：新的召回策略實驗不能動態接入，需要開發介入。

2.2 異步服務

針對鏈式任務存在的問題，push任務采用分尾號、分時段并行執行，并通過以下方式提升任務執行效率：

● 數據分區：將特征數據及預測流程各環節生成的結果存入分區表，解決任務執行失敗時無數據可用的問題。

● 流程拆分：將預測主流程拆分為召回、排序、重排、結果融合等子流程，每個子流程按尾號異步執行，互不影響，每個子任務只需取上一環節生成的最新結果即可繼續運行，提升了系統的穩定性及容錯性。

● 平臺化配置：通過配置平臺動態接入實驗，簡化新策略接入成本。

3.整體設計

3.1 業務架構

圖片

push系統業務主要分為三大部分，離線層、近線層和推送層。

離線層：是計算量最大的一個部分，它不需要實時提供服務。主要功能模塊有數據處理、數據存儲、離線特征計算、離線預測等。它通過任務調度平臺定時從全量數據中抽取我們需要的數據，進行相應的加工，生成對應的特征，經過spark模型進行離線預測，得到待推送結果。
近線層：特點是準實時，它可以獲得實時數據，然后快速計算提供服務。通過監聽kafka，獲取用戶行為日志，計算得出用戶實時特征（用戶搜索車系、瀏覽車系等），然后將實時特征與長中期特征進行融合，調用tensorflow模型實時預測得到待推送結果。
推送層：將離線預測結果和實時預測結果進行融合（優先取實時結果），按批次生成待推送數據。通過任務調度中心定時選取最新批次預測結果給用戶進行推送。