一、電商指標(biāo)體系建設(shè)背景

首先，在第一個(gè)章節(jié)中，會(huì)介紹電商業(yè)務(wù)的整體情況，在此基礎(chǔ)上探討為什么電商業(yè)務(wù)需要一個(gè)指標(biāo)平臺(tái)，其對(duì)電商業(yè)務(wù)的重要性，并將深入分析電商業(yè)務(wù)需要一個(gè)什么樣的指標(biāo)平臺(tái)。

電商業(yè)務(wù)的發(fā)展經(jīng)歷了三個(gè)階段：探索期、成長(zhǎng)期和穩(wěn)定期。

在探索期，我們迅速迭代，以業(yè)務(wù)為導(dǎo)向，主要目標(biāo)是快速適配業(yè)務(wù)調(diào)整，尋找穩(wěn)定的業(yè)務(wù)增長(zhǎng)模式。進(jìn)入成長(zhǎng)期，我們開始注重?cái)?shù)據(jù)生產(chǎn)的效率和質(zhì)量，努力將數(shù)據(jù)沉淀成體系，規(guī)范化地、高效、高質(zhì)量地為業(yè)務(wù)提供支持。這一時(shí)期，數(shù)據(jù)產(chǎn)品豐富多樣，針對(duì)不同數(shù)據(jù)域和場(chǎng)景誕生了多種數(shù)據(jù)產(chǎn)品。目前，我們處于穩(wěn)定期，核心追求是數(shù)據(jù)的多元化能力，期望每份數(shù)據(jù)能服務(wù)更多場(chǎng)景，并提供更規(guī)范、合理有效的數(shù)據(jù)方案。

在這三個(gè)時(shí)期中，如何在數(shù)據(jù)開發(fā)過程中追求更高的質(zhì)量和效率，始終是我們最關(guān)注的課題。

在我們的電商業(yè)務(wù)中，數(shù)據(jù)倉(cāng)庫(kù)扮演著關(guān)鍵角色，服務(wù)于多種內(nèi)部和外部業(yè)務(wù)系統(tǒng)。對(duì)內(nèi)，數(shù)倉(cāng)支持運(yùn)營(yíng)、分析、產(chǎn)品管理和 DA 等多個(gè)角色的需求，這些角色分布在不同的業(yè)務(wù)線，如供應(yīng)鏈、商品、交易等十余個(gè)至二十個(gè)數(shù)據(jù)域。每個(gè)數(shù)據(jù)域不僅為下游的指標(biāo)提供數(shù)據(jù)，還服務(wù)于各種內(nèi)部數(shù)據(jù)產(chǎn)品、BI 分析工具、AB 實(shí)驗(yàn)和其他數(shù)據(jù)平臺(tái)。

對(duì)外，數(shù)倉(cāng)的應(yīng)用更加廣泛，服務(wù)于買家、賣家、主播審核等多種角色，并支持供應(yīng)鏈廣告等多個(gè)業(yè)務(wù)系統(tǒng)。這些系統(tǒng)又進(jìn)一步對(duì)接更多數(shù)據(jù)產(chǎn)品和數(shù)據(jù)分析方式，例如上圖中的電商羅盤。

我們的電商業(yè)務(wù)數(shù)據(jù)具有三大特點(diǎn)：一是內(nèi)外用戶的多角色性，內(nèi)部有多個(gè)團(tuán)隊(duì)，外部服務(wù)數(shù)千萬(wàn)商家；二是產(chǎn)品形態(tài)的多樣性，無(wú)論是內(nèi)部還是外部，都有多種類型的數(shù)據(jù)產(chǎn)品；三是這些數(shù)據(jù)產(chǎn)品應(yīng)用的場(chǎng)景極為豐富。

隨著電商業(yè)務(wù)的不斷發(fā)展，我們認(rèn)識(shí)到提高數(shù)據(jù)質(zhì)量和效率是關(guān)鍵挑戰(zhàn)。在這個(gè)過程中，我們遇到了三個(gè)主要難點(diǎn)：

• 首先，指標(biāo)管理的不統(tǒng)一是一個(gè)突出問題。不同數(shù)據(jù)域或模塊中，相同的指標(biāo)可能有不同的命名，或者不同的指標(biāo)卻有著相同的名稱，即所謂的“同名不同義”或“同義不同名”的現(xiàn)象。這種情況下，僅依靠文檔或基礎(chǔ)管理平臺(tái)無(wú)法有效解決指標(biāo)管理的問題。
• 其次，指標(biāo)口徑的不統(tǒng)一也是一個(gè)重要問題。業(yè)務(wù)人員在查看或使用指標(biāo)時(shí)，常會(huì)發(fā)現(xiàn)指標(biāo)的定義不清晰，技術(shù)口徑不明確，這增加了理解和使用指標(biāo)的成本。
• 最后，指標(biāo)消費(fèi)的不統(tǒng)一同樣棘手。在早期，指標(biāo)的定義維護(hù)在文檔中，而數(shù)據(jù)取數(shù)口徑卻在數(shù)據(jù)庫(kù)中，導(dǎo)致在新的業(yè)務(wù)場(chǎng)景或 BI 分析需求出現(xiàn)時(shí)，數(shù)倉(cāng)不得不加工出更多冗余的表，建設(shè)重復(fù)的指標(biāo)，造成了資源浪費(fèi)。

綜上所述，指標(biāo)管理的不統(tǒng)一、口徑的不統(tǒng)一以及指標(biāo)消費(fèi)的不統(tǒng)一，構(gòu)成了我們?cè)陔娚虡I(yè)務(wù)中提高數(shù)據(jù)質(zhì)量和效率的三大障礙。因此，我們的指標(biāo)平臺(tái)要想真正解決業(yè)務(wù)問題，就必須針對(duì)性地解決這三個(gè)問題。

為了解決上述三大問題，指標(biāo)平臺(tái)需要滿足以下六大要求：

• 確保指標(biāo)或數(shù)據(jù)的一致性，這是解決所有問題的根本。
• 要有一套規(guī)范化的生產(chǎn)和管理流程，將所有參與指標(biāo)管理的角色納入系統(tǒng)，實(shí)現(xiàn)多角色的協(xié)同工作和指標(biāo)管理的系統(tǒng)化、自動(dòng)化。
• 利用管理平臺(tái)清晰地掌握數(shù)據(jù)資產(chǎn)和使用情況，以進(jìn)一步釋放數(shù)據(jù)的價(jià)值。
• 第四，在指標(biāo)消費(fèi)方面，我們不僅關(guān)注數(shù)據(jù)的取數(shù)消費(fèi)，還包括指標(biāo)的元信息消費(fèi)，確保用戶在查看指標(biāo)時(shí)，能夠了解其技術(shù)口徑、業(yè)務(wù)口徑和取數(shù)邏輯，并確保這些信息都統(tǒng)一收斂在指標(biāo)平臺(tái)中。
• 第五，確保所有下游的消費(fèi)端，如數(shù)據(jù)門戶、BI 平臺(tái)和其他數(shù)據(jù)產(chǎn)品，都通過我們提供的統(tǒng)一服務(wù)進(jìn)行數(shù)據(jù)獲取，以進(jìn)一步保證數(shù)據(jù)的一致性。
• 第六，用戶對(duì)數(shù)據(jù)取數(shù)的需求多樣，因此需要提供開放和可擴(kuò)展的消費(fèi)能力，支持業(yè)務(wù)的快速共建和定制化需求。

我們的目標(biāo)是利用指標(biāo)平臺(tái)在電商業(yè)務(wù)中實(shí)現(xiàn)生產(chǎn)促進(jìn)消費(fèi)，消費(fèi)再反饋促進(jìn)生產(chǎn)的閉環(huán)能力。這樣的良性循環(huán)將確保指標(biāo)平臺(tái)在電商業(yè)務(wù)中的價(jià)值，使其能夠持續(xù)、有效地運(yùn)轉(zhuǎn)。

為了解決上述問題，我們?cè)O(shè)計(jì)了一個(gè)功能齊全的指標(biāo)平臺(tái)，其架構(gòu)從基礎(chǔ)元素層到指標(biāo)定義、模型綁定，再到對(duì)下游的消費(fèi)支持。在基礎(chǔ)元素層，采用了業(yè)界通用的元素，如數(shù)據(jù)域、時(shí)間周期、修飾詞等，這些是數(shù)據(jù)或指標(biāo)管理方法論中的基礎(chǔ)構(gòu)件。

基于這些元素，構(gòu)建了指標(biāo)定義層，使用原子構(gòu)建和衍生四則運(yùn)算等標(biāo)準(zhǔn)方法。定義完成后，指標(biāo)需要與模型綁定，這樣就可以獲取指標(biāo)的取數(shù)信息。模型綁定后，便能夠?qū)油獠康?BI 平臺(tái)或業(yè)務(wù)數(shù)據(jù)平臺(tái)，進(jìn)行指標(biāo)的統(tǒng)一消費(fèi)。

為了便于業(yè)務(wù)靈活便捷地消費(fèi)數(shù)據(jù)，我們還提供了一種稱為 MetricDSL 的統(tǒng)一數(shù)據(jù)服務(wù)接口。這個(gè)接口是指標(biāo)平臺(tái)與外部系統(tǒng)交互的重要工具，使得數(shù)據(jù)的獲取和使用更加高效和精準(zhǔn)。后文中將詳細(xì)介紹這一功能。

二、指標(biāo)管理方法論

在介紹了我們的業(yè)務(wù)背景、思考過程和解決方案之后，接下來將詳細(xì)闡述我們?cè)谥笜?biāo)生產(chǎn)和管理方面的方法論。我們認(rèn)為，指標(biāo)管理的關(guān)鍵在于三個(gè)要素：指標(biāo)的有效拆解、統(tǒng)一基礎(chǔ)數(shù)據(jù)的建設(shè)，以及指標(biāo)管理角色的明確劃分。

指標(biāo)拆解是指標(biāo)管理的核心環(huán)節(jié)，我們基于七個(gè)基礎(chǔ)元素：數(shù)據(jù)域、時(shí)間周期、修飾詞、指標(biāo)單位、業(yè)務(wù)過程、度量和數(shù)據(jù)類型來進(jìn)行。例如，對(duì)于“支付訂單金額”這個(gè)指標(biāo)，我們會(huì)拆解出它所屬的數(shù)據(jù)域（如交易域）、業(yè)務(wù)過程（支付動(dòng)作）、度量（訂單數(shù)）等信息，從而生成原子指標(biāo)。進(jìn)一步結(jié)合修飾詞和時(shí)間周期，可以構(gòu)建出衍生指標(biāo)，如“最近一天直播載體支付訂單金額”。

我們還有一個(gè)特殊的規(guī)則，即生成業(yè)務(wù)指標(biāo)。這是通過去除衍生指標(biāo)和復(fù)合指標(biāo)中的時(shí)間周期，創(chuàng)建一個(gè)更易于業(yè)務(wù)理解的指標(biāo)。這樣做是為了降低業(yè)務(wù)對(duì)復(fù)雜指標(biāo)的理解成本，并實(shí)現(xiàn)業(yè)務(wù)與數(shù)倉(cāng)、技術(shù)側(cè)在指標(biāo)上的隔離，但實(shí)際上它們共享相同的底層指標(biāo)。

通過這種拆解方法論，解決了兩個(gè)主要問題：一是減少了指標(biāo)與維度的重復(fù)建設(shè)，解決了指標(biāo)命名不統(tǒng)一的問題；二是確保了所有指標(biāo)的口徑，包括衍生和復(fù)合指標(biāo)，都直觀且官方，從而降低了數(shù)倉(cāng)和業(yè)務(wù)人員對(duì)指標(biāo)的理解成本。

在確立了方法論之后，第二步同樣至關(guān)重要，即構(gòu)建統(tǒng)一的數(shù)據(jù)基礎(chǔ)。我們的數(shù)倉(cāng)建設(shè)過程經(jīng)歷了從基礎(chǔ)期到成長(zhǎng)期，再到成熟期的演變，面臨著煙囪式開發(fā)的問題。特別是在電商這樣數(shù)據(jù)量大且場(chǎng)景復(fù)雜的領(lǐng)域，統(tǒng)一的數(shù)據(jù)基礎(chǔ)顯得尤為重要。

我們的數(shù)倉(cāng)分為三層：接入層、公共層和應(yīng)用層。接入層，即 ODS 層，主要負(fù)責(zé)高效、準(zhǔn)確地接入數(shù)據(jù)。公共層承載著 DIM、DWD 或 DWM 層的表或模型，其目的是抽象和沉淀通用邏輯，確保數(shù)倉(cāng)的規(guī)范統(tǒng)一和穩(wěn)定易用。應(yīng)用層則直接服務(wù)于 BI 看板和具體的數(shù)據(jù)應(yīng)用場(chǎng)景，對(duì)應(yīng)于 DM 層或 APP 層，以及數(shù)據(jù)集。

基于這三層劃分，我們實(shí)現(xiàn)了電商數(shù)據(jù)基礎(chǔ)的構(gòu)建。在此基礎(chǔ)上，我們將指標(biāo)平臺(tái)的指標(biāo)與不同層級(jí)的表或模型進(jìn)行了綁定。接入層和公共層的表主要用于綁定原子指標(biāo)，而應(yīng)用層和公共層中用于實(shí)際取數(shù)和消費(fèi)的表，則綁定指標(biāo)平臺(tái)維護(hù)的衍生指標(biāo)。這些衍生指標(biāo)可以通過復(fù)合構(gòu)建生成對(duì)應(yīng)的復(fù)合指標(biāo)。

統(tǒng)一的數(shù)據(jù)基礎(chǔ)建設(shè)解決了兩個(gè)主要問題：一是減少了針對(duì)每個(gè)消費(fèi)場(chǎng)景的煙囪式開發(fā)，提高了研發(fā)和數(shù)倉(cāng)的整體生產(chǎn)效率；二是確保了數(shù)倉(cāng)基建的清晰性和體系化運(yùn)行。

在我們電商業(yè)務(wù)的實(shí)踐中，指標(biāo)拆解和數(shù)據(jù)基礎(chǔ)建設(shè)的落地效果顯著。目前，電商指標(biāo)庫(kù)涵蓋了大約 15 個(gè)數(shù)據(jù)域，每個(gè)數(shù)據(jù)域包含不同的模塊。指標(biāo)庫(kù)中現(xiàn)有原子指標(biāo) 700 個(gè)，衍生和復(fù)合指標(biāo)的數(shù)量則達(dá)到了數(shù)萬(wàn)個(gè)。這些衍生和復(fù)合指標(biāo)進(jìn)一步被抽象為業(yè)務(wù)指標(biāo)，以便于不同角色的理解和使用。

從業(yè)務(wù)角度來看，業(yè)務(wù)人員主要關(guān)注的是業(yè)務(wù)指標(biāo)，因?yàn)檫@些指標(biāo)直接反映了業(yè)務(wù)的狀態(tài)和趨勢(shì)。而對(duì)于數(shù)倉(cāng)或開發(fā)人員來說，他們則需要關(guān)注衍生和復(fù)合指標(biāo)，因?yàn)檫@些指標(biāo)是直接用于數(shù)據(jù)取數(shù)和處理的工具。通過這種方式，我們能夠滿足不同角色對(duì)數(shù)據(jù)的不同需求，同時(shí)也確保了數(shù)據(jù)的一致性和準(zhǔn)確性。

在指標(biāo)的生產(chǎn)和管理中，角色劃分與職責(zé)明確至關(guān)重要。最初接觸指標(biāo)平臺(tái)項(xiàng)目時(shí)，一個(gè)常見的問題是：這個(gè)指標(biāo)平臺(tái)到底屬于誰(shuí)？它僅僅是數(shù)倉(cāng)的指標(biāo)平臺(tái)嗎？隨著電商指標(biāo)管理體系項(xiàng)目的落地和深入思考，我們逐漸認(rèn)識(shí)到指標(biāo)平臺(tái)不應(yīng)僅限于數(shù)倉(cāng)使用，而應(yīng)定位為服務(wù)于數(shù)倉(cāng)、業(yè)務(wù)、分析師、數(shù)據(jù)產(chǎn)品以及各業(yè)務(wù)線數(shù)倉(cāng)和基礎(chǔ)建設(shè)數(shù)倉(cāng)的所有人員。

因此，指標(biāo)平臺(tái)的管理和服務(wù)對(duì)象應(yīng)涵蓋從生產(chǎn)到消費(fèi)整個(gè)生命周期的所有角色。我們的平臺(tái)功能設(shè)計(jì)旨在服務(wù)于從基建側(cè)的數(shù)倉(cāng)到實(shí)際業(yè)務(wù)團(tuán)隊(duì)、數(shù)據(jù)產(chǎn)品分析師等全鏈路的角色。我們的目標(biāo)是通過全角色能力的管理，實(shí)現(xiàn)從生產(chǎn)到消費(fèi)的完整循環(huán)，從而促進(jìn)生產(chǎn)和消費(fèi)的良性互動(dòng)。

為了使概念更加具體，這里提供一個(gè)實(shí)際案例。在指標(biāo)平臺(tái)內(nèi)部，有一個(gè)功能稱為“指標(biāo)需求登記”，它記錄了從數(shù)據(jù)分析師或數(shù)據(jù)產(chǎn)品提出指標(biāo)需求到數(shù)倉(cāng)完成指標(biāo)交付的全鏈路生命周期。

例如，分析師提出一個(gè)新指標(biāo)需求以支持內(nèi)部數(shù)據(jù)產(chǎn)品。他們需要在指標(biāo)平臺(tái)上進(jìn)行登記，通過平臺(tái)提供的工具完成需求登記。數(shù)倉(cāng)的開發(fā)人員收到登記后，首先要檢查該指標(biāo)是否已存在。如果不存在，開發(fā)人員需要進(jìn)行指標(biāo)拆解，構(gòu)建出新的指標(biāo)，包括原子指標(biāo)、修飾詞等。接著，從基建側(cè)開始，創(chuàng)建模型、表，并進(jìn)行模型綁定，最終交付給數(shù)據(jù)產(chǎn)品或分析師。

在整個(gè)生命周期中，模型的綁定、指標(biāo)分類歸屬、原子指標(biāo)對(duì)應(yīng)等每個(gè)階段都與指標(biāo)消費(fèi)打通。這使得每個(gè)指標(biāo)的消費(fèi)過程都有跡可循，為未來實(shí)現(xiàn)全鏈路的數(shù)據(jù)追溯和優(yōu)化提供了基礎(chǔ)。

上面這張截圖展示了我們產(chǎn)品功能的一個(gè)內(nèi)部示例，詳細(xì)記錄了從需求登記、指標(biāo)生產(chǎn)、審核，到消費(fèi)和業(yè)務(wù)確認(rèn)的完整過程。通過這個(gè)示例，我們可以清晰地看到數(shù)據(jù)從提出需求到最終應(yīng)用的每一步流程。

三、指標(biāo)消費(fèi)實(shí)踐

接下來，將簡(jiǎn)要介紹我們內(nèi)部如何實(shí)現(xiàn)指標(biāo)消費(fèi)與生產(chǎn)之間的無(wú)縫對(duì)接，即所謂的消費(fèi)打通能力。

為了實(shí)現(xiàn)指標(biāo)消費(fèi)與生產(chǎn)之間的統(tǒng)一和一致性，需要建立一個(gè)統(tǒng)一的指標(biāo)服務(wù)。在沒有統(tǒng)一指標(biāo)服務(wù)之前，我們面臨了諸多挑戰(zhàn)。數(shù)倉(cāng)團(tuán)隊(duì)需要根據(jù)業(yè)務(wù)需求創(chuàng)建不同的 APP 層數(shù)據(jù)應(yīng)用表，并維護(hù)對(duì)應(yīng)的數(shù)據(jù)服務(wù) API。每個(gè)應(yīng)用表可能對(duì)應(yīng)多個(gè) API，口徑和計(jì)算邏輯維護(hù)在 API 中，服務(wù)于 BI 看板、數(shù)據(jù)產(chǎn)品儀表盤等下游用數(shù)場(chǎng)景。

然而，這種模式存在多個(gè)問題：數(shù)據(jù)準(zhǔn)確性難以保證，因?yàn)榭趶骄S護(hù)在不同的 API 中；口徑變化時(shí)，API 難以迅速適應(yīng)；復(fù)用性指標(biāo)的開發(fā)和維護(hù)成本極高；新同學(xué)接手和理解成本高，因?yàn)閺?fù)雜的指標(biāo)口徑維護(hù)在 API 中。

為了解決這些問題，我們轉(zhuǎn)而構(gòu)建一個(gè)指標(biāo)服務(wù)，通過指標(biāo)平臺(tái)提供統(tǒng)一的數(shù)據(jù)服務(wù)出口。這樣做不僅提高了效率，降低了開發(fā)成本，還降低了理解和學(xué)習(xí)成本。

通過圖片展示，我們可以更直觀地看到在統(tǒng)一指標(biāo)服務(wù)建設(shè)之前和之后的情況。在建設(shè)之前，當(dāng)有需求時(shí)，我們需要開發(fā)許多中間層的 ClickHouse 表，并在其上構(gòu)建數(shù)據(jù)集和 API。這些 API 通常比較復(fù)雜且分散。在建設(shè)之后，所有的指標(biāo)取數(shù)和服務(wù)資產(chǎn)都維護(hù)在指標(biāo)平臺(tái)上。指標(biāo)平臺(tái)提供 MetricDSL 這樣的指標(biāo)化服務(wù)能力，作為一個(gè)統(tǒng)一的數(shù)據(jù)服務(wù)接入層，服務(wù)于所有下游的數(shù)據(jù)產(chǎn)品和消費(fèi)渠道。這種方式實(shí)現(xiàn)了整體統(tǒng)一的數(shù)據(jù)服務(wù)建設(shè)和接口。這種統(tǒng)一數(shù)據(jù)服務(wù)帶來的價(jià)值包括：

• 對(duì)于業(yè)務(wù)來說，以前交付的是 API，現(xiàn)在交付的是指標(biāo)，更清晰且信任度提升。
• 對(duì)于數(shù)據(jù)研發(fā)來說，以前交付的是表，現(xiàn)在交付的是指標(biāo)，提高了數(shù)據(jù)建設(shè)的效率和質(zhì)量。
• 確保了各個(gè)看板的技術(shù)口徑和業(yè)務(wù)口徑一致。
• 對(duì)于技術(shù)側(cè)的研發(fā)，通過統(tǒng)一的 DSL，大大提升了單一看板或單一頁(yè)面的開發(fā)效率，并降低了數(shù)據(jù)問題的排查成本。

為了實(shí)現(xiàn)統(tǒng)一的指標(biāo)查詢，我們梳理出了三個(gè)核心技術(shù)。首先是 MetricDSL，一種統(tǒng)一的指標(biāo)查詢語(yǔ)言。MetricDSL 支持多種查詢類型，包括 OLAP 查詢、明細(xì)查詢、基于指標(biāo)函數(shù)的查詢，以及用戶自定義的指標(biāo)函數(shù)查詢。其分析要素包括指標(biāo)維度模型、過濾條件、時(shí)間范圍，并能支持多指標(biāo)查詢、跨模型查詢、跨數(shù)據(jù)源查詢以及基于公共維度的查詢。

通過 MetricDSL，我們能夠提供給用戶和下游消費(fèi)場(chǎng)景更加靈活和多元化的查詢能力。例如，以前我們通過編寫 SQL 來查詢指標(biāo)，現(xiàn)在通過 MetricDSL 提供了一個(gè)通用化的接口，從而實(shí)現(xiàn)了統(tǒng)一查詢語(yǔ)言的語(yǔ)義表述。

在實(shí)現(xiàn)統(tǒng)一指標(biāo)查詢語(yǔ)言后，我們需要對(duì)執(zhí)行流程進(jìn)行規(guī)范化。用戶通過 MetricDSL 構(gòu)建查詢語(yǔ)義后，首先進(jìn)入元信息處理層，包括校驗(yàn)層、元信息獲取層和拆解層。元信息獲取層涉及指標(biāo)信息、模型信息和指標(biāo)函數(shù)信息的獲取。拆解層負(fù)責(zé)將用戶傳入的復(fù)合指標(biāo)拆分為基礎(chǔ)組件元素，并拆分指標(biāo)引擎，如將指標(biāo)底表對(duì)應(yīng)于 ClickHouse 或 StarRocks，以及拆分相應(yīng)的指標(biāo)函數(shù)。

元信息處理完成后，進(jìn)入物理執(zhí)行模塊，該模塊進(jìn)行 SQL 優(yōu)化，將 MetricDSL 通過 AST 語(yǔ)法樹分析轉(zhuǎn)換為能被引擎執(zhí)行的物理查詢計(jì)劃。接下來是數(shù)據(jù)處理階段，為了兼容跨模型、跨數(shù)據(jù)源、跨集群的查詢能力，我們會(huì)對(duì)不同模型或數(shù)據(jù)源的指標(biāo)進(jìn)行數(shù)據(jù)合并和內(nèi)存計(jì)算。

最后，對(duì)用戶查詢的指標(biāo)函數(shù)，如同環(huán)比等，在內(nèi)存中進(jìn)行計(jì)算，完成統(tǒng)一指標(biāo)查詢語(yǔ)言的完整執(zhí)行流程。

在電商內(nèi)部場(chǎng)景中，一個(gè)指標(biāo)往往會(huì)綁定到多個(gè)不同的模型。例如，支付訂單數(shù)指標(biāo)可能涉及域外和域內(nèi)場(chǎng)景，域內(nèi)場(chǎng)景又可能綁定到不同層級(jí)的表，如 DWD、DWS、DM 和 APP 層，每個(gè)表支持不同的粒度和主鍵，以及維度。

為了滿足用戶的查詢需求，我們支持將同一個(gè)指標(biāo)綁定到多個(gè)模型上。從整體視角出發(fā)，當(dāng)用戶查詢支付訂單數(shù)支持哪些維度時(shí)，我們提供的是該指標(biāo)在所有關(guān)聯(lián)模型中支持的維度，而不是單個(gè)模型。這樣，用戶可以從整個(gè)指標(biāo)和所有模型的視角進(jìn)行分析，無(wú)需關(guān)心指標(biāo)綁定在哪個(gè)模型上。

由于一個(gè)指標(biāo)可以綁定到多個(gè)模型，智能路由成為必要。智能路由分為篩選和淘汰階段，以及擇優(yōu)階段。篩選階段根據(jù)用戶選擇的指標(biāo)維度、維度值和可累加性，刪除不符合要求的表。擇優(yōu)階段則根據(jù)主題優(yōu)先、效率優(yōu)先、同模型優(yōu)先等規(guī)則，選擇最適合用戶場(chǎng)景的表。

在電商業(yè)務(wù)中，指標(biāo)消費(fèi)的過程涉及多個(gè)實(shí)際出口。首先，我們內(nèi)部有一個(gè)指標(biāo)字典或指標(biāo)專題功能，旨在讓業(yè)務(wù)同學(xué)能夠基于指標(biāo)平臺(tái)快速構(gòu)建屬于自己的指標(biāo)主題，無(wú)需逐個(gè)去數(shù)倉(cāng)獲取數(shù)據(jù)。他們可以直接通過構(gòu)建的這些主題獲取到相應(yīng)的指標(biāo)數(shù)據(jù)。

第二個(gè)重要的消費(fèi)出口是基于指標(biāo)的路由。以往，數(shù)倉(cāng)交付的是表，下游用戶只能從這些表中選擇構(gòu)建指標(biāo)。現(xiàn)在，下游數(shù)據(jù)的消費(fèi)從選表轉(zhuǎn)變?yōu)檫x指標(biāo)，用戶無(wú)需關(guān)心指標(biāo)屬于哪個(gè)表。他們看到的是整個(gè)電商業(yè)務(wù)或特定分析主題下的所有指標(biāo)，可以根據(jù)這些指標(biāo)進(jìn)行跨模型、跨數(shù)據(jù)源、跨數(shù)據(jù)域的整體分析。

這種基于指標(biāo)的消費(fèi)方式在 BI 分析看板中體現(xiàn)得尤為明顯。下游的 BI 平臺(tái)可選擇的內(nèi)容增多，用戶不再局限于維護(hù)基于固定數(shù)據(jù)集的指標(biāo)和維度配置?，F(xiàn)在，他們可以基于一個(gè)分析主題，利用大量指標(biāo)和維度的集合，快速構(gòu)建儀表盤和看板。

此外，基于指標(biāo)的消費(fèi)方式還帶來了一個(gè)優(yōu)勢(shì)，在以前的基于表或數(shù)據(jù)集的洞察分析中，我們只能分析某一維度或字段，例如，當(dāng)我們分析國(guó)家占比時(shí)，只能看到指標(biāo)整體上升時(shí)，哪些國(guó)家增長(zhǎng)最為顯著?，F(xiàn)在，由于我們擁有了指標(biāo)的血緣信息，比如一個(gè)復(fù)合指標(biāo)，我們可以進(jìn)行更深入的分析。例如，如果指標(biāo)上升，我們可以分析是分子增加了還是分母減少了，甚至可以查看更詳細(xì)的情況?；谥笜?biāo)構(gòu)建的血緣，我們可以進(jìn)行更深刻的洞察分析。

四、電商實(shí)踐案例

在完成電商指標(biāo)體系建設(shè)后，我們通過具體數(shù)據(jù)來驗(yàn)證其成效，是否實(shí)現(xiàn)了預(yù)期的生產(chǎn)促進(jìn)消費(fèi)、消費(fèi)促進(jìn)生產(chǎn)的良性循環(huán)。我們從四個(gè)方面進(jìn)行評(píng)估：指標(biāo)的覆蓋度、電商規(guī)范化指標(biāo)的程度、用戶的消費(fèi)情況以及一致性問題是否得到解決。

為了衡量電商指標(biāo)體系建設(shè)成效，我們?cè)O(shè)定了幾個(gè)關(guān)鍵指標(biāo)。首先，模型的綁定率達(dá)到了 83%，意味著電商維護(hù)的 1 萬(wàn)多個(gè)指標(biāo)中有 83% 都進(jìn)行了綁定。其次，我們關(guān)注所有電商視角指標(biāo)的查詢是否通過指標(biāo)元數(shù)據(jù)或指標(biāo)去除服務(wù)得到覆蓋。目前的覆蓋度為 70%，這是一個(gè)相對(duì)較高的數(shù)值。

第三個(gè)關(guān)鍵指標(biāo)是公共層的沉淀率，即有多少指標(biāo)沉淀到了公共層。通過這三個(gè)指標(biāo)值，我們發(fā)現(xiàn)指標(biāo)平臺(tái)在電商領(lǐng)域解決了煙囪式開發(fā)和業(yè)務(wù)口徑對(duì)齊的痛點(diǎn)，進(jìn)一步實(shí)現(xiàn)了生產(chǎn)促進(jìn)消費(fèi)，一處生產(chǎn)多處消費(fèi)的最終目標(biāo)。

此外，我們還將關(guān)注點(diǎn)擴(kuò)展到了外部場(chǎng)景，包括內(nèi)部 BI 的數(shù)據(jù)打通、源數(shù)據(jù)取數(shù)，以及消費(fèi)看板等核心業(yè)務(wù)場(chǎng)景。

五、未來規(guī)劃

展望未來，我們主要從三個(gè)智能化和大模型角度進(jìn)行規(guī)劃。首先，我們計(jì)劃通過分析用戶查詢?nèi)罩镜臒狳c(diǎn)，自動(dòng)化生成對(duì)應(yīng)的物化視圖，以提升查詢性能。其次，我們將實(shí)現(xiàn)智能化的建模，通過已維護(hù)模型的血緣推斷新模型的指標(biāo)和維度綁定關(guān)系，實(shí)現(xiàn)語(yǔ)義化的自動(dòng)建模。我們還將致力于智能化的指標(biāo)拆解，通過大模型的理解和生產(chǎn)血緣，實(shí)現(xiàn)自動(dòng)化拆解，減輕數(shù)倉(cāng)在指標(biāo)生產(chǎn)上的負(fù)擔(dān)。此外，我們計(jì)劃利用大模型將高度規(guī)范化和高價(jià)值的指標(biāo)信息進(jìn)行整合，為未來的大模型理解指標(biāo)語(yǔ)義提供支持。例如，當(dāng)用戶查詢特定指標(biāo)時(shí)，我們希望通過大模型將文本轉(zhuǎn)換為 SQL，以提高查詢的準(zhǔn)確率。未來，大模型的找數(shù)場(chǎng)景將成為我們關(guān)注的重點(diǎn)。這些規(guī)劃將有助于進(jìn)一步提升電商業(yè)務(wù)的數(shù)據(jù)質(zhì)量和效率。