在日前的2021阿里云金融數據智能峰會——《云原生驅動數智化運營的“增長黑馬”》專場上，阿里云數據庫資深技術專家魏闖先 從數據價值鏈路角度切入，為大家解讀云原生數據倉庫如何支撐數據化運營、全鏈路營銷和阿里集團雙11業(yè)務，并展示金融客戶最佳實踐案例和應用場景。本文內容根據演講錄音及PPT整理而成。

[[412539]]

阿里云數據庫資深技術專家魏闖先

一、背景與趨勢

（一）阿里巴巴15年云計算實踐

回顧阿里巴巴十五年來云原生發(fā)展的道路，大致分為三個階段。

第一個階段是2006年～2015年的應用架構互聯(lián)網化階段，是云原生從0到1的過程。最早的時候，阿里巴巴在淘寶上做中間件，那是最早的云的雛形。當時我們研究的是Oracle數據庫和IBM的小型機。但阿里巴巴發(fā)現(xiàn)一個問題，就是隨著淘寶流量越來越大，Oracle的機器無法繼續(xù)滿足業(yè)務需求，三個月之后，我們的數據將存不下也算不了。這是非常嚴重的問題，所以當時阿里巴巴啟動了去IOE的計劃。

這個時候，阿里巴巴發(fā)現(xiàn)我們的業(yè)務做得非常好，但技術上有很多挑戰(zhàn)。因此，阿里巴巴在2009年成立了阿里云，自研飛天操作系統(tǒng)，開啟云化時代，淘寶和天貓合并建設業(yè)務中臺，屆時三大中間件核心系統(tǒng)上線。

飛天操作系統(tǒng)基于Apsara，是一個分布式的操作系統(tǒng)。在基礎公共模塊之上有兩個最核心的服務：盤古和伏羲。盤古是存儲管理服務，伏羲是資源調度服務，飛天內核之上應用的存儲和資源的分配都是由盤古和伏羲管理。飛天核心服務分為：計算、存儲、數據庫、網絡。

為了幫助開發(fā)者便捷地構建云上應用，飛天提供了豐富的連接、編排服務，將這些核心服務方便地連接和組織起來，包括：通知、隊列、資源編排、分布式事務管理等等。

飛天最頂層是阿里云打造的軟件交易與交付第一平臺----云市場。它如同云計算的“App Store”，用戶可在阿里云官網一鍵開通“軟件+云計算資源”。云市場上架在售商品幾千個，支持鏡像、容器、編排、API、SaaS、服務、下載等類型的軟件與服務接入。

這就是最早的云的基礎框架，也是一個云原生的架構。

從2011年開始，我們開始做容器調度，在集團里面開始做在線業(yè)務，在線的業(yè)務開始走容器化。到了2013年，自研飛天操作系統(tǒng)全面支撐集團業(yè)務。

2015年，阿里云的云原生技術不單是給阿里巴巴的內部業(yè)務使用，也開始對外做商業(yè)化，以上就是第一階段。

第二階段是2016年～2019年的核心系統(tǒng)全面云原生化階段。

從2017年開始，我們不只做在線了，離線也全部采用了云原生的技術。雙11購物節(jié)有大量的交易數據，這些數據的后臺分析和后期處理都是交給離線完成。我們基于云原生把在線和離線的底層資源池統(tǒng)一，支撐百萬級規(guī)模電商交易。

到了2019年，阿里巴巴核心系統(tǒng)100%上云，這其實非常難，因為阿里巴巴的業(yè)務量非常巨大，任何普通的系統(tǒng)都無法支撐。

第三階段是2020年至今，是全面升級下一代云原生技術的階段。阿里巴巴成立云原生技術委員會，云原生升級為阿里技術新戰(zhàn)略。阿里巴巴核心系統(tǒng)全面使用云原生產品支撐大促。阿里云云原生技術全面升級，Serverless時代開啟。

（二）阿里云對于云計算的斷言

阿里巴巴是怎樣看待云計算的？云計算和傳統(tǒng)技術的差別到底是什么？

舉個例子，在一個家家戶戶都需要挖井的村莊里，每家根據自家人口數量、大概需要的出水量、是否會有客人來等等因素，決定挖多寬的井。如果遇上家里客人比較多或者干旱了等狀況，水可能就不夠用了。除了挖井的成本外，日常維護這口井，也需要很高的成本。

上述場景映射到企業(yè)中，就是企業(yè)基于自己的IT基礎，還要到運營商那里買個機房，買幾臺服務器來支撐自己的服務。如果后續(xù)這些機器閑置的話，企業(yè)仍然需要支付一大筆費用，成本非常高。

云解決的問題就是通過虛擬化的技術實現(xiàn)資源池化，用上方挖井例子來形容就是建一個自來水廠。自來水廠和井的差別在于，第一，供水量很大，即使來100個客人，供水量也能滿足需求。第二，前期不需要投入大量成本去挖井，而是根據用水需求按量計費。即使接通自來水管道，如果不用，那么永遠也不需要為它付費。

這為企業(yè)帶來了兩大好處，第一個是企業(yè)需要做快速決策的時候，不用花大量時間去“挖井”，而是開箱即用。第二是前期投入成本很低。

這就是云帶來的好處，那么什么是云原生呢？

云原生是個標準服務，很多東西我們不需要提前規(guī)劃。比如我要做數字化轉型，需求很簡單。我需要有人給我提供這個服務，我要多少，他給我分配多少，不需要我去做提前的準備。隨著我業(yè)務的增長，它底下的基礎設施能夠隨之一起增長，具有非常好的彈性。這也大大地減少企業(yè)成本與精力，可以更加專注地去做最擅長的事情，大幅提升效率。

通過以上的例子，下面這幾點就非常好理解了。

首先，我們認為容器+K8s會成為云計算的新界面，這是未來的一個趨勢。

其次，整個軟件生命周期也會發(fā)生變化。原來軟件的生命周期很長，現(xiàn)在通過云原生的技術可以做到迭代速度越來越快，向下延伸軟硬一體化、向上延伸架構現(xiàn)代化等都可以去做。

最后，加速企業(yè)數字化升級。原來做企業(yè)數字化轉型非常復雜，可能要買機器、買數據庫、買應用，需要三年五載的時間來完成。而如今的企業(yè)數字化轉型，只花短短數月的時間，便可實現(xiàn)完全轉型。

（三）業(yè)界趨勢：數據生產/處理正在發(fā)生質變

從業(yè)界趨勢上看，未來數據會發(fā)生什么變化，給應用帶來什么變化？

首先，我們認為未來數據一定會規(guī)模爆炸性增長。2020年全球數據規(guī)模約為40 ZB。40 ZB是什么概念？舉個例子，假設每部電影是1GB，假設全世界每個人都去看一部電影，那么這些數據量加起來大概就是40ZB。

除此之外，我們預計2025年的全球數據規(guī)模將會是2020年的430%，全球數據規(guī)模每年都在增長。

第二個是數據生產/處理實時化。原先我們可能一個月看一次報表，經過大數據，我們可以每天看一次昨天的數據。數據越來越實時化，能夠實現(xiàn)秒級響應。以營銷場景為例，在雙十一購物節(jié)場景，當商家發(fā)現(xiàn)店鋪的某個活動不能產生效果，那么可以在一分鐘或者數分鐘之內調整廣告或投放策略，從而達到更好的營銷效果。如果數據是按天反饋，在11月12日看到數據的時候，做活動帶來的效果已經大大降低了。因此，數據實時化在這樣類似的場景中，扮演著十分重要的角色，數據的實時也會帶來應用的實時。

第三是數據生產/處理智能化。目前在所有數據中，非結構化數據占比80%，主要包括文本、圖形、圖像、音頻、視頻等，尤其是在當下熱門的直播領域，對非結構化數據進行智能化處理，能夠知道觀眾的喜好與其他信息，方便業(yè)務更好地開展。除此之外，非結構化數據以每年增加55%的速度持續(xù)增長，未來將成為數據分析非常重要的一個來源。

第四個是數據加速上云。我們認為數據上云勢不可擋，正如汽油車終將被電車代替一樣。預計到2025年的時候，數據存儲云上規(guī)模為49%，2023年數據庫上云規(guī)模75%。

（四）業(yè)界趨勢：云計算加速數據庫系統(tǒng)演進

另一個業(yè)界趨勢不容忽略：云計算加速數據庫系統(tǒng)演進。

首先我們看一下數據庫發(fā)展歷程。早在八九十年代數據庫就已經誕生，那時候主要是商業(yè)數據庫，如Oracle、IBM DB2等，這里面有些數據庫還占據這如今的市場。

到90年代，開源數據庫開始涌現(xiàn)，如PostgreSQL、MySQL等。國內用MySQL比較多，國外用PostgreSQL比較多。到90年代以后，數據量越來越大，原來數量小的時候可能用PostgreSQL或MySQL，單機就可以解決問題，隨著數據量爆炸性增長，就需要像分布式或小型機的方式去解決大量數據和分析問題。

數據分析的重要性體現(xiàn)在哪里？

舉個例子，有個數據倉庫Snowflake的公司在剛上市的時候就達到1000億美金的市值，如今也有700億美金，對于一個只做一款產品的公司來說，這是一個非常高的市值。為什么它的市值這么高？

前段時間和一位老師交流，他說對于現(xiàn)在的企業(yè)，尤其是電商或直播等互聯(lián)網企業(yè)，早先他們企業(yè)最大的成本是人力，員工工資占據主要支出。但如今最大的支出是信息和數據，為了公司未來的發(fā)展規(guī)劃，需要擁有大量的數據來分析當前客戶最想要什么，最需要什么，業(yè)界的發(fā)展是什么。因此，公司需要大量購買數據、做大量的數據分析，這方面的成本已經超過了人員成本。這也是為什么一個只做數據倉庫的公司，市值能夠達到700億美金。

2000年以后大家開始用Hadoop、Spark，2010年開始出現(xiàn)云原生、一體化分布式等產品，例如AWS、AnalyticDB等。

（五）業(yè)界趨勢：數據倉庫加速從Big Data向 Cloud-Native + Fast Data 演進

上方是數據倉庫的演進歷史，計算方式從離線到在線，再到離在線一體化，然后到分布式。功能從統(tǒng)計到AI，數據類型也從結構化到結構化與非結構化多模融合，負載從OLAP到HTAP，硬件也升級為軟硬件一體化，交付從On-Premise 到Cloud - Native + Serverless。

在演進的不同進程中，有著各式各樣的產品做支撐。

（六）數據庫系統(tǒng)架構演進

上圖為數據庫系統(tǒng)架構演進，簡單的邏輯可以理解為，原來是一個廠房一個人干活，后來變成一個廠房十個人干活，然后再發(fā)展成多個廠房多個人干活，這就是整個數據倉庫的發(fā)展歷史，由原來的單機變成分布式，并且一份數據多個人使用。

數據庫的發(fā)展也跟人類工作一樣，原來有的店夫妻二人就可以維持，一個人負責生產，另一個人負責銷售。隨著發(fā)展，店里的顧客越來越多，店還是一個店，但員工可能有十個人了。再后來，業(yè)務發(fā)展更多大了，一下招10萬個員工，然后在10個場地去干，這就是分布式云原生數據倉庫。

（七）業(yè)界趨勢：云原生數據庫關鍵技術

上方是云原生數據庫的關鍵技術。

這里簡單說兩個技術，首先是云原生，云原生是什么意思呢？假如某位用戶買了個數據庫，當業(yè)務量少的時候，或者在法定節(jié)假日不使用的時候，收費就少，而在業(yè)務量大的時候，收費就多一些。按需按量收費，這是我們對數據倉庫的一個要求。

另外一個是安全可信，舉個例子，阿里巴巴有一個投資部，假如給A公司投了500萬，給B公司投了100萬，這些信息都是高度私密，不可對外泄露的。假如這些信息是由員工進行管理，員工存在離職的可能，而一旦離職后發(fā)生泄密行為，這在法律層面也很難追責。如何讓這種高度私密的信息完全加密，使得就算是擁有最高權限的DBA也無法查看這類信息，做到安全可信。后文將對此做詳細展開。

二、云原生與大數據應用

（一）業(yè)務面臨的挑戰(zhàn)

業(yè)務面臨著許多挑戰(zhàn)，主要有四個方面。

首先是數據散亂、不一致，也有非常多的數據源，把數據收集起來是一個很大挑戰(zhàn)。

其次是系統(tǒng)極其復雜，系統(tǒng)或組件有40+個。原來可能基于Hadoop，現(xiàn)在需要非常多的系統(tǒng)或組件，底下可能是HDFS，上面是YARN、HBase，再往上還有Hive、Flink等許多東西，非常復雜。

除此之外還有分析不實時，它的數據只能做T+1，是傳統(tǒng)大數據架構。

最后是高學習成本，不同技術的版本迭代速度很快，學習成本很高。

（二）云原生數據倉庫+云原生數據湖構建新一代數據存儲、處理方案

阿里云當時采用的是從一個最簡單的架構，通過一個或兩個產品就能解決整套產品的架構，能夠讓用戶用得更簡單，用SQL就可以解決各種各樣的問題。比方原來的OSS數據，各個生產處理的數據大集中分析等。

（三）云原生數據倉庫：云原生

云原生數據倉庫的云原生特性主要體現(xiàn)在，如果就一條數據，那么只會分配一條數據的存儲，如果數據量增長，它會自動分配更多的存儲。

同樣的，計算也是這樣，如果沒有計算需求或者分析需求，它不會分配資源，只有來了需求，才會分配資源進行計算或分析，整個做到按需按量付費，加上資源的彈性。

（四）云原生數據倉庫:數據庫與大數據一體化

上面是云原生數據倉庫中的關鍵技術，例如行列混存，能夠支持高吞吐寫入和高并發(fā)查詢。

其次是混合負載，就是上面既可以跑ETL，又可以做查詢。

此外還有智能索引。數據庫里面很重要的一個點是需要理解業(yè)務，理解Index，要知道什么對查詢有影響，什么對寫入有影響，所以我們希望這個東西能夠做得更智能，讓用戶不用管理這些東西。

（五）新一代數據倉庫解決方案

上方為新一代數據倉庫解決方案架構圖。最底層是數倉，上面是數倉模型，阿里在淘寶指數，數據洞察等方面做了非常多的模型，包括通過一個ID把所有的信息關聯(lián)起來。這些信息匯聚成模型。模型上有數據構建管理引擎，可以做數倉規(guī)劃，代碼研發(fā)，數據資產管理，數據服務等。

最上面是業(yè)務賦能，有許多的應用，包括監(jiān)管報送類，經營決策類，風險預警類和營銷與運營類。

（六）云上數據安全

關于云上數據安全的問題，我們展開來講。每個公司都有絕密的數據，這些數據面臨著許多安全問題，例如管理員/用戶越權操作，竊取數據備份，惡意修改數據等。除此之外，還有數據在存儲、查詢、共享過程中全程加密，任何人(包括管理員)無法獲取明文數據。保證日志在不可信環(huán)境中的完整性，任何人(包括管理員)無法篡改日志文件。保證查詢結果在不可信環(huán)境中的正確性，任何人(包括管理員)無法篡改查詢結果。

以前的解法很簡單，就是寫到數據庫的時候就把數據加密了，例如寫進去叫123，通過加密就變成了亂序，如213,312等。這個看似是一個很好的方法，但它有什么問題呢？它沒有辦法做查詢，比方我們要查超過50塊錢的交易，但是因為50通過加密以后就不是50了，可能就變成了500，而原來500加密完就是50，因此這個查詢無法進行，相當于它變成了一個存儲，無法做分析查詢。

（七）云端全程加密數據永不泄露

有沒有一種方法能讓我們做數據分析，同時既能保密，原來的SQL也都能去做？

這里面核心的事情就是我們采用的硬件，通過ApsaraDB RDS（PostgreSQL版）+神龍裸金屬服務器（安全芯片TEE技術），可以提前把Key存到里面去，然后所有的計算和邏輯都在加密硬件中進行。由于整個過程受加密硬件保護，即使有人把系統(tǒng)的內存全部復制出來，復制出來的數據也全是加密過的，這就保證運維人員就算拿到絕密數據也沒有泄露的風險。

三、最佳實踐

下面我們看一下幾個最佳實踐：

DMP：全鏈路營銷

DMP(Data Management Platform)表示數據管理平臺，也叫數據營銷平臺。

營銷最核心的事情是什么？營銷最核心的事情是找人，找到最關心的一群人，專業(yè)詞稱為圈人。

舉個例子，什么場景需要圈人？比如今天我們想找一下對云原生感興趣的人來一起討論云原生。把對云原生感興趣的人找到，這個過程就叫圈人。

還有一種是類似于天貓?zhí)詫殘蟾妫缭陔p十一前的一段時間，商家認為某位客戶今年可能要買個衣服或買一個包，是潛在客戶，于是就去給TA推一些消費券等。

這里面最關鍵的就是精準人群的定位，能夠精準地把人群區(qū)分出來。中國大概有電商消費人群大概有8億人，給對某樣物品感興趣的人群推送消息，這里面最核心的就是圈人的事情。

阿里巴巴基于數倉去做圈人的事情，首先去找一些種子人群，這些種子人群數量大概為幾百萬人，是我們認為的高優(yōu)質客戶，比如每個月在淘寶上花5000塊以上或1萬塊以上的人。把人群全出來后，第二步是將群體進行聚類。

聚類的意思是把幾百萬人再分成幾個小類，每一類里面可能喜歡一個類別，比方這一類喜歡買化妝品，另一類喜歡數碼產品，還有一類喜歡買書。劃分完小類以后，比如愛買化妝品的可能有10萬人，但這10萬人可能大部分之前已經買過化妝品了，這次大概率不買了。

因此，我們需要在在8億消費人群中找到真正可能買化妝品的人，該怎么做呢？

我們需要把每個客戶的消費行為和歷史購買記錄轉成AI模型的一個向量，如果有兩位客戶的購買行為是類似的，那么他們的向量距離就會非常小，這樣的話我們的做法就很簡單。例如，我們對數碼產品感興趣的人作為種子放到8億里面去找，跟這些人種子向量距離最近的假如有1000萬人，然后對這1000萬人去發(fā)數碼產品的廣告或優(yōu)惠券等，用這種方式去做業(yè)務營銷。

這個過程最核心的有幾個方面。

第一個是將人群進行聚類，把人群劃分，知道TA的歷史交易，數據必須要能夠支持任意維度多維分析。

第二個是能夠對整個數倉里面的數據做具體的分析。

第三個是聚類后的向量近似度檢索，找出與每個類向量相近的人群進行消息推送。

這就是我們擁有的能力，目前是基于AnalyticDB實現(xiàn)。

還有一個事情是要做Ad-hoc查詢。例如，我們要找到對數碼感興趣的人群，，且去年沒有買過比如iPhone 12的人，這樣他今年才可能買iPhone12。或者說去年買了iPhone12，同時又買了AirPods的人，那我們認為大概率他可能會買蘋果的鍵盤，或者是蘋果的電腦等。我們需要對這些人做各種各樣的交易查詢，從而精準地找到我們的目標人群。

廣告精細化管理

業(yè)務挑戰(zhàn)：

1）投放關鍵詞搜索事件需要高并發(fā)實時入庫；

2）所有用戶通過儀表板同時查詢轉化率，復雜查詢 QPS高；

3）響應時間要求高，避免錯過調價黃金時段。

業(yè)務價值：

1）多個站點、多個店鋪的關鍵詞統(tǒng)一管理；

2）處理上萬TPS并發(fā)寫；

3）海量數據實時分析，按時段智能調價；

4）鍵詞快速識別分析，最大化收益。

在線電商

業(yè)務挑戰(zhàn)：

1）傳統(tǒng)MySQL數據庫分析滿，千萬級/億級復雜報表無法返回；

2）復雜報表秒級返回；

3）兼容MySQL生態(tài)；

4）業(yè)務發(fā)展迅速，對計算存儲有不同要求。

業(yè)務價值：

1）RDS + AnalyticDB 實現(xiàn)HTAP聯(lián)合方案，業(yè)務和分析隔離；

2）2-10倍分析性能提升；

3）分布式架構，橫向擴展，靈活變配，支持數據量和訪問量的不同需求

這就是2020年至今，全面升級下一代云原生技術的階段----Serverless時代。阿里巴巴成立云原生技術委員會，云原生升級為阿里技術新戰(zhàn)略，未來云原生數據倉庫還會有更多新功能，為行業(yè)解決更核心的痛點，敬請期待。