—— 某銀行使用華為云FusionInsight構建“一湖兩平臺”金融數據湖

一、基于混合云的大數據發展趨勢

大數據技術經過近幾年的快速發展，在企業數據中心的基礎設施上已不鮮見，尤其是金融行業，大數據技術應用的步伐已經走在其它行業前面，除此之外數據規模量級的增長也非常迅猛。行業場景方面，金融企業在以數據湖、融合數倉、湖內數倉（Data LakeHouse）等一些典型的技術場景中逐步將大數據生態技術應用到金融企業的風險控制、運營管理、信貸查詢、信用卡征信和財務分析等領域。

從2019年的各類技術峰會以及各廠商新品發布會來看，一個新的趨勢開始影響大數據的發展，通過“云原生”重新定義大數據類的基礎平臺軟件。大數據云服務化已經提了很多年，但是目前用戶的大數據平臺的服務能力依舊很弱，很多企業的大數據平臺僅承擔跑批業務，除了IT崗位的用戶之外，其它的業務崗位根本感受不到大數據的存在，更談不上通過從大數據技術設施得到業務的收益。本質原因就是大數據基礎平臺軟件并不具備云服務化的基礎能力，這是2019年通過“云原生”重新定義軟件的時代背景，由此可預見，未來基礎軟件平臺將更多的被賦予“提供服務”的能力。

大數據的各個組件成為一種服務化的形態，主要是將一個大數據中心的服務能力進行虛擬化，多個用戶群體可共用服務能力，單個用戶群體有類似獨占的使用體驗，而且隨著用戶群體規模和類別的增加，資源可以輕量化彈性伸縮，自動發放與回收，底層基礎架構的耦合比較輕，甚至解耦。在這種架構下，用戶的需求，可以更快地被響應和實現。因為云原生技術可以有效地縮短應用交付的周期，讓需求更快落地，最終為用戶服務，動態實現價值，而不僅僅承擔跑批業務。所以，一個本地建設的大數據中心往往需要大量的資金、人力的投入，為單個用戶群體建立專用中心是不現實的，因此大數據服務的云化在這些場景很有價值，也可能是必須的選擇。

在當前的云計算產業商業模式下，未來金融企業的大數據基礎設施向公有云或者混合云部署模式轉變成為必然，隨之而來的是用戶對云服務提供商的合規和信息安全的要求會進一步提高。當大數據被賦予云原生的含義后，大數據的真正業務價值才會逐步綻放，大數據固定資產投資才能真正變現，從而讓更多的領域從大數據中獲益，全面提升大數據的投資回報率。

二、某行大數據服務云BDSP案例

背景與挑戰

全行各業務線數據量不斷增加，業務側對數據需求非常迫切，舊有的模式是業務提需求給開發中心，開發中心安排開發資源管道，大量的需求積壓，甚至由于開發周期太長導致需求已經沒有了實際意義。另外行內煙囪式的數據平臺建設導致“數據孤島”，給開發人員帶來大量的數據拉取和整合的工作量。耗費了大量的人力物力以及時間，還導致了業務側的投訴和抱怨，工作效率嚴重滯后。從投資成本來看，業務倒逼IT的煙囪式的數據平臺的投資建設，耗費了龐大資金和人力投入，協同效能的提升問題凸顯。

解決方案

通過引入華為云EI智能數據湖FusionInsight提供的MRS+DWS大數據云服務化產品，將行內的基礎數據需求按照業務劃分為數據湖、數據倉庫和集團信息庫，即“一湖兩庫”為核心，通過不同的數據處理手段將數據持久化；通過華為MRS和DWS產品提供的組件將主流的數據處理引擎集成在大數據服務云平臺中；再將這些數據服務以租戶渠道方式作為接口開放，例如“數據集市”、“損益預查詢”，最后用戶通過自助或者固定的應用服務渠道來獲得大數據服務，如“分析師工作臺”。

平臺全部嘗試采用全國產化技術，基于ARM技術服務器和華為MRS產品構建了1000+節點的大數據云化服務集群。

在行內的大數據服務云場景中，真正提供服務核心的是一個全行共用的大數據基礎平臺（MRS+DWS），使用服務的是多個不同的用戶群體，各用戶群體以租戶形式互相隔離（租戶渠道層），單個租戶在限定的范圍內使用大數據的服務，如圖所示。大數據服務云平臺提供用戶自服務的渠道，例如風險計量或者分析師工作臺。用戶自行管理租戶資源池內可用的資源、數據等內容。在使用過程中平臺提供用戶的驗證、訪問的管控、審計，對資源使用的計費等衍生問題的處理。

業務價值

將大數據基礎平臺在云化基礎設施上的部署，使得大數據系統降低了建設、部署、運維等環節的投入，體現在在多個租戶間平攤大數據中心的建設、運維成本，提高大數據中心的使用效率。

基于存算分離的架構部署，有效的節約了存儲成本，真正做到資源的“按需分配”。

對于單租戶，省去了維護大數據系統帶來的龐大資金和人力投入，使得大數據系統降低了建設、部署、運維等環節的使用門檻，助力普通員工輕松使用大數據應用。

華為云針對大數據上云與治理提出了一套適用于互聯網、金融、游戲、產業云等行業的解決方案，由數據采集到數據處理與匯聚，再到數據計算與分析，最后到應用與消費層，通過對數據的一系列采集、處理、分析和應用，構建全場景數據服務助力政府/企業數字化轉型，最終實現從數據到價值的閉環。828上云季，不但有億元上云補貼，還有新購滿額送華為手機P40 Pro 5G，超多豪禮等你來拿~

https://activity.huaweicloud.com/data.html

掃碼立即搶購，還可免費獲取超高價值的產品白皮書噢！