亞馬遜云科技數據分析新服務 - 數據湖
數據分析是當前比較熱門的技術，通過利用云計算的資源，更加快速對數據進行收集、處理并分析。本文將從實踐角度闡述 亞馬遜云科技 數據湖以及數據分析等產品，是如何幫助企業更加智能的利用數據，從而輔助業務決策。
一、數據湖的由來
很久之前，當時的數據量很少，人們都是把數據記在腦中或者記錄在紙張上面，想要查看數據的時候，翻開記錄就行。
隨著科技的進步，產生了越來越多的數據，人們發現數據記錄在筆記中變得繁瑣且不高效，而且查詢數據也變得困難。于是產生了數據庫，數據庫可以滿足海量數據快速地增刪改查等需求。
比如現在的移動支付，用戶的每筆消費，后臺數據庫都會快速記錄這筆交易；用戶在電商平臺下的每個訂單，后臺數據庫同樣會快速地記錄下來，這就會產生海量的數據，而這也只是海量數據的冰山一角。
時間長了，人們發現庫里的數據越來越多了，不光要支持聯機業務，還要有分析的價值。但是，傳統的數據庫需要滿足頻繁、快速的讀寫需求，并不適合大量讀取數據特征進行分析業務。人們開始尋找其他的方法。
當然人類還是很聰明的，既然不能直接在數據庫中進行分析，那我應該可以把需要分析的數據導出來，放到一個專門的數據庫中進行分析，在導出的過程中還可以對數據進行一些格式轉換，這個過程也就是我們常說的 ETL（Extract-Transform-Load）。
這個專門存放加工后數據的地方，我們稱之為數據倉庫。數據倉庫里面的數據主要用于數據分析，如用于 BI、報表、經營分析、廣告投放等。
那么數據庫和數據倉庫的區別主要在哪里呢？
- 數據庫：通常為小數據量高頻讀寫，主要用于聯機事務。
- 數據倉庫：通常為大數據量讀取，主要用于聯機分析業務。
雖然應用場景不一樣，但數據庫和數據倉庫都是適用于結構化數據。在相當長的一段時間內，數據庫和數據倉庫聯合，共同滿足企業的實時交易型業務和聯機分析型的業務。
然而時代在發展，各種各樣的數據類型都在產生，如半結構化和非結構化數據，面對多種類型數據分析的需求也越來越復雜。
這個時候，人們又陷入了沉思，該找一個什么樣的存儲來保存所有的原始數據，并且可以讓多個應用進行讀取查詢。大數據需要使用好所有類型的數據，并不能拋棄這些數據，并且需要近似無限量的存儲，這些數據五花八門，又多又雜，該如何存儲呢？
索性就挖一個大坑吧，然后把所有的原始格式的數據一股腦地扔進去，這些數據就如同坑中的水，因為數據量巨大，這個坑也就變成了小湖泊。你需要什么數據，直接在湖邊挖個溝渠，把數據引入到你的應用上面，這就是我們所說的數據湖的雛形。
什么是數據湖
那么數據湖到底是什么呢？我們查看一下維基百科上面的解釋：
數據湖（Data Lake）是一個以原始格式存儲數據的存儲庫或系統。它按原樣存儲數據，而無需事先對數據進行結構化處理。一個數據湖可以存儲結構化數據（如關系型數據庫中的表），半結構化數據（如CSV、日志、XML、JSON），非結構化數據（如電子郵件、文檔、PDF）和二進制數據（如圖形、音頻、視頻）。
通過數據湖的定義，我們可以從中找出一些數據湖的特點，或者數據湖滿足什么條件。
- 數據湖需要能提供足夠大的數據存儲能力，接近于無限量的存儲。
- 數據湖可以存儲各種類型的數據，不限于結構化，包括半結構化和非結構化數據。
- 數據湖存儲的是原始數據，沒有經過加工的，產生的數據是什么樣，存儲的就是什么樣。
- 數據湖需要有完善的數據管理能力，可以管理各類數據的相關要素。
- 數據湖需要具有多樣化的分析能力，包括但不限于批處理、流式計算、機器學習等。
- 數據湖需要具有完善的數據生命周期管理能力。
我覺得數據湖就是一個架構體系，通過它我們可以快速地存儲、處理、分析海量的數據，同時可以使用多種多樣的手段進行分析，所有的操作都是在安全合規的場景下進行；以數據為導向，實現任意來源、任意速度、任意規模、任意類型數據的全量獲取、全量存儲和全生命周期管理；還可以通過接口和外面的計算資源交互集成，滿足各類企業級應用需求。
有了數據湖，企業分析人員不用在不同的數據倉庫和文件存儲之間進行頻繁切換，也不需要重復地寫抽取、加載的邏輯，極大提升了分析人員的的工作效率。
二、亞馬遜云科技數據湖解決方案
我們上面是介紹了數據湖比較普遍的定義，那么 亞馬遜云科技是如何定義數據湖的呢？
亞馬遜云科技定義數據湖是一個集中式存儲庫，允許用戶以任意規模存儲所有結構化和非結構化數據。在 亞馬遜云科技中， Amazon S3 可以實現數據湖的這些功能，因為 Amazon S3 有很多特性可以滿足數據湖各式各樣的要求，在后面數據存儲方面，我們將著重介紹 Amazon S3 的這些特性。
圖片來源于亞馬遜云科技全球網站截圖
上圖中的整個方案是基于 Amazon Lake Formation 構建，Amazon Lake Formation 本質上是一個管理性質的組件，與其他亞馬遜云科技服務互相配合，來完成整個企業級數據湖的構建。上圖從左到右，體現了數據獲取、數據存儲、數據處理、數據分析四個步驟，下面我們將逐一介紹，闡述 亞馬遜云科技 提供的服務是如何幫助我們使用數據湖。
數據獲取
數據獲取是整個數據湖構建的起始，既然 Amazon S3 是 亞馬遜云科技數據湖的存儲，那我們該如何把業務數據放入其中呢？
首先，需要判斷接入數據的類型，是結構化數據還是非結構化數據，是流式的數據還是批量的數據，然后再選擇合適的工具。亞馬遜云科技針對不同場景提供了豐富的服務，幫助用戶將外部數據導入到數據湖 Amazon S3 中。
為了使數據湖中的數據可以統一進行管理，流入的數據需要包括元數據和實際數據兩個部分。元數據流入包括數據源創建、元數據抓取兩步，最終會形成數據資源目錄，并生成對應的安全設置與訪問控制策略。
亞馬遜云科技提供了多種數據提取的服務，如：
- Amazon Snowball：提取離線傳感器數據、NAS、本地 Hadoop。
- Amazon Kinesis Data Firehose：提取 IoT、傳感器數據、點擊流數據、社交媒體源、流式處理日志。
- Amazon Direct Connect：提取本地數據湖、EDW、大型數據集合。
- Amazon Database Migration：提取 Oracle、MySQL、MongoDB、DB2、SQL Server、Amazon RDS。
- Amazon Storage Gateway：提取本地 ERP、大型主機、實驗室設備、NAS 存儲。
這些服務可以把各式各樣的數據從外部導入到 Amazon S3 中，具體每個服務的詳細功能，Amazon 都做了詳細的介紹，用戶可以參考官方文檔進行配置。
數據存儲
數據湖的存儲主要是依托于 Amazon S3，Amazon S3 可以理解為數據湖最重要的一部分，這主要也依托于其強大的特性：
- 提供 11 個 9 的數據持久性。
- 業界領先的性能和可擴展性。
- 完善的安全性、滿足法律法規要求。
- 對象粒度級別的權限控制。
- 適合各類工作負載的存儲類。
- 方便與其他分析服務整合，如 Amazon Athena、Amazon Redshift 和 Amazon EMR。
Amazon 的眾多服務都可以和 Amazon S3 無縫結合，為數據湖的數據注入與攝取提供了強大的支持。
數據處理
數據處理這一部分主要是利用 Amazon Glue 來進行處理，Amazon Glue 是 ETL 和數據目錄服務，它是無服務器架構，僅為作業實際使用的資源付費，方便易用，威力強大，支持自動 schema 發現，具有可視化 ETL 和代碼生成和靈活的任務調度程序，是 亞馬遜云科技大數據處理中非常重要的一個組件。
Amazon Glue 主要組件有數據目錄、作業編寫、作業執行，下面介紹每個組件可以做什么事情：
- 數據目錄
- Hive 元存儲與增強功能兼容
- 爬網程序自動提取元數據并創建表
- 與 Athena、Amazon Redshift Spectrum 集成
- 作業編寫
- 自動生成 ETL 代碼
- 在開源框架上構建，語言為 Python 和 Spark
- 以開發人員為中心，包括編輯、調試、共享
- 作業執行
- 在無服務器 Spark 平臺運行作業
- 提供靈活時間安排
- 處理依賴關系解析、監控和警報
- 任務觸發方式支持手動觸發、定時觸發、事件觸發，可以和 Amazon Lambda 集成
總之，借助 Amazon Glue，我們無需再去考慮數據源是什么格式，是結構化還是非結構化，Amazon Glue 可以自動智能地進行分析，推斷出數據架構，數據類型等等。應對底層數據架構不斷發生的變化，如果沒有 Amazon Glue，在數據源結構發生變化時，用戶需要重新去創建數據目錄，而這些繁瑣的事情現在用戶不需要再去關心，Amazon Glue 可以統統搞定，數據分析人員可以把更多的注意力放在業務實現方面。
Amazon Glue 也具備機器學習的能力，可以幫助用戶識別不同的數據集中重復的記錄，幫助用戶進行數據清理和轉換，這個功能不需要用戶寫一行代碼，也不需要具備專業機器學習的算法的能力，只需點擊幾下鼠標即可實現。
數據分析
在企業里面，一般分析作業都是 BI 報表類型，業務部門把想看的指標告訴數據分析人員，數據分析人員編寫 SQL 語句，然后運行結果提供給業務部門查看，但是由于需求的多變和不明確性，這樣的過程會反反復復。
這是企業中一個非常典型的場景，但是在實際的使用過程中，客戶可能還會需要更加復雜的一些分析手段，比如客戶想要通過機器查詢、通過 K/V 可以快速地在海量數據中查詢需要的結果、想要實現全文檢索，或者流式快速對數據進行統計等。
面對以上的問題，我們都可以通過 亞馬遜云科技提供的服務進行實現。通過 Amazon Redshift 實現交互式查詢分析，使用 Amazon EMR 對海量數據進行 ETL 處理和分析，使用 Amazon ElasticSearch 實現全文檢索，Amazon Kinesis 實現流式快速數據統計等，借助于 Amazon Athena 可以直接對 Amazon S3 的數據進行 SQL 查詢，當下比較流行的機器學習方面也可也借助 Amazon SageMaker 來實現，Amazon SageMaker 可以讀取 Amazon S3 中的訓練數據，并將訓練好的模型回寫到 Amazon S3 中。
我們可以看到，在 亞馬遜云科技 數據湖上，這些分析都是通過不同的外部工具來實現，計算由外部的組件實現，存儲統一由 Amazon S3 提供，這也是 亞馬遜云科技數據湖的獨特之處，計算與存儲分離。
數據展示
數據的采集和生產最終是為了決策，數據的各種分析要求基本已經滿足了企業大部分的需求，那這些分析結果如何以可視化的效果展現從而幫助用戶決策呢？
在數據展示方面，亞馬遜云科技 也為用戶提供了一款采用云技術的快速商業智能服務 Amazon QuickSight，企業用戶可以更加便捷、快速低成本地分析數據。
Amazon QuickSight 的定位是連接用戶與數據，它是整個 亞馬遜云科技 生態中離商業決策最近的服務，直接解決大數據應用的 “最后一公里” 問題。它不需要用戶有代碼能力，可自動識別和整合各種不同的數據源，包括與 Amazon RedShift、Amazon S3、Amazon Athena、Amazon Aurora、Amazon RDS、Amazon IAM、Amazon CloudTrail、Amazon Cloud Directory 等 亞馬遜云科技服務的原生集成。提供實時交互式的數據查詢方式，并且自動進行數據可視化，最大程度降低了商業決策端用戶使用大數據的成本。
權限管理
在企業數字化轉型的過程中，勢必會有很多數據分散在各個地方，這些數據如何統一管理？亞馬遜云科技 給出的答案是需要一個統一的數據目錄用來注冊和管理數據的元數據信息。在 亞馬遜云科技 搭建一個這樣的數據目錄并不難，使用 Amazon Glue Catalog 可以很方便實現。
但是對于一個集中的數據目錄，如何管理權限邊界變成了一個問題，亞馬遜云科技是如何管理權限邊界的呢？
Amazon Glue Catalog 是通過 Amazon IAM 對元數據進行精細化控制的，它可以在整個數據目錄級別、數據庫級別、表級別對不同的 Amazon IAM 用戶進行授權，非常靈活方便。這些權限管理可以通過 Amazon Lake Formation 來實現，Amazon Lake Formation 的權限進一步可以細分為數據資源目錄訪問權限和底層數據訪問權限，分別對應元數據和實際存儲的數據。實際存儲數據的訪問權限又進一步分為數據存取權限和數據存儲訪問權限。
綜上，亞馬遜云科技數據湖方案成熟度高，特別是元數據管理、權限管理上考慮充分，打通了異構數據源與各類計算引擎的上下游關系，讓數據能夠自由 “移動” 。在流計算和機器學習上，亞馬遜云科技 的解決方案也比較完善。在流計算方面，亞馬遜云科技 推出了專門的流計算組件 Amazon Kinesis，同時 Amazon Kinesis 還可以訪問 Amazon Glue 中的元數據，這一點也充分體現了 亞馬遜云科技數據湖解決方案在生態上的完備性。
三、在 亞馬遜云科技 上構建數據湖
至此，圍繞著數據湖 亞馬遜云科技 提供整個一套大數據解決方案，那么在每個階段中，不同的數據類型和不同的分析需求應該如何滿足，應如何調度和管理一個數據分析的應用呢？
如果我們在 亞馬遜云科技 上面一步步配置的話，那會變得非常困難，畢竟 亞馬遜云科技圍繞數據庫有如此眾多的服務，服務之間的關聯和權限配置變得很復雜，這時候就需要一個工具來幫助用戶把這些問題都搞定，Amazon Lake Formation 可以幫助用戶快速地搭建數據湖，并且引入了安全管理機制，真正地幫助用戶保護數據湖。
說了這么多，那下面我們使用 Amazon Lake Formation 去構建一個數據湖吧。
圖片來源于亞馬遜云科技全球網站截圖
上圖是一個數據湖的架構圖，我們將準備兩份數據 sales 和 customers，會使用 Amazon Glue 來存取數據的元數據，在使用 Amazon Lake Formation 賦予用戶 salesuser 和 customersuser 使用這兩個數據表，最終他們將通過 Amazon Athena 來查詢需要的數據。
準備數據和用戶
我們準備了兩個數據文件，下面把他們各自的字段列舉一下：
- customers：{CUSTOMERID, CUSTOMERNAME, EMAIL, CITY, COUNTRY, TERRITORY, CONTACTFIRSTNAME, CONTACTLASTNAME}
- sales：{ORDERNUMBER, QUANTITYORDERED, PRICEEACH, ORDERLINENUMBER, SALES, ORDERDATE, STATUS, QTR_ID, MONTH_ID, YEAR_ID, PRODUCTLINE, MSRP, PRODUCTCODE, DEALSIZE, CUSTOMERID}
同樣我們也會創建兩個用戶，分別是 salesuser 和 customersuser，并賦予相應的權限：
- salesuser：可以查看表 sales 的所有列。
- customersuser：只可以查詢表 customers 的 CUSTOMERNAME, EMAIL 列。
下面開始讓我們創建吧。
創建 Amazon IAM 用戶
創建用戶這里有幾個注意事項，我們創建的用戶是需要可以登錄 Amazon Console 控制臺，用戶賦予以下幾項權限：
AmazonS3FullAccess, AmazonAthenaFullAccess, CloudWatchLogsReadOnlyAccess, AmazonCloudFormationReadOnlyAccess 和 AmazonGlueConsoleFullAccess。
圖片來源于亞馬遜云科技全球網站截圖
圖片來源于亞馬遜云科技全球網站截圖
創建 Amazon IAM Role
因為 Amazon Glue crawler 需要從 Amazon S3 中爬取元數據，所以需要給 Amazon Glue 創建一個 Role，賦予 PowerUserAccess 的策略。
圖片來源于亞馬遜云科技全球網站截圖
創建 Amazon S3 Bucket
為數據湖創建一個 Amazon S3 Bucket，命名為 wzlinux-datalake，然后把數據上傳到上面，因為測試環境，我們手動上傳這些數據，生產環境都是自動上傳更新數據。
在 Bucket 里面創建兩個文件夾 data 和 script，data 這個文件夾主要是存放數據湖數據，script 文件夾后面 Amazon Athena 會使用，作為 Amazon Athena 查詢結果輸出位置。
圖片來源于亞馬遜云科技全球網站截圖
在 data 目錄下面，創建兩個文件夾，一個是 sales，一個是 customers ，把各自的 csv 文件傳到其中。
圖片來源于亞馬遜云科技全球網站截圖
配置數據湖
打開 Amazon Lake Formation 控制臺，賦予使用的 AmazonIAM 用戶 administrators 權限。
圖片來源于亞馬遜云科技全球網站截圖
在 Databases 里面，添加剛剛創建的存儲桶作為數據庫，用作數據目錄，后面會用 Amazon Glue 爬取，如下圖：
圖片來源于亞馬遜云科技全球網站截圖
下一步來到 Data Lake locations，把創建的 Amazon S3 作為數據湖存儲。
圖片來源于亞馬遜云科技全球網站截圖
爬取數據目錄
數據湖中的所有數據都需要被數據目錄所記錄才可以使用，數據目錄可以使用 Amazon Glue 來爬取創建，下面我們配置數據目錄爬取任務。
選擇剛剛創建的數據目錄 wzlinux-db，并賦予其爬取 Amazon S3 數據的權限。
圖片來源于亞馬遜云科技全球網站截圖
權限設置如下。
圖片來源于亞馬遜云科技全球網站截圖
然后找到 Crawlers，添加一個 Crawlers。
圖片來源于亞馬遜云科技全球網站截圖
圖片來源于亞馬遜云科技全球網站截圖
添加 Amazon S3 數據存儲的目錄。
圖片來源于亞馬遜云科技全球網站截圖
選擇創建好的角色。
圖片來源于亞馬遜云科技全球網站截圖
選擇在 Amazon Lake Formation 創建好的數據庫作為輸出目錄。
圖片來源于亞馬遜云科技全球網站截圖
創建完成之后，運行我們的爬網程序。
圖片來源于亞馬遜云科技全球網站截圖
爬取完成之后，我們就可以去 Amazon Lake Formation 里面去查看數據目錄了，可以看到多了兩張表。
圖片來源于亞馬遜云科技全球網站截圖
賦予用戶權限
目前數據湖的數據目錄我們已經創建好了，現在我們分別賦予用戶對數據目錄的操作權限，以滿足我們開始的要求。
- salesuser：可以查看表 sales 的所有列。
- customersuser：只可以查詢表 customers 的 CUSTOMERNAME, EMAIL 列。
首先為 salesuser 添加權限，找到 Sales 表，選擇 Grant 按鈕，添加權限。
圖片來源于亞馬遜云科技全球網站截圖
同樣的方式賦予 customersuser 權限。
圖片來源于亞馬遜云科技全球網站截圖
權限授權好了，那我們可以分別登陸這兩個用戶進行數據查詢驗證。
數據查詢驗證
首先我們登陸 salesuser 用戶驗證測試，我們可以看到所有的表。
圖片來源于亞馬遜云科技全球網站截圖
在查詢之前，我們需要做一個設定，配置一下結果輸出，這也就是之前創建的 script 目錄。
圖片來源于亞馬遜云科技全球網站截圖
然后我們開始查詢，結果和我們設定的一樣，可以查看所有的列數據。
SELECT * FROM "wzlinux-db"."sales" limit 10;
圖片來源于亞馬遜云科技全球網站截圖
現在我們登陸另外一個用戶查看，只可以看到我們分配的兩個列。
圖片來源于亞馬遜云科技全球網站截圖
同樣的進行數據查詢，查看一下結果，和開始的設定也一樣。
圖片來源于亞馬遜云科技全球網站截圖
可以看到，所有的測試結果和之前預期的一樣，通過整個實驗過程，我相信大家對 Amazon Lake Formation 如何規范化數據湖有了一定的了解。
這么好的工具，你現在是否也想體驗一下呢，目前 AmazonLake Formation 在中國區的北京區域也已經上線，歡迎大家去使用體驗 亞馬遜云科技數據湖的方便之處。
四、經驗總結
- 我個人覺得 亞馬遜云科技在數據湖方面最好的就是計算存儲分離，AmazonGlue Data Catalog 維護所有存儲/查詢系統的元數據，實現計算和存儲分開，計算按量付費，節省資源，各種計算模型可以直接從 Amazon S3 中獲取數據進行分析，使得計算資源可以動態擴展以響應業務的變化。
- Amazon S3 作為數據的存儲，成本較 Amazon EBS 有巨大的優勢，同時還獲得了更高的數據持久性和可靠性。
- 大數據的最終目的是為了機器學習提供能具備生產力的模型。
- 一個公司中大數據部門真正的價值是產出產品價值，并非一個報表部門自己造輪子。
- 數據的統一化方便進行前期特征處理和分析任務。
