數據湖這個詞在21世紀10年代初出現的時候，有些人認為它是在恰當的時間出現的一種恰當的架構。數據湖是一種非結構化的數據存儲庫，利用了新的低成本云對象存儲格式（如Amazon S3），可以容納來自網絡的大量數據。

然而，對其他人來說，數據湖是一個很容易被嘲笑的“市場結構”，他們將其稱之為“數據沼澤”。這個陣營中的許多人青睞長期存在、但并不便宜的關系數據倉庫。

盡管存在懷疑，但數據湖已經發展和成熟，成為當今AI和分析領域的重要組成部分。

隨著生成式AI讓焦點重新回到了數據架構上，我們就來仔細研究一下數據湖是如何演化的，以及數據湖在推動高級AI分析方面所發揮的作用。

市場對數據湖的需求

對于那些在電子商務和相關領域追求數據驅動洞察的年輕公司來說，實施數據湖的好處是多方面的。

亞馬遜、谷歌、雅虎、Netflix、Facebook和其他公司都構建了他們自己的數據工具。這些工具通常是基于Apache Hadoop和Spark分布式引擎的。這些新型系統處理的數據類型，要比當時分析數據倉庫中現有關系數據類型的結構性更低一些。

對于那個時代的系統工程師來說，這種架構顯示出了一些好處。“沼澤”或“湖泊”，它將成為搜索、異常檢測、價格優化、客戶分析、推薦引擎等先鋒應用的基礎。

這種更為靈活的數據處理，是成長中的網絡巨頭的首要需求。《Distributed Analytics》一書的作者Thomas Dinsmore稱，文本、圖像、音頻、視頻和其他數據“海嘯”根本不適合關系數據庫和數據倉庫處理。另一個缺點是：隨著每一批數據的加載，數據倉庫成本也隨之增長。

不管人們是否喜歡，數據湖如今仍在不斷地填充數據。在數據處理過程中，數據工程師可以“立即存儲”并決定以后如何處理數據。不過，基本的數據湖架構已經擴展為更高級的數據發現和管理功能。

這一演變趨勢是由自建解決方案以及Databricks、Snowflake等一流初創公司的解決方案引領的，但還有更多公司參與其中。隨著數據中心規劃人員著眼于新的AI領域，各種架構如今也在受到密切關注。

數據湖演進：從湖泊到湖屋

數據湖這場競賽的參與者包括Amazon Lake Formation、Cloudera Open Data Lakehouse、Dell Data Lakehouse、Dremio Lakehouse Platform、Google BigLake、IBM Watsonx. Data、Microsoft Azure Data Lake Storage、Oracle Cloud Infrastructure、Scality Ring和Starburst Galaxy等。

正如上述列舉所示，趨勢是將產品稱為“數據湖屋”，而不是“數據湖”。這個名字更類似于用于處理結構化數據的傳統數據倉庫。是的，這代表了另一個牽強的類比，就像之前的數據湖一樣，受到了人們的審視。

在數據市場中，命名是一門藝術。如今，那些解決數據湖最初缺陷的系統被指定為集成數據平臺、混合數據管理解決方案等，但奇怪的命名約定不能掩蓋功能方面的重要進步。

如今，在升級的分析平臺中，不同的數據處理組件以流水線方式連接。新數據工廠所取得的成果可能集中在以下幾個方面：

• 新的表格式：例如，Delta Lake和Iceberg是建立在云對象存儲之上的，為Apache Spark、Hadoop和其他數據處理系統提供了ACID事務支持。經常關聯的Parquet格式可以幫助優化數據壓縮。
• 元數據目錄：Snowflake Data Catalog和Databricks Unify Catalog等只是執行數據發現和跟蹤數據沿襲的一些工具。后者特性對于確保分析的數據質量至關重要。
• 查詢引擎：查詢引擎為存儲為各種類型和位置的數據的高性能查詢提供了通用的SQL接口。PrestoDB、Trinio和Apache Spark就是其中幾個例子。

這些進展使數據分析更有條理、更高效和更易于控制。

隨之而來的，是向“現在攝取，以后轉換”方法的轉變。這是對數據倉庫熟悉的提取轉換加載（ETL）數據暫存序列的一種顛覆，現在解決方案可能是提取加載轉換（ELT）了。

不管叫什么名字，這都是高級數據架構的決定性時刻，恰逢新的生成式AI出現了。但總體來看，它從垃圾抽屜柜到定義更明確的容器，這個演變發展的過程是很緩慢的。

數據湖安全和治理問題

“數據湖導致了大數據的慘敗。它們剛出現時你什么都找不到，”SanjMo技術咨詢公司負責人Sanjeev Mohan說，那個時候就沒有治理或安全。

Mohan解釋說，人們需要的是護欄，保護數據免受未經授權的訪問，并遵守GDPR等治理標準，這意味著要應用元數據技術來識別數據。

“主要的需求是安全性。這就需要細粒度的訪問控制——而不僅僅是將文件扔進數據湖就行了，”他補充說，現在有更好的數據湖方法可以解決這個問題，組織中的不同角色反映在不同的權限設置中。

這種控制方式在早期的數據湖中并不常見，早期的數據湖主要是“僅追加”系統，很難更新。

新的表格格式改變了這種情況。近年來，Delta Lake、Iceberg和Hudi等表格格式應運而生，在數據更新支持方面取得了顯著的進步。

Sanjeev Mohan表示，Iceberg等工具的標準化和廣泛可用性，為最終用戶在選擇系統時提供了更多優勢，從而節省了成本并增強了技術控制。

用于生成式AI的數據湖

如今，生成式AI位列很多企業待辦事項清單之首，而數據湖和數據湖庫與這一現象是密切相關的。生成式AI模型要在大量數據上運行，與此同時計算成本可能會飆升。

隨著領先科技公司的專家們參與其中，AI與數據管理之間日益緊密的聯系揭示了未來的關鍵機遇和障礙：

“生成式AI將改變數據管理”

AWS數據湖和分析副總裁Ganapathy Krishnamoorthy這樣表示。AWS是S3對象存儲和大量云數據工具的創始方。

Krishnamoorthy表示，數據倉庫、數據湖和數據湖屋將有助于改進生成式AI，但這也是一條雙向道路。

生成式AI正在培育各種成果以大大增強數據處理過程本身，其中包括數據準備、構建BI儀表板和創建ETL管道。

“有了生成式AI，我們就有了獨特的機會來解決數據管理模糊的問題，比如數據清理，”Krishnamoorthy說。“以前這一直是一項人類活動，而自動化是有挑戰性的。而現在我們可以應用生成式AI技術來獲得相當高的準確性。實際上，你可以使用基于自然語言的交互來完成其中一部分工作，從而大大提高工作效率。”

Krishnamoorthy表示，越來越多的企業將跨多個數據湖連接工作，專注于更高程度的自動化操作來增強數據的可發現性。

“AI數據湖將帶來更具彈性的數據中心”

這是Hadoop先驅Cloudera公司首席產品官Dipto Chakravarty的觀點，該公司還在不斷地提供面向數據的新工具。

他說，AI正在挑戰現有的游戲規則，這意味著數據湖工具可以縮小也可以擴大，支持數據中心和云端的靈活計算。

“在某些月份的某些日子，數據團隊希望將東西移到本地。其他時候，他們又想將其移回云端。但是，當你來回移動所有這些數據工作負載時，就會產生負擔，”Chakravarty說。

當CFO們開始關注AI的“稅收”——也就是對支出的影響時，數據中心就成為了試驗場。IT領導者將專注于把計算帶入數據，實現真正的彈性可擴展性。

“AI基礎模型的輸出定制化是關鍵”

IBM Watsonx平臺產品營銷副總裁Edward Calvesbert表示，這就是賦予它業務語言的方式。IBM在21世紀10年代中期通過Watson認知計算工作推動了當今AI的復興。

他說：“你可以使用數據定制AI，它將以你希望的方式從用例和質量角度有效地代表你的企業。”

Calvesbert表示，Watsonx數據是Watsonx生態系統中數據中央存儲庫，現在支撐著AI的定制化，這些模型可以共置在企業的IT環境中。

定制應該是和新AI時代的數據治理相輔相成的。他說：“治理措施提供了生命周期管理和監控護欄，確保遵守你自己公司的政策以及任何監管政策。”

“更多本地處理即將到來”

這是Starburst公司董事長兼首席執行官Justin Borgman的說法，該公司將Trino SQL查詢引擎的早期工作轉化為成熟的數據湖屋產品，可以從湖屋之外提取數據。

他說，精心打造的數據湖和湖屋對于支持AI工作負載（包括與生成式AI相關的工作負載）來說至關重要，我們將看到，人們對混合數據架構的興趣激增，一部分原因就是AI和機器學習的興起。

“圍繞AI的這種勢頭將把越來越多的數據帶回到本地環境或者混合環境中。企業不會想把所有的數據和AI模型都發送到云端的，因為把數據從云端轉移到云端的成本很高。”

Borgman指出，使用本質上與存儲分離的查詢和計算引擎是一種主導趨勢，可以在人們已經擁有的多樣化數據基礎設施中以及跨多個數據湖發揮作用，通常被稱為“將計算轉移到數據”。

數據越多越好嗎？

AI工作負載基于未分類的、不充分的、或者無效的數據，這成了一個日益嚴重的問題。但正如數據湖發展歷程所表明的，這是一個可以通過數據管理解決的已知問題。

IT Market Strategy獨立分析師Merv Adrian表示，顯然，如果數據無法被理解，那么訪問大量數據是沒有用的。

“如果可以使用數據，數據越多總是越好的。但如果不能，數據就沒有任何用處，”他說。

Adrian認為，Iceberg和Delta Lake等軟件的定位是位于海量數據之上的一種描述層，將有助于AI和機器學習式的分析。投資于這些類型技術的組織，在進入這個美麗新世界時將獲得優勢。

但AI開發真正的好處，是團隊在使用這些工具所獲得的技能，Adrian說。

“數據湖、數據倉庫及其數據湖屋分支使企業能夠使用更多類型和更多數據量，這對生成式AI模型很有幫助，這些模型在對大型多樣化數據集進行訓練時會得到改進。”

如今，數據湖以某種形式存在。Mohan或許說得最好：“數據湖并沒有消失。數據湖萬歲！”