一文帶你了解不一樣的SQL，驚喜多多
SQL 由 IBM 于上世紀(jì) 70 年代創(chuàng)建，如今已經(jīng)成為了使用最廣泛的數(shù)據(jù)庫(kù)查詢(xún)語(yǔ)言。不過(guò)，相信很多人對(duì)于 SQL 的理解就是關(guān)系數(shù)據(jù)庫(kù)，就是增刪改查;實(shí)際上，SQL 在經(jīng)歷了四十而不惑之后就像“姐姐們”一樣成熟而有魅力，同時(shí)它又敢于在不斷變化的產(chǎn)業(yè)需求和各種非關(guān)系模型的沖擊之下實(shí)現(xiàn)自我突破。因此，本文就給大家介紹一下最近幾年 SQL 如何在各個(gè)領(lǐng)域乘風(fēng)破浪!
如果你認(rèn)為 SQL 就是簡(jiǎn)單的增刪改查(INSERT、SELECT、UPDATE、DELETE)，那么你了解的僅僅是 1992 年的SQL。
如果你了解通用表表達(dá)式(CTE)和遞歸查詢(xún)、用戶(hù)定義類(lèi)型或者 OLAP 功能，那么你使用的是 1999 年的 SQL。
如果你接觸過(guò)窗口函數(shù)(分析函數(shù))、MERGE(UPSERT)語(yǔ)句或者 XML 數(shù)據(jù)類(lèi)型，應(yīng)該知道這些不過(guò)是 2003 年的 SQL。
2006 年的 SQL 已經(jīng)定義了 SQL 操作 XML 的規(guī)范，支持使用 XQuery 同時(shí)訪問(wèn) SQL 數(shù)據(jù)和 XML 文檔。2008 年又增加了 TRUNCATE TABLE 語(yǔ)句、INSTEAD OF 觸發(fā)器以及 FETCH 子句等功能。
2011 年 SQL 最主要的新功能之一就是增強(qiáng)了對(duì)時(shí)態(tài)數(shù)據(jù)庫(kù)(Temporal database)的支持，可以用于記錄那些隨著時(shí)間而變化的歷史數(shù)據(jù)值，應(yīng)用領(lǐng)域包括金融、保險(xiǎn)、預(yù)訂系統(tǒng)、醫(yī)療信息管理系統(tǒng)等。目前，MariaDB、Oracle、PostgreSQL、Microsoft SQL Server 在一定程度上實(shí)現(xiàn)了某些時(shí)態(tài)表功能，國(guó)內(nèi)的騰訊 TDSQL 是一個(gè)全時(shí)態(tài)數(shù)據(jù)庫(kù)系統(tǒng)。
時(shí)間來(lái)到了 2016 年，SQL 標(biāo)準(zhǔn)又增加了幾個(gè)重要的功能，首先就是對(duì) JSON 文檔的支持。
一.SQL 與文檔數(shù)據(jù)庫(kù)
文檔數(shù)據(jù)庫(kù)屬于 NoSQL 的一種，具有模式自由的存儲(chǔ)特性，通常采用 JSON 格式進(jìn)程數(shù)據(jù)的存儲(chǔ)。常用的文檔數(shù)據(jù)庫(kù)包括 MongoDB、CouchDB 等。
實(shí)際上，2016 年 SQL 標(biāo)準(zhǔn)就已經(jīng)增加了 JSON 功能的支持，包括：
- JSON 對(duì)象的存儲(chǔ)與檢索;
- 將 JSON 對(duì)象表示成 SQL 數(shù)據(jù);
- 將 SQL 數(shù)據(jù)表示成 JSON 對(duì)象。
這些功能可以表示為以下示意圖：
如今，主流的關(guān)系數(shù)據(jù)庫(kù)也都增加了原生 JSON 數(shù)據(jù)類(lèi)型和相關(guān)函數(shù)的支持，包括 Oracle、MySQL、SQL Server、PostgreSQL 等。
我們以 MySQL 為例，演示一下如何使用 SQL 查詢(xún) JSON 數(shù)據(jù)。
- select emp_id,
- emp_info,
- emp_info->'$.emp_name' emp_name,
- emp_info->'$.sex' sex,
- emp_info->>'$.income[0].salary' salary
- from employee_json
- limit 3;
- emp_id|emp_info|emp_name|sex|salary |
- ------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------|---|-------|
- 1|{"sex": "男", "email": "liubei@shuguo.com", "income": [{"salary": 33000.0}, {"bonus": 10000}], "job_id": 1, "dept_id": 1, "manager": null, "emp_name": "劉備", "hire_date": "2000-01-01"}|"劉備" |"男"|33000.0|
- 2|{"sex": "男", "email": "guanyu@shuguo.com", "income": [{"salary": 26000}, {"bonus": 10000}], "job_id": 2, "dept_id": 1, "manager": 1, "emp_name": "關(guān)羽", "hire_date": "2000-01-01"} |"關(guān)羽" |"男"|26000 |
- 3|{"sex": "男", "email": "zhangfei@shuguo.com", "income": [{"salary": 24000}, {"bonus": 10000}], "job_id": 2, "dept_id": 1, "manager": 1, "emp_name": "張飛", "hire_date": "2000-01-01"} |"張飛" |"男"|24000 |
其中，emp_info 字段類(lèi)型為 JSON;-> 操作符返回的類(lèi)型是 JSON，->> 返回的類(lèi)型是字符串，使用 SQL/JSON 路徑表達(dá)式獲取數(shù)據(jù)中的元素值;$ 代表整個(gè)文檔;$.emp_name 表示獲取 JSON 對(duì)象的 emp_name 元素;$.income[0].salary 表示獲取 income 數(shù)組中的第一個(gè)對(duì)象的 salary 元素，數(shù)組的下標(biāo)從 0 開(kāi)始。
除此之外，我們也可以將 JSON 數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)。例如：
- select emp_id, jt.*
- from employee_json,
- json_table(emp_info, '$'
- columns (emp_name varchar(50) path '$.emp_name',
- sex varchar(10) path '$.sex',
- dept_id integer path '$.dept_id',
- manager integer path '$.manager',
- hire_date date path '$.hire_date',
- job_id integer path '$.job_id',
- salary integer path '$.income[0].salary',
- bonus integer path '$.income[1].bonus',
- email varchar(100) path '$.email')
- ) jt
- limit 3;
- emp_id|emp_name |sex|dept_id|manager|hire_date |job_id|salary|bonus|email |
- ------|----------|---|-------|-------|----------|------|------|-----|-------------------|
- 1|劉備 |男 | 1| |2000-01-01| 1| 33000|10000|liubei@shuguo.com |
- 2|關(guān)羽 |男 | 1| 1|2000-01-01| 2| 26000|10000|guanyu@shuguo.com |
- 3|張飛 |男 | 1| 1|2000-01-01| 2| 24000|10000|zhangfei@shuguo.com|
其中，$ 表示將整個(gè) emp_info 作為數(shù)據(jù)行的來(lái)源;COLUMNS 定義了字段類(lèi)型及其數(shù)據(jù)的來(lái)源，PATH 同樣使用 SQL/JSON 路徑表達(dá)式。
反之，我們也可以通過(guò) SQL 函數(shù)將關(guān)系型數(shù)據(jù)轉(zhuǎn)換為 JSON 數(shù)據(jù)。例如：
- select json_object('emp_name', emp_name,
- 'sex', sex,
- 'income', json_array(json_object('salary', salary), json_object('bonus', bonus))
- ) AS jo
- from employee
- limit 3;
- jo |
- -------------------------------------------------------------------------------------|
- {"sex": "男", "income": [{"salary": 30000.00}, {"bonus": 10000.00}], "emp_name": "劉備"}
- {"sex": "男", "income": [{"salary": 26000.00}, {"bonus": 10000.00}], "emp_name": "關(guān)羽"}
- {"sex": "男", "income": [{"salary": 24000.00}, {"bonus": 10000.00}], "emp_name": "張飛"}|
其中， JSON_OBJECT 和 JSON_ARRAY 函數(shù)可以將表中的數(shù)據(jù)構(gòu)造成 JSON 對(duì)象和數(shù)組。
不僅如此，使用 SQL 語(yǔ)句也可以對(duì) JSON 節(jié)點(diǎn)數(shù)據(jù)進(jìn)行 DML 操作，不再介紹具體案例。關(guān)于 MySQL 文檔存儲(chǔ)的詳細(xì)介紹可以參考這篇文章。
總之，關(guān)系數(shù)據(jù)庫(kù)對(duì)于 JSON 數(shù)據(jù)類(lèi)型的支持可以方便我們將 SQL 的強(qiáng)大功能與 NoSQL 的靈活性相結(jié)合;當(dāng)我們需要為應(yīng)用增加文檔數(shù)據(jù)支持的時(shí)候，除了使用專(zhuān)門(mén)的 NoSQL 數(shù)據(jù)庫(kù)之外，也可以考慮直接在現(xiàn)有的數(shù)據(jù)庫(kù)中使用 JSON 數(shù)據(jù)類(lèi)型。
2016 年 SQL 標(biāo)準(zhǔn)增加的另一個(gè)重要的功能就是行模式識(shí)別(Row Pattern Recognition)。
二.SQL 與復(fù)雜事件處理
SQL 行模式識(shí)別使用 MATCH_RECOGNIZE 子句表示，通過(guò)指定一個(gè)模式(正則表達(dá)式)查找多行數(shù)據(jù)之間的規(guī)律，并且可以對(duì)這些匹配的數(shù)據(jù)進(jìn)行過(guò)濾、分組和聚合操作。行模式識(shí)別可以用于分析各種時(shí)間序列數(shù)據(jù)，例如股票行情數(shù)據(jù)分析、金融欺詐檢測(cè)或者系統(tǒng)事件日志分析等。
目前只有 Oracle 12c 實(shí)現(xiàn)了該功能，我們可以使用以下語(yǔ)句找出股票曲線中的所有 V 型曲線：
- -- Oracle 12c 實(shí)現(xiàn)
- SELECT *
- FROM stock MATCH_RECOGNIZE (
- PARTITION BY scode
- ORDER BY tradedate
- MEASURES STRT.tradedate AS start_date,
- LAST(DOWN.tradedate) AS bottom_date,
- LAST(UP.tradedate) AS end_date
- ONE ROW PER MATCH
- AFTER MATCH SKIP TO LAST UP
- PATTERN (STRT DOWN+ UP+)
- DEFINE
- DOWN AS DOWN.price < PREV(DOWN.price),
- UP AS UP.price > PREV(UP.price)
- ) MR
- ORDER BY MR.scode, MR.start_date;
其中，MATCH_RECOGNIZE 子句比較復(fù)雜，它的執(zhí)行過(guò)程如下：
- PARTITION BY scode 按照股票代碼進(jìn)行分區(qū)，可以同時(shí)分析多只股票的數(shù)據(jù);如果省略，所有的數(shù)據(jù)作為一個(gè)整體進(jìn)行分析，這一點(diǎn)與窗口函數(shù)類(lèi)似;
- ORDER BY tradedate 按照交易日期進(jìn)行排序，用于分析股票價(jià)格隨著時(shí)間變化的規(guī)律;
- MEASURES 定義了三個(gè)輸出值，分別代表 V 型曲線的起始日期、最低點(diǎn)日期以及結(jié)束日期;其中的 STRT、DOWN 和 UP 都是 DEFINE 選項(xiàng)中定義的變量;LAST(DOWN.tradedate) 表示下降曲線中的最后一個(gè)日期，也就是最低點(diǎn)日期;LAST(UP.tradedate) 表示上升曲線中的最后一個(gè)日期，也就是結(jié)束日期;
- ONE ROW PER MATCH 表示每次匹配只輸出一個(gè)匯總結(jié)果;每個(gè) V 型曲線輸出一條記錄;如果使用 ALL ROWS PER MATCH 選項(xiàng)，每個(gè) V 型曲線都會(huì)輸出構(gòu)成曲線的所有節(jié)點(diǎn)，下文給出了相應(yīng)的示例;
- AFTER MATCH SKIP TO LAST UP 表示找到匹配的數(shù)據(jù)后，從當(dāng)前 V 型曲線的最后一個(gè)上升點(diǎn)(UP)重新開(kāi)始下一次查找;
- PATTERN (STRT DOWN+ UP+) 定義了需要查找的模式，使用正則表達(dá)式語(yǔ)法表示。從起點(diǎn)(STRT)開(kāi)始，先下降一次或多次(DOWN+)，再上升一次或多次(UP+)，也就是 V 型曲線;
- DEFINE 用于定義模式變量需要滿(mǎn)足的條件。STRT 變量沒(méi)有指定任何條件，意味著所有行都可以作為 V 型曲線的開(kāi)始;DOWN 變量要求它的價(jià)格比上一行的價(jià)格更小，PREV 函數(shù)表示上一行;UP 變量要求它的價(jià)格比上一行的價(jià)格更大。
該語(yǔ)句返回的結(jié)果如下：
- SCODE|START_DATE |BOTTOM_DATE |END_DATE |
- -----|-------------------|-------------------|-------------------|
- S001 |2019-01-01 00:00:00|2019-01-05 00:00:00|2019-01-06 00:00:00|
- S001 |2019-01-06 00:00:00|2019-01-07 00:00:00|2019-01-08 00:00:00|
- S001 |2019-01-08 00:00:00|2019-01-12 00:00:00|2019-01-13 00:00:00|
- S001 |2019-01-18 00:00:00|2019-01-20 00:00:00|2019-01-21 00:00:00|
- S001 |2019-01-21 00:00:00|2019-01-22 00:00:00|2019-01-27 00:00:00|
- S001 |2019-01-27 00:00:00|2019-01-28 00:00:00|2019-01-30 00:00:00|
查詢(xún)返回了 6 條記錄，分別對(duì)應(yīng)了上圖中的 6 個(gè) V 型曲線。MATCH_RECOGNIZE 支持許多選項(xiàng)，尤其是通過(guò) DEFINE 變量定義和 PATTERN 正則表達(dá)式模式可以實(shí)現(xiàn)各種復(fù)雜的趨勢(shì)分析。
SQL 行模式識(shí)別(MATCH_RECOGNIZE)能夠用于檢測(cè)數(shù)據(jù)流中的復(fù)雜模式，具有處理復(fù)雜事件(CEP)的強(qiáng)大功能。常見(jiàn)的應(yīng)用包括偵測(cè)異常的安全行為、發(fā)現(xiàn)金融交易行為模式、欺詐檢測(cè)和傳感器數(shù)據(jù)分析等。
2019 年 SQL 標(biāo)準(zhǔn)增加了第 15 部分：ISO/IEC 9075-15:2019 多維數(shù)組(SQL/MDA)。
三.SQL 與多維數(shù)組
多維數(shù)組(Multi-Dimensional Arrays)是各種科學(xué)和工程數(shù)據(jù)的核心基礎(chǔ)結(jié)構(gòu)，包括一維傳感器數(shù)據(jù)、二維衛(wèi)星和顯微鏡掃描圖像、三維圖像時(shí)間序列和地球物理數(shù)據(jù)、以及四維氣候和海洋數(shù)據(jù)等。
大部分的編程語(yǔ)言，例如 C/C++、Java、Python、R 等，都提供了數(shù)組類(lèi)型和相關(guān)操作的支持。早在 1999 年，SQL 就已經(jīng)對(duì)數(shù)組提供了一些非?；镜闹С?最新的 SQL/MDA 允許存儲(chǔ)、訪問(wèn)和處理大規(guī)模的多維數(shù)組，例如 N 通道的衛(wèi)星圖像。這意味著 SQL 現(xiàn)在可以解碼圖像，并且通過(guò)像素坐標(biāo)直接訪問(wèn)和處理圖像區(qū)域。
其中，MDA 表示在數(shù)據(jù)庫(kù)之外的數(shù)組數(shù)據(jù)，支持格式包括 TIFF、netCDF、HDF5、JSON 等;SQL/MDA 表示數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)組數(shù)據(jù)，支持的操作包括：
- 數(shù)組數(shù)據(jù)的攝取和存儲(chǔ);
- 更新存儲(chǔ)的數(shù)組數(shù)據(jù);
- 導(dǎo)出數(shù)組;
- 數(shù)組和關(guān)系數(shù)據(jù)的集成查詢(xún)。
以 PostgreSQL 為例，它允許將字段定義為多維數(shù)組類(lèi)型，數(shù)組的元素可以是任何內(nèi)置類(lèi)型、自定義類(lèi)型、枚舉類(lèi)型、復(fù)合類(lèi)型等。例如：
- CREATE TABLE sal_emp (
- name text,
- pay_by_quarter integer[],
- schedule text[][]
- );
- INSERT INTO sal_emp
- VALUES ('Bill',
- '{10000, 10000, 10000, 10000}',
- '{{"meeting", "lunch"}, {"training", "presentation"}}');
- INSERT INTO sal_emp
- VALUES ('Carol',
- ARRAY[20000, 25000, 25000, 25000],
- ARRAY[['breakfast', 'consulting'], ['meeting', 'lunch']]);
sal_emp 表中包含兩個(gè)數(shù)組字段，pay_by_quarter 是一個(gè)一維數(shù)組，schedule 是一個(gè)二維數(shù)組。
以下查詢(xún)返回了 Bill 一周中的前兩天計(jì)劃里的第一項(xiàng)內(nèi)容：
- select schedule[1:2][1:1] from sal_emp where name = 'bill';
- name |
- -----|
- Carol|
使用下標(biāo)可以訪問(wèn)數(shù)組的元素，PostgreSQL 中的數(shù)組元素從 1 開(kāi)始編號(hào)。以下語(yǔ)句用于修改數(shù)組中的數(shù)據(jù)切片：
- update sal_emp
- set pay_by_quarter[1:2] = '{27000,27000}'
- where name = 'carol';
PostgreSQL 為數(shù)組數(shù)據(jù)提供許多函數(shù)和運(yùn)算符，例如以下查詢(xún)使用 && 運(yùn)算符查找曾經(jīng)拿過(guò) 10000 報(bào)酬的員工：
- select name from sal_emp where pay_by_quarter && array[10000];
- name|
- ----|
- Bill|
unnest 函數(shù)可以將數(shù)組轉(zhuǎn)換為關(guān)系表，例如：
- select name, unnest(pay_by_quarter), unnest(schedule) from sal_emp;
- name |unnest|unnest |
- -----|------|------------|
- Bill | 10000|meeting |
- Bill | 10000|lunch |
- Bill | 10000|training |
- Bill | 10000|presentation|
- Carol| 20000|breakfast |
- Carol| 25000|consulting |
- Carol| 25000|meeting |
- Carol| 25000|lunch |
PostgreSQL 還為數(shù)組提供了 GiST 和 GIN 類(lèi)型的索引，可以?xún)?yōu)化數(shù)組數(shù)據(jù)的查詢(xún)。
除此之外，基于 PostgreSQL 的 PostGIS Raster、Oracle GeoRaster 以及 rasdaman 數(shù)組數(shù)據(jù)庫(kù)則提供了更加完善的多維數(shù)組應(yīng)用場(chǎng)景支持。
四.SQL 與圖形數(shù)據(jù)庫(kù)
圖形數(shù)據(jù)庫(kù)(graph database)屬于 NoSQL 的一種，使用節(jié)點(diǎn)、邊和屬性來(lái)表示和存儲(chǔ)數(shù)據(jù)，使用圖結(jié)構(gòu)進(jìn)行語(yǔ)義查詢(xún)。圖形數(shù)據(jù)庫(kù)非常適合社交網(wǎng)絡(luò)、人工智能、欺詐檢測(cè)、推薦系統(tǒng)等領(lǐng)域中的復(fù)雜關(guān)系處理。Neo4j 是目前最著名的圖形數(shù)據(jù)庫(kù)。
2019 年 9 月 17 圖形查詢(xún)語(yǔ)言(GQL)成為了繼 SQL 之后另一種新的 ISO 標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)查詢(xún)語(yǔ)言。與此同時(shí)，SQL 標(biāo)準(zhǔn)將會(huì)出現(xiàn)一個(gè)新的第 16 部分(SQL/PGQ)(Property Graph Query)，在 SQL 中直接提供一些 GQL 功能。
目前，MariaDB(OQGRAPH)、Oracle、Microsoft SQL Server 等關(guān)系型數(shù)據(jù)庫(kù)都提供了圖結(jié)構(gòu)存儲(chǔ)支持。上圖是 Oracle 中一個(gè)金融交易系統(tǒng)的圖形數(shù)據(jù)庫(kù)示例，其中 Account、Person 和 Company 是頂點(diǎn)，ownerOf、worksFor 和 transaction 是邊;另外，name 和 number 是頂點(diǎn)的屬性，amount 是邊的屬性。它們可以使用以下數(shù)據(jù)表進(jìn)行存儲(chǔ)：
基于這些表可以創(chuàng)建以下屬性圖形：
- CREATE PROPERTY GRAPH financial_transactions
- VERTEX TABLES (
- Accounts LABEL Account,
- Persons LABEL Person PROPERTIES ( name ),
- Companies LABEL Company PROPERTIES ( name )
- )
- EDGE TABLES (
- Transactions
- SOURCE KEY ( from_account ) REFERENCES Accounts
- DESTINATION KEY ( to_account ) REFERENCES Accounts
- LABEL ( transaction ) PROPERTIES ( amount ),
- PersonOwnerOfAccount
- SOURCE Persons
- DESTINATION Accounts
- LABEL ownerOf NO PROPERTIES,
- CompanyOwnerOfAccount
- SOURCE Companies
- DESTINATION Accounts
- LABEL ownerOf NO PROPERTIES,
- PersonWorksForCompany
- SOURCE Persons
- DESTINATION Companies
- LABEL worksFor NO PROPERTIES
- );
接下來(lái)我們就可以直接使用 SQL 語(yǔ)句查詢(xún)圖結(jié)構(gòu)，例如以下語(yǔ)句查找所有和名叫 Nikita 的人有過(guò)交易的人員和信息：
- SELECT owner.name AS account_holder, SUM(t.amount) AS total_transacted_with_Nikita
- FROM MATCH (p:Person) -[:ownerOf]-> (account1:Account)
- , MATCH (account1) -[t:transaction]- (account2) /* match both incoming and outgoing transactions */
- , MATCH (account2:Account) <-[:ownerOf]- (owner:Person|Company)
- WHERE p.name = 'Nikita'
- ROUP BY owner
其中，MATCH 子句用于遍歷圖形結(jié)構(gòu)并返回匹配的模式，語(yǔ)法和 Neo4j 的 Cypher 查詢(xún)語(yǔ)言中的 MATCH 子句非常類(lèi)似。以上查詢(xún)返回的結(jié)果如下：
- +----------------+------------------------------+
- | account_holder | total_transacted_with_Nikita |
- +----------------+------------------------------|
- | Camille | 1000.00 |
- | Oracle | 4501.00 |
- +----------------+------------------------------+
隨著 SQL 標(biāo)準(zhǔn)第 16 部分(SQL/PGQ)即將出現(xiàn)，我們可以在關(guān)系數(shù)據(jù)庫(kù)中直接存儲(chǔ)屬性圖結(jié)構(gòu)數(shù)據(jù)，并且在 SQL 中進(jìn)行屬性圖模式匹配，例如最短路徑查找和最佳路徑查找;SQL/PGQ 的另一個(gè)優(yōu)勢(shì)就是可以支持分組(GROUP BY)、聚合(AVG、SUM、COUNT 等)、排序(ORDER BY)以及許多其他的 SQL 功能。
五.SQL 與流數(shù)據(jù)處理
流數(shù)據(jù)是一組順序、大量、快速、連續(xù)到達(dá)的數(shù)據(jù)序列，一般情況下可被視為一個(gè)隨時(shí)間延續(xù)而無(wú)限增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù)集合。常見(jiàn)的流數(shù)據(jù)包括應(yīng)用程序日志文件、網(wǎng)購(gòu)數(shù)據(jù)、游戲玩家互動(dòng)數(shù)據(jù)、社交網(wǎng)站信息、金融交易實(shí)時(shí)數(shù)據(jù)或地理空間服務(wù)，以及來(lái)自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測(cè)數(shù)據(jù)等。
目前，常用的大數(shù)據(jù)流處理平臺(tái) Spark Streaming、Storm、Flink、ksqlDB 等都提供了 SQL 流數(shù)據(jù)處理功能;同時(shí)，一個(gè)關(guān)于流數(shù)據(jù)處理的 SQL 標(biāo)準(zhǔn)部分正在準(zhǔn)備中。
其中，ksqlDB 是一個(gè)基于 Apache Kafka 的事件流數(shù)據(jù)庫(kù)，提供了輕量級(jí)的 SQL 語(yǔ)句，大大降低了構(gòu)建流處理應(yīng)用程序所需的操作復(fù)雜性。
客戶(hù)端應(yīng)用程序可以采用拉取查詢(xún)(pull query)和推送查詢(xún)(push query)兩種方式查看和訂閱數(shù)據(jù)流變化。
在 ksqlDB 中創(chuàng)建一個(gè)數(shù)據(jù)流并運(yùn)行連續(xù)查詢(xún)的簡(jiǎn)單示例如下：
- CREATE STREAM riderLocations (profileId VARCHAR, latitude DOUBLE, longitude DOUBLE)
- WITH (kafka_topic='locations', value_format='json', partitions=1);
- -- Mountain View lat, long: 37.4133, -122.1162
- SELECT * FROM riderLocations
- WHERE GEO_DISTANCE(latitude, longitude, 37.4133, -122.1162) <= 5 EMIT CHANGES;
首先，通過(guò)一個(gè) Kafka 主題創(chuàng)建一個(gè)數(shù)據(jù)流 riderLocations(騎手位置);消息內(nèi)容采用 json 格式存儲(chǔ)，例如 {“profileId”: “c2309eec”, “latitude”: 37.7877, “longitude”: -122.4205}。
然后，針對(duì) riderLocations 數(shù)據(jù)流運(yùn)行一個(gè)連續(xù)查詢(xún)，返回距離 Mountain View(加州山景城)5 英里之內(nèi)的騎手。該查詢(xún)會(huì)一直運(yùn)行，直到被終止;并且隨著事件被寫(xiě)入 riderLocations，它會(huì)將結(jié)果推送到客戶(hù)端。
此時(shí)，如果我們打開(kāi)另一個(gè)會(huì)話連接到 ksqlDB，生成一些數(shù)據(jù)流：
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('c2309eec', 37.7877, -122.4205);
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('18f4ea86', 37.3903, -122.0643);
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('4ab5cbad', 37.3952, -122.0813);
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('8b6eae59', 37.3944, -122.0813);
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('4a7c7b41', 37.4049, -122.0822);
- INSERT INTO riderLocations (profileId, latitude, longitude) VALUES ('4ddad000', 37.7857, -122.4011);
隨著每次事件的生成，流查詢(xún)語(yǔ)句將會(huì)在第一個(gè)會(huì)話中實(shí)時(shí)輸出匹配的數(shù)據(jù)行。
六.總結(jié)
隨著互聯(lián)網(wǎng)和大數(shù)據(jù)等新技術(shù)的發(fā)展，SQL 早已不僅僅是當(dāng)年的關(guān)系數(shù)據(jù)庫(kù)查詢(xún)語(yǔ)言了;無(wú)論是面向?qū)ο筇匦?例如自定義類(lèi)型)、文檔數(shù)據(jù)(XML、JSON)的存儲(chǔ)和處理、時(shí)態(tài)數(shù)據(jù)的存儲(chǔ)和處理、復(fù)雜事件和流數(shù)據(jù)處理、數(shù)據(jù)科學(xué)中的多維數(shù)組以及圖形數(shù)據(jù)庫(kù)等各種 NoSQL 功能已經(jīng)或者即將成為 SQL 標(biāo)準(zhǔn)中的一部分，One SQL to Rule Them All!
