2018數(shù)據(jù)庫技術(shù)發(fā)展趨勢
當前，正由IT時代進入DT時代，隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的發(fā)展，企業(yè)正產(chǎn)生大量的數(shù)據(jù)，而數(shù)據(jù)的存儲和組織離不開數(shù)據(jù)庫技術(shù)，更多的公司意識到了數(shù)據(jù)能夠為公司帶來商業(yè)利益，于是如何管理和利用好數(shù)據(jù)已經(jīng)變得越來越重要。
挖掘數(shù)據(jù)的價值，對數(shù)據(jù)進行分析，讓數(shù)據(jù)指導(dǎo)決策已經(jīng)成為很多公司最重要的工作之一，因此選擇合適的數(shù)據(jù)庫系統(tǒng)對公司的技術(shù)發(fā)展至關(guān)重要。
筆者曾經(jīng)在某大型互聯(lián)網(wǎng)公司負責Hadoop平臺及部分MySQL數(shù)據(jù)庫的管理，工作中涉及到對DBMS的選型、管理及優(yōu)化等工作內(nèi)容，筆者認為，未來數(shù)據(jù)庫發(fā)展將有三大趨勢：
一、數(shù)據(jù)庫管理技術(shù)正在向AI方向發(fā)展
由于DBMS的發(fā)展越來越快，功能越來越多，需要優(yōu)化的參數(shù)內(nèi)容也相對更多，而各個公司的應(yīng)用場景不同，對數(shù)據(jù)庫的要求也各有特點。傳統(tǒng)DBMS對管理人員要求專業(yè)性高，成本也很高，DBMS可以處理大量的數(shù)據(jù)和復(fù)雜的負載工作，但是卻難以管理，因為它們具有數(shù)百個配置選項，用于控制諸如用于緩存的內(nèi)存量以及將數(shù)據(jù)寫入存儲器等因素。
基于這些原因，一些DBMS與AI的結(jié)合相繼出現(xiàn)，例如Oracle提出的自治數(shù)據(jù)庫的概念，以及“OtterTune”，OtterTune是亞馬遜和卡內(nèi)基梅隆大學(xué)一起開發(fā)的機器學(xué)習自動化調(diào)整DBMS的系統(tǒng)，并公布起設(shè)計論文和開源項目，重點解決DBMS長期存在的一些問題：
1、對管理人員專業(yè)性要求高；
2、管理成本高；
3、無法實現(xiàn)配置資源***化等一系列問題。
據(jù)了解，OtterTune可以自動為DBMS的配置選項找到***的設(shè)置方法。
OtterTune目標是使任何人都更容易部署數(shù)據(jù)庫管理系統(tǒng)，即使是那些在數(shù)據(jù)庫管理方面沒有任何專業(yè)知識的人也可以使用它。
OtterTune與其他DBMS配置工具不同，因為它利用從先前的DBMS部署調(diào)整中學(xué)到知識。大大減少了調(diào)整新的DBMS部署所需的時間和資源。
為此，OtterTune維護了從以前的調(diào)優(yōu)會話收集的調(diào)優(yōu)數(shù)據(jù)庫。它使用此數(shù)據(jù)構(gòu)建機器學(xué)習（ML）模型，以捕獲DBMS如何響應(yīng)不同的配置。OtterTune使用這些模型來指導(dǎo)新應(yīng)用程序的實驗，推薦改進目標參數(shù)的設(shè)置（例如，減少延遲或提高吞吐量）。
AI與DBMS的結(jié)合目前已經(jīng)開始嘗試，隨著技術(shù)的發(fā)展，未來應(yīng)該會變的更加成熟，然而，我并不以為，AI的出現(xiàn)會讓DBA失業(yè)，DBA的工作對于數(shù)據(jù)庫的管理依然非常必要，并且各類AI工具的研發(fā)和使用通常也是由經(jīng)驗豐富的DBA來完成。
例如，我在工作中也曾經(jīng)通過客戶服務(wù)器的硬件配置及業(yè)務(wù)場景來自動生成大數(shù)據(jù)系統(tǒng)的配置文件，這在某種意義上也是一種AI的實現(xiàn)，而這個工具的實現(xiàn)是基于DBA平時對系統(tǒng)參數(shù)調(diào)整的經(jīng)驗才實現(xiàn)的。
因此，我認為作為DBA應(yīng)該積極的擁抱技術(shù)的變化，嘗試用各種手段來簡化和優(yōu)化數(shù)據(jù)庫管理的工作，讓AI等技術(shù)成為一個未來的DBA所必備的知識。
二、經(jīng)歷了NoSQL，NewSQL時代正在到來，融合OLTP和OLAP的HTAP發(fā)展迅速。
過去幾年，起源于Google三大基礎(chǔ)設(shè)施論文（GFS，Mapreduce和Bigtable），誕生了開源的Hadoop系統(tǒng)，通常用作公司對于海量非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)的存儲及分析，得益于開源社區(qū)的貢獻和各大互聯(lián)網(wǎng)公司的應(yīng)用，Hadoop生態(tài)系統(tǒng)迅速發(fā)展，已經(jīng)成為了OLAP方面對海量數(shù)據(jù)處理的事實標準，盡管Hadoop生態(tài)系統(tǒng)已經(jīng)日趨成熟并被業(yè)界廣泛認可，然而作為一個離線數(shù)據(jù)分析系統(tǒng)，Hadoop無法實時對數(shù)據(jù)的分析提供結(jié)果，因此通常用作業(yè)務(wù)數(shù)據(jù)庫之外構(gòu)建一個新的數(shù)據(jù)倉庫，并且通常僅提供OLAP也就是數(shù)據(jù)分析方面的支撐，這就要求在傳統(tǒng)的數(shù)據(jù)庫和Hadoop之間構(gòu)建一套ETL系統(tǒng)，用作兩者之間數(shù)據(jù)的導(dǎo)入導(dǎo)出，這就使得數(shù)據(jù)庫和數(shù)據(jù)倉庫的管理更加的復(fù)雜。
Hadoop系統(tǒng)作為一個龐大的開源系統(tǒng)，往往需要很多組件才能滿足業(yè)務(wù)的需求，所以我通常認為基于Hadoop構(gòu)建數(shù)據(jù)倉庫滿足OLAP的需求目前仍存很多不足，而NoSQL數(shù)據(jù)庫的不斷發(fā)展，也為很多大數(shù)據(jù)量業(yè)務(wù)的發(fā)展帶來了福音。
例如可以通過Hbase來管理近千億的url數(shù)據(jù)，并且NoSQL數(shù)據(jù)庫通常是可以動態(tài)擴容并且支持容錯，但是NoSQL系統(tǒng)的缺點也非常的明顯，例如應(yīng)用場景相對簡單，通常無法兼容傳統(tǒng)的sql語句，多表關(guān)聯(lián)以及事物等需求也通常無法滿足。對于開發(fā)人員還需要重新學(xué)習NoSQL的API和使用方式，帶來了額外的代價。
基于上述原因，出現(xiàn)了融合OLTP和OLAP的一種提法HTAP，意味著可以通過一個數(shù)據(jù)庫系統(tǒng)同時滿足事務(wù)性需求和分析型需求，而***代表性的就是Google的Spanner+F1的論文，產(chǎn)生了一批NewSQL系統(tǒng)。
例如CockroachDB和國內(nèi)PingCAP團隊開發(fā)的TiDB，以TiDB為例，TiDB采用Raft實現(xiàn)分布式協(xié)議，并且完全兼容MySQL的客戶端，這對筆者本人也非常有吸引力，即可以用熟悉的MySQL的接口，又不需要對數(shù)據(jù)庫進行分庫分表，既實現(xiàn)了分布式，又減輕了用戶的學(xué)習成本，對于企業(yè)來講，可以通過構(gòu)建一套分布式數(shù)據(jù)庫系統(tǒng)，同時滿足事務(wù)性和分析型需求，減輕系統(tǒng)復(fù)雜性的同時也提高了效率。
在這里向TiDB團隊致敬，在數(shù)據(jù)庫領(lǐng)域作出了***的開源項目，可以說是具備里程碑的意義。HTAP將成為未來的數(shù)據(jù)庫的主流發(fā)展趨勢。
三、 時序數(shù)據(jù)庫正在崛起
物聯(lián)網(wǎng)發(fā)展勢頭迅猛，互聯(lián)網(wǎng)和傳統(tǒng)公司也爭相布局，隨著物聯(lián)網(wǎng)的發(fā)展，傳感器等產(chǎn)生了大量的數(shù)據(jù)，而這些數(shù)據(jù)往往都是時間順序，在其他一些應(yīng)用場景，例如金融領(lǐng)域的，股票交易，匯率等以及Devops的監(jiān)控數(shù)據(jù)，都是屬于時序數(shù)據(jù)。
基于這些場景產(chǎn)生了時序數(shù)據(jù)庫的概念，時序數(shù)據(jù)庫可以對時間屬性進行特殊的索引，實現(xiàn)數(shù)據(jù)的快速查詢以及更高的壓縮，例如InfluxDB項目，InfluxDB是一個使用Go語言開發(fā)的分布式時序、時間和指標數(shù)據(jù)庫，無需外部依賴。特別適合處理和分析資源監(jiān)控數(shù)據(jù)。
筆者在物聯(lián)網(wǎng)項目已經(jīng)嘗試使用了InfluxDB，用于存儲大型中央空調(diào)設(shè)備產(chǎn)生的數(shù)據(jù)，目前項目已經(jīng)穩(wěn)定運行半年，與傳統(tǒng)DBMS相比，InflluxDB的存儲空間減少了近70%，存儲和查詢效率也有大幅度提升，并且通過InfluxDB集成的聚合函數(shù)和連續(xù)查詢功能，可以自動生成數(shù)據(jù)的日報表、月報表、年報表，極大減輕了開發(fā)成本和系統(tǒng)復(fù)雜度。
同樣，國內(nèi)由陶建輝領(lǐng)銜的濤思數(shù)據(jù)(TAOS Data)團隊也正在做時序數(shù)據(jù)庫產(chǎn)品TDengine，目前已經(jīng)開放測試，希望更多的國內(nèi)團隊做出屬于我們自己的優(yōu)秀數(shù)據(jù)庫產(chǎn)品。
四、結(jié)語
數(shù)據(jù)庫作為IT技術(shù)架構(gòu)的核心，新技術(shù)層出不窮，隨著物聯(lián)網(wǎng)及人工智能時代的到來，數(shù)據(jù)庫技術(shù)迎來高速發(fā)展期，DBMS與AI的結(jié)合，HTAP以及時序數(shù)據(jù)庫將解決企業(yè)海量數(shù)據(jù)增長帶來的各種需求及問題。
