?數(shù)據(jù)處理和分析是基礎和普遍的。算法在數(shù)據(jù)處理和分析中發(fā)揮著至關重要的作用，許多算法設計都結合了啟發(fā)式和人類知識和經(jīng)驗的一般規(guī)則，以提高其有效性。

近年來，強化學習，特別是深度強化學習（DRL）在許多領域得到了越來越多的探索和利用，因為與靜態(tài)設計的算法相比，它可以在復雜的交互環(huán)境中學習更好的策略。受這一趨勢的推動，我們對最近的工作進行了全面的回顧，重點是利用DRL改進數(shù)據(jù)處理和分析。

首先，我們介紹了DRL中的關鍵概念、理論和方法。接下來，我們將討論DRL在數(shù)據(jù)庫系統(tǒng)上的部署，在各個方面促進數(shù)據(jù)處理和分析，包括數(shù)據(jù)組織、調度、調優(yōu)和索引。

然后，我們調查了DRL在數(shù)據(jù)處理和分析中的應用，從數(shù)據(jù)準備、自然語言處理到醫(yī)療保健、金融科技等。

最后，我們討論了在數(shù)據(jù)處理和分析中使用DRL所面臨的重要挑戰(zhàn)和未來的研究方向。

論文鏈接：https://arxiv.org/abs/2108.04526

在大數(shù)據(jù)時代，數(shù)據(jù)處理和分析是基礎的、無處不在的，對于許多組織來說是至關重要的，這些組織正在進行數(shù)字化之旅，以改善和轉變其業(yè)務和運營。在提取洞察力之前，數(shù)據(jù)分析通常需要其他關鍵操作，如數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)集成、建模等。

大數(shù)據(jù)可以在醫(yī)療保健和零售等許多行業(yè)釋放出巨大的價值創(chuàng)造。然而，數(shù)據(jù)的復雜性（例如，高容量、高速度和高多樣性）給數(shù)據(jù)分析帶來了許多挑戰(zhàn)，因此很難得出有意義的見解。為了應對這一挑戰(zhàn)，促進數(shù)據(jù)處理和分析的高效和有效，研究人員和實踐人員設計了大量的算法和技術，也開發(fā)了大量的學習系統(tǒng)，如Spark MLlib和Rafiki。

為了支持快速的數(shù)據(jù)處理和準確的數(shù)據(jù)分析，大量的算法依賴于基于人類知識和經(jīng)驗開發(fā)的規(guī)則。例如，「最短作業(yè)優(yōu)先」是一種調度算法，它選擇執(zhí)行時間最短的作業(yè)進行下一次執(zhí)行。但在沒有充分利用工作負載特性的情況下，與基于學習的調度算法相比，其性能較差。另一個例子是計算機網(wǎng)絡中的包分類，它將一個包與一組規(guī)則中的一條規(guī)則進行匹配。一種解決方案是使用手工調整的啟發(fā)式分類來構造決策樹。具體來說，啟發(fā)式算法是為一組特定的規(guī)則設計的，因此可能不能很好地工作于具有不同特征的其他工作負載。

我們觀察到現(xiàn)有算法的三個局限性：

首先，算法是次優(yōu)的。諸如數(shù)據(jù)分布之類的有用信息可能會被忽略或未被規(guī)則充分利用。其次，算法缺乏自適應能力。為特定工作負載設計的算法不能在另一個不同的工作負載中很好地執(zhí)行。第三，算法設計是一個耗時的過程。開發(fā)人員必須花很多時間嘗試很多規(guī)則，以找到一個經(jīng)驗有效的規(guī)則。

基于學習的算法也被用于數(shù)據(jù)處理和分析。經(jīng)常使用的學習方法有兩種:監(jiān)督學習和強化學習。它們通過直接優(yōu)化性能目標來實現(xiàn)更好的性能。監(jiān)督學習通常需要一組豐富的高質量標注訓練數(shù)據(jù)，這可能是很難和具有挑戰(zhàn)性的獲取。例如，配置調優(yōu)對于優(yōu)化數(shù)據(jù)庫管理系統(tǒng)（DBMS）的整體性能非常重要。在離散和連續(xù)的空間中，可能有數(shù)百個調諧旋鈕相互關聯(lián)。此外，不同的數(shù)據(jù)庫實例、查詢工作負載和硬件特性使得數(shù)據(jù)收集變得不可用，尤其是在云環(huán)境中。

與監(jiān)督學習相比，強化學習具有較好的性能，因為它采用了試錯搜索，并且需要更少的訓練樣本來找到云數(shù)據(jù)庫的良好配置。

另一個具體的例子是查詢處理中的查詢優(yōu)化。數(shù)據(jù)庫系統(tǒng)優(yōu)化器的任務是為查詢找到最佳的執(zhí)行計劃，以降低查詢成本。傳統(tǒng)的優(yōu)化器通常枚舉許多候選計劃，并使用成本模型來找到成本最小的計劃。優(yōu)化過程可能是緩慢且不準確的。

在不依賴于不準確的成本模型的情況下，深度強化學習（DRL）方法通過與數(shù)據(jù)庫交互來改進執(zhí)行計劃（例如，更改表連接順序）。

當查詢發(fā)送給agent（即DRL優(yōu)化器）時，代理通過對基本信息（如訪問的關系和表）進行特征化，生成狀態(tài)向量。agent以狀態(tài)為輸入，利用神經(jīng)網(wǎng)絡生成一個動作集的概率分布，動作集可以包含所有可能的作為潛在動作的join操作。

每個操作表示一對表上的部分連接計劃，一旦執(zhí)行操作，狀態(tài)將被更新。在采取可能的行動之后，生成一個完整的計劃，然后由DBMS執(zhí)行該計劃以獲得獎勵。

在這個查詢優(yōu)化問題中，獎勵可以根據(jù)實際延遲計算。在有獎勵信號的訓練過程中，agent可以改進策略，產(chǎn)生更高獎勵的更好的連接排序（即延遲更少）。

查詢優(yōu)化的DRL工作流程

強化學習（RL）專注于學習在環(huán)境中做出智能的行動。RL算法在探索和開發(fā)的基礎上，通過環(huán)境反饋來改進自身。在過去的幾十年里，RL在理論和技術方面都取得了巨大的進步。

值得注意的是，DRL結合了深度學習（DL）技術來處理復雜的非結構化數(shù)據(jù)，并被設計用于從歷史數(shù)據(jù)中學習和自我探索，以解決眾所周知的困難和大規(guī)模問題（如AlphaGo）。

近年來，來自不同社區(qū)的研究人員提出了DRL解決方案，以解決數(shù)據(jù)處理和分析中的問題。我們將現(xiàn)有的使用DRL的作品從系統(tǒng)和應用兩個角度進行分類。

從系統(tǒng)的角度來看，我們專注于基礎研究課題，從一般的，如調度，到系統(tǒng)特定的，如數(shù)據(jù)庫的查詢優(yōu)化。我們還應當強調它是如何制定的馬爾可夫決策過程,并討論如何更有效地解決DRL問題與傳統(tǒng)方法相比。由于實際系統(tǒng)中的工作負載執(zhí)行和數(shù)據(jù)采集時間比較長，因此采用了采樣、仿真等技術來提高DRL訓練效率。

從應用的角度來看，我們將涵蓋數(shù)據(jù)處理和數(shù)據(jù)分析中的各種關鍵應用，以提供對DRL的可用性和適應性的全面理解。許多領域通過采用DRL進行轉換，這有助于學習有關應用的領域特定知識。

在這次綜述中，我們的目標是提供一個廣泛和系統(tǒng)的回顧，在解決數(shù)據(jù)系統(tǒng)、數(shù)據(jù)處理和分析問題中使用DRL的最新進展。

RL技術分類?