?在CCF-GAIR 2020 的人工智能前沿專場上，南京大學計算機系主任、人工智能學院院長、CCF會士、ACM、AAAI、IEEE、IAPR Fellow周志華教授以“反繹學習”為題發表了大會報告。

周志華表示，當今的人工智能熱潮是由于機器學習，特別是其中的深度學習技術取得巨大進展，在大數據、大算力的支持下發揮出巨大的威力。機器學習算法模型用了更多數據和算力后，獲得的性能增長可能遠超算法模型設計者的預想。但是，把模型“做大”要付出高昂的成本代價。因此，他認為，在人工智能研究上，學術界和工業界適宜有不同的分工：把“對性能的追求”交給工業界，學術界回到本源，做“探路”和“思考未來”的事情。如何將“機器學習“與“邏輯推理”相結合，是人工智能領域的“圣杯問題”，以往的努力有的是“重推理”，有的是“重學習”，另一側未能充分發揮力量。

周志華教授提出了“反繹學習”，希望在一個框架下讓機器學習和邏輯推理二者能更均衡更充分地發揮效用。他說到，“現在都知道人工智能技術發揮作用需要數據、算法和算力這三要素，未來需要把知識這個要素也考慮進來。知識凝聚了人的智慧。過去十幾年，我們都是從數據驅動的角度來研究人工智能，現在是時候把數據驅動和知識驅動結合起來。”

以下為周志華教授的現場演講內容，AI 科技評論進行了不改變原意的整理和編輯：

周志華：各位專家、朋友，大家上午好。感謝CCF和杜子德秘書長邀請，作為CCF的老會員，很高興來參加這個活動。今天我跟大家分享的主題是《Abductive Learning（反繹學習）》。

人工智能技術的發展需要三個要素：數據、算法和算力。前幾年，“大數據時代”是一個熱詞。大家都知道，大數據本身并不必然意味著大價值。數據是資源，要得到資源的價值，就必須進行有效的數據分析。在今天，有效的數據分析主要依靠機器學習算法。

今天的人工智能熱潮主要就是由于機器學習，特別是其中的深度學習技術取得巨大進展，而且是在大數據、大算力的支持下發揮出巨大的威力。談到深度學習，就要談到深度神經網絡。深度神經網絡是非常龐大的系統，要訓練出來需要很多數據、很強算力的支撐。

人工智能算法模型對于算力的巨大需求，也推動了今天芯片業的發展。例如現在訓練深度神經網絡用到的GPU，更早是用于動畫、渲染。如果沒有深度神經網絡這么大的需求，GPU也很難有今天這么大的市場，更不用說現在還有TPU等新的設計。所以我們可以看到，人工智能算法模型的發展，與算力、芯片發展之間，有相互促進的作用。這幾方面的要素是互相促進、互相支撐。

1 把“對性能的追求”交給工業界

另一方面，把強大的算力、超大的數據往上堆，可能把現有機器學習算法模型的能力發揮到極致，所能達到的性能水平甚至可能令算法研究者自己都感到驚訝。這種“大力出奇跡”的“暴力美學”，已經產生出了非常強大的模型。

比方說，最近大家談到的當前最大人工智能模型——GPT3。它用到的訓練數據是45TB，模型參數1750億參數，模型大小700G。基于這個模型，很多困難的問題像自然語言處理里的許多問題都取得大幅度進展。

我們來看看這篇關于GPT3的論文。和我們這個學科一般的論文不太一樣，作者非常多，31位作者。文章后面有分工介紹，有的作者是專門寫代碼、有的是專門調參數、有的專門做數據采樣、有的專門寫論文…… 流水線分工作業，簡直是工業化大生產的模式。

再看看論文中的算法模型，可以看到，都是已有的技術，里面每一部分都不是新的。但是，基于強大的工程化組織，讓它發揮了巨大作用。核心要點就是做大、做大、再做大。做大就必然付出代價。讀這篇文章可以注意到里面有一句話，說作者發現這個工作中有一個Bug，但是由于成本太高，就沒有重新訓練。據說訓練一次的成本大約1300萬美元，所以即便發現有Bug，也就忍著算了。

這樣的模型能夠解決很多問題，帶來很大的性能提升。但是如此高昂的成本，也給我們從事人工智能研究的人帶來了新的挑戰，特別值得讓學術界從事人工智能研究的學者思考一個問題：昂貴的成本必須換來效益回報，模型性能提升，在工業界能提升經濟效益，有時哪怕性能提升一兩個點，帶來的回報可能足以彌補投入。但學術界如果花這么大成本，怎么能帶來足夠的回報？

學術界和工業界在人工智能研究上，適宜有不同的分工：把對“性能”的追求交給工業界，學術界不必過多地關注“性能”，因為模型性能提高那么幾個點，對于學術界并沒有多大的意義，僅僅是發表幾篇論文的話，對不起這么巨大的投入。當然，我們培養了人才，人才是無價的，但是不用花這么多成本也可以培養優秀人才。

把對性能的追求交給工業界，那么學術界做什么呢？回到本源，做學術界該做的工作：“探路”、“思考未來”。只要是全新的探索，成功了可以指出新的道路，即便不成功，也可以指出此路不通，都是有巨大意義的。一條道路探明之后，進一步的改進和提升就交給工業界。

2 “推理+學習”的難題

開頭我們說到，人工智能技術發揮作用要有算法、算力和數據三大要素，未來是不是還這樣呢？要不要往里面加東西？這是我們現在要思考的。

疫情期間我們跟合作者，包括公司企業和醫學專家，一起做了一點事，做的人工智能疫情分析推演模型為相關部門疫情防控決策做了一點微小的輔助。這個工作中大量使用了機器學習技術，但是僅有機器學習夠不夠？不夠！我們使用了很多高水平醫學專家、病毒專家的知識。我們深深體會到，如果機器學習技術能夠跟專家知識很好地結合起來，或許會發揮超出我們預想的作用。

事實上，在人工智能領域有一個長期存在的“圣杯”問題，就是我們什么時候能夠把機器學習和邏輯推理很好地融合起來？如果能夠得到一個完整的框架，能夠讓這二者同時在其中很好的發揮作用，那這是我們非常希望達到的一個目標。

為什么要考慮這件事？我們首先可以看一看。邏輯推理它非常容易來利用我們的知識， 而機器學習呢比較容易來利用數據、利用證據、事實。但是如果從人類決策來看，很多決策的時候同時要使用知識以及證據。那么這兩者能不能很好地弄到一起去呢？

非常遺憾，雖然邏輯推理和機器學習在人工智能歷史上有很多研究，但是這兩者基本上是獨立發展起來的。比方說在1956年代到1990年代期間，邏輯推理和知識工程是人工智能的主流技術，但這時候機器學習的研究還很冷清。而到了90年代中期之后，機器學習研究變得非常的熱門，但這時候邏輯推理和知識工程的研究又變得冷清起來，甚至今天從事這方面研究的人在全世界都已經很少了。

如果想把兩者結合起來，最主要的障礙是什么呢？最主要的是，這兩者幾乎是基于完全不同的表示方式。

邏輯推理我們一般來說可以認為它是基于一階邏輯規則的表示。這里我們看一個例子，這里面有三個子句，第一個字句：對于任意X和Y，如果X是Y的父母，那么X比Y年長；第二個字句：對于任何兩個人，X是Y的媽媽，那么X就是Y的父母；第三：LuLu是FiFi的媽媽。現在如果我們問：誰更年長一些？那么如果從這樣的一個邏輯系統，我們馬上就可以知道，第三句話，我們知道Lulu是Fifi的媽媽，那么從第2句話我們就知道她是Fifi的父母。又從第1句話我們知道她肯定比Fifi年長。邏輯推理就是基于這樣的一些邏輯規則描述出來的知識，來幫助我們做這樣的推理判斷。

機器學習呢，它走的是另外一個路線。我們會收集很多的數據，比方說把這個數據組織成這么一個表格形式，每一行就是一個對象或者事件，每一列是刻畫它的一個屬性或特征，這就是所謂的“屬性-值“表示形式。如果從邏輯的角度來看，這種表示是非常基礎的命題邏輯的表示方式，可以把屬性值表對應成邏輯真值表。

而命題邏輯和硬件邏輯中間是有非常大的差別，很重要的就是有對于“任意”以及“存在”這樣的量詞會發生作用。一階邏輯表示由于涉及量詞，比方說如果要把“任意”這個量詞拆開把每個可能的X當做一個樣本，那就會變成無限大的樣本集。如果把一階邏輯中的謂詞比方說“parent”當作一個屬性，那么你會發現，每個邏輯子句刻畫的并不是某個樣本，而是在刻畫樣本之間的某種關系。

于是，當我們把謂詞直接當做屬性試圖展開成普通數據集的時候，會發現數據集里甚至沒有真正的屬性-值的描述。

雖然很困難，但大家都知道，如果能把兩者結合起來，可能會有更大的威力，因此歷史上已經有很多研究者在做努力。我們可以歸結是大致兩個方向的努力。一個方向主要是做邏輯推理方面的學者，嘗試引入一些機器學習里面的基礎的技術或者概念。這里面形成了一大類技術，有很多的做法。

我們舉一個最簡單的例子，比方說剛剛給大家看到的幾個子句，每個邏輯子句是確定的：要么成立，要么不成立。我們現在可以給每個邏輯子句加上一個權重，一定程度上我們可以認為它反映這個子句成立的概率。

比如說：如果一個人是大學三年級，另一個人是大學一年級，那么第一個人很可能比第二個人年長，這個可能性是80%。通過加一個0.8，我們就使得這個事實變成一個概率的成立。這樣得到的帶有概率權重的子句，就可以進行一定程度的概率推理。

另一個方向是從機器學習的角度，嘗試把一些邏輯推理方面的東西引進來。比方說我們看到有這么一條子句，如果一個人他抽煙，那么他很有可能得癌癥。有了這么一個知識，我們就可以在做貝葉斯網初始化的時候，把任何一個X，如果他smoke，我們就把它和cancer之間的這條邊連起來，也就是說我們用這個初步的規則幫助我們做這個網絡的初始化。初始化之后，原來貝葉斯網該怎么學就怎么學。

所以我們可以看上面這兩大類做法。第一類，我們可以看到它是把機器學習往邏輯推理中引，但是后面主體還是通過推理來解決問題，所以我們稱它是推理重而學習輕。第二種做法基本上是反過來，它把邏輯推理的技術往機器學習里面引，但是后期主要的解決問題是靠機器學習，所以我們稱它是學習重而推理輕。總是一頭重一頭輕，這就意味著有一頭的技術沒有充分發揮威力。

所以我們現在就想，能不能有一個新的機制幫助我們把這兩大類技術的威力都充分地發揮起來呢？我們最近提出了一個新的方案，叫做Abductive Learning。

3 什么是“反繹”？

要去理解Abductive learning之前，我們先來理解這個abductive是什么含義。

在人類對知識的處理上，或者說對現實問題的抽象上，我們通常有兩種做法。

一種是演繹，我們從一個一般性的原理出發，然后把一些特定的結果能夠得出來，而且這個得出的過程是有保障的。比方說我們做定理證明，首先拿到一些數學公理，然后基于這些數學公理，把與它們一致的所有別的定理都證明出來。這就是一個“從一般到特殊”的過程，這是演繹。

另一種做法是歸納，就是說我們先看到一些特定的事實，然后我們從特定的事實中總結出一般的規律。其實機器學習做的就是這么一件事。我們看到很多很多的數據，然后希望學習出反映一般規律的模型，這就是“從特殊到一般”。

定理證明可以說是演繹的典型代表，而機器學習是歸納的典型代表。我們今天講到的這個反繹，不太一樣。Abductive這個詞在邏輯里有時候翻譯成誘導。但是在我們這個框架下，再把它翻譯成誘導就不是特別合適，所以我們另譯為反繹。反繹學習就大致是把演繹反向嵌入到機器學習歸納過程中去。

反繹是什么意思呢？它是首先從一個不完備的觀察出發，然后希望得到一個關于某一個我們特別關心的集合的最可能的解釋。直接從這句話來理解可能有困難。那么下面我就先給大家看一個例子，是關于怎么去破譯瑪雅歷法這么一個故事。

大家知道中美洲有一個古老的瑪雅文明。他們建立起了非常復雜、精致的歷法系統，具體是有三套歷法。

左邊這三個石柱子上畫出了很多的圖案，每個圖案它會表達一個含義。看中間紅色方框中間的5個圖像，考古學家知道是對應了瑪雅的一個歷法叫做長歷。這是一組看起來像是IP地址的數字，它實際是不嚴格的20進制，描述了一個日期，就是瑪雅文明認為從創世開始一共經過了多少天。這里面第1個和第4個是什么含義還不知道，所以打了問號，第2個圖像對應于18，第3個對應于5，最后一個對應于0。

接下來，藍色框出來這兩位，對應于瑪雅的神歷。左邊這個圖像是什么含義還不知道，打了問號；右邊這個符號已經知道代表一個東西叫做Ahau。這兩位結合起來也代表了一天。其實這兩位一個是指月，一個是指日，有點像我們中國天干、地支的搭配，類似于在說“庚月子日”。但僅靠它肯定是不精確的，即便知道“庚月子日”也不知道具體是哪一天，因為歷史上有很多的庚月子日，還需要要和別的信息結合起來。

最后這兩位是13 Mac，對應瑪雅的太陽歷，是說這一年第13個月第14天。但是，這是哪一年？僅憑它還不知道。

但是如果這三個歷法里的問號都清楚了，那么這一天的定位就非常精確了。現在需要把這三個問號破譯出來。我們有一個重要的知識：這三個歷法系統，由于它們指的是同一天，那么揭示出來的這三個問號的值一定會使這三個計數達到一致。

那我們看看考古學家會怎么做這個事。拿到這個圖像之后，他們首先根據以往破譯圖像的經驗去“猜“ 這些數字是什么。但這很難，考古學家現在只知道這兩個紅色的應該是同一個數，藍色的應該是另外一個數，但這個紅色的既有可能是1，也有可能是8，也有可能是9。因為瑪雅人刻石柱是手工而不是機器做的，每次都有變化。比方說大家看到最上面這個紅色的圖像，它好像和這個1最左邊這個很像，和8的第二個也很像，跟9最右邊的這個也比較像。

然后接下來考古學家做什么呢？他們把可能的情況全部展開。比方說如果我們認為紅色的這個是1，那我們現在這個藍色的就有幾種可能，2 3 4 5 6 7這些可能都有，例如右邊的最下面一行是1.18.5.7.0，這是從觀察到的圖像得出的猜測。也就是說從觀測到的石柱，他們得出了這么幾個可能的假設。接下來的一步，他們就要利用所掌握的知識來做判斷。

所掌握的知識是告訴我們現在這三個歷法系統，它對應的日期應該是同一天。這里恰好找到紅色是1、藍色是6的這一行，對應的破譯結果是長歷的創世以來第275520天，恰好是神歷中一年的倒數第三天，也恰好是太陽歷中第13個月的第14天，一切都一致了！于是，這就得到了結果。

這就是反繹的過程。我們回顧一下，首先它來自一個不完備的觀察，有的圖像是什么我們知道，有的圖像是什么我們不知道。然后基于這個觀察，我們得到一個假設。有了這個假設之后，根據我們的知識來找一個最可能的解釋。而這個解釋就是現在紅色，藍色這個我們當前所關心的集合。這就是反繹的含義。

我們現在回頭看一看現在的機器學習。首先我們要有很多instance，這是我們的樣本。我們要有很多label，這是關于訓練樣本的已經知道的結果。我們把它合起來做監督學習，訓練出一個分類器。

反繹學習的設置不太一樣。我們有一些樣本，但只有樣本的表現，不知道結果。這就類似于剛才在瑪雅這個故事里面我們看到很多圖像，但這個圖像對應的含義是什么還不知道。反繹學習中假設有一個知識庫，這就類似于剛才考古學家所擁有的關于歷法的知識。同時我們還有一個初始分類器，這就好比說考古學家一開始看到這個圖像，他會猜這個圖像到底是什么？那么他憑什么猜呢？是他腦子里面有這么一個分類器。

在這個學習中，我們先把所有的數據提供給這個初始分類器，這個初始分類器就會猜出一個結果，比方說紅色的可能是1等等。

然后得到這個結果之后，我們就會把它轉化成一個知識推理系統它能夠接受的符號表示。比如說從這些label里面，得到了A，非B，非C等等。那么接下來這一步，我們就要根據知識庫里面的知識來發現有沒有什么東西是不一致的？剛才在瑪雅歷法的故事里，第一輪就一致了，但在一般的任務中未必那么早就能發現一致的結果。

如果有不一致，我們能不能找到某一個東西，一旦修改之后它就能變成一致？這就是我們要去找最小的不一致。假設我們現在找到，只要把這個非C改成C，那么你得到的事實就和知識都一致了。我們就把它改過來，這就是紅色的這個部分。那這就是一個反繹的結果。

而反繹出來的這個C，我們現在會回到原來的label中，把這個label把它改掉，接下來我們就用修改過的label和原來的數據一起來訓練一個新分類器。這個過程可以不斷地迭代下去。這個分類器可以代替掉老的分類器。這個過程一直到分類器不發生變化，或者我們得到的事實和知識庫完全一致，這時候就停止了。

可以看到，左邊這一半就是在做機器學習，而右邊這一半是在做邏輯推理。而且，它不是說一頭重一頭輕，而是這兩者互相依賴，一直這樣循環處理下去，這么一個過程。反繹學習的形式化描述，我們今天就不展開了。

4 反繹學習的討論與案例

有幾點內容我們來討論一下。首先我們看這個數據部分。在反繹學習中，這個數據只需要有instance，不需要有label。那么我們靠什么來做監督學習呢？主要就是靠初始分類器以及知識庫中的知識。

可以認為這個監督信息是來自于數據之外的地方，所以從這個角度上說，反繹學習可以看成是一個很廣義的弱監督學習。但另一方面，如果初始數據中確實是有label的，那這個學習過程，label信息完全可以用上去。比方說，我們把真的label和反繹出來的label一起用來對分類器做更新等等。

第二個方面，初始的分類器從哪來？這可以有很多的辦法，比方說類似于深度學習的預訓練或者遷移學習，做一個任務時可以用另外一個任務的結果做初步模型。甚至把數據聚類的結果作為粗糙的起點，有時也可以。

這里的關鍵是，初始分類器未必要準確可靠，只不過用它把過程啟動起來。當初始模型非常粗糙時，如果知識庫的知識靠譜，那就能通過知識庫的信息來修正分類器，能進行下去。如果知識不太精準，而初始模型比較好，也能往下學。如果兩者都好，當然可以做得更好。也就是說，至少有一個好就能往下做。當然，如果數據沒有label、初始分類器不靠譜、知識也不靠譜，那這樣的任務本身就沒法做。

那接下來，這個知識庫從哪來？這個目前還是需要人類專家來提供。最近一些關于知識圖譜的工作能提供很多幫助。另外，有可能初始的知識并不是完美的，那么這個過程中，也可以通過對數據的學習來對知識做精化，所以反繹學習本身也可以認為是一個對知識精化的過程。

接下來這個過程中涉及到怎么樣具體地去做學習，去做推理等等，這些具體算法機制的設計。反繹學習本身是一個框架，對里面這些機制細節做不同的設計，可以產生出不同特點的反繹學習模型和算法。下面就介紹一個簡單的例子，面對的這個任務是破譯長代碼。

例如上面三行代碼，這個代碼是以圖像形式呈現，比方說第一行是正例，第二行是反例，能不能判斷第三行是正例還是反例？這里訓練數據的長度和測試數據所用的長度不一樣。而且，數據的語義是什么事先也不知道。這和破譯密碼有點像。現在考慮簡單的XNOR問題。

第一個是DBA任務，左邊是訓練數據，每個數據都是由5個圖像組成，可以認為它是5位，0+0=0是正例，1+0=0是反例。我們對這5位圖像組成的數據學習之后，測試數據是右邊這樣，長度要比訓練數據長得多，而且有些數據特點也不同，例如訓練數據中的等號總在倒數第二位，而測試數據中的等號可以出現在很不一樣的位置。第二個RBA任務更困難，連圖像的含義都看不出來，圖像都是隨機生成的。

我們用了一個簡單的實現。機器學習部分就是用卷積神經網絡，邏輯推理部分用ALP，都有開源代碼可以直接用。把兩者銜接起來，中間的優化求解過程跟一般機器學習里不太一樣，我們在神經網絡、統計學習里的優化一般用到的是數值優化，通常用梯度下降來做，但現在是面對符號優化，不能求導、梯度下降。這里就用到我們研究團隊近五六年一直在做的零階優化方法，不用求梯度地做優化。把這幾個技術結合起來，就是這個簡單的實現。

我們看看這個實驗結果，圖上藍色和紫色分別對應基于卷積神經網絡、 LSTM處理得到的結果。下面有一條橫線對應的是隨機猜測，上面一條橫線對應的是人的水平。第一個圖的DBA任務，我們可以看到，如果長度在12位以內，神經網絡比人做得好。但是長度超過12位，人比這些神經網絡要強。

橙色部分是反繹學習的結果，通過把機器學習跟邏輯推理結合起來之后，在這個任務上比一般人做得好。右邊的RBA任務情況類似，在這個更困難的任務上，隨著串長度的增加，所有方法的性能都在下降，但是基于反繹學習的方法還是比人的水平高一些。

實驗里這個簡單任務本身并不重要，重要的是顯示出把機器學習和邏輯推理以”相對均衡”的反繹學習方式結合起來，雖然僅用了很簡單的實現，就煥發出令人興奮的能力。今后如果設計出更精致、巧妙的實現方式，可能會給我們帶來更多驚喜。

大家感興趣的話，上面第一篇文獻是發表在中國科學上的文章，跳出細節來描述整個框架，很容易讀。第二個是描述了剛才的這個具體實現。

最后做一個簡單的小結和展望：我們現在經常在談數據、算法和算力三要素，未來或許應該考慮進知識這個要素，知識凝聚了人類積累的智慧。過去十幾年，我們都是從數據驅動的角度來研究人工智能，現在可能是時候把數據驅動和知識驅動結合起來了。我們的這個工作只是非常粗淺的初步探索，這里的研究空間很大，大家如果有興趣，相信會在這方面做出更好的工作。謝謝！?