2024年圖靈獎，頒給了強化學習之父！

就在剛剛，計算機學會ACM宣布：Andrew G. Barto和Richard S. Sutton為2024年ACM圖靈獎獲得者，以表彰他們為強化學習奠定了概念和算法基礎。

繼諾貝爾獎之后，AI學者再次將圖靈獎收歸囊中。

圖片

「強化學習之父」Richard S. Sutton和他的導師Andrew G. Barto，都為強化學習做出了奠基性的貢獻。

從1980年代開始的一系列論文中，二人就引入了強化學習的核心理念，構建了數學基礎，并開發了強化學習的關鍵算法——這是創建智能系統最為重要的方法之一。

1998年，Sutton和Barto共同撰寫了「Reinforcement Learning: An Introduction」（強化學習導論），這本書至今仍被視為該領域的奠基之作。目前，已被引用了超過75,000次。

如今，Barto是馬薩諸塞大學阿姆赫斯特分校信息與計算機科學系的名譽教授。

Sutton是阿爾伯塔大學計算機科學教授，Keen Technologies的首席研究員，以及阿爾伯塔機器智能研究所（Amii）的特聘研究員。

ACM A.M. 圖靈獎常被譽為「計算機領域的諾貝爾獎」，獎金高達100萬美元，由谷歌提供資金支持。該獎項以奠定了計算科學數學理論基礎的英國數學家艾倫·圖靈（Alan M. Turing）的名字命名。

得知自己獲得今年圖靈獎的消息時，Sutton感到非常震驚。

就在最近，Sutton才剛發文引述了圖靈的名言

RL之父和他的博導

AI行業一直努力最大化機器知識容量。而身處這個行業的Richard Sutton，長期以來一直在思考一個更為基礎的問題——機器如何學習？

隨著「Reinforcement Learning：An Introduction」的出版，這本強化學習領域的「圣經」在數十年后，仍然有著重要的意義。因為這些思想本質上看似簡單，卻對更廣泛的AI行業產生著持續的影響。

Reinforcement Learning: Summary and Review | Bill Mei

Sutton這樣解釋他的研究方法：研究必須從小處著手；這種基礎研究，不會立即為最新技術帶來明顯的改進。

早在1978年，二人便開始合作。

當時，Sutton正在馬薩諸塞大學阿默斯特分校攻讀博士學位，而他的導師正是Barto。隨后，Sutton又跟著Barto完成了博士后研究。

他們編寫了一些最早的RL算法，就像人類或機器學習的方式一樣，讓機器通過反復試錯獲取知識。

圖片

雖然Sutton由此贏得了學術界的贊譽，但在某種程度上，卻讓他跟谷歌、微軟、OpenAI等大公司構建的LLM所代表主流理論，產生了分歧。

在他看來，這些技術只是在模仿人類行為，并未真正認識到自己的行動，并且從中學習——

我認為它們并不在通往AGI的正確道路上。

強化學習的核心，是確保機器「從經驗中學習」，或者理解反饋并從錯誤中學習。

然而，LLM是從海量歷史數據中提取信息來生成回應的，所以它們的智能程度也僅僅與其神經網絡在給定時間的規模相當。

因此，LLM天然就有一種「愚蠢的弱點」。雖然可以調整對書面問題的回答，但它們的主要目標，僅僅是確定文本鏈中的下一個輸出而已。

對于如今的許多AI系統，Sutton都評價為「在于你互動時完全不會學習」。

比如在他看來，ChatGPT就不會根據自己的經驗改變任何權重；它對結果漠不關心，也真正缺乏認知；它對發生的任何事都不會驚訝，因為它本來對于發生的事就沒有任何預期。

圖片

Sutton的谷歌DeepMind前同事Michael Bowling如此評價他——

當世界其他地方都在追逐大語言模型應用時，Rich仍在堅守基礎研究的陣地。

在以后，當人們希望看到能真正和人類互動的AI系統，他們可能會意識到，Sutton對強化學習的貢獻是多么意義重大。

而且在過去五年中，RL也越來越被重視。引起全球轟動的DeepSeek，就是用RL通過正反饋循環來訓練AI的。

在阿爾伯塔機器智能研究所（Amii）負責人Cam Linke看來，Sutton是一位為人謙遜、不事張揚的專業人士。他摒棄了科學領域常見的傳統等級制度或政治因素，對他來說科學過程才是關鍵所在。

繼Geoffrey Hinton和Yoshua Bengio在2018年與Yann LeCun一起因對深度神經網絡研究的貢獻獲獎后，Sutton是最新一位獲得圖靈獎的加拿大研究者。

他表示，自己將自己看作是一個強化學習智能體，通過經驗在各個層面學習，比如踢到腳趾后調整走路的方式，或者接受一份工作，從中獲得樂趣。

圖片

什么是強化學習？

AI領域通常關注于構建AI智能體——即能夠感知和行動的實體。

更智能的AI智能體能夠選擇更好的行動方案。因此，知道哪些行動方案更好對AI至關重要。

獎勵——這一借用自心理學和神經科學的術語——表示一個提供給AI智能體與其行為質量相關的信號。

強化學習（RL）就是在這種獎勵信號的引導下學習找到更好行動方案的過程。

從獎勵中學習的理念對于動物訓練師來說已經存在了數千年。

后來，艾倫·圖靈（Alan Turing）在1950年的論文《計算機器與智能》中探討了「機器能思考嗎？」這一問題，并提出了一種基于獎勵和懲罰的機器學習方法。

雖然圖靈稱他曾進行一些初步實驗，而且Arthur Samuel在1950年代后期開發了一個能通過自我對弈進行學習的跳棋程序，但在隨后的幾十年里，AI的這一研究方向幾乎沒有取得任何進展。

到了1980年代初，受到心理學觀察的啟發，Barto和他的博士生Sutton開始將強化學習構建為一個通用問題框架。

他們借鑒了馬爾可夫決策過程（MDP）提供的數學基礎，在這個過程中，AI智能體在具有隨機性的環境中做出決策，在每次狀態轉換后接收獎勵信號，目的是將長期累積的獎勵最大。

與標準MDP理論假設AI智能體已知MDP的所有信息不同，強化學習框架允許環境和獎勵是未知的。

強化學習的信息需求最小，結合MDP框架的通用性，使得強化學習算法可以應用于廣泛的問題領域。

Barto和Sutton，無論是合作還是與其他研究者協作，都開發出了許多強化學習的基本算法。

包括他們最重要的貢獻——時間差分學習，它在解決獎勵預測問題方面取得了重要突破，此外還有策略梯度方法和將神經網絡作為表示學習函數的工具的使用。

他們還提出了結合學習和規劃的AI智能體設計，證明了將環境知識作為規劃基礎的價值。

正如前文提到的，「Reinforcement Learning: An Introduction」這本書使數千名研究人員能夠理解并為這一領域做出貢獻，更重要的是，它還在繼續激發當今計算機科學中的許多重要研究活動。

盡管Barto和Sutton的算法是幾十年前開發的，但在過去十五年中，通過與深度學習算法（由2018年圖靈獎獲得者Bengio、Hinton和LeCun開創）相結合，強化學習的實際應用取得了重大突破——深度強化學習技術。

圖片

強化學習最引人注目的例子是AlphaGo計算機程序在2016年和2017年戰勝世界頂尖人類圍棋選手。

近幾年的另一個重大成就是聊天機器人ChatGPT的出現。

ChatGPT是一個LLM，其訓練分為兩個階段，第二階段采用了一種稱為基于人類反饋的強化學習（RLHF）技術，以更好地捕捉人類的期望和偏好。

強化學習在許多其他領域也取得了顯著成功。

一個備受矚目的研究案例是機器人在手中操作和解決物理（魔方）問題的運動技能學習，這表明完全在模擬中進行強化學習，最終也可能在顯著不同的現實世界中取得成功。

圖片

其他的應用領域包括網絡擁塞控制、芯片設計、互聯網廣告、優化算法、全球供應鏈優化、提升聊天機器人的行為和推理能力，甚至改進計算機科學中最古老的問題之一的矩陣乘法算法。

最后，這項部分受到神經科學啟發的技術也反過來回饋了神經科學。最近的研究，包括Barto的工作，表明人工智能中開發的特定強化學習算法，為有關人類大腦中多巴胺系統的大量發現提供了最佳解釋。

獲獎人介紹

Andrew Barto

Andrew Barto是馬薩諸塞大學阿默斯特分校信息與計算機科學系榮譽退休教授。是IEEE和AAAS的Fellow。

Barto于1970年從密歇根大學獲得數學學士學位。在閱讀了Michael Arbib and McCulloch和Pitts的作品后，他對利用計算機和數學來模擬大腦產生了興趣，五年后因一篇關于元胞自動機的論文獲得了該校的計算機科學博士學位。

他于1977年作為博士后研究員開始在馬薩諸塞大學阿默斯特分校的職業生涯，此后曾擔任多個職位，包括副教授、教授和系主任。

此前，他曾獲得包括馬薩諸塞大學神經科學終身成就獎、IJCAI研究卓越獎和IEEE神經網絡學會先驅獎在內的眾多獎項。

Richard Sutton

Richard Sutton是阿爾伯塔大學計算機科學教授，Keen Technologies的研究科學家，以及阿爾伯塔機器智能研究所（Amii）的首席科學顧問。是AAAI、英國皇家學會和加拿大皇家學會的Fellow。

在2017年至2023年期間，他曾擔任DeepMind的杰出研究科學家。

在加入阿爾伯塔大學之前，他于1998年至2002年在AT&T香農實驗室AI部門擔任首席技術專家。

Sutton獲得了斯坦福大學心理學學士學位，并在馬薩諸塞大學阿默斯特分校獲得計算機與信息科學的碩士和博士學位。

Sutton獲得的榮譽包括國際AI聯合會研究卓越獎、加拿大AI協會終身成就獎和馬薩諸塞大學阿默斯特分校杰出研究成就獎。

參考資料：

https://awards.acm.org/turing