?今年11月，世界杯又要開賽了。

到時候，不管踢不踢，踢得好還是踢得不好，又會有很多人開始聊足球了。

沒辦法，誰叫足球是世界第一大運動呢。

不過相比于世界杯，科學家對年度機器人杯3D模擬聯盟更感興趣。

不久前，來自英國人工智能公司DeepMind的研究團隊，利用一種加速版運動課程，通過計算機模擬數十年足球比賽的情況，訓練AI學會了熟練地控制數字人形足球運動員。

相關研究發表在《科學·機器人》雜志上。

論文地址：https://www.science.org/doi/10.1126/scirobotics.abo0235

顯然，這已經不是第一次「AI足球運動員」進入大眾視野了。

AI足球運動員的進化簡史

早在2016年，AlphaGo在圍棋上戰勝李世石后沒多久，Deepmind就開始琢磨讓AI踢足球了。

當年6月，DeepMind的研究人員讓AI控制一只螞蟻形狀的物體去追逐小球，然后帶球直至將其送進球門得分。

根據DeepMind小組負責人David Silver的說法，借助當時谷歌最新開發出異步Actor-Critic算法，即A3C，AI不僅完成了這個項目，而且在整個過程中不需要向他灌輸有關力學的知識。

這項實驗，讓「AI踢足球」迎來了開門紅。

到了2019年，DeepMind已經訓練了許多「Player」，它們分別由不同訓練計劃制作而成的，DeepMind從中選擇10個雙人足球團隊。

這10個團隊每個都有250億幀的學習經驗，DeepMind收集了它們之間的100萬場比賽。

然后DeepMind設置環境，讓多個AI一起踢足球賽，并且提前設置了規則，獎勵整個「足球隊」而不是去鼓勵某個「AI球員」的個人成績，以促成整個球隊的進步。

DeepMind用這種方式證明了，AI是可以互相合作的。

看起來一切順利，然而到了2020年，DeepMind的AI球員出問題了。

根據腦極體提供的資料，在一場比賽中，一方的足球機器人排成一排向球門發起射擊，但機器人守門員卻并沒有準備防守，而是一屁股倒在地上開始胡亂擺動起了雙腿。

你以為這就完了？too naive！

接著，擔任前鋒的機器人球員跳了一段十分令人困惑的舞蹈，跺跺腳，揮揮手，啪嘰一下摔倒在地上。

這一幕讓觀眾極為震驚：見過放水的，沒見過這么放水的！

為何會這樣呢？

這還要從背后的原理說起。

「AI踢足球」的開始，研究人員就采用了強化學習這條道路。

此前，AlphaGo的學習是基于監督學習，即通過標記好的數據集來進行訓練的。

但這種方式對數據的「潔凈」程度要求高：一旦數據有問題，AI就會犯錯。

與之相比，強化學習是模仿人類的學習模式，AI以「試錯」的方式進行學習，對了受獎，錯了受罰，從而建立正確的聯系。

看起來比傳統的監督學習智能了不少，但還是有漏洞。

比如，AI會對獎懲措施產生錯誤的理解，因而生成奇怪的策略。

OpenAI曾經設計了一個賽艇游戲，AI原本的任務是完成比賽。

研究者設置了兩種獎勵，一是完成比賽，二是收集環境中的得分。結果就是智能體找到了一片區域，在那里不停地轉圈「刷分」，最后自然沒能完成比賽，但它的得分反而更高。

這次，AI踢出了什么新花樣

雖然AI踢足球出現過翻車現場，但研究人員沒有放棄。

文章開頭提到，DeepMind的研究團隊在訓練「AI足球運動員」上有了新突破。

據論文描述，盡管DeepMind團隊在此次研究中簡化了游戲規則，并將兩隊球員人數限定在了2-3人，但「AI足球運動員」可以完成帶球突破、身體對抗、精準射門等動作。

那研究人員是怎么訓練「AI足球運動員」的呢？

簡單來說，是將監督學習與強化學習結合起來。

第一步，AI需要觀看人類踢足球的視頻剪輯，學會自然行走，因為AI開始并不知道要在足球場上做什么。

第二步，AI在強化學習的算法下，練習運球和射門。

這兩步，AI大約能在24小時內完成。

第三步，就用用比賽的形式訓練，AI機器人進行2對2比賽，這一步需要耗時2到3周，主要是讓AI學會團隊協作,以及預測傳球等更高難度的運動控制。

這次「AI 足球運動員」的表現還是讓研究團隊覺得比較滿意。

DeepMind團隊認為，這一研究推動了人工系統向人類水平運動智能向前邁進。

不過，DeepMind團隊還是比較清醒，他們知道，這次突破還是有局限性的。

比如，比賽是2v2，而不是現實足球比賽常用的11v11，還不能說明AI可以參加更復雜的足球比賽。

此外，即便是簡單的2v2比賽，也沒法直接用在機器人硬件上。

換句話說，科學家們還不能研制出可以踢足球的機器人。

參考資料：https://www.science.org/doi/10.1126/scirobotics.abo0235

https://sports.yahoo.com/deepmind-ai-now-play-football-134345563.html?guccounter=2

https://www.woshipm.com/ai/3619952.htmlhttp://it.people.com.cn/n1/2016/0622/c1009-28467916.html?