谷歌在2月之后突然切換到了996模式，不到一個月的時間拋出了5個模型。

而DeepMind CEO Hassabis本人也是四處為自家的產品站臺，曝出了很多幕后的開發內幕。

在他看來，雖然還需要技術突破，但是現在人類通往AGI之路已經出現。

而DeepMind和谷歌Brain的合并，標志著AI技術發展已經進入了新的時代。

問：DeepMind一直站在技術的前沿。比如像AlphaZero這樣系統，內部的智能體能夠經過一系列思考，達成最終目標。這是否意味著大型語言模型（LLM）也能夠加入這種研究的行列呢？

Hassabis：我個人認為，這是一個非常有潛力的方向。我們需要繼續完善這些大型模型，讓它們成為更精確的世界預測器，從而構建出更可靠的世界模型。這是必要的，但可能還不足以構成一個通用人工智能（AGI）系統的全部。

在此基礎上，我們正在開發類似AlphaZero的規劃機制，通過世界模型來制定實現具體世界目標的計劃。

這包括將不同的思維或推理鏈條串聯起來，或者利用樹搜索來探索廣闊的可能性空間。

這些都是目前我們的大型模型所缺失的環節。

問：從純粹的強化學習（RL）方法出發，是否有可能直接邁向 AGI 呢？

看來，大型語言模型會構成基礎先驗知識，然后在此基礎上進行進一步研究。

理論上，完全采用開發AlphaZero的方式是有可能的。

DeepMind和RL社區的一些人正在致力于這一方向，他們從零開始，不依賴任何先驗知識或數據，完全構建新的知識體系。

我認為，利用現有的世界知識——例如網絡上的信息和我們已經收集的數據——將是實現AGI的最快途徑。

我們現在已經有了能吸收這些信息的可擴展算法——Transformers，我們完全可以利用這些已有的模型作為先驗知識來進行預測和學習。

因此，我認為，最終的AGI系統一定將包括現在的大模型作為解決方案的一部分。

但光有大模型還不足夠，我們還需要在其上加入更多的規劃和搜索的能力。

問：面對這些方法所需的巨大計算資源，我們怎樣才能突破呢？

即使是AlphaGo這樣的系統，由于需要在決策樹的每個節點上進行計算，也是相當昂貴的。

我們致力于開發樣本高效的方法和重復利用現有數據的策略，例如經驗回放（experience replay），以及探索更高效的方法。

實際上，如果世界模型足夠好，你的搜索就可以更高效。

以Alpha Zero為例，它在圍棋和象棋等游戲中的表現超過了世界冠軍水平，但其搜索的范圍遠小于傳統的暴力搜索方法。

這表明，改進模型可以使搜索更高效，從而達到更遠的目標。

但在定義獎勵函數和目標時，如何確保系統朝著正確的方向發展，將是我們面臨的挑戰之一。

谷歌為什么半個月能出5個模型？

問：你能談談為什么Google和DeepMind同時研究這么多不同的模型嗎？

因為我們一直在進行基礎研究，我們有大量的基礎研究工作，涵蓋各種不同的創新和方向。

這意味著，我們同時在構建主要的模型軌道——核心Gemini模型，同時也有許多更具探索性的項目正在進行。

當這些探索項目取得一些成果時，我們會將其融入主分支，進入下一版本的 Gemini，這就是為什么你會看到1.5緊隨1.0之后發布，因為我們已經在研究下一個版本了，因為我們有多個團隊在不同的時間尺度上工作，相互之間進行循環，這就是我們能夠持續進步的方式。

我希望這將成為我們的新常態，以這種高速度發布產品，當然，同時還要非常負責任，牢記發布安全的模型是我們的第一要務。

問：我想問的是你們最近的一次重大發布，即Gemini 1.5 Pro，你們的新 Gemini Pro 1.5模型可以處理高達一百萬個token。你能解釋一下這意味著什么以及為什么上下文窗口是一個很重要的技術指標嗎？

是的，這非常重要。長上下文可以被視為模型的工作記憶，即它一次可以記住并處理多少數據。

你擁有的上下文越長，它的準確性也很重要，從長上下文中回憶事物的精確度也同樣重要，你就可以考慮到更多的數據和上下文。

因此，一百萬意味著你可以處理巨大的書籍、完整的電影、大量的音頻內容，比如完整的代碼庫。

如果你有一個更短的上下文窗口，比如只有十萬這個級別，那么你只能處理其中的片段，模型就無法對你感興趣的整個語料庫進行推理或檢索。

因此，這實際上為所有類型的新用例提供了可能性，這些是小上下文無法完成的。

問：我從人工智能研究人員那里聽說，這些大上下文窗口的問題是它們非常消耗計算資源。比如，如果你上傳了一整部電影或一本生物學教科書，并詢問關于它的問題，就需要更多的處理能力來處理所有這些并做出回應。如果很多人都這樣做，成本會很快增加。Google DeepMind是否提出了一些巧妙的創新來使這些巨大的上下文窗口更高效，還是Google只是承擔了所有這些額外計算的成本？

是的，這是一個全新的創新，因為如果沒有創新，你無法擁有這么長的上下文。

但這仍然需要花很高昂的計算成本，所以我們正在努力優化。

如果你用滿了整個上下文窗口的話。上傳數據的初始處理可能需要幾分鐘。

但如果你考慮到這就像是在一兩分鐘內觀看整部電影或閱讀整部《戰爭與和平》，那么這還不算太壞，然后你就能回答任何關于它的問題了。

然后我們想確保的是，一旦你上傳并處理了文檔、視頻或音頻，那么隨后的問題和回答應該更快。

這就是我們目前正在努力的方向，我們非常有信心能將其縮短到幾秒鐘的時間內。

問：你說你們已經測試了高達一千萬token的系統了，效果如何？

在我們的測試中效果非常好。因為計算成本還比較高，目前還不實際提供服務。

但在精確度和回憶方面，它的表現非常出色。

問：我想問你關于Gemini的問題，Gemini能做什么特別的事情，之前的Google語言模型或其他模型做不到的？

嗯，我認為Gemini，尤其是1.5版本的激動人心之處在于其天生的多模態特性，我們從頭開始構建它，使其能夠處理任何類型的輸入：文本、圖像、代碼、視頻。

如果你結合長上下文，你就會看到它的潛力。比如，你可以想象你在聽一整場講座，或者有一個重要的概念你想了解，你想快進到那里。

所以現在我們可以將整個代碼庫放入上下文窗口中，這對于新程序員的入門非常有用。假設你是星期一開始上班的新工程師，通常你需要去查閱數以十萬計的代碼行，你如何訪問某個函數？

你需要去詢問代碼庫的專家。但現在實際上你可以使用Gemini作為編碼助手，以這種有趣的方式。它會返回一些摘要，告訴你代碼的重要部分在哪里，你就可以開始工作了。

我認為擁有這種能力非常有幫助，使你的日常工作流程更加高效。

我非常期待看到Gemini在像slack這樣的東西中被整合進去后的表現，以及你的一般工作流程。未來的工作流程是什么樣的？我認為我們才剛剛開始體會到變化。

谷歌開源的首要任務是保證安全

問：我現在想轉向 Gemma，你們剛剛發布的一系列輕量級開源模型。今天，是否通過開源發布基礎模型，或者將它們保持封閉，似乎是最具爭議的話題之一。到目前為止，Google一直將其基礎模型保持為封閉源。為什么現在選擇開源？你如何看待這樣一種批評，即通過開源使基礎模型可用，增加了它們被惡意行為者使用的風險和可能性？

是的，我實際上公開討論了這個問題很多次。

其中一個主要擔憂是，通常來說，開源和開放研究顯然是有益的。但這里有一個特定的問題，那就是與AGI和AI技術相關的問題，因為它們是通用的。

一旦你發布了它們，惡意行為者就可能將它們用于有害的目的。

當然，一旦你開源了某樣東西，你就沒有真正的辦法再收回來了，不像API訪問之類的，如果發現下游有之前沒人考慮到的有害用例，你可以直接切斷訪問。

我認為這意味著對于安全性、魯棒性和負責任性的門檻甚至更高。隨著我們接近 AGI，它們將擁有更強大的能力，所以我們必須更加小心，考慮它們可能被惡意行為者用于什么。

我還沒有從那些支持開源的人那里聽到一個好的論點，比如開源的極端主義者，他們中有很多是我在學術界尊敬的同事，他們如何回答這個問題，——符合防范開源模型對于會讓更多的惡意行為者的訪問模型的問題？

我們需要更多地考慮這些問題，因為這些系統變得越來越強大。

問：那么，為什么Gemma沒有讓你擔憂這個問題呢？

是的，當然，因為你會注意到，Gemma只提供輕量級版本，所以它們相對較小。

實際上，較小的尺寸對開發者更有用，因為通常個人開發者、學者或小團隊希望在他們的筆記本電腦上快速工作，所以它們為此進行了優化。

因為它們不是前沿模型，它們是小型模型，我們覺得放心，因為這些模型的能力經過了嚴格的測試，我們非常清楚它們的能力，這種尺寸的模型沒有大風險。

DeepMind為什么要和Google Brain合并

問：去年，當Google Brain和DeepMind合并時，我在 AI 行業中認識的一些人感到擔憂。他們擔心，Google歷來給 DeepMind相當大的自由度，讓它工作在它認為重要的各種研究項目上。

而隨著合并，DeepMind的可能會不得不被轉向到對Google短期內有益的事情，而不是這些較長期的基礎研究項目。自從合并以來，已經一年了，對 Google 的短期利益和可能的長期 AI 進步之間的這種緊張關系是否改變了你可以工作的內容？

是的，你所提到的這第一年一切都非常好。一個原因是，我們認為現在是合適的時機，而且我從研究者的角度認為是時候了。

也許讓我們回溯五年或六年，當我們做像AlphaGo這樣的事情時，在AI領域，我們一直在探索性地研究如何達到 AGI，需要什么突破，應該押注什么，以及在那種情況下，你想做一系列廣泛的事情，所以我認為那是一個非常探索性的階段。

我認為在過去的兩三年里，AGI的主要組成部分將是什么已經變得清晰，正如我之前提到的，雖然我們仍然需要新的創新。

我認為你剛剛看到了Gemini1.5的長上下文，我認為還有很多類似的新創新將是必需的，所以基礎研究仍然像以往一樣重要。

但現在還需要在工程方向努力，即擴大和利用已知技術，并將其推向極限，需要在規模上進行非常有創造性的工程，從原型機級別的硬件到數據中心規模，以及涉及到的效率問題。

還有一個原因是，如果在五六年前制造一些AI驅動的產品，將不得不構建與AGI研究軌道完全不同的AI。

只能為特定產品做特殊場景下的任務，屬于一種定制的AI，「手工制作的AI」。

但今天情況不一樣了，為產品做AI，現在最好的方式是使用通用AI技術和系統，因為它們已經達到了足夠的復雜性和能力水平。

所以實際上這是一個融合點，所以大家現在可以看到，研究軌道和產品軌道已經融合在一起了。

比如我們現在要做一個AI語音助手，與之相對的是一個真正理解語言的聊天機器人，它們現在是一體的，所以現在不需要考慮那種二分法或者協調緊張的關系了。

第二點個原因是，研究與現實應用之間有緊密的反饋循環實際上對研究非常有利。

因為產品能讓你真正了解你的模型表現如何的方式，你可以有學術指標，但真正的測試是當數百萬用戶使用你的產品時，他們是否覺得它有用，是否覺得它有幫助，是否對世界有益。

你顯然會得到大量的反饋，然后這將導致底層模型的非常快速改進，所以我認為我們現在正處于這個非常非常令人興奮的階段。