23年是當之無愧的「生成式AI之年」。

24年，AI技術會有哪些突破？

英偉達高級科學家Jim Fan稱，2024年將是視頻年。盡管機器人和具身智能體才剛剛起步，但我認為視頻AI將在未來12個月內迎來突破性進展的時刻。

OpenAI聯創Greg Brockman則預測：2024年，AI的能力、安全性、潛在影響的積極性上，都會是突破性的一年。

當然，從更長遠的角度看，這只是又一個指數級的一年，讓每個人的生活都比今天更好。

新的一年，人工智能還會像2023年一樣，大放異彩嗎？

AI大佬2024預測

Meta的研究員Martin Signoux對2024年AI做出了8大預測，就連LeCun大佬表示深度贊同。

首先，人工智能智能眼鏡蔚然成風。隨著多模態技術的興起，領先的人工智能公司將加倍努力開發人工智能可穿戴設備。還有什么比眼鏡外形更適合承載人工智能助手呢？

ChatGPT之于人工智能助手，就像谷歌之于搜索一樣。2023年，ChatGPT開始大放異彩，Bard、Claude、Llama、Mistral和數以千計的衍生產品相繼問世。

隨著產品化的繼續推進，ChatGPT將不再是這個領域的唯一參考標準，其估值也將面臨修正。

大模型模型再見，多模態模型你好。LMM將不斷涌現，并在多模態評估、多模態安全、多模態這個、多模態那個的爭論中取代LLM。此外，LMM是邁向真正通用人工智能助手的墊腳石。

沒有重大突破，但各方面都有改進。新模型不會帶來真正的突破（GPT-5)，LLM在本質上仍然有限，而且容易產生幻覺。我們不會看到任何飛躍，使它們在2024年可靠到足以「解決基本的AGI」。

在RAG、數據整理、更好的微調、量化等方面的改進，將使LLM在許多用例中變得足夠強大/有用，從而推動各行業各種服務的采用。

小模型（SLM）已經出現，但成本效益和可持續發展的考慮將加速這一趨勢。量化技術也將大大提高，從而推動消費服務的設備集成浪潮。

開源模型擊敗GPT-4，開源與封閉之爭逐漸平息。回顧過去12個月開源社區的活力和進步，很明顯，開源模型將很快縮小性能差距。

基準仍然是一個難題。沒有一套基準、排行榜或評估工具能夠成為模型評估的一站式服務。相反，我們將看到一系列改進（如HELM）和新舉措（如GAIA），尤其是在多模態方面。

與現有風險相比，存在的風險不會引起太多討論。雖然X風險成為2023年的頭條新聞，但公眾討論將更多地關注與偏見、假新聞、用戶安全、選舉誠信等相關的現有風險和爭議。

Lightning AI的創始人William Falcon對2024年的預測是：

- 1B模型性能將優于70B。

- 在CPU上部署模型幾乎是免費的，而不是API服務。

- 數據質量將使性能提升10倍。

- 開源模型的組合將擊敗最好的私有模型。

- 編譯器將使模型（訓練和推理）的速度至少提高80%。

- 立法將支持內容創建者，而非模型開發者。

開源工具平臺LlamaIndex的創始人Jerry Liu表示，

- RAG將繼續成為一個大焦點

- 每個AI工程師仍然需要強大的軟件工程基礎。

- 向量數據庫開始開發類SQL接口并支持多模態

- 多模態模型在文檔處理中得到更多使用（但首先，計算成本/延遲需要降低）

- 類似GPT-4的全部能力成為開源，并且更快/更便宜。

- 如果是這種情況，智能體的開發會重新蓬勃發展。

- 提示和以前一樣重要，但提示工程的重要性會下降

2023年，ChatGPT訪問量全球居首

過去一年里，AI無處不在，甚至重新定義了整個行業。

在線內容寫作公司Writerbuddy AI使用SEO行業著名的工具SEMrush，通過抓取AI工具數據，研究了3000+種AI工具。

結果發現，從2022年9月-2023年8月，排名前50的AI工具，產生了超過240億次的驚人訪問量，平均每月增長2.363億次。

其中，ChatGPT獨占了140億流量，占分析流量的60%。

以下是報告中的關鍵發現：

- AI行業平均每月增長2.363億次訪問量。分析的50個人工智能工具經歷了10.7倍的增長率，平均每月訪問量增加 2.363 億次。

- 過去12個月中，AI應用每月平均訪問量達到20億次。過去6個月，每月平均訪問量激增至33億次。

- ChatGPT、Character AI和Google Bard的訪問量分別凈增長了18億次、4.634億次和6800萬次。

- 訪問量最高AI聊天機器人：ChatGPT處于絕對領先地位，占AI聊天機器人類別總訪問量的 76.31%。緊隨其后的是Character AI，以19.86%的訪問量位居第二。

- Craiyon、Midjourney和Quillbot面臨最大的流量下降。

- 美國貢獻了55億人次訪問量，占總訪問量的22.62%，而歐洲國家合計貢獻了39億人次訪問量。

- AI 聊天機器人工具最受歡迎，訪問量達到191億次。

- 超過63%的AI工具用戶通過移動設備訪問。存在性別差異，69.5%為男性用戶，30.5%為女性用戶

除了風靡全球的ChatGPT，23年的這些技術也很驚艷

23年過去了，這一年的關鍵詞，無疑就是「生成式AI」。

22年底ChatGPT的推出，以及23年3月發布的GPT-4，讓全世界見識到了大語言模型的廣泛可用性，讓23年變成了屬于文本、音頻和視頻生成式AI的一年。

除了今年的「寵兒」ChatGPT之外，其他公司的鋒芒也不應被忽視，比如放出了第一個開源語言模型的公司，和幾家新的AI初創公司，包括在年底發布了目前可用的最佳開源語言模型Mixtral 8x7B的Mistral。

除此之外，還有以下這些讓人印象深刻的技術。

斯坦福小鎮和機器貓

「斯坦福小鎮」，展示了令人印象深刻的文本和編碼任務的應用。

團隊創建了一個受模擬人生啟發的沙盒環境，其中的25名AI智能體，每個都有屬于自己的職業和個性，可以自主互動。

這些智能體表現出了可信的個人和緊急社交行為，包括做計劃、參加情人節派對。這項工作展示了基于LLM的智能體如何相互交互，并產生了有趣的結果。

這一想法已被其他研究和開源項目所采用，例如Auto-GPT和BabyAGI，而OpenAI則通過Assistant API，將其大大簡化。

GPT-4等基礎模型，也已用于機器人技術，取得了一些進展，比如谷歌的機器人RT-2和RoboCat。

RT-2是一種用于機器人控制的AI模型，可以從機器人和網絡數據中學習。該模型可以處理文本和圖像輸入，并利用其廣泛的網絡知識來執行尚未經過明確訓練的任務。

在6000多次機器人測試中，RT-2在未經訓練的任務中的成功率，幾乎是其前身的兩倍。

另一方面，RoboCat是一種AI，可以生成訓練數據，以改善機器人的控制。

其他公司的技術，如英偉達的多模態VIMA模型，也在機器人技術中使用了基礎模型。

DreamerV3和FunSearch

在強化學習領域，研究者們也取得了不少重要成果。

一個例子是DreamerV3，它可以處理完全不同的問題，而無需任何調整。

在沒有人類模型的情況下，DreamerV3就會學習如何在Minecraft中開采鉆石。

今年早些時候，DeepMind還展示了AdA（Adaptive Agent），這是DeepMind的一個基礎強化學習模型。

AdA遵循基礎模型的經典配方，在具有大量數據的任務上進行了訓練。AdA之所以意義重大，是因為它表明了，強化學習中的擴展可以使模型在其他任務上表現更好。

在各個科學領域，深度學習展現出越來越多的作用。

DeepMind開發了AlphaTensor，一種用于快速矩陣乘法的新算法。

同時，DeepMind最新版本的AlphaFold蛋白質結構預測系統，克服了之前版本的許多弱點，為計算結構預測開辟了新的可能性。

此外，Google DeepMind還展示了FunSearch，這是首次使用代碼生成語言模型與進化搜索算法相結合，為數學問題找到以前未知的解決方案。

OthelloGPT、Q-Star和AI法案

2023年，也是AI監管的一年，和對AI存在主義風險發出警告的一年。

這種趨勢無疑也會刺激業界研究，好讓人類更好地理解LLM的內部工作原理。

這期間有一些有趣的論文，比如OthelloGPT，微軟的GPT-4體現了AGI火花，以及谷歌關于大模型「頓悟」的論文。

提示工程領域提供了對LLM的見解。

Fran?ois Chollet將提示工程解釋為尋找正確的向量程序和Promptbreeder，這表明，提示在未來可能會變得更加自動化。

在年末，傳起了關于Q-Star的謠言，伴隨著人們的AI的恐懼、AGI的炒作、以及短短幾天多次反轉的OpenAI宮斗鬧劇。

在2024年，或許我們會看到猜測變少，談判變多。

AI訓練使用的數據，在哪些范疇內是合理的？最近紐約時報對OpenAI發起的訴訟，引起了全社會范圍內的廣泛探討。

類似的辯論，也將在歐盟上演，在今年年底前，歐盟各國就《歐盟人工智能法案》達成一致。這一法案的細節將在明年決定，并且對歐洲的人工智能市場產生重大影響。

2024 AI展望

在經歷了爆炸性的2023年之后，2024年的人工智能領域有將會有哪些進展？

毋庸置疑，在這個新的一年里，我們仍將看到領先的AI在許多新的創造性方式中應用，推動整個行業的進步。

Copilot AI登臺：智能體時代來臨

OpenAI在首屆開發者大會上發布的GPTs、Assitants等工具，微軟產品全線更名Copilot等等，智能體在今年迎來了大爆發。

這些工具已經開始在一個又一個行業產生影響，但我們迄今所看到的與即將到來的相比微不足道。

今年早些時候，來自普林斯頓、谷歌團隊發表的ReAct論文展示了大模型如何有效地學習如何使用工具，并推動了這方面的大量研究。

OpenAI、Anthropic在內的公司已經花了一年的時間來調整自家模型，以便更好地使用這種技術。

比如，OpenAI的函數調用，以及Anthropic的Claude XML支持。

項目地址：https://react-lm.github.io/

還有一些研究機構專門訓練了專門的大模型，比如伯克利的Gorilla LLM。

另外，開源代碼庫Langchain、Rivet等都讓智能體變得容易得多。

看得見，AI智能體比以往任何時候都更容易開發，成本也更低。它們在發揮人類聰明才智的同時，還能深入連接對用戶和公司最重要的數據。

2024年，我們將看到「智能體時代」的到來，這是通過軟件滿足需求和與技術互動的一個全新方向的開端。

多模態大模型突破視覺障礙

ChatGPT能夠理解和表達人類自然語言，這是吸引用戶和開發者的突破性功能。

但是，2024年將看到AI視覺可能會更加重要，影響更加深遠。

文字固然強大，但圖像、視頻、音頻能以更集中的方式傳遞信息和情感。思想的空間表達是一種非常強大的工具，可以簡單地傳達復雜的概念。

LLM不僅能對文本數據進行訓練，還能對視覺數據進行訓練，多模態能力更加明顯。

我們已經看到，Ai Pin、Apple Vision等可穿戴設備的發展，它們有望為我們的日常生活提供幫助。

例如，它們可以提供與交流的人的背景信息、與工作相關的視覺提示，或完成任務的實時建議。

創新將走向何方？速度有多快？現在還很難說，但能夠解讀圖像和視頻并對環境中的物理變化做出即時反應，為智能人工智能只能以如何幫助人類增添了一個極其重要的維度。

AI操控達到危險級別

AI爆發為各個領域帶來翻天，覆地的變化的同時，也讓我們看到AI生成虛假信息給生活帶來了困擾。

在人類歷史上，大規模影響和操縱AI從未如此強大，也從未如此普及。

人工智能已經讓人們幾乎無法辨別「真實」的社交互動與內容，因為圖像，甚至視頻都可以很輕而易舉地生成。

未來一年，人工智能操縱可能會大行其道，從自動勒索和欺詐到陰謀論的傳播。

總而言之，2024年，人工智能將給世界帶來許多令人難以置信的東西，但它也將以新的方式挑戰我們。

知友預測

關于此話題的暢想，也上了知乎熱榜。

知友「引線小白」預測，在24年，模型效果會進一步突破，可能只要7B的模型推理資源，就能與現在的GPT-4持平。

隨著部署成本大幅下降，24年可能就會成為AI Agent元年，出現一個爆款。

多模態進多模態出一統江湖的模型，有可能出現。

第一部AI電影，也有望在24年出現。

清華自動化系在讀博士認為，「多模態大模型取得進一步突破，圖片和視頻生成能力進一步提升。更多的人力工作，特別是需要部分創造力的工作被取代。部分領域大模型的涌現能力進一步凸顯，表現出一些更加具有創造性的行為。」

AI架構師「春陽CYang」預估，2024年應該是AI大模型應用落地的元年。

2023一整年，雖然大模型火爆，但真正能夠落地的產品還很少，只集中在改寫文案等淺層的應用上。

但現在，有很多大模型領域的創意產品在落地了，可以期待一波。

程序員@小五哥預測道——

大語言模型將在手機端運算推理；Agent將代替人做一些更實用的事情；最令人開心的是，人形機器人很可能幫我們洗衣、拖地、做飯、收拾房間了！