人工智能(AI)將于2024年進一步改進，大型語言模型有望進一步發展。

2023年對于人工智能和生成式人工智能來說是激動人心的一年，特別是那些采用大型語言模型(LLM)架構的人工智能，比如來自開放人工智能(GPT 4)、Anthropic(Claude)和開源社區(Llama 2、Falcon、Mistral、Mixtral等)的模型，獲得了動力和快速采用。

2024年可能會是更加激動人心的一年，因為人工智能將成為包括CES 2024在內的所有地方的中心舞臺，大型語言模型有望進一步發展。

什么是人工智能(AI)以及我們處于什么階段?

人工智能涉及開發計算系統的領域，這些系統能夠執行人類非常擅長的任務，如識別物體，識別和理解語音，以及在受限環境下做出決策。

狹義人工智能(ANI)：人工智能的一個領域，機器被設計為執行單一任務，并且機器非常擅長執行該特定任務。然而，一旦機器被訓練，就不能推廣到未知的領域。這是人工智能的形式，例如，Google翻譯，代表了我們直到最近所處的人工智能時代。

廣義人工智能(ABI)：麻省理工學院IBM沃森實驗室解釋道：“廣義人工智能是下一個。我們剛剛進入這個前沿領域，但當它完全實現時，它將以使用和集成多模式數據流的人工智能系統為特色，更有效、更靈活地學習，并跨越多個任務和領域。廣義的人工智能將對商業和社會產生強大的影響。”

IBM進一步解釋：“在單一領域執行特定任務的系統正在讓位于廣義的人工智能，后者可以更廣泛地學習，并跨領域和跨問題工作。在大型未標記數據集上訓練并針對一系列應用進行微調的基礎模型正在推動這一轉變。”

廣義的人工智能能力是最近出現的，Francois Chollet在2019年提出“即使是當今最先進的人工智能系統也不屬于這個類別......”

廣義人工智能是一個復雜的自適應系統，它憑借其感官知覺、先前的經驗和學到的技能成功地執行任何認知任務。

但作者澄清，ABI模型不具備人腦的整體通用能力。

通用人工智能(AGI)：人工智能的一種形式，可以完成人類可以完成的任何智力任務。它更有意識，做出的決策與人類的決策方式類似。它也被稱為“強人工智能”，IBM將AGI或強人工智能描述為擁有與人類同等的智能，具有自我意識和解決問題、學習和規劃未來的能力。實際上，它將產生“與人類思維沒有區別的智能機器”。

目前，AGI仍然是一個愿望，有各種預測，從2025年到2049年，甚至永遠不會到來。它可能會在未來十年內實現，但面臨著硬件方面的挑戰，即當今強大機器所需的能源消耗。作者個人認為，2030年代是一個比較有可能到來的時間。

超級人工智能(ASI)：是一種在所有領域都超過人類表現的智能形式(由Nick Bostrom定義)。這是指一般智慧、解決問題和創造力等方面。作者個人的觀點是，人類將通過人機接口(可能是無線帽或耳機)來利用先進的人工智能，成為ASI(未來可能是神經擬態計算與量子能力的合并，被稱為量子神經擬態計算)。

如今我們在人工智能方面處于什么位置?

Open AI的GPT-4的到來引發了社交媒體上的大量爭論，一些人認為，由于GPT-4不是狹義的人工智能，因此它必須是通用人工智能(AGI)。作者將解釋后者并非如此。

AGI不太可能在一夜之間神奇地出現，而更有可能通過人工智能研究和開發的持續進化進步過程而實現。

直到最近，我們一直處于狹義人工智能時代。然而，許多最先進的(SOTA)模型現在可以超越狹義的人工智能(ANI)，我們越來越多地體驗利用LLM的生成式AI模型，這些模型反過來又應用具有自注意力機制架構的變壓器，它們是能夠展示多模式、多任務處理能力。

然而，說當前的SOTA模型處于人腦水平(AGI)是不準確的，特別是在邏輯和推理任務方面，包括常識。

我們正處于廣義人工智能(或ABI)時代，在這個時代，生成式人工智能模型既不是狹義的，因為它們可以執行多個任務;但也不是AGI，因為它們沒有達到人類大腦的智力和能力水平。

科幻電影中的先進機器人還沒有出現在我們的日常生活中，但是隨著人工智能技術的進步，人工智能越來越多地嵌入到先進的機器人中，機器人技術正在迅速發展，例如斯坦福大學的研究人員推出了移動Aloha機器人，它可以向人類學習做飯、打掃衛生、洗衣服。

通往先進人工智能能力的道路

• 內存：據傳GPT-5將解決這個問題，其他模型也一直在尋求解決內存問題，以便AI代理能夠回憶起之前的參與情況。此外，在記憶和LLM方面，值得注意的是Dale Schuurmann的論文(2023年)以及Jesus Rodriguez提供的概述，還有Langchain的潛力、王等人(2023)發表了用長期記憶增強語言模型。
• 邏輯、推理、因果推理：常識和因果推理是LLM和深度神經網絡/機器學習模型的其他領域經常遇到困難的領域。雖然思維鏈(CoT)已顯示出希望，但生成式AI模型仍遠未達到先進的人類邏輯推理水平。神經符號方法，包括通過LLM插件利用符號人工智能，可能有助于在未來解決這些問題，并為通向AGI開辟道路。
• 從更小的數據集學習：零樣本學習和零樣本提示，以及具有自關注機制的變壓器采用自監督學習，以提高人工智能能力的狀態。
• 微調，師生模型
• 初始訓練之外，持續更新的世界知識–RAG：檢索增強生成使LLM模型能夠通過互聯網連接到外部數據源，或通過Langchain或LlamaIndex等框架連接到私有數據，并檢索最新信息。
• 對不確定世界的動態響應/動態學習。
• 多模式多任務處理：LLM正在開發多模式、多任務處理功能，Open AI的GPT 5預計將展示這些功能，其他模型也是如此。
• 數據：訪問、有效且高效的存儲、安全性和質量都是人工智能模型的關鍵。越來越多的合成數據本身可能是由生成式人工智能模型創建的，可能在人工智能的發展中發揮關鍵作用。
• 模型行為-強化學習(RL)：將人類反饋強化學習(RLHF)應用于LLM，以減少偏差，同時提高性能、公平性和代表性。RLHF需要一個動態環境，在這個環境中，當AI代理進入一個新的狀態(AI代理采取的行動)時，它會尋求最大的獎勵(獲得最優或至少更好的行動)，并在什么是RLHF中提供了一個很好的概述。

提高LLM效率的技術

科術專業和開源社區一直在推進使LLM模型更加高效的方法。對于開源社區而言，尋找效率的解決方案非常重要，因為社區中許多人缺乏大型專業的資源。然而，即使是技術專業人士也越來越意識到，將大規模的LLM模型擴展到大量用戶會導致巨大的服務器成本和能源成本，從而對碳足跡不利。

使生成式AI模型更加高效的進步示例：

• LoRA：是一種在訓練過程中顯著減少參數數量的技術，它通過將更少數量的新權重插入模型中而只訓練這些新權重來實現。這反過來又導致訓練過程顯著更快，內存效率更高，并且由于降低了模型權重而更容易共享和存儲。
• Flash Attention是另一項創新，它可以快速和高效地利用內存，具有輸入和輸出意識的精確注意力。
• 模型修剪：可以對這些非必要的組件進行修剪，使模型更加緊湊，同時保持模型的性能。
• LLM量化：量化是一種壓縮技術，可將這些參數轉換為單字節或更小的整數，從而顯著減小LLM的大小。

此外，硬件解決方案還可以提高計算資源效率，從而節省能源和減少碳足跡，例如第五代英特爾至強可擴展處理器、IBM正在利用模擬AI芯片等開展的工作。這將推動AIoT的興起，在電力有限的環境中，人工智能可以跨設備擴展網絡邊緣，而效率和低延遲是關鍵。

企業可能希望考慮平衡性能能力與資源成本(包括能源和碳足跡的計算成本)，和硬件的凈現值回報(NPV)或投資回報(ROI)的模型架構。高效的硬件，如第五代英特爾至強可擴展處理器可能提供，特別是對于推理和/或微調模型低延遲小于200億個參數的模型，如作者之前提出的。

作者認為，從長遠來看，量子計算可能為推動人工智能邁向ASI提供潛在的途徑，然而，峰值神經網絡與樹突計算和神經形態計算相結合，可能會為AGI(也很節能)提供一條可能的途徑。

與深度學習中典型的人工神經網絡(ANN)架構相比，峰值神經網絡(SNN)與樹突計算相結合時，更接近我們自己的人類大腦。相對于人工神經網絡，SNN更節能，并且可以被設計成超低延遲，可以參與持續學習，并且由于它們可以部署在網絡的邊緣，因此數據更加安全

神經科學家發現樹突有助于解釋我們大腦獨特的計算能力，據報道，科學家首次觀察到人腦內一種被認為是獨特的細胞信息傳遞形式，并可能表明我們的人腦擁有比之前認為的更強大的計算能力。

研究已經闡明了樹突放大的潛在計算優勢，以及利用樹突特性推進機器學習和神經啟發計算的潛力。

此外，研究還表明，僅靠樹突就可以執行復雜的計算，因此單個神經元的多并行處理能力遠遠超出了常規假設。

研究人員正在尋求更好地了解記憶如何存儲在大腦內的樹突棘中，以及治療阿爾茨海默氏癥等疾病的潛力。這表明樹突在人腦中發揮著重要作用，但ANN架構并不具有樹突。

而且，樹突預處理已被證明可以減少閾值性能所需的網絡大小。此外，具有樹突計算的SNN可能需要以瓦數而不是兆瓦數運行。

通過利用模擬信號和連續動態，神經形態計算可以提高人工智能應用的速度、準確性和適應性，同時克服傳統計算的限制，例如延遲、功耗和可擴展性。

這將導致萬物互聯(IoE)，其中高效的人工智能代理將超越本地所有互聯網連接設備，提供智能響應，從而在所有交互中實現大規模的超個性化，進而稱為AIoE。

AIoT以及隨后的AloE是一個設備相互通信，并與人類動態交互的世界。

總結

本文是對人工智能現狀的戰略分析。進入人工智能和LLM領域，總是充滿未知及挑戰，畢竟在這個廣義的人工智能時代，探索通往通用人工智能(AGI)的路，還很長。