開源大模型重擊OpenAI！小扎放出LLaMA2炸裂科技圈，聯手微軟高通沖擊市場格局
一紙公告，“大模型市場格局變了”。
圖片
Meta與微軟聯手發布免費、可直接商用的LLaMA2。而作為首選合作伙伴，微軟Windows可本地運行這一版本。
此外在AWS、Hugging Face上也可以獲取，高通也官宣成為其合作伙伴。
這種背刺OpenAI的操作，讓不少網友直呼刺激。
圖片
還有人對這種開放程度表示驚嘆，畢竟上個開源版本就已被產學研界廣泛使用——LLaMA訪問需求已超10萬次，已經有小伙伴開發應用程序供大家免費測試了。
圖片
但與此同時，質疑聲隨之而來：
- 核心作者已離開Meta，論文正文查無此人；
- 如此注重安全，以至于最終可能毫無用處；
- 雖說可商用，實際上有附加限制。
……
有人調侃小扎be Like：
核心作者已離開
此次LLaMA2的發布，從作者列表開始就已經透露不少玄機。
圖片
首先，規模更大，團隊集成到了GenAI部門。這是小扎專門應時而設的生成式AI產品部門。
圖片
第二，昔日一些核心作者已經不見蹤影。比如Armand Joulin, Edouard Grave, Guillaume Lample，Timothee Lacroix等。
其中一位在網上吐槽：
因為核心作者離開公司就將其從論文中刪除，這是我很慶幸離開Meta的原因之一。
圖片
事實上，在論文的附錄上，還能看到他們的名字。不過正文部分已經查無此人。
圖片
據小扎和GPT-4介紹，此次LLaMA2共發布了從70億、130億、340億以及700億參數的預訓練和微調模型，將免費提供用于研究和商業用途。
預訓練過程，相較于上一代數據增長40%，上下文長度也增加了一倍，并采用分組查詢注意力機制（GQA）來提升性能。
圖片
微調階段，其版本稱為Llama 2-Chat，共收集了超100萬條人工標注用于SFT（監督微調）和RLHF。
圖片
值得一提的是，此次還曝光了每個預訓練模型GPU所需總時長。
圖片
熱心的網友測算了下總成本，如果以1.5美元/A100計算，那么700億參數模型成本將為260萬美元。
圖片
感興趣的朋友可進一步前往論文查看哦~（文末附上鏈接）
微軟成LLaMA2首選伙伴
不過除了LLaMA2本身值得關注之外，其開放合作機制也引發了不少的熱議。
公告中雖然強調“免費用于研究和商業用途”，但仍有不少限制。
因此有人直言：我不明白LLaMA2這次炒作！
圖片
比如，可商用協議實際暗含附加限制。
有網友發現在GitHub許可證文件上發現，如果使用者利用LLaMA2提供產品或服務，月活躍用戶超過7億，那么必須向Meta申請許可。
而Meta可自行決定向其授予許可。
圖片
還有就是可接受使用政策限制很多。這樣一來，就可能導致“回答得很無聊，最終可能導致毫無用處”。
圖片
在政策中可以看到，主要分為四個部分：違反法律或侵犯他人權利；參與、促進、煽動、促進或協助規劃或開展對個人造成死亡或身體傷害風險的活動；故意欺騙或誤導他人；未能適當向最終用戶披露人工智能系統的任何已知危險。
因此有人認為相較ChatGPT而言，LLaMA2少了些靈活性。這可能就是開源與閉源之間的區別。
但不可否認的是，Meta堅定選擇開放開源這條路徑。
甚至于此次，還邀請了產學研界的伙伴高調地發表了一篇支持聲明。
圖片
包括英偉達、AMD、HuggingFace、YC、GitHub、 Databricks、Shopify、Zoom等公司的企業高管，還有UC伯克利、MIT等教授，比如CMU教授、MBZUAI大學校長邢波。
以及更多伙伴也順勢官宣與Meta合作，把LLaMA2集成到自己的產品中去，比如高通。
圖片
對此此番LLaMA2炸場，你怎么看？
而開源與閉源，在大模型時代，究竟誰才是更優解？
論文鏈接：
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_QM_ym&_nc_ht=scontent-sjc3-1.xx&oh=00_AfAjtvFkEIu8MPpfQykAZosxwZrew4g_n0D_DKkTOuyIVA&oe=64BBB691
參考鏈接：
[1]https://about.fb.com/news/2023/07/llama-2-statement-of-support/
[2]https://about.fb.com/news/2023/07/llama-2/
[3]https://twitter.com/ylecun/status/1681336284453781505
[4]https://github.com/facebookresearch/llama/blob/main/LICENSE
[5]https://arxiv.org/abs/2302.13971
[6]https://twitter.com/moinnadeem/status/1681393075367841792
[7]https://twitter.com/GuillaumeLample/status/1681346701766934543?s=20
[8]https://chat.openai.com/share/c9868736-934f-40ce-a470-c0bb4359c260
[9]https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl
