最近多模態大模型是真熱鬧啊。

這不，Transformer一作攜團隊也帶來了新作，一個規模為80億參數的多模態大模型Fuyu-8B。

而且發布即開源，模型權重在Hugging Face上可以看到。

該模型具備強大的圖像理解能力。

照片、圖表、PDF、界面UI都不在話下。

能從這么一張復雜的食物網里理清楚各個生物之間的關系。

提問：道格拉斯冷杉針葉缺失了，哪種生物會滅絕？

回答：紅樹田鼠。

也能從密密麻麻的連線圖里找到，權游“小指頭”扮演者Aidan Gillen出演過HBO兩個系列的劇。

看得懂專業圖表，可以幫你找到想要的數據。

提問：（左圖）24、32、33、42這組數字序列中丟了哪個數？
回答：29

一張包含多個圖表的PDF也難不倒它。提問：加州哪里的工作前景不錯？

Fuyu-8B可以準確找到對應的信息塊，并給出正確答案“洛杉磯”。

而且Fuyu-8B的處理速度很快，研究團隊表示100毫秒內可反饋大圖像處理結果。

同時它還很“輕巧”，不僅模型規模沒超百億，還沒有使用圖像編碼器。

這讓它能更快速進行訓練和推理，并支持處理任意大小圖像。

Hugging Face聯創兼CTO看了都有點激動，表示假如自己還沒有創業，那么這個項目會啟發他做點什么。

該成果來自Transformer一作Ashish Vaswani所在創業公司Adept。

目前該模型已開源，demo可線上試玩。

一個只有解碼器的Transformer

現在在Hugging Face上即可體驗Fuyu-8B的能力。

Demo中提供了兩種任務。

• 看圖問答
• 圖像概述

可以上傳一張圖片然后對大模型進行提問。

或者是直接讓它看圖然后描述圖片內容。

大模型的常識水平不錯，比如問它一道甜點是怎么做的？

它給出的回答是：

這道甜點是用一層層的酥皮做成的，上面點綴著開心果和帕瑪森奶酪。

測試了下中文能力，發現它能理解中文，但是“習慣性”用英文回答。

模型采用了一種簡單的架構：純解碼器Transformer。

它沒有圖像編碼器。圖像塊（image patch）繞過embedding lookup，即在嵌入矩陣中查找特定輸入的過程，直接映射到Transformer的第一層。

這種架構使得模型能支持任意圖像分辨率。

研究團隊刪除了圖像特定位置嵌入，并按掃描線順序（raster-scan order）輸入盡可能多的圖像token。

通過一個特殊的圖像轉換行符號，模型能知道在什么時候斷行。

由此模型在訓練時可以使用任意大小的圖像。

這種架構也更進一步簡化了模型的訓練和推理過程。

這種架構模式也引起了不少網友的關注，有人就表示，之前總覺得大模型圖像理解能力差是因為使用了固定大小的patch。

但Fuyu-8B反駁了他的這一想法。

實驗結果顯示Fuyu-8B在多個任務中性能優于PaLM-e-12B和QWEN-VL（10B）。

研究團隊還表示，刷榜不是他們本次工作的最終目的，所以模型沒有進行優化。

他們構建這個大模型的真正目的是為了提升自家產品的能力。

Adept團隊致力于打造一個AI Copilot。

這個Copilot能夠理解用戶屏幕上的內容（比如網頁、PPT、PDF、圖表等），并能輔助人類快速完成工作。

這就要求大模型需要能理解環境信息，同時可以代替人類進行操作。換言之，需要大模型能具備超強的圖像理解能力。

所以這也是為啥Fuyu-8B會很強調對UI的理解能力。

比如它能理解你打開的窗口，以及窗口內的信息。

Adept：新晉獨角獸

帶來這一新工作的團隊是Adept。

這是一家由Transformer一作、前OpenAI工程副總裁等業內大佬共同創立的AI公司。

它成立于2022年4月。目前已完成B輪融資，總融資額達4.15億美元，公司估值超過10億美元。

首席科學家是Ashish Vaswani。他是《Attention is all you need》的第一作者，平常看論文時經常出現的“(Vaswani et al., 2017)”就是這位大佬。

他博士畢業于南加州大學，在谷歌大腦工作已有5年。

Transformer的另一位作者Niki Parmar也加入了該團隊。
她在印度上完大學后，同樣在南加州大學讀完碩士，在谷歌工作了近7年。

創始人兼CEO David Luan，是前OpenAI加州實驗室工程副總裁，參與過GPT-2、GPT-3、CLIP、DALL-E等模型的開發，后來加入谷歌，曾任谷歌大腦大模型研究的Director。

Adept致力于打造一個AI Copilot。

團隊在去年推出的首項工作，就頗有AutoGPT那感覺。

他們打造的Action Transformer（ACT-1），會使用瀏覽器、Excel等，能理解人類給出的命令并完成相應操作。

比如想要在Excel表格中加上利潤、利潤率，只需把這段話輸入給AI，它就能自己在對應行列創建公式完成任務了。

同時該團隊還非常關注開源工作。

今年先后推出的兩項工作Persimmon-8B和Fuyu-8B，都已對外開源。

Demo試玩：https://huggingface.co/spaces/adept/fuyu-8b-demo