「谷歌，這就有點尷尬了。」

沒有想到，Gemini 上線頭一天，熱門評論會是這個樣子。

本周三，谷歌的 Gemini 讓生成式 AI 進入了原生多模態時代。人們第一時間涌入新模型加持的 Bard 想要試試 AI 的能力，結果給出的評價褒貶不一。

其中最值得注意的是有人指出，Gemini 在發布時，谷歌給出的一系列 Demo 中最令人眼花繚亂的部分是偽造的。

名為《Hands-on with Gemini: Interacting with multimodal AI》的視頻現在的播放量已經有 140 萬次，其中展示了谷歌認為自己「最喜歡的與 Gemini 的交互案例」，展示了多模態模型（即它理解并混合語言和視覺理解）如何靈活地響應各種輸入。

谷歌展示了 Gemini 神奇的理解和交互能力，人用畫筆繪制一只鴨子的草圖，從一條曲線到一幅完整的圖畫，AI 評論說藍色是一種不切實際的動物顏色。

然后 AI 看到一只實體的玩具藍色鴨時表現出了驚訝。然后它會響應人類圍繞鴨子的各種問題，包括地球的哪個地點會有鴨子，鴨子在各種語言里的讀法等等。

隨后演示繼續進行，AI 實現了在換杯子游戲中正確跟蹤、識別皮影手勢、識別材料給出組合建議、重新排序行星草圖等等。

但點擊 YouTube 上的視頻描述，可以發現 Google 有一個重要的免責聲明：「為了演示的目的，他們已經減少延遲，為了簡潔，Gemini 的輸出也縮短了。」

根據彭博社消息，谷歌在被要求發表評論時承認，視頻演示并不是實時的，而是使用了原始鏡頭中的靜止圖像幀，然后編寫了文本提示，讓 Gemini 做出回應。

視頻看起來很美好，然而，卻也反映出了這一問題：視頻不是真實的。人們使用了各種方式來進行驗證，包括使用視頻的截圖來問 Bard 中的 Gemini，發現 AI 并不能準確地回答問題。

有理由懷疑，谷歌可能只是制作了一個夸張的視頻，然后使用靜態圖像幀和文本進行拼湊來作為 Gemini 的提示語。也就是說，視頻 Demo 是精心挑選的結果。

也許 Gemini 可以如實的完成視頻展示的內容，但谷歌沒有這樣做，而是加了速；又或許 Gemini 根本不像視頻中展示的那樣絲滑，有人從好幾個錯誤結果中挑出了正確的作為素材。

但無論如何，Gemini 的演示看起來都像是經過精心調整好的，對實際交互情況進行了歪曲。 

谷歌在這篇名為《How it’s Made: Interacting with Gemini through multimodal prompting》的博客中也解釋了多模態交互過程，即如何通過多模態 prompting 來與 Gemini 交互。

注：Gemini 的提示語可以是多模態 prompting（即不同模態的組合，如圖像和文本），之后讓 Gemini 預測接下來會發生什么，從而做出反應。

例如，在玩剪刀石頭布的游戲中，谷歌的實驗過程是這樣的：將照片展示給 Gemini，并要求 Gemini 描述所看到的內容：

在演示中，一方面，Gemini 似乎確實產生了視頻中所示的反應。但在另一方面，觀眾可能被誤導了，主要體現在與模型的交互速度、準確性等方面。

例如，在視頻的 2:45 處，一只手靜靜地做出一系列手勢。Gemini 很快回應：「我知道你在做什么！你在玩石頭、剪刀、布！」

然而在谷歌博客中，用戶必須同時顯示所有三個手勢并提示：你認為我在做什么？外加提示：這是一個游戲。Gemini 才回答道：「你在玩石頭、剪刀、布。」就像下圖所展示的，當用戶伸出兩根手指時，Gemini 并不知道這是石頭、剪刀、布的游戲。只有三張圖片都齊全了，Gemini 才能猜對。

比較視頻和博客介紹的推理過程，給人一種完全不同的交互方式，視頻中顯示的「互動」過程并沒有發生。

在隨后的演示中，將三張帶有太陽、土星和地球涂鴉的草圖展示給 Gemini。在視頻中，用戶問道「這個順序正確嗎？」Gemini 回答：「不，是太陽、地球、土星。」注意，原視頻中用戶除了「這個順序正確嗎？」這句話，沒有其他信息。Gemini 卻給出了答案。

但在實際的提示中（還是書面的），提示語卻是「這個順序對嗎？考慮到與太陽的距離，并解釋你的理由。」Gemini 回答：正確的順序是太陽、地球、土星。太陽離太陽系中心最近，其次是地球，然后是土星。

我們可以推測，在視頻中，Gemini 的回答可能需要其他幫助，只是谷歌沒有體現出來。

在視頻展示的另一個示例中，紙團在杯子之間交換，視頻中，Gemini 立即且看似直觀地進行檢測和跟蹤。

但在博客中，完成這一過程還是很復雜的。

每動一次都要和大模型交流一下。也許我們應該假設谷歌人工智能演示中的所有功能都被夸大了。

面對人們的質疑，谷歌的回應是：他們直接承認了。

在本文發表后發布的社交媒體帖子中，Google DeepMind 的研究副總裁 Oriol Vinyals 詳細介紹了「錄制該視頻時 Gemini 是如何使用的」。

Oriol Vinyals 表示，谷歌為 Gemini 提供的多模態能力和即時響應將在 12 月 13 日開放 Pro 訪問權限時供開發者使用。不過 Demo 視頻里的內容是使用 Ultra 模型做到的。視頻中的所有人類提示和 AI 輸出都是真實的，但為簡潔起見進行了縮短。

谷歌 Gemini 聯合負責人 Oriol Vinyals 的推特：

圖源：https://x.com/OriolVinyalsML/status/1732885990291775553?s=20

對此網友們并不買賬：你說它是真的，又說不是真實的大模型推理速度，這不是自相矛盾嗎？

Gemini 遭自家員工指責，Pro 版本打不過 GPT-3.5

彭博社等媒體指出，在谷歌宣傳其 demo 視頻的同時，又遭到了一些自家員工的非議。尤其是在畫鴨子時，Gemini 似乎能夠在繪制時進行實時分析，并在與用戶對話時以人聲回應。

谷歌 CEO 皮查伊極力推廣這段 demo，并表示了解 Gemini 潛在驚人能力的最好方式是看它的實際效果。看客們也對 demo 贊賞有加，直呼令人興奮和不真實（unreal）。

圖源：https://twitter.com/sundarpichai/status/1732433036929589301

不過很快有人指出，Gemini 并不像想象中那么好，你無法指望它像 demo 中那樣地靈敏智能。一些谷歌內部員工指出了其中的「貓膩」。

一位員工向彭博社透露稱，這段 demo 描述了一副不切實際的畫面，過分渲染了從 Gemini 中輸出驚艷的效果是如此得容易。

另一位員工則表示，他們對 demo 并不感到驚訝， 并且已經習慣了公司在定位自身產品時存在某種程度的營銷炒作。當然，所有公司都會這樣做。因此他認為，大多數使用過任何 LLM 技術的員工都知道要對 demo 持保留態度。

對此，谷歌 DeepMind 產品副總裁 Eli Collins 告訴彭博社稱，鴨子繪圖演示仍然是研究層面的功能，正在開發當中，而并不是實際的產品，至少目前是這樣。

對此，還有一些谷歌員工一直在討論，在沒有明確透露實情的情況下展示視頻是否會誤導公眾。甚至有人分享了一個模因，暗示鴨子視頻經過了欺騙性編輯。「我猜視頻創建者更看重『講故事』的能力。」

除了 demo 視頻遭到公眾和內部員工質疑之外，Gemini 真如宣稱的那樣強大嗎？我們知道，Gemini 此次有三個版本，能力最強的 Gemini Ultra、多任務的 Gemini Pro、以及特定任務和端側的 Gemini Nano。

目前，谷歌類 ChatGPT 應用 Bard 可免費升級到 Gemini Pro 版本，Gemini Ultra 預計于明年初通過 Bard Advanced 與用戶見面。

在與 GPT-4 的比較中，谷歌給出的數據是 Gemini Ultra 全面超越 GPT-4，Pro 在大多數指標上超越 GPT-3.5。

但實際效果究竟如何呢？推特用戶 Brett Winton 首次對 Gemini Pro、Claude 和 GPT-3.5 進行了基準測試，對每個模型提了一道 8 年級的故事題。他得出的結論是：GPT-3.5 滿分、Claude 約 67 分，Gemini Pro 完全沒有那個味。

圖源：https://twitter.com/wintonARK/status/1732527909376815419

三個模型給出的答案分別如下：

從左到右依次為 Bard（Gemini Pro）、Claude 和 GPT-3.5。

看到這一結果，似乎只能用「升級了，但還沒完全升級」來做解釋。他表示在 Gemini Ultra 最終上線之前，還是不對它的能力做評價了。

Gemini 開創了新架構，引來了流量，也遭受了批評，那么現在看來，谷歌反攻微軟的大計成了沒成？

至少從投資者們來看是個好的開頭。

本周四，谷歌的股價經歷了暴漲，市值增加了 800 億美元。需要記得的是，在 2 月份谷歌推出 Bard 時，谷歌的股價一天跌去了 1000 億美元。

人們認為，Gemini 可以幫助谷歌縮小與微軟、OpenAI 在大模型上的差距。

也許 1.0 版的 Gemini 只是開了個頭，我們還要保持耐心，等待大模型的進一步技術升級。