解說梅西球賽、英雄聯盟，OpenAI GPT-4視覺API被開發者玩出新花樣
文章開始，我們先來看一段球賽解說視頻：
是不是感覺聽起來不太對勁？
你的感覺沒錯，因為這段解說是用 AI 生成的，這個大喊「梅西！梅西！」的聲音居然來自 AI。
這是 X 平臺（原推特）博主 @Gonzalo Espinoza Graham 發布的一段視頻。他表示，在制作過程中，他主要用到了 GPT-4V 和 TTS 兩項技術。
GPT-4V 是 OpenAI 前段時間發布的一個多模態大模型，既能像原版的 ChatGPT 一樣通過文字聊天，也能讀懂用戶在聊天中給到的圖像。更令人興奮的是，在昨天的開發者大會上，OpenAI 宣布，他們已經開放了視覺能力相關的 API——gpt-4-vision-preview。通過這個 API，開發者可以用 OpenAI 最新的 GPT-4 Turbo（視覺版）來開發新應用。
對于這個期待已久的 API，開發者們都躍躍欲試。因此，API 剛開放一天，就有不少開發者曬出了試用結果，這個球賽解說就是其中之一。
博主表示，為了制作這個解說視頻，他將原視頻的幀分批傳給 gpt-4-vision-preview，然后通過一些簡單的提示（prompt）要求模型生成一段旁白，最后把得到的結果用 TTS（文本轉語音技術）轉成音頻，就可以得到視頻中展示的效果。如果稍加編輯，理論上還能得到更好的結果。按照 OpenAI 目前的定價，制作這個視頻大約要花 30 美元，作者直呼「不便宜」。
相關代碼：https://github.com/ggoonnzzaallo/llm_experiments/blob/main/narrator.ipynb
除了球賽，還有開發者曬出了自己用 OpenAI 視覺 API 解說《英雄聯盟》的 demo，這個 demo 用到的是 LNG 與 T1 的一場比賽視頻，引起了全網 50 多萬網友的圍觀。
解說效果是這樣的：
不過，這類視頻具體要怎么做呢？好在，除了這些成品效果，部分開發者還曬出了自己總結的教程，以及每個步驟中涉及的具體工具。
從 X 平臺用戶 @小互曬出的內容來開，整個實現過程可以分為 7 步：
- 提取視頻幀；
- 構建描述提示；
- 發送 GPT 請求；
- 制作語音解說提示；
- 生成語音解說腳本；
- 將腳本轉換為音頻；
- 將音頻與視頻結合。
具體內容請參見以下教程：
不過，有人在評論區提出疑問：解說的這些比賽都是以前的，實時的比賽能解說嗎？
能否解說實時的比賽我們現在還看不出來，不過，確實有開發者曬出了用 OpenAI 視覺 API 實時解讀攝像頭內容的 demo：
項目鏈接：https://github.com/bdekraker/WebcamGPT-Vision
做了類似實驗的開發者評價說，OpenAI 視覺 API 的識別速度很快、準確性也很高。
甚至有人直接把它當實時繪圖工具來用，把手里的草圖實時轉換為此前調用專業繪圖工具才能繪制的圖表：
不過，這個實時效果的實驗會受到 OpenAI 設置的速率限制。
可以說，OpenAI 正通過 GPT-4V 以及剛剛開放的視覺 API 讓全世界看到多模態的力量，以上效果只是冰山一角。
其實，無論是在現實生活中，還是在研究領域，一個能讀懂圖像、視頻的 AI 都有廣泛的用途。
在生活中，它能用于構建更加智能的機器人，讓機器人實時分析眼前的情景，隨機應變，這也是當前大火的具身智能所研究的問題。
國內創業公司開發的具身智能機器人（參見《獨家 | 達摩院后的下一站：陳俊波推出具身智能大模型，要給所有機器人做一顆腦袋》）
此外，它還能用于改善視障群體的生活質量，幫助他們解讀視頻畫面和生活場景。其實，在字節跳動去年舉辦的一個幫助視障群體的公益比賽中，我們就能看到不少類似的創意，只是當時多模態技術還不夠成熟（參見《穿顏色成對的襪子，追最新的?。哼@群 coder 正幫視障者移走身上的大山》）。
在微軟最近的一篇論文中，研究者也展示了他們在這方面取得的進展，比如用 GPT-4V 解讀《憨豆先生》劇情。
這種優秀的視頻解讀能力能夠幫助研究人員更好地理解視頻，從而把廣泛存在的視頻轉化為新的訓練數據，訓練出更聰明的 AI，形成一個閉環。
看來，一個更智能的世界正在加速到來。
