本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

火爆全網的AI繪畫你玩了嗎？

女媧無限版、DALL·E2、Imagen……這些通過文字生成圖像的AI繪畫工具，背后的原理都是一個叫“CLIP”的模型，它是AI如何“理解”人類語義這一問題的關鍵。

CLIP（Contrastive Language–Image Pre-training），是一種基于對比的圖片-文本學習的跨模態預訓練模型，由OpenAI于去年1月發布。

它好用是好用，但一個大問題是數據需求太大：4億個圖像文本對、256個GPU，這對許多公司和個人都很不友好。

對此，南加州大學的最新研究發現了一種基于本體的課程學習（Curriculum Learning）算法，只需不到1%的訓練數據就能達到CLIP同款效果，甚至在圖像檢索方面表現更好。

新方法名為TOnICS（Training with Ontology-Informed Contrastive Sampling），相關論文已上傳到arXiv。

原理介紹

在介紹新方法之前，首先需要回顧一下CLIP。

CLIP的模型結構其實非常簡單：包括兩個部分，即文本編碼器和圖像編碼器。

兩者分別編碼后，將文本和視覺嵌入映射到相同空間中，使用對比學習的思想，將匹配的圖片-文本Embedding的距離拉近，將不匹配的Embedding拉遠。

在此基礎上，TOnICS沒有選擇從頭訓練圖像和文本編碼器，而是把單模態預訓練模型BERT用于文本編碼，微軟的VinVL用于圖像編碼，并使用InfoNCE損失函數將它們彼此對齊。

這是一種基于本體的課程學習算法，從簡單的樣本開始訓練，方法是隨機抽樣小批次，并通過在圖像和文本輸入中加入相似的小批量數據，逐步加大對比任務的難度。

舉個例子，在隨機抽樣生成的小批量數據中，如果想找到“一條叼著飛盤在草地上奔跑的狗”，只需要先找畫面中有狗的圖片即可，因為隨機生成的圖像中包含狗的概率非常小。

也就意味著，隨機小批量抽樣將對比任務簡化為了對象匹配。

但當對小批樣進行采樣時，會抓取到很多畫面中有狗的相似圖片，因此僅靠識別圖片中是否有狗已經不能解決問題了，該模型必須共享上下文級信息的語言和視覺表示，從而產生更細粒度的對齊。

此外，不同于CLIP從互聯網收集構建了4億個圖像-文本對的數據集，BERT-VinVL模型只需不到1%的訓練量，但效果并沒有打折扣。

研究人員在MS-COCO和Conceptual Captions上訓練BERT-VinVL模型，并將該模型與下游檢索任務上的CLIP進行比較。

實驗結果發現，BERT-VinVL模型同樣能達到零樣本學習效果，甚至在圖像檢索上表現更好（ R@1 提高了 1.5%）。

研究團隊

該篇論文來自南加州大學的研究團隊，作者分別是Tejas Srinivasan、Xiang Ren和Jesse Thomason。

第一作者Tejas Srinivasan，是南加州大學GLAMOR實驗室的一年級博士生，跟隨助理教授Jesse Thomason進行多模態機器學習和語言基礎領域的研究。

他曾在微軟研究院實習，并在人工智能基金會短暫地擔任過 NLP 研究科學家。

之前在卡內基梅隆大學語言技術學院完成了碩士學位，本科畢業于孟買印度理工學院機械工程專業，輔修計算機科學學位。