Stable Diffusion這樣的文本-圖像生成模型有記憶嗎？ 精華
Stable Diffusion擴散模型作為生成高質(zhì)量圖像的先進模型，卻伴隨著對訓練數(shù)據(jù)的記憶化傾向，引發(fā)了隱私和安全性的擔憂。AIGCer分享一篇分析該現(xiàn)象的文章，通過兩個案例研究深入挖掘了文本復制現(xiàn)象，旨在為未來生成模型的改進提供重要的指導。
基于擴散模型，如Stable Diffusion模型，以其生成高質(zhì)量、高分辨率圖像的能力，已經(jīng)在文本到圖像合成領域引起了革命。這些進展推動了圖像生成和編輯任務的顯著進展。然而，這些模型也引發(fā)了一些擔憂，因為它們有記憶和潛在復制訓練樣本的趨勢，從而帶來隱私風險并可能導致對抗性攻擊。在訓練數(shù)據(jù)集中的重復被認為是導致記憶的主要因素，迄今為止已經(jīng)研究了各種形式的記憶。本文關(guān)注于兩種不同且鮮為人知的復制類型，這些類型在擴散模型中在推斷過程中導致了復制，特別是在Stable Diffusion模型中。通過兩個案例研究深入探討了這些較少研究的復制現(xiàn)象及其影響，旨在為生成模型在各種應用中的更安全、更負責任的使用做出貢獻。
引言
基于擴散的模型展示了在生成高質(zhì)量圖像方面的出色能力，無條件生成和有條件生成皆如此。Stable Diffusion模型作為一種有條件擴散模型，與其他生成模型如DALLE-3和Midjourney一同，顯著推動了文本到圖像生成領域的發(fā)展。這些模型在創(chuàng)建高分辨率圖像和圖像編輯方面表現(xiàn)出色。
機器學習模型中的記憶化已經(jīng)得到廣泛研究。這種記憶化可能帶來隱私風險，潛在地可能導致成員關(guān)系推斷或數(shù)據(jù)提取等攻擊。盡管擴散模型，包括Stable Diffusion模型，具有生成高質(zhì)量圖像的能力，它們有時表現(xiàn)出對精確訓練樣本或其重要部分的記憶和復制的趨勢。Somepalli等（2023b）指出，與僅包含圖像的上下文相比，文本條件更容易導致記憶。先前的研究表明，在推斷過程中，訓練樣本的復制可能是這種復制的一個重要原因。
本文深入研究了兩種特定類型的文本條件訓練樣本復制：第一種涉及圖像及其相應文本（包含特定關(guān)鍵詞）的復制；第二種涉及圖像-文本對的復制，其中圖像包含特定對象，而文本包含特定關(guān)鍵詞。這種微妙的復制形式可能加劇模型對各種攻擊的脆弱性。隨著文本到圖像生成模型的日益普及，詳細審查它們的記憶傾向變得越來越重要。通過分析兩個案例研究，本文探討了這兩種復制類型，以揭示它們的動態(tài)和影響。
相關(guān)工作
「大型語言模型中的記憶化」
在大語言模型（LLMs）領域，由于無意中泄露了導致模型記憶的機密信息，因此面臨著越來越大的挑戰(zhàn)。Carlini等通過定量方法進行深入分析，之前利用定性技術(shù)進行研究。導致這種情況的一個關(guān)鍵因素是訓練數(shù)據(jù)集中固有的復制，可能導致語言模型生成與已存在內(nèi)容相似的文本。Biderman等（2023）最近的貢獻表明，這種記憶化是由于訓練數(shù)據(jù)集的平均值，而Biderman等（2023）則說明其發(fā)生在特定的訓練數(shù)據(jù)點上。
「擴散模型中的記憶化」
最近的研究展示了使用有條件和無條件擴散模型創(chuàng)建相似或幾乎相同圖像的技術(shù)。具體而言，Somepalli等（2023a）強調(diào)，擴散模型可以生成具有與訓練數(shù)據(jù)中相似對象的圖像，這個過程被稱為“復制”。與此同時，Carlini等（2023）展示了模型通過分析生成樣本的聚類，從訓練集中檢索幾乎相同的圖像的能力。Somepalli等（2023b）最近的研究認為，在無條件擴散模型中，由于復制而導致的數(shù)據(jù)復制可能較少，而文本條件可能顯著增加模型記憶化的可能性。在重復發(fā)生這種記憶化的前期研究中，Webster等（2023）引入了一種算法方法來檢測這種重復。
背景
「擴散模型」
在深度生成模型的背景下，去噪擴散概率模型，通常稱為無條件擴散模型，通過迭代進行噪聲添加（正向過程）和隨后的噪聲移除（反向過程）來生成圖像。
「Stable Diffusion」
在Rombach等人的研究中（2022），"Stable Diffusion"模型專門用于文本到圖像合成任務。該模型通過擴散圖像的潛在向量表示。它首先接收文本輸入，然后通過凍結(jié)的CLIP文本編碼器將其轉(zhuǎn)換為文本embedding。隨后，一個文本條件的潛在U-Net迭代地去噪潛在向量，其方式是根據(jù)生成的文本embedding進行條件化。最后，一個變分自編碼器（VAE）解碼這個潛在向量，生成相應的圖像。
word級復制
Somepalli等人（2023b）研究了LAION數(shù)據(jù)集中更廣泛范圍的復制，涵蓋比以前的研究更多的情況。他們考慮了字幕和圖像的復制，甚至深入研究了部分字幕的復制。然而，對于他們的方法存在一些擔憂。他們從LAION數(shù)據(jù)集中篩選出兩個子集，用于對Stable Diffusion模型進行微調(diào)。在其原始預訓練數(shù)據(jù)集的子集上對Stable Diffusion進行微調(diào)可能導致意外的記憶化增加。
在文本條件的擴散模型中，文本起著關(guān)鍵作用。基于這一觀點，對這些應用的主要關(guān)注應圍繞文本條件的記憶化。雖然數(shù)據(jù)集中可能存在圖像的復制，但如果文本與圖像之間沒有關(guān)聯(lián)，那么在推斷時，在提供提示時不太可能出現(xiàn)相關(guān)的復制。這一觀察引導我們考慮更現(xiàn)實類型的復制。
與先前的研究不同，作者的重點是單word 級的復制。具體而言，目標是識別在復制中關(guān)鍵詞和圖像之間是否存在關(guān)聯(lián)。作者質(zhì)疑在數(shù)據(jù)集中是否一致復制了某些關(guān)鍵詞和圖像集。在這種情況下，字幕不一定表現(xiàn)出高語義相似性；它們可能只共享共同的關(guān)鍵詞。因此，在推斷時，當模型遇到這些特定關(guān)鍵詞的組合時，它可能會嘗試復制在訓練期間觀察到的相應特征或?qū)ο蟆Ｔ趯嶒灲Y(jié)果中，通過對LAION數(shù)據(jù)集進行詳細案例研究進一步探討了這種類型的復制。
「定義記憶化的更現(xiàn)實方法」
先前的研究通常依賴于單一隨機初始化進行生成。然而，無論使用何種記憶化定義，更現(xiàn)實的檢查方法涉及使用多個隨機初始化。實際設置中，如果模型在不同初始化中始終生成相同的特征、對象或甚至整個圖像，就會出現(xiàn)對記憶化和復制的擔憂。因此，基于單一種子進行的記憶化或復制評估可能無法提供全面的理解。
對象級復制
在這一部分，介紹了一種稱為對象級復制的獨特復制類型。當在訓練數(shù)據(jù)集中出現(xiàn)一對特定圖像中的對象和相應文本中的某些關(guān)鍵詞時，即使對象的名稱在文本中沒有出現(xiàn)，也會發(fā)生對象級復制。這種復制可能導致在推斷時，當提示中存在相關(guān)關(guān)鍵詞時，這些特定對象的復制。這種復制模式引發(fā)了各種可信度問題，尤其是隱私和公平性。基本上，它意味著模型不論在用戶提供的輸入中是否提及或缺失，都會持續(xù)生成特定對象，這可能與用戶的期望或意圖不符。
這種現(xiàn)象的一個可能解釋是圖像中的某些關(guān)鍵詞和對象之間的隱含關(guān)聯(lián)。也就是說，在訓練數(shù)據(jù)集中可能不會復制整個圖像，但是特定對象可能經(jīng)常出現(xiàn)在與包含特定單詞的字幕相關(guān)的圖像中。將在實驗部分通過一項專門的案例研究深入探討這一現(xiàn)象。
實驗結(jié)果
在這一部分，展示兩個案例研究，分別對應之前討論的兩種復制類型，并在每個研究中加入多個示例。對于所有實驗，使用了LAION-400M（Schuhmann等人，2021），這是較大的LAION-5B（Schuhmann等人，2022）數(shù)據(jù)集的一個子集。選擇這個子集是因為它在規(guī)模上更易管理。實驗使用了在LAION-5B數(shù)據(jù)集上訓練的Stable Diffusion v1.4模型。
「案例研究1：梵高」
在初始案例研究中，深入研究了單word 級記憶化。為此，關(guān)注了帶有包含術(shù)語“梵高”字幕的樣本。大約有90,000個樣本的字幕中包含這個術(shù)語。繼續(xù)排除帶有無效URL的樣本。此外，考慮到CLIP模型的文本編碼器接受的文本長度不超過77個標記，超過這個標記數(shù)的字幕樣本也被省略。在經(jīng)過這些過濾步驟后，剩下大約70,000個樣本。此外，使用CLIP模型的圖像編碼器獲取了這些樣本的圖像embedding。
在下一步中，對圖像embedding進行聚類，利用余弦相似度來識別一組幾乎相同的圖像。然后根據(jù)它們的大小對聚類進行排序，并在每個聚類中，找出最頻繁出現(xiàn)的單詞。應注意，最大的聚類由于包含與其他聚類不太相關(guān)的無關(guān)圖像，已經(jīng)被省略在分析之外。下表1呈現(xiàn)了最大的聚類以及它們對應的頻率單詞。
演示這些關(guān)鍵詞如何影響每個聚類中生成的圖像。對于每組關(guān)鍵詞，考慮以下字幕：
? 僅由關(guān)鍵詞組成的字幕。
? 包含關(guān)鍵詞的簡短相關(guān)字幕。
? 包含關(guān)鍵詞的長相關(guān)字幕。
? 包含關(guān)鍵詞的無關(guān)字幕。
? 不包含術(shù)語“van gogh”的長字幕。
使用ChatGPT（OpenAI 2023）獲得所有這些字幕。下圖3中展示了聚類1的所有字幕及其相應生成的圖像。
為了更好地說明復制的概念，對于每個提示，作者使用不同的隨機初始化生成500張圖像。提供演示與訓練數(shù)據(jù)集中原始圖像相似程度不同的示例。此外，對于每個聚類，都建立了一個唯一的圖像相似性閾值，以確定與訓練數(shù)據(jù)集中原始圖像相似的生成的百分比。這個閾值在聚類之間變化，并需要根據(jù)每個聚類的特定特征進行手動設置。
如上面圖3所示，實驗從簡短的提示開始，逐漸發(fā)展到更長、更多樣的字幕。盡管在文本變化的情況下，圖像始終保持原始藝術(shù)品的風格和元素。在第四個例子中，即使“starry”和“night”分開，圖像仍然共同代表這些主題。有趣的是，最后的字幕省略了“Van Gogh”，但他獨特的風格在圖像中無疑地被捕捉到。此外，使用CLIP的文本編碼器embedding計算給定提示與訓練數(shù)據(jù)集中最接近的文本之間的余弦相似度。
除了圖3中顯示示例的聚類外，還有另一個具有引人入勝結(jié)果的聚類。在前面表1中顯示的Cluster 3中，關(guān)鍵詞包括“van gogh”、“almond”和“blossoming”。有關(guān)此聚類的所有字幕及其相應生成的圖像在下圖6中說明。圖6中的最后一個例子說明，即使沒有明確提到“van gogh”，生成的圖像仍與與Van Gogh的作品相關(guān)的訓練數(shù)據(jù)集中的圖像相似。此外，可以在下圖7中找到Cluster 4的字幕和相應生成的圖像。
為了理解這一現(xiàn)象，分析了“almond”和“blossoming”這兩個詞在帶有“van gogh”的字幕中有多頻繁。通過過濾帶有“almond”和“blossoming”的字幕的數(shù)據(jù)集，然后使用圖像embedding對圖像進行聚類，發(fā)現(xiàn)這兩個描述性詞語占據(jù)了與Van Gogh的作品相關(guān)的主導聚類，約占帶有這兩個描述性詞語的條目的52%。
「頻率至關(guān)重要」。在推斷過程中，影響訓練圖像復制可能性的兩個主要因素。第一個因素是數(shù)據(jù)集中特定關(guān)鍵詞的頻率。觀察表明，當圖像與頻繁出現(xiàn)的關(guān)鍵詞相關(guān)聯(lián)時，它們更有可能復制。例如，“almond”和“blossoming”以及“Van Gogh”，這幾個詞具有更高的復制傾向。
然而，僅有頻率并不是唯一的決定因素。另一個有影響力的因素是數(shù)據(jù)集的初始聚類。當對帶有特定關(guān)鍵詞的圖像進行聚類時，比如“almond”和“blossoming”，而不包括“Van Gogh”時，發(fā)現(xiàn)最大的聚類仍然與梵高的作品相關(guān)，約占樣本的52%。盡管如此，有顯著的48%的聚類與之無關(guān)。這種分布表明，在訓練集中的關(guān)鍵詞頻率在一定程度上可以預測模型的復制行為。關(guān)鍵詞“向日葵”進一步證明了這一點；盡管它與梵高經(jīng)常相關(guān)，但在僅考慮數(shù)據(jù)集中的“向日葵”時，它僅占聚類的2%。這強調(diào)了為什么除非明確提到梵高的名字，否則梵高的藝術(shù)風格可能不會被復制。下圖1展示了當對包含“almond”和“blossoming”這兩個詞的樣本的圖像進行聚類時，30個最大聚類的分布大小。下圖2展示了同樣的情況，但是對于詞匯“sunflower”。
「案例研究2：宇航員」
在這一部分，通過一個專注的案例研究探討對象級復制的概念。對象級復制指的是盡管與相關(guān)的文本提示中缺少這些對象，但特定對象在圖像中經(jīng)常出現(xiàn)的現(xiàn)象。這意味著在數(shù)據(jù)集中，特定關(guān)鍵詞與重復出現(xiàn)的視覺元素之間存在強烈的相關(guān)性。為了研究這一現(xiàn)象，作者關(guān)注包含關(guān)鍵詞“astronaut”的LAION數(shù)據(jù)集中的樣本。作者應用與初始案例研究相同的方法框架來策劃數(shù)據(jù)集的這個子集，并生成相應的圖像embedding。這個過程產(chǎn)生了大約48,000個樣本，對關(guān)鍵詞-對象相關(guān)性的調(diào)查提供了實質(zhì)性的基礎。下圖5呈現(xiàn)了一些這些訓練樣本，它們的字幕包含詞語“astronaut”，相應的圖像中包含美國國旗。
在這個案例研究中，作者關(guān)注美國國旗。對大約1000個帶有提到“astronaut”字幕的訓練數(shù)據(jù)樣本的分析顯示，即使沒有明確指定“US”或“flag”這兩個詞，有10%的樣本包含美國國旗的圖像。為了進一步探討這一現(xiàn)象，首先使用ChatGPT創(chuàng)建了一系列包含詞語“astronaut”的隨機提示。然后，使用這些提示在Stable Diffusion模型中生成圖像，導致在輸出中頻繁復制美國國旗。請注意，由于預訓練的Stable Diffusion模型生成質(zhì)量較低，我們對該模型進行了微調(diào)，使用Midjourney API的一小部分提示和相應的高分辨率生成的圖像，以提高生成示例的質(zhì)量。下圖4顯示了ChatGPT生成的提示和Stable Diffusion模型生成的相應圖像。
通過使用不同的隨機種子生成500張圖像，評估模型從提示中復制美國國旗的傾向。隨后，計算并報告包含美國國旗的圖像的百分比。
未來方向
盡管本文的研究集中在兩個特定的案例研究上，但已經(jīng)證明了在Stable Diffusion模型中發(fā)生了word 級復制的現(xiàn)象。對于未來的工作，作者建議在word 級復制的背景下進行更廣泛的實驗，并進行更全面的分析。此外，開發(fā)新的緩解技術(shù)，減少記憶而保留模型效用，具有至關(guān)重要的意義。本文研究中發(fā)現(xiàn)的復制特征還可能帶來潛在的隱私風險，可能使模型容易受到各種攻擊，包括成員關(guān)系推斷和后門攻擊。解決這些問題將是未來研究的一個關(guān)鍵方面。
結(jié)論
在生成模型的記憶過程中，訓練數(shù)據(jù)中的復制是一個重要的促成因素。本文確定了兩種在推斷中導致復制的復制類型。通過兩個LAION數(shù)據(jù)集的案例研究對這些進行了調(diào)查。本文的工作強調(diào)了對訓練數(shù)據(jù)中不同復制形式的警惕性以及需要有效緩解策略的重要性。希望這項工作能夠激發(fā)更加慎重的數(shù)據(jù)管理，并促使開發(fā)既強大又保護隱私的生成模型。
本文轉(zhuǎn)自 AI生成未來，作者：AI生成未來
