• 論?標題：SeaS: Few-shot Industrial Anomaly Image Generation with Separation and Sharing Fine-tuning
• 作者：Zhewei Dai, Shilei Zeng, Haotian Liu, Xurui Li, Feng Xue, Yu Zhou
• 論?鏈接：https://arxiv.org/abs/2410.14987
• 代碼鏈接：https://github.com/HUST-SLOW/SeaS

少樣本?業異常?成迎來「全能選?」

當前先進制造領域的產線良率往往超過 98%，因此異常樣本（也稱為缺陷樣本）的搜集和標注已成為?業質檢的核?瓶頸，過少的異常樣本顯著限制了模型的檢測能?，利??成模型擴充異常樣本集合正逐漸成為產業界的主流選擇，但現有?法存在明顯局限：

要么僅能完成單?任務（如只?成異常或正常產品），要么需針對不同異常類型單獨建模，不僅?成能?受限，還因依賴?量專?模型難以適應復雜場景。

為此，華中科技?學慢?團隊（SLOW Team）提出統?的少樣本?業?成模型 SeaS。該模型依托 U-Net 的差異化學習能?，精準捕捉正常產品的細微變化與異常區域的豐富差異，僅需要 1-3 張訓練樣本，通過單?模型即可同步實現多樣化異常?成、全局?致的正常產品合成及精確異常掩碼標注?成，為?業場景?成任務建?了新的技術基準，有效推動了相關領域的技術進步

?業場景?成瓶頸？

針對產業界對多樣化異常樣本?成、?效建模及精準掩碼標注的需求，SeaS 基于 「異常區域變化豐富、正常產品變化細微」 的本質差異，實現了技術突破：

• 設計?平衡異常?本提示（UA），以多個異常詞元與單個正常詞元的?對稱結構，精準控制異常區域的變化度；
• 提出解耦異常對?（DA）損失和正常圖像對?（NA）損失，分別保證異常多樣性與正常產品真實性；
• 構建精細化掩碼預測分?，融合 U-Net 判別特征與?分辨率 VAE 特征，?次實現像素級精確異常掩碼?成。

在 MVTec AD、VisA 等主流?業數據集上，SeaS 全?超越現有少樣本?業異常?成?法。基于其?成數據訓練的有監督分割模型，異常分割 IoU 平均提升 12.79%，充分驗證了該框架的有效性。

創新點：三?設計

推動?業場景?成技術升級

1. 統?的少樣本?成框架： 突破傳統單?任務局限，僅需要 1-3 張訓練樣本，通過?個模型即可同步實現多樣化異常?成、全局?致的正常產品合成及像素級精確掩碼標注，為領域設?新標桿。

2. 分離與共享微調機制： 分別對正常產品和異常的變化程度建模，提升了?成過程的精準控制能?，兼顧異常多樣性與正常產品?致性。

3. 精細化掩碼預測： 創新的精細異常掩碼預測分?，通過級聯融合 U-Net 判別特征與?分辨率 VAE 特征，實現像素級精確的異常標注，有效提升了下游模型性能。

?法：SeaS 的技術架構與實現邏輯

整體框架：分離與共享的微調?絡

SeaS 的核?在于 「分離建模、共享學習」，僅需要少量的 1-3 張訓練樣本，通過同?個 U-Net 架構同時處理正常與異常的?成。具體流程為：

1. 設計?平衡異常?本提示，包含分別表征異常和正常產品的詞元集合；

2. 提出解耦異常對?（DA）損失，將異常圖像區域與異常詞元綁定；

3. 利?正常圖像對?（NA）損失，使正常詞元能夠表達全局?致的正常產品；

4. 采?混合訓練策略，上述兩個訓練過程針對異常和正常圖像分別處理，并基于共享的 U-Net 架構實現。

不均衡異常?本提示：分離建模異常與正常產品

傳統?本提示中，正常與異常詞元數量均衡，難以體現?者的本質區別 —— 正常產品變化細微，異常區域則變化豐富。SeaS 提出的?平衡異常?本提示（UA）針對性解決這?問題：

• 結構設計：UA 提示包含 1 個正常詞元 <ob> （表征正常產品）和多個異常詞元 <df_n>（表征異常），每種異常類型對應?組專屬的異常詞元。

• 訓練?式：使?正常圖像訓練 <ob> 的嵌?，異常圖像訓練  <df_n > 的嵌?，實現正常與異常特征的分離學習。
  
  
• 詞元數量影響：如圖 3（a）所示，1 個 <ob> 即可表達正常產品并保證全局?致性，多個 < ob > 會聚焦局部特征?破壞全局?致性；多個 <df_n> 是控制異常?成多樣性的必要條件（不同詞元關注異常的不同屬性），但數量過少（如 N=1）易導致 「異常缺失」，過多（如 N=8）會增加多樣性但降低真實性。

解耦異常對?損失：精準對?異常區域與詞元

針對少量異常圖像及其對應掩碼，SeaS 提出解耦異常對?（DA）損失，實現異常詞元  <df_n> 與異常區域的精準綁定：

• 損失定義：

其中，為第 n 個異常詞元對應的交叉注意?圖，N 為異常詞元數量，L 為?于對?的 U-Net 層數，為?值掩碼（異常區域為 1，背景為 0）， 為正常詞元對應的交叉注意?圖，⊙為元素積。

• 作?機制：第?項根據掩碼  將異常區域與 <df_n > 對?；第?項降低正常詞元注意?圖在異常區域的響應，避免正常詞元與異常區域對?。
• 異常圖像總損失：
  

結合噪聲預測損失，通過對異常圖像的前向擴散與噪聲預測，進?步提升異常?成的真實性與多樣性。

正常圖像對?損失：平衡正常產品的?致性與多樣性

增加正常詞元 <ob> 數量雖能提升?成多樣性，但可能降低正常圖像真實性并破壞全局?致性；?僅將單個 < ob> 與少量訓練圖像對?，?易出現過擬合。為此，SeaS 提出正常圖像對?（NA）損失：

• 損失定義：
  

• 計算過程：對正常圖像使?隨機噪聲和時間步進?前向擴散，得到帶噪潛變量，將其與正常詞元嵌?輸? U- Net 預測噪聲，再與隨機噪聲計算損失，從?學習具有全局?致性的正常產品。

混合訓練策略：提升異常?成多樣性與模型泛化性

針對傳統?法為每種異常單獨建模導致的過擬合問題，SeaS 提出分離與共享微調策略：

• 總損失函數：結合異常損失與正常損失，實現統?優化。
  

• 訓練流程：將某產品的所有異常圖像整合為統?集合，與正常圖像訓練集混合抽樣組成批次進?訓練。
  
  
• 優勢：如圖 3（c）所示，緩解單類異常樣本有限導致的過擬合，提升異常?成的多樣性與真實性，?持?成未?異常。

精細化掩碼預測分?：給異常 「貼」 上精準標簽

為提升異常掩碼的像素級精度，SeaS 設計級聯的精細化掩碼預測（RMP）分?，嫁接于訓練后的 U-Net，通過 「粗特征提取 + 精細優化」 兩步?成精準掩碼：

U-Net 粗糙特征提取

從 U-Net 解碼器的 「up-2」 和 「up-3」 層提取特征，經通道壓縮、拼接及 Transformer 融合，得到對異常具有強判別性的粗特征。

掩碼精細化模塊

針對粗特征上采樣后易丟失細節的問題，設計三級串聯的掩碼精細化模塊（MRM）：

• 每級模塊融合 VAE 的?分辨率特征與待優化的判別特征，逐步提升特征的分辨率與判別性；
• 最終輸出的特征兼具?分辨率與強判別性，為精準掩碼?成奠定基礎。
  

損失函數

采? Focal Loss 對異常與正常圖像的?低分辨率掩碼進?監督，確保異常區域標注精準，同時抑制正常區域的誤判，提升掩碼預測精度。

實驗結果

少樣本?業異常?成性能領先 SOTA：保真度與多樣性雙重突破

在少樣本?業異常?成的關鍵指標?拼中，SeaS 表現突出：

• 各項核?指標全?優于現有?法，IS 分數更?，說明?成的圖像真實度更強；IC-LPIPS 表現更優，體現出異常類型的豐富多樣性。
• 從?成效果看（圖 5），異常圖像細節清晰，類型豐富，且掩碼與異常區域精準匹配；正常圖像（圖 6）全局?致性好，真實感強，充分驗證了 SeaS 在少樣本?成任務中的優勢。

助?異常檢測性能提升：多?法效果顯著優化

SeaS ?成的數據能有效賦能下游異常檢測任務：

• 將其?成的異常樣本應?于基于合成數據的檢測?法（如 DRAEM、GLASS），多數據集上的檢測性能均有提升，漏檢情況明顯改善（表 2）。
  
• ??成的正常圖像擴充訓練集后，?監督檢測?法的誤檢減少，各項指標得到優化，展現出 SeaS 在實際應?中的價值（表 3）。

增強有監督分割模型能?：指標提升幅度明顯

利? SeaS ?成的 1000 對圖像 - 掩碼對訓練有監督分割模型，效果顯著：

• 在 MVTec AD、VisA、MVTec 3D AD 數據集上，平均 IoU 分別提升 11.17%、11.71%、15.49%；
  
• 圖像級 AUROC 相應提升 2.77%、5.92%、6.68%（表 4），充分證明了 SeaS ?成數據對提升分割模型性能的積極作?。

實驗結果表明，LFD（https://github.com/HUST-SLOW/LFD）是有監督的異常分割模型的最優選擇。

LFD 最初是為道路分割任務開發的，它會?到 ResNet-18 第?階段的低級特征。?低級特征在異常分割任務中也?有可為，于是將它的應?拓展到了有監督異常分割領域。

LFD 采?雙邊結構設計：先通過空間細節分?，借助 ResNet-18 第?階段提取低級特征；再通過上下?語義分??效提取上下?特征，該分?對輸?圖像進??對稱下采樣，還引?了聚合模塊，能達到媲美 ResNet-18 第三階段的感受野，計算量卻更?。最后，通過選擇性融合模塊計算低級特征與上下?特征間的像素級注意?。

在異常分割中，LFD ? SeaS ?成的圖像 - 掩碼對進?訓練。它的模型??僅 0.936M，遠?于 BiSeNetV2（3.341M）和 UperNet（64.042M），但像素 AP 分數反??出 5.34%，F1 分數?出 3.99%。

核?結論

本研究提出統?的少樣本?業異常?成?法 SeaS，探索了異常具有?度變化?正常產品保持全局?致性這?內在特性。通過設計分離與共享的微調策略，對正常產品和異常的不同變化模式進?建模，使精細化掩碼預測分?能夠利?判別性特征預測精確掩碼。SeaS 顯著提升了基于合成數據的異常檢測?法和有監督異常檢測?法的性能，并賦予了有監督分割模型更優異的表現。?量實驗驗證了該?法在?業異常?成與檢測任務中的有效性。