ICLR 2025驚現滿分論文，ControlNet作者再出佳作 精華
近日，ICLR 2025評審結果揭曉，一篇論文脫穎而出，獲得了罕見的[10,10,10,10]滿分成績。這篇論文便是ControlNet作者張呂敏的新作IC - Light。在平均分僅為4.76的ICLR會議中，滿分論文的出現無疑引起了學術界和業界的廣泛關注。
- 論文標題：Scaling In-the-Wild Training for Diffusion-based Illumination Harmonization and Editing by Imposing Consistent Light Transport
- 論文鏈接：https://openreview.net/pdf?id=u1cQYxRI1H
項目成果展示
在向ICLR投稿前，IC - Light已在Github開源半年，收獲5.8k星標，其效果備受認可。項目最初基于SD 1.5和SDXL實現，近期又推出V2版本，適配Flux，效果更優。
圖片
該項目試玩鏈接為https://huggingface.co/spaces/lllyasviel/IC - Light，感興趣的朋友可前往體驗。
IC - Light是基于擴散模型的照明編輯模型，能通過文本精準控制圖像光照效果。比如，輸入“beautiful woman, detailed face, sunshine from window”的prompt，模型就能還原光線方向和光透過玻璃的漫射效果，為人物側臉打出柔和輪廓光。
圖片
圖片
論文核心觀點與技術實現
- 核心觀點
?提出IC - Light方法：根據光傳輸獨立性物理原理，在訓練過程中強加一致光傳輸，確保模型精確修改光照，保留反照率和圖像細節等固有屬性。
?提供預訓練模型：促進不同領域光照編輯應用。
?驗證方法有效性：通過大量實驗驗證可擴展性和性能，展示在多種光照條件下的優勢及其他應用。
- 技術實現細節
?數據處理：利用多種數據源（任意圖像、3D數據、燈光舞臺圖像）建模照明效果分布，處理為通用格式用于訓練。
?訓練過程：在訓練中植入IC - Light傳輸，引入物理約束，使模型在大規模數據上穩定訓練，提高光照編輯精度，減少不確定性和偽影。
圖片
實驗結果與分析
1.消融實驗：恢復模型后分別移除野外圖像增強數據和光傳輸一致性，發現移除野外數據影響模型泛化能力，移除光傳輸一致性使模型生成一致光照和保留固有屬性能力下降，完整方法則能產生通用均衡模型，保留圖像細節并減少誤差。
2.其他應用：模型支持背景條件光照協調，可根據背景圖像生成照明，不依賴環境映射；還支持SD1.5、SDXL和Flux等不同基礎模型，且能通過多次推理生成法線貼圖。
3.定量評估：使用PSNR、SSIM和LPIPS等指標，在未見過的3D渲染數據樣本子集上評估，結果顯示本文方法在LPIPS指標上優于其他方法，完整方法在感知質量和性能間取得平衡。
4.視覺對比：與Relightful Harmonization、SwitchLight、GeoWizard和DSINE等方法直觀比較，本文模型因訓練數據集優勢，對陰影魯棒性更高，法線貼圖質量更細致。
與ControlNet的關聯及意義
ControlNet解決了AI繪畫中精確控制圖像細節的難題，為SD模型裝上“方向盤”，推動商業化工作流發展，榮獲ICCV 2023馬爾獎。而IC - Light同樣精準命中用戶需求，在光照編輯領域取得突破。此前研究難以解決光照編輯時不改變物體材質的問題，IC - Light作者發現用AI合成生成數據加人工處理可達到較好效果，對研究領域有啟發意義。
結論與展望
IC - Light滿分論文成果顯著，在基于擴散模型的光照編輯領域取得重要突破。其技術方法和實驗結果展示了強大性能和應用潛力，為后續研究提供了重要參考。未來，期待看到IC - Light在更多領域發揮作用，推動相關技術發展。也期待張呂敏團隊能帶來更多創新成果，為學術和技術發展持續貢獻力量。
本文轉載自 ??AI論文解讀??，作者：柏企
