在之前的文章中以及和大家介紹過需要關于圖像&視頻重打光的方法，在今天的推送文章中，已經幫大家重新整理好了，歡迎大家點擊閱讀~

今天給大家介紹谷歌提出的一種基于擴散模型的方法LightLab，可以實現對單張圖像中光源的細粒度、參數化控制。該方法能夠調整可見光源的強度和顏色、環境光照的強度，并可在場景中插入虛擬光源。

LightLab方法能夠對圖像中的光源進行顯式的參數化控制，同時生成物理上合理的陰影和環境光效應。此外還可以調節光源的強度、改變其顏色，以及調整環境光照。下圖為 LightLab 的燈光編輯結果：

相關鏈接

• 論文：https://www.arxiv.org/pdf/2505.09608

論文介紹

控制圖像中的光源是攝影的一個基本方面，它影響圖像中的主體、景深分離、色彩以及整體氛圍。現有的重光照（relighting）方法要么依賴于多個輸入視角在推理階段進行逆向渲染，要么無法提供明確的光源控制。

谷歌提出了一種基于擴散模型的方法LightLab，實現對單張圖像中光源的細粒度、參數化控制。LightLab方法能夠調整可見光源的強度和顏色、環境光照的強度，并可在場景中插入虛擬光源。LightLab方法能夠對圖像中的光源進行顯式的參數化控制，同時生成物理上合理的陰影和環境光效應。該方法可以調節光源的強度、改變其顏色，以及調整環境光照。

論文的主要貢獻如下：

• 一種有效地微調和調節擴散模型的方法，用于基于單幅圖像對光源進行參數控制。
• 論文證明了即使是少量真實的、物理上精確的訓練樣本，也能補充大規模合成渲染，其中前者可以防止域漂移，而后者可以提高物理合理性。
• 由此產生的高質量基于圖像的解決方案，使用戶能夠進行復雜且連續的照明編輯。

方法概述

后處理流程。

• 上行：從一對真實（原始）照片對中，首先分離出目標光變化 ichange。
• 下行：對于合成數據，分別渲染每個光分量。在光解纏結之后，兩個域均經過光運算以創建參數化的圖像序列 irelit (??,??, ct)，然后將其色調映射到 SDR（可以一起進行，也可以單獨進行）。

調節信號。

• 空間條件（輸入圖像、目標光掩模和深度圖）嵌入到潛在維度并與輸入噪聲連接。通過縮放目標光掩模的強度和顏色來應用光強度和顏色控制。
• 全局控制（環境光強度和色調映射值）投影到文本嵌入維度，并通過交叉注意力機制插入。

色調映射策略。一系列光照強度遞增的圖像，色調映射可單獨進行，也可同時進行。上行：圖像單獨進行色調映射，注意光源強度在點亮時如何保持恒定，而環境光則似乎變暗。下行：同時進行色調映射

強度控制。使用提出的方法對目標光的強度進行細粒度控制。數值表示相對于源圖像的相對強度變化。

顏色控制。打開輸入圖像（左上）中不同顏色的路燈。上行：人造光黑體溫度。下行：任意非自然 RGB 顏色。

實驗結果

訓練域的影響。在不同域上訓練的模型的真值相似度指標。二值圖像。表示完全打開或關閉光源的圖像對。

與其他研究的比較。左側是配對評估集上 PSNR 和 SSIM 的地面真實相似度。右側是該方法的用戶研究偏好率。方法在物理合理性和用戶滿意度方面均優于先前的結果。定性比較：將合成數據添加到訓練數據集的效果。黃綠色：僅在混合模型中模擬屏幕的鏡面反射。紅色：混合模型為電纜生成了精細的硬陰影，該陰影與其形狀相關，并與地面實況相似。定性比較。與其他基于 IIW 數據集圖像的研究進行比較。左圖：輸入圖像，其中綠色/紅色輪廓分別指定應打開/關閉的光源。定性結果。選取公開來源圖像的測試結果，展示論文方法成功的光照編輯（綠色框）和失敗的光照編輯（紅色框）。

結論

LightLab是一種基于擴散的細粒度控制圖像中光源的方法。利用光的線性和合成的 3D 數據，作者創建了一個高質量的成對圖像數據集，隱式地模擬了復雜且受控的光照變化。論文證明了通過使用基于物理的數據對擴散模型進行微調，可以在捕獲后實現對光源的物理合理控制。此外，作者也證明了利用經典的計算攝影技術和基于物理的模擬來生成生成模型的訓練數據，是基于物理的圖像編輯的一個有前景的方向。