如何使用OpenCV進(jìn)行高動態(tài)范圍（HDR）成像
在本教程中，我們將學(xué)習(xí)如何使用由不同曝光設(shè)置拍攝的多張圖像創(chuàng)建高動態(tài)范圍（HDR）圖像。 我們將以 C++ 和 Python 兩種形式分享代碼。
什么是高動態(tài)范圍成像？
大多數(shù)數(shù)碼相機(jī)和顯示器都是按照 24 位矩陣捕獲或者顯示彩色圖像。 每個顏色通道有 8 位，因此每個通道的像素值在 0-255 范圍內(nèi)。 換句話說，普通的相機(jī)或者顯示器的動態(tài)范圍是有限的。
但是，我們周圍世界動態(tài)范圍極大。 在車庫內(nèi)關(guān)燈就會變黑，直接看著太陽就會變得非常亮。 即使不考慮這些極端，在日常情況下，8 位的通道勉強(qiáng)可以捕捉到現(xiàn)場場景。 因此，相機(jī)會嘗試去評估光照并且自動設(shè)置曝光，這樣圖像的最關(guān)注區(qū)域就會有良好的動態(tài)范圍，并且太暗和太亮的部分會被相應(yīng)截取為 0 和 255。
在下圖中，左側(cè)的圖像是正常曝光的圖像。 請注意，由于相機(jī)決定使用拍攝主體（我的兒子）的設(shè)置，所以背景中的天空已經(jīng)完全流失了，但是明亮的天空也因此被刷掉了。 右側(cè)的圖像是由 iPhone 生成的HDR圖像。
High Dynamic Range (HDR)
iPhone 是如何拍攝 HDR 圖像的呢？ 它實際上采用三種不同的曝光度拍攝了 3 張圖像，3 張圖像拍攝非常迅速，在 3 張圖像之間幾乎沒有產(chǎn)生位移。然后組合三幅圖像來產(chǎn)生 HDR 圖像。 我們將在下一節(jié)看到一些細(xì)節(jié)。
將在不同曝光設(shè)置下獲取的相同場景的不同圖像組合的過程稱為高動態(tài)范圍（HDR）成像。
高動態(tài)范圍（HDR）成像是如何工作的？
在本節(jié)中，我們來看下使用 OpenCV 創(chuàng)建 HDR 圖像的步驟。
要想輕松學(xué)習(xí)本教程，請點擊此處下載 C++ 和 Python 代碼還有圖像。 如果您有興趣了解更多關(guān)于人工智能，計算機(jī)視覺和機(jī)器學(xué)習(xí)的信息，請訂閱我們的電子雜志。
第 1 步：捕獲不同曝光度的多張圖像
當(dāng)我們使用相機(jī)拍照時，每個通道只有 8 位來表示場景的動態(tài)范圍（亮度范圍）。 但是，通過改變快門速度，我們可以在不同的曝光條件下拍攝多個場景圖像。 大多數(shù)單反相機(jī)（SLR）有一個功能稱為自動包圍式曝光（AEB），只需按一下按鈕，我們就可以在不同的曝光下拍攝多張照片。 如果你正在使用 iPhone，你可以使用這個自動包圍式 HDR 應(yīng)用程序，如果你是一個 Android 用戶，你可以嘗試一個更好的相機(jī)應(yīng)用程序。
場景沒有變化時，在相機(jī)上使用自動包圍式曝光或在手機(jī)上使用自動包圍式應(yīng)用程序，我們可以一張接一張地快速拍攝多張照片。 當(dāng)我們在 iPhone 中使用 HDR 模式時，會拍攝三張照片。
- 曝光不足的圖像：該圖像比正確曝光的圖像更暗。 目標(biāo)是捕捉非常明亮的圖像部分。
- 正確曝光的圖像：這是相機(jī)將根據(jù)其估計的照明拍攝的常規(guī)圖像。
- 曝光過度的圖像：該圖像比正確曝光的圖像更亮。 目標(biāo)是拍攝非常黑暗的圖像部分。
但是，如果場景的動態(tài)范圍很大，我們可以拍攝三張以上的圖片來合成 HDR 圖像。 在本教程中，我們將使用曝光時間為1/30 秒，0.25 秒，2.5 秒和 15 秒的 4 張圖像。 縮略圖如下所示。
Auto Exposure Bracketed HDR image sequence
單反相機(jī)或手機(jī)的曝光時間和其他設(shè)置的信息通常存儲在 JPEG 文件的 EXIF 元數(shù)據(jù)中。 查看此鏈接可在 Windows 和 Mac 中查看存儲在 JPEG 文件中的 EXIF 元數(shù)據(jù)。 或者，您可以使用我最喜歡的名為 EXIFTOOL 的查看 EXIF 的命令行工具。
我們先從讀取分配到不同曝光時間的圖像開始。
C++
void readImagesAndTimes(vector<Mat> &images, vector<float> ×){int numImages = 4;// 曝光時間列表static const float timesArray[] = {1/30.0f,0.25,2.5,15.0};times.assign(timesArray, timesArray + numImages);// 圖像文件名稱列表static const char* filenames[] = {"img_0.033.jpg", "img_0.25.jpg", "img_2.5.jpg", "img_15.jpg"};for(int i=0; i < numImages; i++){Mat im = imread(filenames[i]);images.push_back(im);}}
Python
def readImagesAndTimes():# 曝光時間列表times = np.array([ 1/30.0, 0.25, 2.5, 15.0 ], dtype=np.float32)# 圖像文件名稱列表filenames = ["img_0.033.jpg", "img_0.25.jpg", "img_2.5.jpg", "img_15.jpg"]images = []for filename in filenames:im = cv2.imread(filename)images.append(im)return images, times
第 2 步：對齊圖像
合成 HDR 圖像時使用的圖像如果未對齊可能會導(dǎo)致嚴(yán)重的偽影。 在下圖中，左側(cè)的圖像是使用未對齊的圖像組成的 HDR 圖像，右側(cè)的圖像是使用對齊的圖像的圖像。 通過放大圖像的一部分（使用紅色圓圈顯示的）我們會在左側(cè)圖像中看到嚴(yán)重的鬼影。
Misalignment problem in HDR
在拍攝照片制作 HDR 圖像時，專業(yè)攝影師自然是將相機(jī)安裝在三腳架上。 他們還使用稱為鏡像鎖定功能來減少額外的振動。 即使如此，圖像可能仍然沒有完美對齊，因為沒有辦法保證無振動的環(huán)境。 使用手持相機(jī)或手機(jī)拍攝圖像時，對齊問題會變得更糟。
幸運的是，OpenCV 提供了一種簡單的方法，使用 AlignMTB 對齊這些圖像。 該算法將所有圖像轉(zhuǎn)換為中值閾值位圖（MTB）。 圖像的 MTB 生成方式為將比中值亮度的更亮的分配為 1，其余為 0。 MTB 不隨曝光時間的改變而改變。 因此不需要我們指定曝光時間就可以對齊 MTB。
基于 MTB 的對齊方式的代碼如下。
C++
// 對齊輸入圖像Ptr<AlignMTB> alignMTB = createAlignMTB();alignMTB->process(images, images);
Python
# 對齊輸入圖像alignMTB = cv2.createAlignMTB()alignMTB.process(images, images)
第 3 步：提取相機(jī)響應(yīng)函數(shù)
典型相機(jī)的響應(yīng)與場景亮度不成線性關(guān)系。 那是什么意思呢？ 假設(shè)有兩個物體由同一個相機(jī)拍攝，在現(xiàn)實世界中其中一個物體是另一個物體亮度的兩倍。 當(dāng)您測量照片中兩個物體的像素亮度時，較亮物體的像素值將不會是較暗物體的兩倍。 在不估計相機(jī)響應(yīng)函數(shù)（CRF）的情況下，我們將無法將圖像合并到一個HDR圖像中。
將多個曝光圖像合并為 HDR 圖像意味著什么？
只考慮圖像的某個位置 (x,y) 一個像素。 如果 CRF 是線性的，則像素值將直接與曝光時間成比例，除非像素在特定圖像中太暗（即接近 0）或太亮（即接近 255）。 我們可以過濾出這些不好的像素（太暗或太亮），并且將像素值除以曝光時間來估計像素的亮度，然后在像素不差的（太暗或太亮）所有圖像上對亮度值取平均。我們可以對所有像素進(jìn)行這樣的處理，并通過對“好”像素進(jìn)行平均來獲得所有像素的單張圖像。
但是 CRF 不是線性的， 我們需要評估 CRF 把圖像強(qiáng)度變成線性，然后才能合并或者平均它們。
好消息是，如果我們知道每個圖像的曝光時間，則可以從圖像估計 CRF。 與計算機(jī)視覺中的許多問題一樣，找到 CRF 的問題本質(zhì)是一個最優(yōu)解問題，其目標(biāo)是使由數(shù)據(jù)項和平滑項組成的目標(biāo)函數(shù)最小化。 這些問題通常會降維到線性最小二乘問題，這些問題可以使用奇異值分解（SVD）來解決，奇異值分解是所有線性代數(shù)包的一部分。 CRF 提取算法的細(xì)節(jié)在從照片提取高動態(tài)范圍輻射圖這篇論文中可以找到。
使用 OpenCV 的 CalibrateDebevec 或者 CalibrateRobertson 就可以用 2 行代碼找到 CRF。本篇教程中我們使用 CalibrateDebevec
C++
// 獲取圖像響應(yīng)函數(shù) (CRF)Mat responseDebevec;Ptr<CalibrateDebevec> calibrateDebevec = createCalibrateDebevec();calibrateDebevec->process(images, responseDebevec, times);
Python
# 獲取圖像響應(yīng)函數(shù) (CRF)calibrateDebevec = cv2.createCalibrateDebevec()responseDebevec = calibrateDebevec.process(images, times)
下圖顯示了使用紅綠藍(lán)通道的圖像提取的 CRF。
Camera Response Function
第 4 步：合并圖像
一旦 CRF 評估結(jié)束，我們可以使用 MergeDebevec 將曝光圖像合并成一個HDR圖像。 C++ 和 Python 代碼如下所示。
C++
// 將圖像合并為HDR線性圖像Mat hdrDebevec;Ptr<MergeDebevec> mergeDebevec = createMergeDebevec();mergeDebevec->process(images, hdrDebevec, times, responseDebevec);// 保存圖像imwrite("hdrDebevec.hdr", hdrDebevec);
Python
# 將圖像合并為HDR線性圖像mergeDebevec = cv2.createMergeDebevec()hdrDebevec = mergeDebevec.process(images, times, responseDebevec)# 保存圖像cv2.imwrite("hdrDebevec.hdr", hdrDebevec)
上面保存的 HDR 圖像可以在 Photoshop 中加載并進(jìn)行色調(diào)映射。示例圖像如下所示。
HDR Photoshop 色調(diào)映射
第 5 步：色調(diào)映射
現(xiàn)在我們已經(jīng)將我們的曝光圖像合并到一個 HDR 圖像中。 你能猜出這個圖像的最小和最大像素值嗎？ 對于黑色條件，最小值顯然為 0。 理論最大值是什么？ 無限大！ 在實踐中，不同情況下的最大值是不同的。 如果場景包含非常明亮的光源，那么最大值就會非常大。
盡管我們已經(jīng)使用多個圖像恢復(fù)了相對亮度信息，但是我們現(xiàn)在又面臨了新的挑戰(zhàn)：將這些信息保存為 24 位圖像用于顯示。
將高動態(tài)范圍（HDR）圖像轉(zhuǎn)換為 8 位單通道圖像的過程稱為色調(diào)映射。這個過程的同時還需要保留盡可能多的細(xì)節(jié)。
有幾種色調(diào)映射算法。 OpenCV 實現(xiàn)了其中的四個。 要記住的是沒有一個絕對正確的方法來做色調(diào)映射。 通常，我們希望在色調(diào)映射圖像中看到比任何一個曝光圖像更多的細(xì)節(jié)。 有時色調(diào)映射的目標(biāo)是產(chǎn)生逼真的圖像，而且往往是產(chǎn)生超現(xiàn)實圖像的目標(biāo)。 在 OpenCV 中實現(xiàn)的算法傾向于產(chǎn)生現(xiàn)實的并不那么生動的結(jié)果。
我們來看看各種選項。 以下列出了不同色調(diào)映射算法的一些常見參數(shù)。
- 伽馬：該參數(shù)通過應(yīng)用伽馬校正來壓縮動態(tài)范圍。 當(dāng)伽馬等于 1 時，不應(yīng)用修正。 小于 1 的伽瑪會使圖像變暗，而大于 1 的伽馬會使圖像變亮。
- 飽和度：該參數(shù)用于增加或減少飽和度。 飽和度高時，色彩更豐富，更濃。 飽和度值接近零，使顏色逐漸消失為灰度。
- 對比度：控制輸出圖像的對比度（即
log(maxPixelValue/minPixelValue)）。
讓我們來探索 OpenCV 中可用的四種色調(diào)映射算法。
Drago 色調(diào)映射
Drago 色調(diào)映射的參數(shù)如下所示：
createTonemapDrago(float gamma = 1.0f,float saturation = 1.0f,float bias = 0.85f)
這里，bias 是 [0, 1] 范圍內(nèi)偏差函數(shù)的值。 從 0.7 到 0.9 的值通常效果較好。 默認(rèn)值是 0.85。 有關(guān)更多技術(shù)細(xì)節(jié)，請參閱這篇論文。
C++ 和 Python 代碼如下所示。 參數(shù)是通過反復(fù)試驗獲得的。 最后的結(jié)果乘以 3 只是因為它給出了最令人滿意的結(jié)果。
C++
// 使用Drago色調(diào)映射算法獲得24位彩色圖像Mat ldrDrago;Ptr<TonemapDrago> tonemapDrago = createTonemapDrago(1.0, 0.7);tonemapDrago->process(hdrDebevec, ldrDrago);ldrDrago = 3 * ldrDrago;imwrite("ldr-Drago.jpg", ldrDrago * 255);
Python
# 使用Drago色調(diào)映射算法獲得24位彩色圖像tonemapDrago = cv2.createTonemapDrago(1.0, 0.7)ldrDrago = tonemapDrago.process(hdrDebevec)ldrDrago = 3 * ldrDragocv2.imwrite("ldr-Drago.jpg", ldrDrago * 255)
結(jié)果如下：
使用Drago算法的HDR色調(diào)映射
Durand 色調(diào)映射
Durand 色調(diào)映射的參數(shù)如下所示：
createTonemapDurand(float gamma = 1.0f,float contrast = 4.0f,float saturation = 1.0f,float sigma_space = 2.0f,float sigma_color = 2.0f);
該算法基于將圖像分解為基礎(chǔ)層和細(xì)節(jié)層。 使用稱為雙邊濾波器的邊緣保留濾波器來獲得基本層。 sigma_space 和sigma_color 是雙邊濾波器的參數(shù)，分別控制空間域和彩色域中的平滑量。
有關(guān)更多詳細(xì)信息，請查看這篇論文。
C++
// 使用Durand色調(diào)映射算法獲得24位彩色圖像Mat ldrDurand;Ptr<TonemapDurand> tonemapDurand = createTonemapDurand(1.5,4,1.0,1,1);tonemapDurand->process(hdrDebevec, ldrDurand);ldrDurand = 3 * ldrDurand;imwrite("ldr-Durand.jpg", ldrDurand * 255);
Python
# 使用Durand色調(diào)映射算法獲得24位彩色圖像tonemapDurand = cv2.createTonemapDurand(1.5,4,1.0,1,1)ldrDurand = tonemapDurand.process(hdrDebevec)ldrDurand = 3 * ldrDurandcv2.imwrite("ldr-Durand.jpg", ldrDurand * 255)
結(jié)果如下：
使用Durand算法的HDR色調(diào)映射
Reinhard 色調(diào)映射
createTonemapReinhard(float gamma = 1.0f,float intensity = 0.0f,float light_adapt = 1.0f,float color_adapt = 0.0f)
intensity 參數(shù)應(yīng)在 [-8, 8] 范圍內(nèi)。 更高的亮度值會產(chǎn)生更明亮的結(jié)果。 light_adapt 控制燈光，范圍為 [0, 1]。 值 1 表示僅基于像素值的自適應(yīng)，而值 0 表示全局自適應(yīng)。 中間值可以用于兩者的加權(quán)組合。 參數(shù) color_adapt 控制色彩，范圍為 [0, 1]。 如果值被設(shè)置為 1，則通道被獨立處理，如果該值被設(shè)置為 0，則每個通道的適應(yīng)級別相同。中間值可以用于兩者的加權(quán)組合。
有關(guān)更多詳細(xì)信息，請查看這篇論文。
C++
// 使用Reinhard色調(diào)映射算法獲得24位彩色圖像Mat ldrReinhard;Ptr<TonemapReinhard> tonemapReinhard = createTonemapReinhard(1.5, 0,0,0);tonemapReinhard->process(hdrDebevec, ldrReinhard);imwrite("ldr-Reinhard.jpg", ldrReinhard * 255);
Python
# 使用Reinhard色調(diào)映射算法獲得24位彩色圖像tonemapReinhard = cv2.createTonemapReinhard(1.5, 0,0,0)ldrReinhard = tonemapReinhard.process(hdrDebevec)cv2.imwrite("ldr-Reinhard.jpg", ldrReinhard * 255)
結(jié)果如下：
使用Reinhard算法的HDR色調(diào)映射
Mantiuk 色調(diào)映射
createTonemapMantiuk(float gamma = 1.0f,float scale = 0.7f,float saturation = 1.0f)
參數(shù) scale 是對比度比例因子。 從 0.7 到 0.9 的值通常效果較好
有關(guān)更多詳細(xì)信息，請查看這篇論文。
C++
// 使用Mantiuk色調(diào)映射算法獲得24位彩色圖像Mat ldrMantiuk;Ptr<TonemapMantiuk> tonemapMantiuk = createTonemapMantiuk(2.2,0.85, 1.2);tonemapMantiuk->process(hdrDebevec, ldrMantiuk);ldrMantiuk = 3 * ldrMantiuk;imwrite("ldr-Mantiuk.jpg", ldrMantiuk * 255);
Python
# 使用Mantiuk色調(diào)映射算法獲得24位彩色圖像tonemapMantiuk = cv2.createTonemapMantiuk(2.2,0.85, 1.2)ldrMantiuk = tonemapMantiuk.process(hdrDebevec)ldrMantiuk = 3 * ldrMantiukcv2.imwrite("ldr-Mantiuk.jpg", ldrMantiuk * 255)
結(jié)果如下：
使用Mantiuk算法的HDR色調(diào)映射
