地震、颶風(fēng)和洪水等自然災(zāi)害影響著大片地區(qū)和數(shù)百萬人，而這對于后勤救援是一項巨大的挑戰(zhàn)。包括政府、非政府組織和聯(lián)合國組織在內(nèi)的危機(jī)響應(yīng)機(jī)構(gòu)，需要在災(zāi)害發(fā)生后快速而全面準(zhǔn)確的評估，以規(guī)劃如何優(yōu)化配置有限的資源。為此，能提供充足信息的工具愈發(fā)重要，如分辨率高達(dá) 0.3 米的超高分辨率 (VHR) 衛(wèi)星圖像，成為應(yīng)對危機(jī)的重要工具，可以向危機(jī)響應(yīng)機(jī)構(gòu)呈現(xiàn)災(zāi)害給地形、基礎(chǔ)設(shè)施和人口帶來的變化。

然而，要從原始衛(wèi)星圖像中提取相關(guān)的具體信息（例如，倒塌的建筑物、出現(xiàn)裂縫的橋梁以及臨時避難所的位置），仍然需要大量的人工手動操作。例如，就 2010 年海地地震而言，僅在太子港地區(qū)，分析人員就人工檢查了 90,000 多棟建筑物，并以五分制對每座建筑物遭受的破壞程度進(jìn)行了評估。

這類人工分析工作常需要專家團(tuán)隊工作數(shù)周才能完成。而實際上災(zāi)后 48-72 小時內(nèi)就迫切需要這些數(shù)據(jù)，為最緊要決定的作出提供依據(jù)。

為了幫助減輕這類自然災(zāi)害的影響，我們提出了“使用卷積神經(jīng)網(wǎng)絡(luò)在衛(wèi)星圖像中檢測建筑物損壞程度的方法 (Building Damage Detection in Satellite Imagery Using Convolutional Neural Networks)”，其中詳細(xì)介紹了一種機(jī)器學(xué)習(xí) (ML) 方法，該方法可自動處理衛(wèi)星數(shù)據(jù)從而生成建筑物損壞的評估數(shù)據(jù)，這由我們與聯(lián)合國世界糧食計劃署 (WFP) 創(chuàng)新加速器合作開發(fā)。相信這項工作將有望大幅減少危機(jī)響應(yīng)工作人員進(jìn)行災(zāi)害評估報告所需的時間和精力，進(jìn)而縮短向受災(zāi)最嚴(yán)重地區(qū)及時提供救災(zāi)援助所需的周轉(zhuǎn)時間，同時增加此類關(guān)鍵服務(wù)的總體覆蓋范圍。

•  使用卷積神經(jīng)網(wǎng)絡(luò)在衛(wèi)星圖像中檢測建筑物損壞程度的方法

https://arxiv.org/abs/1910.06444

方法

自動損失評估過程分為兩步：建筑物檢測和損失分類。

在第一個步驟中，我們使用對象檢測模型在圖像中為每個建筑物周圍繪制邊界框。然后，截取以每個檢測的建筑物為中心的災(zāi)前和災(zāi)后圖像，利用分類模型確定建筑物是否受損。

分類模型由卷積神經(jīng)網(wǎng)絡(luò)組成，在該卷積神經(jīng)網(wǎng)絡(luò)中輸入以給定建筑物為中心的兩個 RGB 圖像，大小為 161 像素 x 161 像素，對應(yīng) 50 m x 50 m 的占地面積。模型會對比災(zāi)害事件之前與之后的圖像，分析兩幅圖像中的差異，并輸出 0.0 - 1.0 范圍內(nèi)的值，其中 0.0 表示建筑物未受損，1.0 則表示建筑物受損。

由于前后的對比圖像是在不同日期、一天中的不同時間拍攝，并且在某些情況下是由不同衛(wèi)星所拍攝的，所以可能會出現(xiàn)許多不同的問題。如，圖像的亮度、對比度、色彩飽和度和照明條件可能有很大的差異，并且有時圖像中的像素可能會錯位。

為了校正顏色和亮度差異，我們使用直方圖均衡對圖像的顏色進(jìn)行歸一化。我們還通過使用標(biāo)準(zhǔn)的數(shù)據(jù)增強(qiáng)技術(shù)（如在訓(xùn)練過程中隨機(jī)干擾圖像的對比度和飽和度），讓模型對細(xì)微顏色差異更具穩(wěn)健性。

訓(xùn)練數(shù)據(jù)

這項工作的主要挑戰(zhàn)之一是收集訓(xùn)練數(shù)據(jù)集。可以使用的數(shù)據(jù)存在固有限制：因為僅有少數(shù)災(zāi)害才存在高分辨率的衛(wèi)星圖像，并且進(jìn)行災(zāi)害評估的災(zāi)害更是少之甚少。我們使用從事這一領(lǐng)域的人道主義組織（如 UNOSAT 和 REACH）手動制作且公開提供的損壞評估數(shù)據(jù)為標(biāo)簽。

我們使用對應(yīng)的的原始衛(wèi)星圖像，然后用 Google Earth Engine 在空間上將災(zāi)害評估標(biāo)簽與衛(wèi)星圖像結(jié)合起來，以生成最終的訓(xùn)練示例。用于訓(xùn)練模型的所有圖像均來自可用的商業(yè)源。

•  Google Earth Engine 

https://developers.google.com/earth-engine

圖塊示例：呈現(xiàn)了不同災(zāi)害中受損和未受損建筑物的前后對比情況

結(jié)果

我們針對近年來發(fā)生的三次大地震進(jìn)行評估：2010 年海地地震（7.0 級）、2017 年墨西哥城地震（7.1 級）和 2018 年印度尼西亞發(fā)生的一系列地震（5.9 - 7.5 級）。

對于每一次事件，我們都用受地震影響地區(qū)的一部分建筑物來訓(xùn)練模型，并用另一地區(qū)的一部分建筑物對其進(jìn)行測試。我們使用 UNOSAT 和 REACH 進(jìn)行的人類專家損壞評估作為評估的基礎(chǔ)。我們使用實際準(zhǔn)確率（與專家評估相比）和 ROC 曲線下的面積 (AUROC) 來衡量模型的質(zhì)量，AUROC 捕捉了模型的真陽性和假陽性檢測率之間的權(quán)衡，是測試數(shù)據(jù)集中陽性和陰性樣本數(shù)量不平衡時衡量質(zhì)量的一種常用方法。AUROC 值為 0.5 意味著模型的預(yù)測是隨機(jī)的，而值為 1.0 意味著模型完全準(zhǔn)確。根據(jù)危機(jī)應(yīng)對者的反饋，要在災(zāi)害發(fā)生后 72 小時內(nèi)做出初步?jīng)Q策，要求準(zhǔn)確率必須達(dá)到 70%。

根據(jù)人類專家評估數(shù)據(jù)評價模型預(yù)測（越高越好）

2010 年海地地震的模型預(yù)測示例：接近 1.0 的預(yù)測值意味著模型更確信建筑物受損。值接近于 0.0 表示建筑物未受損。閾值 0.5 通常用來區(qū)分受損/未受損的預(yù)測，但是可以對其進(jìn)行調(diào)整以控制預(yù)測的敏感程度

未來工作

雖然當(dāng)前模型在使用相同地區(qū)（例如，同一城市或國家）的建筑物進(jìn)行訓(xùn)練和測試時運行良好，但我們的最終目標(biāo)是希望模型能夠準(zhǔn)確評估世界上各地發(fā)生的災(zāi)害對建筑物的損壞程度，而不僅僅局限于與訓(xùn)練模型所用的數(shù)據(jù)類似的災(zāi)害。

這項工作充滿挑戰(zhàn)，因為來自歷史災(zāi)害的可用訓(xùn)練數(shù)據(jù)的種類存在固有限制：僅局限于少數(shù)幾個地理位置發(fā)生的事件。因此，對我們的模型而言，泛化到新地點未來可能發(fā)生的災(zāi)害仍是一個挑戰(zhàn)，也是我們目前的工作重點。我們設(shè)想建立一個可以由專家分析師進(jìn)行交互式訓(xùn)練、驗證和部署的系統(tǒng)，以便重要的援助分配決策可以始終得到經(jīng)驗豐富的災(zāi)害響應(yīng)機(jī)構(gòu)的核實。我們希望這項技術(shù)能讓社區(qū)在最需要的時候及時得到所需的幫助。