近年來，人們越來越認識到深入理解機器學習數據（ML-data）的必要性。不過，鑒于檢測大型數據集往往需要耗費大量人力物力，它在計算機視覺（computer vision）領域的廣泛應用，尚有待進一步開發。
通常，在物體檢測（Object Detection，屬于計算機視覺的一個子集）中，通過定義邊界框，來定位圖像中的物體，不僅可以識別物體，還能夠了解物體的上下文、大小、以及與場景中其他元素的關系。同時，針對類的分布、物體大小的多樣性、以及類出現的常見環境進行全面了解，也有助于在評估和調試中發現訓練模型中的錯誤模式，從而更有針對性地選擇額外的訓練數據。
在實踐中，我往往會采取如下方法：
- 利用預訓練的模型或基礎模型的增強功能，為數據添加結構。例如：創建各種圖像嵌入，并采用 t-SNE 或 UMAP 等降維技術。這些都可以生成相似性的地圖，從而方便數據的瀏覽。此外，使用預先訓練的模型進行檢測，也可以方便提取上下文。
- 使用能夠將此類結構與原始數據的統計和審查功能整合在一起的可視化工具。
下面，我將介紹如何使用Renumics Spotlight，來創建交互式的對象檢測可視化。作為示例，我將試著：
- 為圖像中的人物探測器建立可視化。
- 可視化包括相似性地圖、篩選器和統計數據，以便瀏覽數據。
- 通過地面實況（Ground Truth）和 Ultralytics YOLOv8 的檢測詳細，查看每一張圖像。
在Renumics Spotlight上的目標可視化。資料來源：作者創建
下載COCO數據集中的人物圖像
首先，通過如下命令安裝所需的軟件包：
!pip install fiftyone ultralytics renumics-spotlight利用FiftyOne的可恢復性下載功能，您可以從COCO 數據集處下載各種圖像。通過簡單的參數設置，我們即可下載包含一到多個人物的 1,000 幅圖像。具體代碼如下：
importpandasaspd
importnumpyasnp
importfiftyone.zooasfoz
# 從 COCO 數據集中下載 1000 張帶人的圖像
dataset = foz.load_zoo_dataset(
"coco-2017"、
split="validation"、
label_types=[
"detections"、
],
classes=["person"]、
max_samples=1000、
dataset_name="coco-2017-person-1k-validations"、
)接著，您可以使用如下代碼：
def xywh_too_xyxyn(bbox)：
"" convert from xywh to xyxyn format """
return[bbox[0], bbox[1], bbox[0] + bbox[2], bbox[1] + bbox[3]].
行 = []
fori, samplein enumerate(dataset)：
labels = [detection.labelfordetectioninsample.ground_truth.detections] bboxs = [...
bboxs = [
xywh_too_xyxyn(detection.bounding_box)
fordetectioninsample.ground_truth.detections
]
bboxs_persons = [bboxforbbox, labelin zip(bboxs, labels)iflabel =="person"] 行。
row.append([sample.filepath, labels, bboxs, bboxs_persons])
df = pd.DataFrame(row, columns=["filepath","categories", "bboxs", "bboxs_persons"])
df["major_category"] = df["categories"].apply(
lambdax:max(set(x) -set(["person"]), key=x.count)
if len(set(x)) >1
else "only person"。
)將數據準備為 Pandas DataFrame，其中的列包括有：文件路徑、邊框盒（bounding boxe）類別、邊框盒、邊框盒包含的人物、以及主要類別（盡管有人物），以指定圖像中人物的上下文：
然后，您可以通過 Spotlight 將其可視化：
From renumics import spotlight
spotlight.show(df)您可以使用檢查器視圖中的添加視圖按鈕，并在邊框視圖中選擇bboxs_persons和filepath，以顯示帶有圖像的相應邊框：
嵌入豐富的數據
要使得數據具有結構性，我們可以采用各種基礎模型的圖像嵌入（即：密集向量表示）。為此，您可以使用 UMAP 或 t-SNE 等進一步降維技術，將整個圖像的Vision Transformer（ViT）嵌入應用到數據集的結構化，從而提供圖像的二維相似性圖。此外，您還可以使用預訓練對象檢測器的輸出結果，按照包含對象的大小或數量，對數據進行分類，進而構建數據。由于 COCO 數據集已經提供了此方面的信息，因此我們完全可以直接使用它。
由于Spotlight 集成了對google/vit-base-patch16-224-in21k（ViT）模型和UMAP 的支持，因此當您使用文件路徑創建各種嵌入時，它將會被自動應用：
spotlight.show(df, embed=["filepath"])通過上述代碼，Spotlight 將各種嵌入進行計算，并應用 UMAP 在相似性地圖中顯示結果。其中，不同的顏色代表了主要的類別。據此，您可以使用相似性地圖來瀏覽數據：
預訓練YOLOv8的結果
可用于快速識別物體的Ultralytics YOLOv8，是一套先進的物體檢測模型。它專為快速圖像處理而設計，適用于各種實時檢測任務，特別是在被應用于大量數據時，用戶無需浪費太多的等待時間。
為此，您可以首先加載預訓練模型：
From ultralytics import YOLO
detection_model = YOLO("yolov8n.pt")并執行各種檢測：
detections = []
forfilepathindf["filepath"].tolist()：
detection = detection_model(filepath)[0]
detections.append(
{
"yolo_bboxs"：[np.array(box.xyxyn.tolist())[0]forboxindetection.boxes]、
"yolo_conf_persons": np.mean([
np.array(box.conf.tolist())[0].
forboxindetection.boxes
ifdetection.names[int(box.cls)] =="person"]), np.mean(
]),
"yolo_bboxs_persons"：[
np.array(box.xyxyn.tolist())[0]
forboxindetection.boxes
ifdetection.names[int(box.cls)] =="person
],
"yolo_categories": np.array(
[np.array(detection.names[int(box.cls)])forboxindetection.boxes], "yolo_categories": np.array(
),
}
)
df_yolo = pd.DataFrame(detections)在12gb的GeForce RTX 4070 Ti上，上述過程在不到20秒的時間內便可完成。接著，您可以將結果包含在DataFrame中，并使用Spotlight將其可視化。請參考如下代碼：
df_merged = pd.concat([df, df_yolo], axis=1)
spotlight.show(df_merged, embed=["filepath"])下一步，Spotlight將再次計算各種嵌入，并應用UMAP到相似度圖中顯示結果。不過這一次，您可以為檢測到的對象選擇模型的置信度，并使用相似度圖在置信度較低的集群中導航檢索。畢竟，鑒于這些圖像的模型是不確定的，因此它們通常有一定的相似度。
當然，上述簡短的分析也表明了，此類模型在如下場景中會遇到系統性的問題：
- 由于列車體積龐大，站在車廂外的人顯得非常渺小
- 對于巴士和其他大型車輛而言，車內的人員幾乎看不到
- 有人站在飛機的外面
- 食物的特寫圖片上有人的手或手指
您可以判斷這些問題是否真的會影響您的人員檢測目標，如果是的話，則應考慮使用額外的訓練數據，來增強數據集，以優化模型在這些特定場景中的性能。
小結
綜上所述，預訓練模型和 Spotlight 等工具的使用，可以讓我們的對象檢測可視化過程變得更加容易，進而增強數據科學的工作流程。您可以使用自己的數據去嘗試和體驗上述代碼。
譯者介紹
陳峻（Julian Chen），51CTO社區編輯，具有十多年的IT項目實施經驗，善于對內外部資源與風險實施管控，專注傳播網絡與信息安全知識與經驗。
原文標題：How to Explore and Visualize ML-Data for Object Detection in Images，作者：Markus Stoll
鏈接：https://itnext.io/how-to-explore-and-visualize-ml-data-for-object-detection-in-images-88e074f46361。
