YOLO-NAS：最高效的目標檢測算法之一
作者：小R
我們使用新發(fā)布的YOLO-NAS模型執(zhí)行了圖像和視頻上的初始目標檢測任務(wù)。你可以使用自定義數(shù)據(jù)集來對該模型進行微調(diào)，以提高其在某些對象上的性能。
YOLO-NAS目標檢測
介紹
YOLO（You Only Look Once）是一種目標檢測算法，它使用深度神經(jīng)網(wǎng)絡(luò)模型，特別是卷積神經(jīng)網(wǎng)絡(luò)，來實時檢測和分類對象。該算法首次在2016年的論文《You Only Look Once：統(tǒng)一的實時目標檢測》被提出。自發(fā)布以來，由于其高準確性和速度，YOLO已成為目標檢測和分類任務(wù)中最受歡迎的算法之一。它在各種目標檢測基準測試中實現(xiàn)了最先進的性能。
YOLO架構(gòu)
就在2023年5月的第一周，YOLO-NAS模型被引入到機器學習領(lǐng)域，它擁有無與倫比的精度和速度，超越了其他模型如YOLOv7和YOLOv8。
YOLO-NAS與其他模型對比
YOLO-NAS模型是在COCO和Objects365等數(shù)據(jù)集上進行預(yù)訓練的，這使得它適用于現(xiàn)實世界的應(yīng)用。它目前可以在Deci的SuperGradients上使用，這是一個基于PyTorch的庫，包含近40個預(yù)訓練模型，用于執(zhí)行不同的計算機視覺任務(wù)，如分類、檢測、分割等。
那么，讓我們開始安裝SuperGradients庫，以便開始使用YOLO-NAS吧！
# Installing supergradients lib
!pip install super-gradients==3.1.0導(dǎo)入和加載YOLO-NAS
#importing models from supergradients' training module
from super_gradients.training import models下一步是初始化模型。YOLO-NAS有不同的模型可供選擇，對于本文，我們將使用 yolo_nas_l，其中pretrained_weights = 'coco'。
你可以在這個GitHub頁面上獲取有關(guān)不同模型的更多信息。
# Initializing model
yolo_nas = models.get("yolo_nas_l", pretrained_weights = "coco")模型架構(gòu)
在下面的代碼單元格中，我們使用torchinfo的summary來獲取YOLO-NAS的架構(gòu)，這對于深入了解模型的運作方式非常有用。
# Yolo NAS architecture
!pip install torchinfo
from torchinfo import summary
summary(model = yolo_nas,
input_size = (16,3,640,640),
col_names = ['input_size',
'output_size',
'num_params',
'trainable'],
col_width = 20,
row_settings = ['var_names'])=================================================================================================================================================
Layer (type (var_name)) Input Shape Output Shape Param # Trainable
=================================================================================================================================================
YoloNAS_L (YoloNAS_L) [16, 3, 640, 640] [16, 8400, 4] -- True
├─NStageBackbone (backbone) [16, 3, 640, 640] [16, 96, 160, 160] -- True
│ └─YoloNASStem (stem) [16, 3, 640, 640] [16, 48, 320, 320] -- True
│ │ └─QARepVGGBlock (conv) [16, 3, 640, 640] [16, 48, 320, 320] 3,024 True
│ └─YoloNASStage (stage1) [16, 48, 320, 320] [16, 96, 160, 160] -- True
│ │ └─QARepVGGBlock (downsample) [16, 48, 320, 320] [16, 96, 160, 160] 88,128 True
│ │ └─YoloNASCSPLayer (blocks) [16, 96, 160, 160] [16, 96, 160, 160] 758,594 True
│ └─YoloNASStage (stage2) [16, 96, 160, 160] [16, 192, 80, 80] -- True
│ │ └─QARepVGGBlock (downsample) [16, 96, 160, 160] [16, 192, 80, 80] 351,360 True
│ │ └─YoloNASCSPLayer (blocks) [16, 192, 80, 80] [16, 192, 80, 80] 2,045,315 True
│ └─YoloNASStage (stage3) [16, 192, 80, 80] [16, 384, 40, 40] -- True
│ │ └─QARepVGGBlock (downsample) [16, 192, 80, 80] [16, 384, 40, 40] 1,403,136 True
│ │ └─YoloNASCSPLayer (blocks) [16, 384, 40, 40] [16, 384, 40, 40] 13,353,733 True
│ └─YoloNASStage (stage4) [16, 384, 40, 40] [16, 768, 20, 20] -- True
│ │ └─QARepVGGBlock (downsample) [16, 384, 40, 40] [16, 768, 20, 20] 5,607,936 True
│ │ └─YoloNASCSPLayer (blocks) [16, 768, 20, 20] [16, 768, 20, 20] 22,298,114 True
│ └─SPP (context_module) [16, 768, 20, 20] [16, 768, 20, 20] -- True
│ │ └─Conv (cv1) [16, 768, 20, 20] [16, 384, 20, 20] 295,680 True
│ │ └─ModuleList (m) -- -- -- --
│ │ └─Conv (cv2) [16, 1536, 20, 20] [16, 768, 20, 20] 1,181,184 True
├─YoloNASPANNeckWithC2 (neck) [16, 96, 160, 160] [16, 96, 80, 80] -- True
│ └─YoloNASUpStage (neck1) [16, 768, 20, 20] [16, 192, 20, 20] -- True
│ │ └─Conv (reduce_skip1) [16, 384, 40, 40] [16, 192, 40, 40] 74,112 True
│ │ └─Conv (reduce_skip2) [16, 192, 80, 80] [16, 192, 80, 80] 37,248 True
│ │ └─Conv (downsample) [16, 192, 80, 80] [16, 192, 40, 40] 332,160 True
│ │ └─Conv (conv) [16, 768, 20, 20] [16, 192, 20, 20] 147,840 True
│ │ └─ConvTranspose2d (upsample) [16, 192, 20, 20] [16, 192, 40, 40] 147,648 True
│ │ └─Conv (reduce_after_concat) [16, 576, 40, 40] [16, 192, 40, 40] 110,976 True
│ │ └─YoloNASCSPLayer (blocks) [16, 192, 40, 40] [16, 192, 40, 40] 2,595,716 True
│ └─YoloNASUpStage (neck2) [16, 192, 40, 40] [16, 96, 40, 40] -- True
│ │ └─Conv (reduce_skip1) [16, 192, 80, 80] [16, 96, 80, 80] 18,624 True
│ │ └─Conv (reduce_skip2) [16, 96, 160, 160] [16, 96, 160, 160] 9,408 True
│ │ └─Conv (downsample) [16, 96, 160, 160] [16, 96, 80, 80] 83,136 True
│ │ └─Conv (conv) [16, 192, 40, 40] [16, 96, 40, 40] 18,624 True
│ │ └─ConvTranspose2d (upsample) [16, 96, 40, 40] [16, 96, 80, 80] 36,960 True
│ │ └─Conv (reduce_after_concat) [16, 288, 80, 80] [16, 96, 80, 80] 27,840 True
│ │ └─YoloNASCSPLayer (blocks) [16, 96, 80, 80] [16, 96, 80, 80] 2,546,372 True
│ └─YoloNASDownStage (neck3) [16, 96, 80, 80] [16, 192, 40, 40] -- True
│ │ └─Conv (conv) [16, 96, 80, 80] [16, 96, 40, 40] 83,136 True
│ │ └─YoloNASCSPLayer (blocks) [16, 192, 40, 40] [16, 192, 40, 40] 1,280,900 True
│ └─YoloNASDownStage (neck4) [16, 192, 40, 40] [16, 384, 20, 20] -- True
│ │ └─Conv (conv) [16, 192, 40, 40] [16, 192, 20, 20] 332,160 True
│ │ └─YoloNASCSPLayer (blocks) [16, 384, 20, 20] [16, 384, 20, 20] 5,117,700 True
├─NDFLHeads (heads) [16, 96, 80, 80] [16, 8400, 4] -- True
│ └─YoloNASDFLHead (head1) [16, 96, 80, 80] [16, 68, 80, 80] -- True
│ │ └─ConvBNReLU (stem) [16, 96, 80, 80] [16, 128, 80, 80] 12,544 True
│ │ └─Sequential (cls_convs) [16, 128, 80, 80] [16, 128, 80, 80] 147,712 True
│ │ └─Conv2d (cls_pred) [16, 128, 80, 80] [16, 80, 80, 80] 10,320 True
│ │ └─Sequential (reg_convs) [16, 128, 80, 80] [16, 128, 80, 80] 147,712 True
│ │ └─Conv2d (reg_pred) [16, 128, 80, 80] [16, 68, 80, 80] 8,772 True
│ └─YoloNASDFLHead (head2) [16, 192, 40, 40] [16, 68, 40, 40] -- True
│ │ └─ConvBNReLU (stem) [16, 192, 40, 40] [16, 256, 40, 40] 49,664 True
│ │ └─Sequential (cls_convs) [16, 256, 40, 40] [16, 256, 40, 40] 590,336 True
│ │ └─Conv2d (cls_pred) [16, 256, 40, 40] [16, 80, 40, 40] 20,560 True
│ │ └─Sequential (reg_convs) [16, 256, 40, 40] [16, 256, 40, 40] 590,336 True
│ │ └─Conv2d (reg_pred) [16, 256, 40, 40] [16, 68, 40, 40] 17,476 True
│ └─YoloNASDFLHead (head3) [16, 384, 20, 20] [16, 68, 20, 20] -- True
│ │ └─ConvBNReLU (stem) [16, 384, 20, 20] [16, 512, 20, 20] 197,632 True
│ │ └─Sequential (cls_convs) [16, 512, 20, 20] [16, 512, 20, 20] 2,360,320 True
│ │ └─Conv2d (cls_pred) [16, 512, 20, 20] [16, 80, 20, 20] 41,040 True
│ │ └─Sequential (reg_convs) [16, 512, 20, 20] [16, 512, 20, 20] 2,360,320 True
│ │ └─Conv2d (reg_pred) [16, 512, 20, 20] [16, 68, 20, 20] 34,884 True
=================================================================================================================================================
Total params: 66,976,392
Trainable params: 66,976,392
Non-trainable params: 0
Total mult-adds (T): 1.04
=================================================================================================================================================
Input size (MB): 78.64
Forward/backward pass size (MB): 27238.60
Params size (MB): 178.12
Estimated Total Size (MB): 27495.37
=================================================================================================================================================圖像上的目標檢測
現(xiàn)在我們可以測試模型在不同圖像上檢測對象的能力。
在下面的代碼中，我們初始化了一個名為image的變量，該變量接收包含圖像的URL。然后，我們可以使用predict和show方法來顯示帶有模型預(yù)測的圖像。
image = "https://i.pinimg.com/736x/b4/29/48/b42948ef9202399f13d6e6b3b8330b20.jpg"
yolo_nas.predict(image).show()
yolo_nas.predict(image).show()
在上面的圖像中，我們可以看到為每個對象做出的檢測以及模型對其自身預(yù)測的置信度分數(shù)。例如，我們可以看到模型對地板上的白色物體是一個杯子有97%的置信度。然而，這個圖像中有許多對象，我們可以看到模型將任天堂64游戲主機誤認為是一輛汽車。
我們可以通過使用conf參數(shù)來改善結(jié)果，該參數(shù)用作檢測的閾值。例如，我們可以將此值更改為conf = 0.50，以便模型僅顯示置信度高于50%的檢測。讓我們試一試。
image = "https://i.pinimg.com/736x/b4/29/48/b42948ef9202399f13d6e6b3b8330b20.jpg"
yolo_nas.predict(image, conf = 0.50).show()
YOLO-NAS: Object Detection on Image
現(xiàn)在，模型只顯示在其檢測中至少有50%置信度的對象，這些對象是杯子、電視和遙控器。
我們可以測試更多圖像。
YOLO-NAS: Object Detection on Image
在視頻上進行目標檢測
我們還可以使用YOLO-NAS模型在視頻上執(zhí)行實時目標檢測！
在下面的代碼中，我使用IPython庫中的YouTubeVideo模塊選擇并保存任何我喜歡的YouTube視頻。
from IPython.display import YouTubeVideo # Importing YouTubeVideo from IPython's display modulevideo_id = "VtK2ZMlcCQU" # Selecting video ID
video = YouTubeVideo(video_id) # Loading video
display(video) # Displaying video現(xiàn)在我們已經(jīng)選擇了一個視頻，我們將使用youtube-dl庫以.mp4格式下載視頻。
完成后，我們將視頻保存到input_video_path變量，該變量將作為我們的模型執(zhí)行檢測的輸入。
# Downloading video
video_url = f'https://www.youtube.com/watch?v={video_id}'
!pip install -U "git+https://github.com/ytdl-org/youtube-dl.git"
!python -m youtube_dl -f 'bestvideo[ext=mp4]+bestaudio[ext=m4a]/mp4' "$video_url"
print('Video downloaded')
# Selecting input and output paths
input_video_path = f"/kaggle/working/Golf Rehab 'Short Game' Commercial-VtK2ZMlcCQU.mp4"
output_video_path = "detections.mp4"然后，我們導(dǎo)入PyTorch并啟用GPU。
import torch
device = 'cuda' if torch.cuda.is_available() else "cpu"然后，我們使用to()方法在GPU上運行YOLO-NAS模型，并使用predict()方法在input_video_path變量中存儲的視頻上執(zhí)行預(yù)測。save()方法用于保存帶有檢測結(jié)果的視頻，保存路徑由output_video_path指定。
yolo_nas.to(device).predict(input_video_path).save(output_video_path) # Running predictions on videoVideo downloadedPredicting Video: 100%|██████████| 900/900 [33:15<00:00, 2.22s/it]完成后，我們再次使用IPython來顯示一個包含以.gif格式下載的視頻的.gif文件，以便在此Kaggle筆記本中查看。
from IPython.display import Image
with open('/kaggle/input/detection-gif/detections.gif','rb') as f:
display(Image(data=f.read(), format='png'))結(jié)論
我們使用新發(fā)布的YOLO-NAS模型執(zhí)行了圖像和視頻上的初始目標檢測任務(wù)。你可以使用自定義數(shù)據(jù)集來對該模型進行微調(diào)，以提高其在某些對象上的性能。
責任編輯：趙寧寧
來源：
小白玩轉(zhuǎn)Python
