人工智能輔助的機器驅動數據自動標注方法
用于對象檢測、對象識別和分割任務的自動注釋解決方案。
你好，朋友們。在這篇博客文章中，我想分享我們在使用人工智能技術自主生成數據標簽方面所做的工作。
我們的全文可在此處獲得-https://lnkd.in/gJDKQCY https://lnkd.in/gJDKQCY
在我們了解我們的方法之前，首先讓我們了解一下外行術語中的數據標簽是什么。在機器學習中，數據標簽只是識別原始數據(圖像、視頻、音頻文件、文本文件等)并添加一個或多個有意義的和信息豐富的標簽以提供上下文的過程，以便機器學習模型可以從中學習和推斷。大多數最先進的機器學習模型高度依賴于大量標記數據的可用性，這是監督任務中的一個重要步驟。各種用例都需要數據標簽，包括計算機視覺、自然語言處理和語音識別。傳統上，這一乏味而平凡的數據標注過程很大程度上是由人類完成的。為了幫助人類最大限度地減少從頭開始的瘋狂的數據標記工作和努力，我們建議一種自動化的算法解決方案，旨在減少大量的人工工作。讓我們來看一下這樣的標簽數據實際需要的位置的引用。在這里，我將談談計算機視覺任務。計算機視覺簡單地說就是復制人類視覺(人眼視覺)的復雜性，以及對周圍環境的理解。計算機視覺任務包括用于獲取、處理、分析和理解數字圖像的方法，以及從真實世界提取高維數據以便產生例如以決策形式的數字或符號信息的方法。在計算機視覺領域，有許多不同的任務。我不會深入討論它們的細節，例如分類、檢測、分割等。但是，下面的圖表提供了這些任務的簡明概述和目標，并提供了一個上下文中對象的示例-“香蕉”。
標記數據的上下文需求示例
為了監督模型檢測對象–“香蕉”，注釋的標簽被饋送給模型，使得它可以學習香蕉像素的表示，并且將它們定位在上下文中，然后可以使用該上下文來推斷未見/新的數據。實例分割任務的目的是檢測對象，定位這些對象，并提供它們的數量、大小和形狀信息。我們使用了這樣一種最先進的實例細分模型-“Mask R-CNN”作為我們框架的核心骨干，但是這里可以根據他們的需求和目標使用任何其他的網絡體系結構。我們堅持使用掩模R-CNN，因為它在檢測圖像中的目標的同時為每個目標生成高質量的分割掩模。對于我們檢測COVID感染的特定測試用例來說，感染區域的精確定位是至關重要的，因此像素級檢測在這種情況下更合適。
我們的方法
我們的工具流水線如下所示，主要由探測器跟蹤器、自動標簽模塊和將機器標注標簽輸出并保存到磁盤的I/O模塊組成。
步驟1：-目標檢測和跟蹤以進行像素級分類
自定義弱訓練MASK-RCNN模型用于檢測COVID感染，標記實例很少(<10個樣本)。為了標記感染區域，我們使用了VIA(VIA)圖像標注工具。它是一款簡單而獨立的圖像、音頻和視頻手動注釋軟件。VIA在Web瀏覽器中運行，不需要任何安裝或設置。完整的VIA軟件可以安裝在單個獨立的HTML頁面中，該頁面的大小小于400KB，在大多數現代Web瀏覽器中作為離線應用程序運行。VIA是一個完全基于HTML、Javascript和CSS(不依賴外部庫)的開源項目。VIA是由視覺幾何集團(VGG)開發的，并根據BSD-2條款許可發布，這使得它既可用于學術項目，也可用于商業應用。檢測器用于獲取定位的掩碼、邊界框和類。其次，采用中心跟蹤算法對輸入視頻數據流上的多個感染區域進行統一跟蹤和標記。下面給出了我們的MASK-RCNN Covid探測器的一個片段。 第2步：-逐幀標記數據 來自預先訓練的檢測器模型的推斷被用來獲得邊界框的位置，并創建JSON元數據。一旦使用Mask-RCNN分割幀，就會生成相應的感興趣區域(ROI)。此外，生成每個ROI的掩碼，然后在整個圖像幀上進行輪廓檢測。然后，從等高線中提取(x，y)坐標。最后，這些形狀、區域和坐標屬性逐幀保存到磁盤。下面給出了我們的自動標記算法的片段。 示例-冠狀病毒感染檢測和自動標記 我們測試了我們的方法，目標是為Covid感染區域生成自動計算機標簽。機器生成標簽和人工注釋標簽的結果如下所示。可以看出，自動注釋引擎生成可用于重新訓練對象檢測模型或生成可用于不同任務的更多注釋數據的合成標簽的相當好的質量。
摘要
數據標注是一項不平凡的任務，也是有監督學習管道的關鍵組成部分之一。這是一項需要大量手工工作的任務。那么，我們可以讓這些平凡、勞力密集和耗時的大部分工作由機器自動驅動，目的是將大量的人類任務降到最低。我們用直觀的方法關注這一普遍存在的問題，以在很大程度上緩解標簽有限或需要自己從頭開始標記大量實例的瓶頸。
注意：-我們的工具目前處于阿爾法測試階段。目前，我們設計的框架是基于MASK R-CNN和VIA注釋格式的。我們還打算推廣我們的原型，使其包含不同的最新檢測器，例如YOLO和相應的YOLO兼容注釋格式。此外，我們還計劃集成COCO注釋格式。它值得集成所有不同的圖像注釋作為我們框架的一部分，同時為工具提供不同的庫，即Torch、TensorFlow、Caffe等。
