騰訊AI Lab正式開源業內大規模多標簽圖像數據集
騰訊 AI Lab 宣布正式開源“Tencent ML-Images”項目，該項目由多標簽圖像數據集 ML-Images，以及業內目前同類深度學習模型中精度***的深度殘差網絡 ResNet-101 構成。
該項目的開源，是騰訊 AI Lab 在計算機視覺領域所累積的基礎能力的一次釋放，為人工智能領域的科研人員和工程師提供了充足的高質量訓練數據，及簡單易用、性能強大的深度學習模型，促進人工智能行業共同發展。
項目訪問地址:
https://github.com/Tencent/tencent-ml-images
騰訊 AI Lab 此次公布的圖像數據集 ML-Images，包含了 1800 萬圖像和 1.1 萬多種常見物體類別，在業內已公開的多標簽圖像數據集中規模***，足以滿足一般科研機構及中小企業的使用場景。此外，基于 ML-Images 訓練得到的深度殘差網絡 ResNet-101，具有優異的視覺表示能力和泛化性能，在當前業內同類模型中精度***，將為包括圖像、視頻等在內的視覺任務提供強大支撐，并助力圖像分類、物體檢測、物體跟蹤、語義分割等技術水平的提升。
本次正式開源，其主要內容包括：
1、ML-Images 數據集的全部圖像 URLs,以及相應的類別標注。因原始圖像版權問題，此次開源將不直接提供原始圖像，用戶可利用騰訊 AI Lab 提供的下載代碼和 URLs 自行下載圖像。
2、ML-Images 數據集的詳細介紹。包括圖像來源、圖像數量、類別數量、類別的語義標簽體系、標注方法，以及圖像的標注數量等統計量。
3、完整的代碼和模型。騰訊 AI Lab 提供的代碼涵蓋從圖像下載和圖像預處理，到基于 ML-Images 的預訓練和基于 ImageNet 的遷移學習，再到基于訓練所得模型的圖像特征提取的完整流程。項目提供了基于小數據集的訓練示例，以方便用戶快速體驗該訓練流程。項目還提供了具有極高精度的 ResNet-101 模型(在單標簽基準數據集 ImageNet 的驗證集上的 top-1 精度為 80.73%)。用戶可根據自身需求，隨意選用該項目的代碼或模型。
以深度神經網絡為典型代表的深度學習技術已經在很多領域充分展現出其優異的能力，尤其是計算機視覺領域，包括圖像和視頻的分類、理解和生成等重要任務。然而，要充分發揮出深度學習的視覺表示能力，必須建立在充足的高質量訓練數據、優秀的模型結構和模型訓練方法，以及強大的的計算資源等基礎能力之上。
各大科技公司都非常重視人工智能基礎能力的建設，都建立了僅面向其內部的大型圖像數據集，例如谷歌的 JFT-300M 和 Facebook 的 Instagram 數據集。但這些數據集及其訓練得到的模型都沒有公開，對于一般的科研機構和中小企業來說，這些人工智能基礎能力有著非常高的門檻。
當前業內公開的***規模的多標簽圖像數據集是谷歌公司的 Open Images, 包含 900 萬圖像和 6000 多物體類別。騰訊 AI Lab 此次開源的 ML-Images 數據集包括 1800 萬圖像和 1.1 萬多常見物體類別，或將成為新的行業基準數據集。
此外，基于 ML-Images 訓練得到的 ResNet-101 模型，具有優異的視覺表示能力和泛化性能。通過遷移學習，該模型在 ImageNet 驗證集上取得了 80.73% 的 top-1 分類精度，超過谷歌同類模型（遷移學習模式）的精度，且值得注意的是，ML-Images 的規模僅為 JFT-300M 的約1/17。這充分說明了 ML-Images 的高質量和訓練方法的有效性。詳細對比如下表。
注：微軟 ResNet-101 模型為非遷移學習模式下訓練得到，即 1.2M 預訓練圖像為原始數據集 ImageNet 的圖像。
騰訊 AI Lab 此次開源的“Tencent ML-Images”項目，展現了騰訊在人工智能基礎能力建設方面的努力，以及希望通過基礎能力的開放促進行業共同發展的愿景。
“Tencent ML-Images”項目的深度學習模型，目前已在騰訊多項業務中發揮重要作用，如“天天快報”的圖像質量評價與推薦功能，其后臺測試的日調用量已達 1000 萬次。
如下圖所示，天天快報新聞封面圖像的質量得到明顯提高。
左圖為優化前，右圖為優化后
此外，騰訊 AI Lab 團隊還將基于 Tencent ML-Images 的 ResNet-101 模型遷移到很多其他視覺任務，包括圖像物體檢測，圖像語義分割，視頻物體分割，視頻物體跟蹤等。這些視覺遷移任務進一步驗證了該模型的強大視覺表示能力和優異的泛化性能。“Tencent ML-Images”項目未來還將在更多視覺相關的產品中發揮重要作用。
自 2016 年騰訊***在 GitHub 上發布開源項目（https://github.com/Tencent），目前已累積開源覆蓋人工智能、移動開發、小程序等領域的 57 個項目。為進一步貢獻開源社區，騰訊相繼加入 Hyperledger、LF Networking 和開放網絡基金會，并成為 LF 深度學習基金會首要創始成員及 Linux 基金會白金會員。作為騰訊“開放”戰略在技術領域的體現，騰訊開源將繼續對內推動技術研發向共享、復用和開源邁進，向外釋放騰訊研發實力，為國內外開源社區提供技術支持，注入研發活力。
