譯者 | 核子可樂

審校 | 重樓

多模態(tài)AI能夠處理圖像、音頻和文字等多種數(shù)據(jù)形式，亦可捕捉面部表情和周遭環(huán)境細節(jié)，讓用戶與AI的日常交互變得更加輕松自然、如同與好友聊天。

2023年，多模態(tài)AI市場規(guī)模就已達到12億美元，預計自2024年至2032年期間復合年增長率將超過30%。

而顯著增長的前提，離不開訓練數(shù)據(jù)。多模態(tài)模型的準確性、穩(wěn)健性和適應性在很大程度上取決于訓練數(shù)據(jù)集的質(zhì)量、多樣性和同步性?？鐢?shù)據(jù)類型標的精確度、多感官輸入的對齊以及上下文情感標注其實相當復雜，由此建立的AI就緒數(shù)據(jù)集也成為多模態(tài)效能的關鍵保障。

與單模態(tài)數(shù)據(jù)不同，多模態(tài)數(shù)據(jù)集包含諸多隱藏挑戰(zhàn)，包括時間對齊問題以及模態(tài)間的上下文留存問題。若不能加以解決，這些挑戰(zhàn)會大大影響模型性能。

創(chuàng)建多模態(tài)訓練數(shù)據(jù)的八大核心挑戰(zhàn)

及時理解并解決多模態(tài)訓練數(shù)據(jù)挑戰(zhàn)，有助于構建可擴展、高保真的數(shù)據(jù)管線，為下一代多模態(tài)模型提供支持。

挑戰(zhàn)一：數(shù)據(jù)異構性與標準化

多模態(tài)數(shù)據(jù)集包含各種各樣的數(shù)據(jù)/信息，例如結(jié)構化文本、非結(jié)構化圖像、時間序列音頻和原始傳感器流。這些數(shù)據(jù)類型具有不同的格式、編碼、分辨率和元數(shù)據(jù)，成為統(tǒng)一數(shù)據(jù)管線構建過程中的重大隱患。若不規(guī)范化，AI 模型就無法直接運用這些模態(tài)，而現(xiàn)有的工具通常缺乏靈活性和功能來同步處理如此多樣化的輸入信息。

這種異構性會對管線的每一層產(chǎn)生負面影響。它會導致模式定義不一致，數(shù)據(jù)提取邏輯變得脆弱，存儲架構難以跨不兼容的格式進行擴展。如果沒有標準化，跨模態(tài)的協(xié)調(diào)將變得不可靠，從而直接影響訓練結(jié)果。

為了應對數(shù)據(jù)異構性的挑戰(zhàn)，我們需要聘請一家能夠規(guī)范化、對齊和注釋多模態(tài)輸入的專業(yè)服務提供商。借助跨數(shù)據(jù)類型標注和能夠支持AI的多樣化數(shù)據(jù)集服務，大家可以將原始的異構數(shù)據(jù)轉(zhuǎn)換為結(jié)構化的、機器可處理的格式。這項基本的數(shù)據(jù)工作對于創(chuàng)建強大的多模態(tài)AI管線并實現(xiàn)大規(guī)模運行至關重要。

挑戰(zhàn)二：跨模態(tài)同步與對齊

跨時間和空間的文本、音頻、圖像和傳感器信號數(shù)據(jù)流的精確對齊，可謂多模態(tài)學習的前提。典型的例子包括將視頻中的對話與面部表情同步，或?qū)⒓す饫走_數(shù)據(jù)與車輛遙測數(shù)據(jù)映射起來。若對齊不當可能會歪曲AI模型的感知，并損害其性能。

不同的捕捉速率、延遲漂移和異步信號流的精確協(xié)調(diào)加劇了這一挑戰(zhàn)。即使是輕微的不同步也會破壞上下文，并影響下游任務。在同步多傳感器標記的支持下，對多傳感器輸入進行穩(wěn)健對齊，確保時間和空間一致性，實現(xiàn)統(tǒng)一且高保真度的跨模態(tài)訓練。

挑戰(zhàn)三：上下文差別與歧義

不僅是文字，語氣、面部表情和措辭也是人類交流的一部分，但捕捉這些跨模態(tài)的細微差別信號是一項艱巨的任務。諷刺檢測就是一個典型的例子，即嘗試解讀詞匯內(nèi)容、語調(diào)變化和視覺線索。

眾所周知，這種復雜性會在情緒分析、情緒識別和意圖預測中引入主觀性。缺乏標準化的解讀會導致標注不一致，進而降低模型的可靠性。

提供跨數(shù)據(jù)類型標注的上下文情緒標注服務的專家團隊可以幫助解決這個問題。這些服務提供商確保準確捕捉跨模態(tài)信號，并充分保留可靠的多模態(tài)學習所需的語義深度。

挑戰(zhàn)四：可擴展性與數(shù)據(jù)量管理

多模態(tài)數(shù)據(jù)集本質(zhì)上非常龐大，主要包含高分辨率圖像、長音頻流和大量文本注釋，這些數(shù)據(jù)很快就會累積成TB級數(shù)據(jù)。如此復雜的數(shù)據(jù)需要合適的基礎設施和工作流程來處理。

AI和機器學習公司深知這些挑戰(zhàn)是多方面的。高效存儲異構數(shù)據(jù)、不受延遲瓶頸限制地傳輸大文件并在不影響準確性的情況下擴展注釋工作并非易事。管理數(shù)據(jù)版本控制和適應增量更新又進一步增加了管理穩(wěn)定的多模態(tài)數(shù)據(jù)管線的復雜性。

事實證明，可擴展的存儲和計算、精簡的注釋流程以及針對多模態(tài)工作流程優(yōu)化的工具是應對這一挑戰(zhàn)的重要方式。缺少這些要素，構建可持續(xù)、成規(guī)模的生產(chǎn)級AI就緒數(shù)據(jù)集將根本無法實現(xiàn)。

挑戰(zhàn)五：質(zhì)量保證和一致性

保持跨模態(tài)注釋的質(zhì)量是一項挑戰(zhàn)；然而，在創(chuàng)建多模態(tài)訓練數(shù)據(jù)時，這一挑戰(zhàn)變得更加嚴峻。畢竟單一模態(tài)中的一次錯誤標記就足以扭曲整個訓練數(shù)據(jù)集。

數(shù)據(jù)類型之間的相互作用是制定多模態(tài)任務一致準則的一大障礙。要實現(xiàn)較高的注釋者間一致性 (IAA)，需要深厚的專業(yè)知識和培訓，并輔以涵蓋文本、音頻、圖像和傳感器數(shù)據(jù)的驗證工作流程，而每種數(shù)據(jù)都有不同的指標和故障模式。

提供可靠、AI就緒且多樣化的數(shù)據(jù)集需要跨模態(tài)融合方面的專業(yè)能力，保證在錯誤進入下游模型之前將其捕捉的嚴格QA流程。

挑戰(zhàn)六：數(shù)據(jù)隱私與倫理考量

敏感的個人信息的應用，例如視頻中的人臉、可識別的語音或用于創(chuàng)建多模態(tài)訓練數(shù)據(jù)集而捕捉的生物特征傳感器數(shù)據(jù)，會對人類受試者造成嚴重的隱私和倫理問題。

根據(jù)GDPR、HIPAA、CCPA等法規(guī)，組織必須實施嚴格的匿名化協(xié)議，管理知情同意，并確保整個流程的數(shù)據(jù)處理安全。考慮到訓練數(shù)據(jù)中未解決的偏見可能會加劇已部署模型中的歧視，道德盡職調(diào)查自然至關重要。

這些合規(guī)性要求讓運營與技術復雜性更上一層樓，需要匹配嚴格的工作流程與注釋實踐。其中，隱私、透明度和公平性最為重要，同時保證數(shù)據(jù)集的實用性或保真度不致受到影響。

挑戰(zhàn)七：工具與平臺限制

大多數(shù)注釋工具都是專為圖像、視頻或文本等單模態(tài)數(shù)據(jù)構建的，因此無法滿足多模態(tài)工作流程中的復雜需求。能夠同步處理并顯示多種數(shù)據(jù)類型的平臺則相對有限，且遠不夠成熟。

這種情況導致工作流程碎片化，注釋者需要在系統(tǒng)間往來切換、手動同步輸入并協(xié)調(diào)輸出結(jié)果。這顯然會導致效率低下、標延遲和錯誤率上升，因此數(shù)據(jù)集越復雜，最終效果越差。

因此必須期待跨數(shù)據(jù)類型融合與實時標注環(huán)境的出現(xiàn)與統(tǒng)一發(fā)展，這將成為構建準確多模態(tài)數(shù)據(jù)集的必要條件。

挑戰(zhàn)八：專業(yè)知識與資源儲備

多模態(tài)標注的關鍵，在于將領域?qū)I(yè)知識、數(shù)據(jù)科學素養(yǎng)以及通過高級標注平臺處理各類數(shù)據(jù)的能力完全結(jié)合起來。只有這樣，系統(tǒng)才能查找并訓練出從數(shù)據(jù)、圖像、視頻或音頻中提取情緒基調(diào)與面部表情的能力。

由于專業(yè)人才不足，AI與機器學習企業(yè)往往面臨項目延期、標注質(zhì)量低下的問題。要克服這一挑戰(zhàn)，必須建立專門的訓練流程、質(zhì)量保證監(jiān)督以及管理完善的多學科標注人才儲備。

總結(jié)

高質(zhì)量多模態(tài)訓練數(shù)據(jù)的生成極其困難，但又是支撐強大多模態(tài)AI系統(tǒng)的必要前提。從模態(tài)同步到語義一致性，每個步驟都充滿不容忽視的技術與操作問題。

面對這些現(xiàn)實挑戰(zhàn)，與專業(yè)多模態(tài)標注提供商合作已經(jīng)成為一項戰(zhàn)略要務。依托適當?shù)娜瞬?、設備與方法，這種能力合作將建立起可擴展、高精度且符合倫理的數(shù)據(jù)管線，最終掀起下一波多模態(tài)AI浪潮。

原文標題：8 Challenges in Multimodal Training Data Creation，作者：Chirag Shivalker