什么是數據標注?

大多數數據都沒有標注是非結構化數據，而人工智能訓練需要的是計算機可以讀懂的結構化數據。帶標簽的數據，意味著標注或注釋目標模型的數據，以便可以進行訓練、預測。通常，數據標注包括數據標注、注釋、審核、分類、轉錄和處理。標注的數據是為了突出顯示某些特征，并根據這些特征對其進行分類，通過模型分析其模式以預測新的目標。

數據在人工智能項目中占用多少時間?

訓練機器學習和深度學習模型，需要豐富的數據，以便將其用于部署，訓練和調整模型。訓練機器學習和深度學習模型需要大量經過仔細標注的數據。標注原始數據并準備將其應用于機器學習模型和其他AI工作流，被稱為數據標注。根據相關統計，數據整理在AI項目中消耗了80%以上的時間。通常在一個人工智能項目中，數據的需求也分3次左右，第一次是在項目開始的驗證階段，需求數量量比較小，需要確定可行性及規則;第二次是項目正式啟動，需要大量的數據對模型進行訓練;第三次是在訓練并驗證完成后，對一些不滿意的地方進行訓練集的補充，以達到預期的目標。下圖是在人工智能機器學習項目中各個任務的時間占比。

數據標注在人工智能中的成本占比多少?

與數據相關的機器學習成本主要表現在數據集方面，包括數據集的采集、清洗、數據的標注等。Dimensional Research 代表 Alegion 所做的一項最新研究表明，所有組織中的 96%都遇到了與訓練數據質量和數量相關的問題。同一項研究表明，大多數項目需要超過 100,000 個數據樣本才能表現良好。

Dimensional Research 研究的圖表說明了公司在數據方面面臨的最常見的一些問題。

如果還沒有數據，可以假設能夠在大約一個小時內收集 5–10 個樣本并對它們進行標注。利用 亞馬遜的 Mechanical Turk 之類的服務來驗證整個項目過程，生成 100,000 個合格樣本數據集的話，花費大約為 70,000 美元。

如果已經收集了大量數據，則可以使用專業的數據標注服務公司來對其進行標注。在這種情況下，獲得 100,000 個帶有標簽的數據樣本，則可能需要花費 8,000 到 80,000 美元的費用，具體的需要取決于標注的復雜程度。

此外，檢查和校正數據樣本與生成和標注數據樣本一樣耗時。Dimensional Research 研究報告中提到，66%的公司在其數據集中遇到偏差和錯誤問題。有些公司選擇采用完整的內部方法(自己做所有標注)，也有一些公司會選擇外包和內部混合使用。第二種常見的情況是將大部分工作外包，然后由公司個別人員負責驗證和清理。外包 10 萬個數據樣本的初始成本可能會增加大約 2500 至 5,000 美元。

除了數據成本外，還有算法人工成本、算力設備成本、項目落地成本。除去附加項成本和一系列功耗所帶來的成本，機器學習項目可能會使公司花費 51,750 美元至 136,750 美元(不包括難以確定的其他成本)。價格差異主要是由數據的決定的。這是一個非常樂觀的估計。如果企業位于美國，并且使用的是優質的數據(自由職業者不會這樣做)，則與人才相關的費用將激增，使人工智能機器學習項目的費用超過 108,500 美元。

這樣高昂的價格使想要解決新問題或讓其流程自動化。決策的個人、小型團隊和初創企業無法使承擔。

數據處理中最難的是什么?

最艱難的步驟是第一步：獲取數據。沒有數據，幾乎不可能在研究階段驗證機器學習解決方案，從而導致項目進度幾乎無法進行。

隨著工業、醫療、安防、教育、金融等領域意識到未來人工智能對于行業改變的重要性，都紛紛入局開發自己的人工智能應用，但是隨著這些領域越來越重視數據保密性及數據的安全性，這些因素都可能會導致人工智能研究的私有化。人工智能逐漸趨于私有化確是事實，在這個大環境之下，數據標注服務、訓練模型平臺、算力設備等都已經研究出各自的私有化部署的解決方案。