譯者 | 張怡

審校 | 梁策 孫淑娟

就像國際汽車工程師學會(SAE)對自動駕駛汽車分級一樣，為了預測人工智能系統的成本，給它們分個“級別”想必也是不錯的選擇。采用分級系統可以幫助組織計劃和準備AI系統，且隨著時間的推移，AI系統的復雜性也會不斷增加。

Photo by Hitesh Choudhary on Unsplash

設計和構建人工智能系統不是件容易事。傳統軟件的大部分成本都在部署前的開發過程中，而AI系統的大部分成本都在部署后。人工智能系統的行為不斷學習，且很可能會從最初的部署中改變。如果不持續投資數據和進行參數調整，機器學習模型會隨著時間的推移而“退化”。設計決策直接影響人工智能系統的擴展能力，其難點就是理解AI系統如何隨著時間的推移而發生變化。

在構建AI系統時，分級可以為不同AI系統的行為提供參考。進行分級并根據級別進行權衡可以幫助簡化部署后的差異。

理解系統可能會發生何種行為變化，并將其納入系統設計中是非常重要的。以下的分級框架概述了各級系統隨時間變化的主要差異，我們可以在設計和操作系統時對這些差異加以利用。不同的系統可以處于不同的級別，而對其差異有一個整體的認知可以幫助組織更好的規劃和執行。

系統的復雜性可以由其輸入(a)、輸出(b)和目標(c)的范圍來定義。

AI級別

一般來說，隨著級別的上升，成本也會增加。比如我們設想將一個運行在1級的系統提升到2級，但是系統構建的復雜性和成本也會隨著級別的上升而增加。顯然，我們的新功能應該先從一個系統行為容易理解的“低”級別開始，再逐漸增加級別——隨著級別的增加，系統的失敗案例變得越難理解。

隨著我們從傳統軟件(0級)升級到完全智能軟件(4級)，不同級別的AI系統差異明顯，極大地影響了系統成本。級別4的系統基本上可以自行維護和改進，無需內部開發團隊的任何工作。

升級是需要權衡的。例如，從1級到2級減少了持續的數據需求和定制工作，但引入了一個自我強化的偏差問題。選擇升級需要認識到新的挑戰，以及在設計AI系統時需要采取那些措施。

在系統升級過程中，其可擴展性、通用性、穩健性等均發揮關鍵作用。在第N級的項目上工作時，我們應該考慮達到第N+1級的工作成本和收益，同時應該根據自己的目標設定合適的分級，并意識到何時需要升級現有的AI系統。

0級：可靠型(傳統型)Deterministic

不需要訓練數據，不需要測試數據，不涉及學習的算法處于0級。

0級(計算機科學中的傳統算法)的最大好處是非常可靠，只要解決了問題就是最優解。在某種程度上，很多的算法(比如二分搜索)都是對數據的“自適應”。我們通常不認為排序算法是“學習”的。學習涉及到記憶——系統在過去學習的基礎上改變未來的行為。

然而，有些問題采用預先指定的算法很難解決。對于那些人類難以詮釋的問題(如語音到文本、翻譯、圖像識別、語言提示等)，它很難執行。

示例：

• 用于信用卡驗證的Luhn算法
• 基于正則表達式的系統
• 信息檢索算法，如TFIDF檢索或BM25
• 基于字典的(Dictionary-based)拼寫校正

注意：在某些情況下，可能會有少量參數需要調優。例如，ElasticSearch提供了修改BM25參數的能力(例如一鍵設置set and forget)。

Level 1：學習型Learned

靜態訓練數據，靜態測試數據。

您可以在脫機環境中訓練模型，再將訓練好的“固化”的權重部署到生產系統中。模型可能會有一個更新的節奏，但是模型運行的環境不會影響模型。

Level 1可以讓你嘗試學習和部署任何功能，但訓練數據是有限的。這是一個嘗試不同類型解決方案的演練場。此外，對一些常見的問題(如語音識別)，你可以從邊際成本遞減中獲益。

Level 1的缺點是對單個用例的定制化學習：你需要為每個用例管理訓練數據，而用例可能會隨著時間的推移而改變，因此需要不斷地添加訓練數據以保持模型的性能。這個成本是難以承受的。

示例：

• 自定義文本分類模型
• 語音到文本(聲學模型)

Level 2：自學習型Self-learning

動態+靜態訓練數據，靜態測試數據。

Level 2是使用由系統生成的訓練數據對模型進行改進的系統。在某些情況下，數據的生成是獨立于模型的。所以我們希望隨著時間的推移以及更多的數據加入模型，性能會增加;在其他情況下，模型干預會增強模型偏差，并且隨著時間的推移，表現會變得更糟。為了消除模型偏差，我們需要靜態數據集重新評估模型。

這樣來看，Level 2性能似乎可以隨著時間的推移而自動提高。但是如果不加以管理，系統可能會隨著數據的增加變得更糟。因為本質上依賴于靜態數據集(一開始生成自己模型的訓練數據)，處于Level 2的系統改進能力有限，而要解決這種模型偏差很有挑戰性。

示例：

• Naive垃圾郵件過濾器
• 語音-文本模型(語言模型)

Level 3：自動型Autonomous (or self-correcting)

動態訓練數據，動態測試數據。

Level 3系統既能改變人類的行為(例如建議一個操作并讓用戶選擇)，又能直接從該用戶行為中學習(例如用戶的選擇偏好)。從2級升級到3級意味著系統的可靠性和總體可實現性能將大幅提高。

相較于Level 2，Level 3，系統可以隨著時間的推移而改善。當然，它也更加復雜。它可能需要真正驚人的數據量，或者非常精心的設計，才能比簡單的系統做得更好;但是它適應環境的能力也使測試非常困難，甚至可能出現災難性的惡性循環。例如，測試人員糾正一個垃圾郵件過濾器——雖然人類只糾正了系統所做的錯誤分類，但是系統意識到其所有預測可能都是錯誤的(過于敏感)，并將自己的預測整個顛倒過來。

Level 4：智能型Intelligent (or globally optimizing)

動態訓練數據，動態測試數據，動態目標。

Level 4是既能與環境動態交互又能全局優化的系統。例如，AutoSuggest模型并不優化當前方法，而是優化一系列事件以達到最佳的對話框的目標。

雖然如何實現還有漫長的探索之路要走，Level 4的前景確實一片光明。精準定位問題，引入獎勵與懲罰機制，評估模型的行為，這些都是重大而艱巨的任務。

附錄：

原文鏈接：https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html

譯者介紹

張怡，51CTO社區編輯，中級工程師。主要研究人工智能算法實現以及場景應用，對機器學習算法和自動控制算法有所了解和掌握，并將持續關注國內外人工智能技術的發展動態，特別是人工智能技術在智能網聯汽車、智能家居等領域的具體實現及其應用。