邊緣正在銳化。如果有關注人工智能(AI)的討論，就會發現有幾個主題推動著人工智能的發展。雖然生成式人工智能憑借其通過使用大型語言模型(LLM)得出推理智能的類人能力，而成為眾人矚目的焦點，但現在將人工智能應用于物聯網(IoT)中的智能設備的方式也被認為是成熟的。

邊緣與物聯網

這是物聯網內部的計算，因此這就是“邊緣”計算。雖然物聯網和邊緣這兩個術語經常互換使用，但必須澄清說明一下，物聯網是設備所在的地方，而邊緣計算是在設備上發生的事情。為了進一步定義，物聯網設備通常需要連接到互聯網才能工作，而邊緣設備可能在其生命周期的大部分時間里都處于斷開連接狀態，只是偶爾連接到互聯網用于處理的云數據中心。

為邊緣應用創建硬件需要考慮特定的計算性能、功耗和經濟條件的全新設計。考慮到這些核心動態，IT行業一直在努力讓邊緣計算變得更好。

物聯網的規模

到2030年，預計將有超過1250億個物聯網設備連接到互聯網，從智能手機到攝影頭，再到智能家居設備等。這些設備中的每一個都將產生大量用于分析的數據，其中80%以視頻和圖像的形式存在。到目前為止，盡管已知道物聯網中存在大量數據，即使有與云的連接，但也只分析了其中的一小部分數據。

對隱私、安全和帶寬的日益關注，導致數據在更接近其來源的地方進行處理，即在物聯網的邊緣。那么，人工智能有什么作用呢?目前，人工智能技術主要是為云計算運營而設計的，云計算不像邊緣設備那樣具有成本、功耗和可擴展性限制。人工智能邊緣專家Axelera AI認為其可以提供幫助。該企業的Metis AI平臺本月已進入早期訪問階段，用于開發先進的邊緣人工智能原生硬件和軟件解決方案。

Axelera AI聯合創始人兼首席執行官Fabrizio Del Maffeo表示：“Metis AI平臺提供實用的邊緣人工智推理解決方案，滿足開發下一代計算機視覺應用的企業的需求。人工智能原生的集成硬件和軟件解決方案簡化了實際部署，提供了用戶友好的開發和集成路徑。其采用PCIe卡和視覺就緒系統等行業標準外形，簡化了人工智能與業務應用的集成，滿足當今的市場需求。“

什么是數據流技術?

該平臺的核心是Metis人工智能處理單元(AIPU)，其基于專有的數字內存計算技術(D-IMC)和具有“數據流”技術的RISC-V。正如Maxeler Technologies提醒的那樣：“數據流計算機專注于優化應用中的數據移動，并利用數千個微小‘數據流核心’之間的大規模并行性，在性能、空間和功耗方面提供數量級的優勢。”

Del Maffeo和團隊聲稱AIPU提供業界領先的性能、可用性和效率，而成本僅為現有解決方案的一小部分。該技術可針對不斷增長的部署項目進行擴展，并且該企業的嵌入式安全引擎通過加密保護數據和信息，確保敏感生物識別數據的安全。

該技術集成到AI加速卡、AI加速板和AI加速視覺就緒系統中，可供公眾使用。這使得中小型企業能夠加快采用速度并簡化現場安裝。使用Metis AIPU開發的名為Voyager的即點即用軟件開發套件(SDK)，為計算機視覺應用和自然語言處理(NLP)提供了易于使用的用戶友好型神經網絡，其旨在將人工智能集成到設備中。

Del Maffeo解釋道：“Voyager SDK為開發人員提供了一種快速、簡單的方法，為Axelera AI的Metis AI平臺構建功能強大的高性能應用。開發人員在一個簡單的YAML配置文件中，以聲明方式描述其端到端管道，其中可以包括一個或多個深度學習模型以及多個非神經預處理和后處理元素。SDK工具鏈自動編譯和部署Metis AI平臺管道中的模型，并將預處理和后處理組件分配給主機上的可用計算元素，例如CPU、嵌入式GPU或媒體加速器。”

作為消費者，我們最初可能沒有意識到計算能力正在得到這種渦輪增壓。因為，沒有一個普通用戶會思考這些操作是否涉及使用32位浮點數據的機器學習網絡，以使用標準反向傳播技術對人工智能模型進行精確訓練。

這里需要了解的一點是，人工智能模型通常使用強大、昂貴、耗能的圖形處理單元(GPU)在云數據中心中進行訓練，并且在過去，這些模型經常直接用于同一硬件上的推理。Axelera AI的建議是，不再需要此類硬件來實現高推理精度，而當今的挑戰是，如何有效地將這些模型部署到在網絡邊緣運行的成本較低、功耗受限的設備。

邊緣將繼續變得更智能、更銳利和更大，我們需確保能夠控制這種新型設備智能，使其發揮最大效率。