本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

不知道你們有沒有這樣一種感覺，芯片性能要遇上瓶頸了。

光就芯片制程來看，從7nm卷到5nm再卷到3nm，已經越來越逼近摩爾極限。

于是，不少廠商開始試著用AI給芯片性能提供靈感，從神經擬態到用AI設計芯片，各種技術路線都有人在嘗試。

這種情況下，哪些新AI技術最可能被應用到下一代芯片當中？

對此，我們采訪了一下高通工程技術副總裁侯紀磊。

侯紀磊博士畢業于加州大學圣迭戈分校，在高通已經工作了19年，目前是高通公司AI研究項目負責人，負責高通AI研究（Qualcomm AI Research）的技術創新規劃。

在采訪中，侯博士分享了高通AI研究在基礎、平臺和應用三個研究方向的一些首創技術成果。

其中，基礎研究主要針對前沿性、基礎性的AI技術進行研究，例如神經壓縮和AI+量子計算相關領域的探索；

平臺研究則主要是從平臺能力和創新的角度，推動AI技術的發展并提升能效、進行端側學習，例如量化技術和聯邦學習；

應用研究包括移動端視頻AI技術和3D+AI技術等，涵蓋智能手機、XR、自動駕駛等各個行業應用領域的技術研究。

同時，侯博士還分享了不少“AI落地狂魔”高通，將AI技術快速應用到芯片上的秘訣。一起來看看。

芯片廠商悄悄研發這些新AI

雖然高通最廣為人知的AI技術是量化，不過要看最新的技術，還得從高通AI研究的頂會論文中去找。

從論文來看，高通相對著重的AI基礎技術可能是以下四個方向：神經增強、弱監督學習、神經推理和量子AI。

先來看看神經增強（neural augmentation）技術，目前高通已經將之用到了無線通信中。

平時處理無線通信信號主要有兩種方法，一種是用傳統濾波器搞一套公式出來，另一種是用AI直接訓練并預測結果，前者精度不高，后者訓練數據量太大。

高通選擇將二者結合起來，在保留傳統濾波器的基礎之上，讓AI自己學習調參。

沒錯，就是教會AI自己當調參俠，熟練應用并掌握那些看起來晦澀難懂的公式，類似于應用卡爾曼濾波器的場景中，讓AI自己學會調整其中的QR參數。

再或者以麥克斯韋方程為例，高通選擇保留y=x*H模型的線性，同時采用AI學習H的分布：

要是類似的技術能用于手機無線通信基帶上，信號說不定還能再進一步增強。

而神經增強還只是高通神經推理研究的一部分。如果AI真的同時具備了邏輯思維和抽象能力，那距離芯片性能突破也不遠了。

再說到弱監督學習，這個方向一直是解決長尾問題、以及AI技術落地新場景的一大趨勢之一。

就像是“讓AI自己學習”一樣，這項技術旨在避免數據標記錯誤導致的AI精度下降、以及降低標記成本等，來利用少量標記數據，實現與監督學習接近甚至超過監督學習的精度效果。

侯博士介紹了在去年MWC，高通做的一個演示，用弱標記的方法，訓練出相對精確度高的定位的模型。

而且最令人驚訝的是，這種定位的模型它不是通過視覺的方式，而是通過射頻信號來進行定位的學習，使用了弱監督和自監督的學習方法。

室內定位場景所需的信號數據標記比較復雜，通過射頻感知的方法，使用弱監督學習能比較有效地節省成本、提升效率。

嗯，現在老板只需要通過無線信號，就知道你在哪個辦公室和同事摸魚聊天了（手動狗頭）。

再來看看神經推理（Neural Reasoning）技術。

事實上，這里的推理并不是指單純的模式識別，而更像是教AI學會“邏輯推斷”，概念上和Yoshua Bengio之前提到的system2（邏輯分析系統）有些相似。

那么，神經推理和芯片有什么關系，可以應用在哪些方向，高通又進展到哪一步了？

據侯博士介紹，神經推理是一種將符號推理和神經網絡優勢結合起來的思路，讓模型兼具并行性和串行性，而這個思路對于計算硬件而言同樣具有借鑒性，目前高通已經利用自回歸語言模型做出了一些首創成果。

最后來看看量子AI技術。

目前高通主要有進行兩個方面的研究，一個是基于AI加速構建量子計算機，另一個是讓AI更快在量子計算機上運行的新方法。

其中，基于AI加速構建量子計算，主要研究方向在群等變卷積神經網絡上。

研究人員通過引進群等變卷積神經網絡，提出了一種新的解碼方式，比傳統解碼器運行效率更高、性能也更好。

而高通登上ICML 2021的一項新研究，還提出了一種基于量子場論，在光學量子計算中運行神經網絡的新思路。

如果未來真的能用量子計算運行AI，那大模型快速運算也不是夢了。

所以問題來了，高通正在進行的這些基礎研究，究竟有沒有落地的可能？

距離我們用上還有多久？

技術之終極意義，還是要看向應用。

實際上，高通AI研究關注前沿科技背后，更加重視的是這些技術具體如何落地。

例如在早些年AI領域還在關注圖像處理的時候，高通就已經在布局視頻AI技術的落地了，并產生了不少相應的首創成果。

包括在移動端將視頻超分到4K 100+FPS，就是高通率先實現的。

那么在這個過程中，高通是如何實現將AI論文落地到芯片應用中的呢？

這就得說回高通AI研究的三大布局：

• 基礎研究，涉及量子AI、強化學習、群等變卷積神經網絡等，著眼于遙遠的未來，通常更具有基礎性。
• 平臺研究，包括軟硬件協同設計、AI模型效率工具包以及模型量化、壓縮和神經架構搜索等，來實現最佳的能效、性能和時延。
• 應用研究，是指利用AI基礎研究和平臺研究的成果在某些特定用例中，包含視頻識別與預測、指紋圖譜、圖形深度學習、視覺質量提升等。

一方面，高通一直以平臺研究技術帶動應用研究的落地。

以模型量化為例。

這是高通AI研究這幾年鉆研的核心技術之一，目的就是給AI模型做個“瘦身”。

在實際應用場景中，由于電量、算力、內存和散熱能力受限，手機使用的AI模型和PC上的AI模型有很大不同。

在PC上，GPU動輒上百瓦功率，AI模型的計算可以使用16或32位浮點數（FP16、FP32）。而手機SoC只有幾瓦功率，也難存儲大體積AI模型。

這時候就需要將FP32模型縮小成8位整數（INT8）乃至4位整數（INT4），同時確保模型精度不能有太大損失。

以AI摳圖模型為例，我們以電腦處理器的算力，通常能實現十分精準的AI摳圖，但相比之下，如果要用手機實現“差不多效果”的AI摳圖，就得用到模型量化的方法。

值得一提的是，基于模型量化快速部署，高通在2020年開源的AI模型增效工具包（AIMET）。

這其中包含了同年以及上年被ICML、ICCV收錄的技術方法。

量化的結果之一就是，更多應用方向的AI模型被“壓縮”并優化，然后加速部署到芯片中。

比如視頻語義分割上，首次在移動端上以FHD分辨率實現實時街景；神經視頻壓縮方面，首次在移動端實現了實時高清解碼……

從這些行業首次落地的成果中可以直觀感受到，高通AI研究在結合前沿學術、應用需求上的考量。

侯紀磊博士在采訪中表示，高通的AI技術從最初發現到形成開源或商業化生態，只需要2-3年時間。

另一方面，從應用和平臺需求上反過來push基礎研究技術的進展，催生出更多交叉領域。

比如聯邦學習、圖像預內核優化，就是基礎與平臺研究相交叉產生的領域；音視頻壓縮、面向無線領域和射頻感知的AI等，則是基礎和應用研究相結合的體現。

也就是說，高通在基礎、平臺、應用三方面上的研究，完整地將AI技術落地所需的算法模型、數據、軟硬件、應用場景幾大要素囊括其中，以支持邊緣AI，走的是全棧AI研究的路線，并首次在移動終端上演示了概念驗證。

以此，高通希望能通過研究“可以應用并落地的AI”，快速推動技術落地的進程。

侯博士表示，其實高通本身在平臺和應用上投入比重就會更大，此外在基礎研發過程中，產品團隊還會深度參與，方便技術人員更加了解應用需求。從AI研究到落地往往非常復雜，需要考慮更多現實世界中的問題（如長尾場景等）。

高通AI研究的目的不僅在于技術創新，也是實際場景應用中的創新。

目前，高通光是實現落地的AI首創研究成果，就有這么多：

由此可見，高通AI研究在首創技術之外，更致力于將這些成果成功運行到終端上。

例如前段時間發布的驍龍X70，就是經過這樣的歷程問世的。作為全球首款引入AI處理器的5G調制解調器及射頻系統系統，驍龍X70預計后續會集成到驍龍年度的8系旗艦平臺上。

猜猜，下一代5G手機的信號、圖像、音視頻處理等技術會不會更強？

你最期待哪些頂會AI技術應用到手機上呢？