AI芯片2019年的六大關鍵詞和2020年的四大趨勢
2019年2月，兩位圖靈獎得主 John L. Hennessy 和 David A. Patterson發表長篇報告，展望未來十年將是計算機體系架構領域的“新的黃金十年”。這一年，架構創新、小芯片獲得了更多的關注，從初創公司到巨頭公司，從終端到云端，都有AI芯片相繼推出。
AI芯片市場的競爭變得更加激烈，但大都面臨落地難題。
回顧2019年的AI芯片發展，6個關鍵詞貫穿其中。
展望2020年的AI芯片市場，4大趨勢不容忽視。
六大關鍵詞
關鍵詞一：架構創新
兩位圖靈獎得主 John L. Hennessy 和 David A. Patterson在報告中說，“計算機體系結構領域將迎來又一個黃金十年，就像20世紀80年代我們做研究那時一樣，新的架構設計將會帶來更低的成本，更優的能耗、安全和性能。”
雷鋒網2019年采訪英特爾任高級副總裁、首席架構師，兼架構、圖形與軟件部門總經理Raja M. Koduri時詢問他是否同意兩位圖靈獎得主的觀點時。他表示：“我百分之百認同未來十年是計算架構的新黃金十年的觀點。在未來10年，我們將看到比過去50年多得多的架構優化和提升。”他還表示：“通過軟件和硬件的結合，我們可以讓摩爾定律的提升變成十倍。”
對于AI芯片而言，架構創新的重要價值之一在于解決內存墻挑戰。AI芯片公司沒讓我們等太久，2019年5月，耐能發布了架構具有創新性的物聯網專用AI SoC，耐能稱為可重組的架構能夠讓芯片像積木一樣組合，既能滿足語音，也能滿足視覺的需求。
一個月之后，又有兩款架構創新的AI語音芯片推出。一款來自探境科技，CEO魯勇說其創新的SFA是以存儲調度為核心的計算架構，數據在存儲之間的搬移過程之中就完成了計算，計算對于數據來說只是一種演變。這個架構不僅可以實現更高能效比，還可以支持任意神經網絡，也能適用于云端和終端芯片。
另一款來自清微智能，采用了具有軟件硬件都可以編程、混合粒度、芯片的硬件功能隨軟件的變化而變化，應用改變軟件、軟件再改變硬件特性的可重構架構(CGRA)。清微智能創始人兼CEO王博表示，CGRA最大的優勢體現在兩方面，一是沒有傳統指令驅動的計算架構取指和譯碼操作的延時和能耗開銷，二是在計算過程中以接近“專用電路”的方式執行。對比CPU和GPU有十倍到千倍不等的性能提升。
11月，英國AI芯片獨角獸Graphcore聯合創始人兼CEO Nigel Toon接受雷鋒網采訪時表示，Graphcore開創了全新的處理器類型IPU，IPU是專為機器智能設計的處理器，能夠滿足人們對高效易于使用的處理器的需求。IPU面有1216個核，我們稱之為Tile，每個Tile里都有計算單元和內存。上千個處理器工作，單個IPU的存儲帶寬能達到45TB，比性能最快的HBM提升了50倍以上，在相同算力下，功耗降低一半。
同月，知存科技發布存內計算芯片，他們的芯片利用FLASH既可以存儲又可以計算的特性，通過對存儲陣列改造以及重新設計外圍電路使電路能夠容納更多數據，滿足AI算法的需求。同時，利用NOR-FLASH更加成熟和易于商用的特點，推出存算一體的AI語音芯片。
在AI芯片的架構創新中，可重構架構以及存算一體目前有更多的關注度。
關鍵詞二：專用芯片
AI芯片架構創新目標在于保持芯片高能效比的同時還能適應AI算法的不斷演進，但2019年新推出的AI芯片大部分還是專用加速器。Arm ML事業群商業與營銷副總裁Dennis Laudick 2018年接受采訪時認為，最終GPU和FPGA將會消失，留下最通用的CPU和最專用的NPU。2019年他堅持這一觀點，認為未來市場需要的是通用加專用芯片，并且適用范圍更廣。
對于這個問題，雷鋒網向不同的受訪人尋求答案，站在各自的立場，他們看法有所差別，但大部分都認為隨著AI的成熟，AI芯片會走向通用。
這樣的判斷也易于理解，對于工業界而言，推出一款芯片最重要的價值在于獲取商業價值，在AI算法快速迭代的時候，只具備一定編程能力，只針對部分算法，與現有解決方案相比有十倍甚至更多提升的AI芯片，才更容易獲得用戶的采用。
這一邏輯用手機的NPU也能很好地解釋，最先在手機SoC中加入NPU的公司是華為和蘋果，這兩家公司的手機使用自研SoC，率先加入NPU能夠展現出其手機領先于其它手機的AI特性，并以此作為賣點。
于此不同，高通和MediaTek作為兩大手機SoC提供商，在AI算法還不成熟、面向眾多客戶的時候，他們傾向于用一個更加通用的處理器，等到算法和應用相對明確的時候再集成NPU，但依舊需要保持AI性能更高，靈活性更好。
關鍵詞三：Chiplet
Chiple可以翻譯為小芯片，也可以翻譯為芯粒，2019年Chiplet概念火熱的推動力包括，DARPA的CHIPS項目、Intel的Foveros、AMD的全新一代霄龍(EPYC)處理器。簡單來說，Chiplet技術就是像搭積木，把一些預先生產好的特定功能芯片裸片(Die)通過先進的集成技術(比如3D integration)封裝在一起，形成一個系統芯片，基本的裸片就是Chiplet。
這意味著，Chiplet是一個新的IP重用模式。以前，芯片設計公司從IP供應商購買一些IP(軟核(代碼)或硬核(版圖))，結合自研的模塊集成一個SoC，然后使用某一個半導體制程完成芯片設計和生產的完整流程。
未來，以Chiplet模式，只需要購買別人設計好的硅片，通過先進的封裝技術就可以集成的芯片會是一個“超級”異構系統，可以為AI計算帶來更多的靈活性和新的機會。
從某種程度上來說，Chiplet是2018年討論很多地異構計算的更進一步。SoC就是一個異構的系統，廣泛討論異構也是因為AI對芯片提出了更高地要求，通過通用加專用的異構系統能夠更好地滿足AI的需求。
Chiplet的提出，帶來了工藝選擇、架構設計和商業模式的靈活性，讓AI芯片能夠更容易地實現異構。挑戰也顯而易見，除了先進的封裝技術，標準、質量都還不明確，編程的復雜性也大大增加。
關鍵詞四：軟硬融合
要降低異構系統的編程復雜性，軟件平臺的重要性就更加突顯。這時候，可能就需要一個全新的軟件平臺甚至全新的編程語言，英特爾要用oneAPI解決編程復雜性的挑戰，還采用了一種基于標準的跨架構語言Data Parallel C++++ (DPC++)。
oneAPI的意義在于提供統一的編程模型，簡化跨不同計算架構的應用開發工作，這些計算架構經常被縮寫為 SVMS，包括標量處理器(CPU)，矢量處理器(GPU)，矩陣處理器(AI加速器)和空間處理器(FPGA)。
DPC++則是以C++為基礎，融合了Kronos Group的SYCL編程語言，支持數據并行性和異構編程，并包含在一個開放社區流程中開發的語言擴展。面向特定加速器的自定義調試的跨行業開放式解決方案，也是代替單一架構的專用語言。
英特爾的方案是一種更加上層的方式。Arm以及許多IP提供商是采用更加底層的方式，不需要全新的編程語言，通過其軟件平臺直接與CPU、GPU或NPU溝通，根據任務做最佳地匹配，解決異構帶來的編程挑戰。
但無論哪種方式，要做到最佳地匹配都面臨非常大的挑戰。
這在異構更加重要的AI時代，軟硬更好融合無法避免，業界也更多地意識到軟硬一體化對于AI的價值。在中國計算機學會(CCF)主辦，雷鋒網、香港中文大學(深圳)承辦，深圳市人工智能與機器人研究院協辦的2019第四屆全球人工智能與機器人峰會(CCF-GAIR 2019)上，AI芯片專場的大咖們紛紛提到軟硬融合。
英特爾首席工程師數據中心技術銷售部人工智能首席技術架構師夏磊提出AI計算一定需要硬件+軟件的結合。深聰智能 CTO 朱澄宇說軟硬融合使邊緣計算成為可能。觸景無限科技聯合創始人兼CEO肖洪波表示解決智慧城市的挑戰需要易于使用、軟硬融合的感知芯片。天數智芯創始人、董事長、CEO 李云鵬認為海量數據時代軟硬件充分結合尤為重要。
中科院計算所研究員、先進計算機系統研究中心主任，中國開放指令生態聯盟秘書長包云崗稱軟件、硬件之間有巨大的性能差異，同樣一個算法或者一個程序，一個普通的程序員來寫和一個懂體系架構的人來寫，性能可以差63000倍。如果按照摩爾定律折算，相當于可以把摩爾定律再延長二十多年，實際上就是摩爾定律賦予了很大的能力，但是并沒有挖掘出來。
關鍵詞五：有效算力
軟硬一體化也意味著AI芯片更高的有效算力。之所以有效算力開始成為關注的焦點，很重要的原因是隨著AI芯片的落地，用戶發現AI芯片即便有非常高的峰值速率，有效算力也可能非常低，這就不能帶來預期的性能提升。
天數智芯CEO李云鵬很早就意識到這一點，所以他們的做法是通過軟件加硬件的方式不僅提升算力的均值，同時也提升算力的峰值。云天勵飛CEO陳寧在去年11月上的發布會上也強調，我們更加關注的是面向場景的有效算力，因為人工智能今天還處于非常早期的階段，還沒有進入通用人工智能時代，更不存在通用的AI芯片。有效算力=算力 X 效率 X AI性能，對應的就是芯片、工具鏈以及算法應用。
地平線同樣提出：單位成本下的峰值算力 X 編譯器、架構和Runtime的優化 X 適應場景的算法優化和演進=AI芯片真實性能的全面優化。地平線副總裁兼智能物聯網芯片方案產品線總經理張永謙在雷鋒網主辦的全球 AIoT產業 智能制造峰會的演講中表示， 傳統的芯片基本都講PPA(Power功耗，Performance性能，Area芯片面積(成本))，到了AI邊緣側計算的時候，這個評估變得很復雜，光有算力不夠，還要看算力的有效利用率。針對場景處理輸出結果的有效性指標，是衡量整個AI芯片(包括算法)的一個最重要指標。
除了終端，專注云端AI芯片初創公司燧原科技也強調有效算力，燧原科技CEO趙立東表示：“在壟斷市場，所有客戶都希望有新的選擇，這樣他們才能稍有議價能力，因此市場有這樣的痛點。除此之外，他們還希望有更高的性價比和能效比，特別是在落地的場景可以實現的有效性能。”
關鍵詞六：開源
2019年還有一個關鍵詞就是開源，這背后最大的推動力就是RISC-V。RISC-V只是一個開源指令集，基于這個指令集的IP、芯片以及產品在2020年會陸續推向市場。當然，RISC-V AI芯也不少，這不僅為AI芯片市場帶來了新的競爭力量，更可能打破現有x86、Arm統治芯片市場的格局。
OURS、GreenWaves都已經推出了基于RISC-V的邊緣端AI芯片，華米的首款自研AI芯片黃山1號也基于RSCI-V指令集，已經應用在其智能手表中。
在RISC-V迅猛發展的2019年，Arm布推出一項全新的功能 Arm Custom instructions，允許客戶在特定的 CPU 內核中加入自定義指令功能，從而來加速特定的用例、嵌入式和物聯網應用程序。
開源以及AI也讓與Arm相隔幾年誕生的MIPS也宣布開源，Wave Computing首席執行官Art Swift認為，在新的AI以及IoT的時代，MIPS迎來了一個新的機會，在這個新的機會面前，大家起跑線都一樣。并且，MIPS的技術優勢非常適合于AI結合。
可惜的是，2019年11月擁有MIPS的Wave Computing表示，自2019年11月14號起，Wave 將不再提供包括MIPS開房組件的免費下載，包括架構、核心、工具、IDE、模擬器和FPGA包/或任何與之相關的軟件代碼或計算機硬件。
開源領域還有一個新勢力，平頭哥宣布開源MCU芯片設計平臺，目標群體包括芯片開發者、IP供應商、高校及科研院所等，開發者可以基于該平臺設計面向細分領域的定制化芯片，IP供應商能夠研發原生于該平臺的核心IP，高校和科研院所則可開展芯片相關的教學及科研活動。
四大趨勢
趨勢一：AI語音芯片的競爭加劇
AI應用的兩大方向是視覺和語音，相比視覺，語音不僅技術挑戰更小，而且已經有出貨量非常大的智能音箱產品。在更加激烈的AI競爭中，為了延續優勢，強于算法的公司紛紛推出自研AI芯片，比如思必馳。
除了算法公司，擁有創新架構AI芯片的探境科技、知存科技、清微智能都在2019年發布了語音芯片，其中探境科技已經擁有了30個合作伙伴，AI語音方案出貨達到了百萬級，清微智能的AI語音芯片也已經量產，并且產生了營收，知存科技也有多位意向客戶。
再加上為AI智能音箱提供芯片的傳統芯片公司，AI語音芯片的競爭將變得更加激烈。當然，這種競爭伴隨的是市場需求的增加，未來幾年，智能家居市場對于AI語音芯片的需求也有望快速增加。
趨勢二：云端芯片市場迎來競爭
英偉達和英特爾最先享受到了AI云端芯片市場的紅利，其中英偉達在云端AI訓練市場的地位更是無人能敵。不過，隨著英特爾推出Nervana NNP-T 和 Nervana NNP-I 以及20億美元收購Habana Labs，還有即將在今年年中推出的獨立GPU Xe，英偉達和英特爾在云端AI芯片市場的競爭會更加激烈。
同時，國內的寒武紀、比特大陸、燧原科技等在2019年都推出了云端AI芯片，從細分市場進入云端AI芯片市場，目標是獲得一定的市場份額。
2020年，巨頭和初創公司產品的落地，將讓云端AI芯片市場的競爭逐步激烈，并可能在一定程度上削弱英偉達的話語權。
趨勢三：端云一體的生態戰正式開啟
無論是傳統芯片還是AI芯片，芯片成功的本質都是生態的成功。因此，無論是巨頭芯片公司還是初創公司，都有端云一體的戰略，他們希望通過端云一體的戰略構建強大的生態，產生很寬的護城河同時保持公司業績的持續增長，差別在于實現的難度不同。
2019年，在云端AI芯片市場非常成功的英偉達和谷歌都相繼推出了面向邊緣端的AI芯片，或增強邊緣端AI芯片的實力。英特爾更是構建了全面的AI芯片類型，迎戰AI。
由此看來，隨著有實力的公司們端云一體AI芯片戰略的開啟和落地，2020年的邊緣AI芯片初創公司們，將面臨更大的生存壓力。
趨勢四：易用性更為重要
從語音到圖像，從邊緣到云端，要在越來越激烈的競爭中占有一席之地，落地的速度成為關鍵。實際上，2019年已經有不少商用的AI芯片，但無論是大公司還是初創公司，不少都面臨芯片卻難以落地的難題，原因多種多樣，比如芯片本身帶來的性能提升不夠有吸引力，芯片不適配應用的需求，易用性不高，選擇的行業難以突破等等。
因此，芯片的易用性在2020年將變得更加重要，這將從技術上降低客戶嘗試的成本，加快產品推向市場的時間，也能夠彌補硬件迭代速度慢不能很好滿足應用需求的痛點。
