眾所周知，隨著人工智能和機器學習的迅猛發展，智能應用如雨后春筍般地不斷涌現出來。然而，傳統馮·諾依曼架構的 CPU 在面對日益復雜的深度學習模型時，性能瓶頸日益凸顯。摩爾定律的放緩更是加劇了這一問題。為了滿足人工智能應用對算力的爆炸性需求，人民開始積極探索新的計算架構。

而與此同時，GPU（圖形處理器）憑借其高度并行的架構，在圖形渲染和并行計算方面展現出卓越性能，成為加速深度學習的首選。TPU（張量處理器）則由谷歌專門為機器學習任務設計，在張量運算方面具有顯著優勢。這些新型處理器通過異構計算的方式，與CPU協同工作，構建了更強大的計算平臺。

一、GPU 是什么 ？

GPU，即“圖形處理單元”， 是一種專門設計用于處理圖形渲染的電子電路，其核心優勢在于高度并行的計算架構。

傳統上，GPU 主要用于加速計算機圖形的生成和顯示，例如在游戲、視頻編輯等領域。然而，隨著深度學習等人工智能技術的興起，GPU 的并行計算能力使其成為了加速 AI 訓練和推理的理想選擇。

通常而言，與傳統 CPU 的串行處理方式不同，GPU（圖形處理器）擁有數千個高度并行的核心，能夠將復雜的計算任務分解成無數個小任務，并同時進行處理。這種高度并行的架構使得 GPU在處理圖形渲染、機器學習（ML）、視頻編輯、游戲應用程序、計算機視覺、比特幣等加密貨幣的挖礦以及生成人工智能等需要大量計算的任務場景時表現出色。

尤其是，在深度學習領域，GPU 的地位更是無可替代。 深度學習模型通常涉及大量的矩陣運算，而 GPU 的并行計算能力恰好可以加速這些運算。此外，GPU還 支持混合精度計算，即同時處理單精度和半精度浮點數，進一步提升了計算效率。這種加速效果使得訓練大型神經網絡成為可能，推動了深度學習在圖像識別、自然語言處理、語音識別等領域的快速發展。

二、GPU 與 CPU 是如何協同工作的 ？

CPU（中央處理單元）和 GPU（圖形處理單元）是現代計算系統中兩個互補的重要組成部分，兩者通過分工協作，發揮各自的優勢，從而極大提高了應用程序的數據吞吐量和并發計算能力。

GPU 最初被設計用于生成計算機圖形和視頻游戲的視覺效果，以滿足日益增長的圖形渲染需求。自2010年代初開始，由于 GPU 強大的并行計算能力，其應用范圍逐漸擴展到需要大規模數據并行處理的領域，如科學計算、人工智能等，從而加速了這些領域的計算過程。

1. CPU：通用計算的引擎

CPU 擅長處理各種通用計算任務，例如操作系統管理、應用程序執行、數據處理等。它具有高度靈活的指令集，可以執行復雜的邏輯操作。由于其串行處理的特性，CPU在處理順序執行的任務時效率較高。

2. GPU：并行計算的加速器

GPU最初設計用于渲染圖形，其核心特點是高度并行的計算架構。它包含數千個流處理器，能夠同時執行大量的簡單指令。這種并行處理能力使得 GPU 在處理需要大量重復計算的任務時具有顯著優勢，例如矩陣運算、圖像處理等。

3. CPU 與 GPU 的協同工作

其實，在整個計算機生態體系中，CPU 和 GPU在系統中分工合作，相輔相成。具體可參考如下：

（1）CPU 負責整體控制： CPU 負責操作系統管理、應用程序調度、內存管理等任務，并協調 GPU 的運行。

（2）GPU 負責加速計算： GPU 將計算密集型任務，如深度學習模型的訓練、圖像渲染等，卸載到 GPU上執行，從而加速應用程序的運行速度。

（3）異構計算： 現代計算系統采用了異構計算的架構，將 CPU 和 GPU 結合起來，以發揮各自的優勢。

接下來，我們來了解一下 CPU 與 GPU 設備生產廠商，具體可參考如下所示：

三、GPU 是如何工作的 ？

現代 GPU 通常采用大規模并行架構設計，包含數以千計的小型處理核心。每個處理核心都擁有自己的寄存器和共享內存塊，用于存儲數據和程序指令。GPU 本身還配備了一定容量的板載內存（稱為“Device Memory”或顯存），用于存儲大量運算數據及中間結果。

通常而言，不同 GPU 的具體工作方式會有所不同，取決于其設計用途、制造商、芯片架構以及協調 GPU 運行的軟件和編程框架。例如，英偉達公司開發的 CUDA（Compute Unified Device Architecture）并行計算平臺，專門為開發人員提供了一套工具和 API，使他們能夠充分利用 GPU 的并行計算能力，針對廣泛的通用并行計算應用進行 GPU 加速。

根據與主機系統的集成方式不同，GPU可以分為獨立顯卡 GPU（離散 GPU）和集成 GPU（iGPU）兩大類:

1. 離散 GPU

離散 GPU 是一種獨立的專用芯片，主要用于圖形渲染、科學計算、機器學習等密集型并行計算任務。離散 GPU 通常安裝在插入主板的獨立顯卡上。除了用于圖形渲染外，現代離散 GPU 也廣泛應用于深度學習訓練、科學模擬等領域，用作通用并行加速器。

2. 集成 GPU

相對比于離散 GPU，集成 GPU 則是將 GPU 核心與 CPU 集成在同一個芯片組（SoC）上的設計。最初的 iGPU 主要應用于普通桌面計算和低端游戲，如英特爾酷睿和賽揚系列處理器的集成顯卡。近年來，隨著移動設備的飛速發展，ARM 等公司也推出了將 CPU 和 GPU 高度集成到單芯片 SoC 中的產品，廣泛應用于智能手機、平板電腦等移動設備。

除了物理 GPU 之外，虛擬 GPU（vGPU）也逐漸興起。vGPU 是基于軟件虛擬化技術實現的 GPU，可在云服務器實例上與其他虛擬 GPU 共享底層物理 GPU 資源。用戶可靈活地調配和使用 vGPU 資源，而無需關注底層硬件的具體情況，極大簡化了 GPU 加速計算的部署和管理。

無論是離散 GPU、集成 GPU 還是虛擬 GPU，三者都為現代計算系統提供了強大的并行計算加速能力，顯著提升了圖形渲染、科學計算、人工智能等領域的性能表現，推動了各個行業的技術創新和發展。

四、GPU 是 Video Card （顯卡）嗎 ？

GPU（圖形處理單元）和顯卡這兩個名詞雖然常常交替使用，但在實際的計算場景中，兩者并不是完全等同的概念。二者之間存在著細微但重要的區別：

顯卡（Video Card）也被稱為“獨立顯卡”或“顯卡板（Graphics Card）”，是一種可拆卸的擴展板，需要插入計算機主板上的專用插槽（如 PCI-E 插槽）才能使用。顯卡本身是一個獨立的硬件單元，包含了 GPU 芯片作為其核心組件，同時還集成了視頻內存（VRAM）、視頻輸出接口（HDMI、DisplayPort 等）、輔助電源接口、散熱模組等多個部件。

而 GPU（Graphics Processing Unit）則是指顯卡上的圖形處理芯片本身，是實現圖形渲染和并行計算的關鍵硬件。GPU 芯片通常采用高度并行的多核心設計，能夠同時執行海量的數據運算，以提供強大的圖形渲染和通用計算能力。

除了集成在獨立顯卡之上，GPU 也可以直接內置在計算機主板芯片組中，或者與 CPU 集成在同一個芯片組（SoC）上，形成集成顯卡（Integrated Graphics）的設計。這種設計常見于筆記本電腦、平板電腦和低功耗桌面系統中，以獲得合理的圖形性能和節能表現。

因此，總的來說，GPU 是實現圖形渲染和通用并行計算的核心硬件，而顯卡則是將 GPU 和其他必需部件集成在一起的擴展板形式。獨立顯卡通常擁有更強大的 GPU 和更多視頻內存，能夠提供卓越的圖形性能和計算加速能力，適用于高端游戲、工作站、專業繪圖等領域。而集成顯卡則在成本、尺寸和功耗方面具有優勢，更適合日常辦公和媒體娛樂等基本需求。

從本質上來講，兩者在硬件架構和定位上存在差異，但都是現代計算系統中不可或缺的關鍵組成部分，共同推動著圖形圖像處理和并行計算技術的飛速發展。

五、為什么需要 GPU 以及應用場景有哪些 ？

GPU（圖形處理單元）之所以被廣泛需求和應用，主要是源于其獨特的高度并行計算架構，能夠顯著提升許多數據密集型應用的計算性能。以下是需要 GPU 及其典型應用場景:

1. 專業可視化

GPU 不僅在娛樂領域發揮作用，還在專業應用中表現突出。例如，在 CAD（計算機輔助設計）繪圖、視頻編輯、產品演示與交互、醫療成像和地震成像中，GPU 為處理和渲染復雜的圖形提供了強大的計算能力。這些應用程序通常需要處理大量數據和復雜的圖像處理任務，GPU 的并行處理能力使其成為這些任務的理想選擇。此外，隨著 WebGL 等瀏覽器技術的發展，基于瀏覽器的應用程序現在也可以利用 GPU 的強大性能，提供高效的在線圖形渲染和互動體驗。

2. 機器學習領域

在機器學習（ML）領域，GPU 的作用日益顯著。訓練復雜的機器學習模型通常需要大量的計算能力，而 GPU 憑借其并行處理架構，可以顯著加速這一過程。對于那些在本地硬件上訓練模型的人來說，這可能需要數天甚至數周的時間，而借助云端 GPU 資源，模型訓練可以在數小時內完成。這種高效的計算能力，使得 GPU 成為深度學習和神經網絡訓練的標準工具。

3. 區塊鏈場景

在區塊鏈技術中，GPU 同樣扮演著關鍵角色。尤其是在使用工作量證明（Proof of Work, PoW）算法的加密貨幣中，GPU 通常是進行復雜哈希運算的首選硬件。雖然特定于應用的集成電路（ASIC）正在成為 GPU 的替代品，但 GPU 仍然是許多加密貨幣礦工的首選，特別是在需要更高靈活性的場合。盡管股權證明（Proof of Stake, PoS）等區塊鏈算法正在崛起，并減少了對大量計算資源的需求，但工作量證明的使用仍然廣泛存在于行業中。

4. 模擬技術

在高端模擬領域，GPU 的應用極為廣泛。包括分子動力學、天氣預報、天體物理學等領域的模擬應用，都是通過 GPU 來實現復雜計算的。GPU 憑借其強大的并行計算能力，能夠快速處理和模擬大規模的物理系統。此外，在汽車和大型車輛的設計中，涉及流體動力學等復雜模擬的應用也依賴于 GPU 的強大計算能力，以進行精確的建模和仿真，幫助工程師優化設計并減少物理測試的需求。

當然，除了上述領域外，GPU 在其他的場景中應用也是蠻廣泛的，尤其是隨著人工智能技術的蓬勃發展，越來越多基于 AI 技術的業務場景都需要 GPU 為其賦能，加速業務落地。