我隨手找到的一個 CPU 型號 Intel(R) Xeon(R) Platinum 8260 CPU。這個 CPU 型號中的各段數字分別都代表的是什么含義，從中我們可以得到哪些有價值的信息。讓我們帶著這個型號進入到今天的服務器 CPU 原理解讀。

服務器 CPU 市場上目前雖然有 arm 和 RISV-V 架構入場，但最主流的品牌目前仍然還是 x86 架構，廠家主要還是 Intel 和 AMD 兩家。

其中 Intel 針對服務器市場推出的子品牌型號是 Xeon。我們今天主要圍繞 Intel 的 Xeon CPU 來展開介紹。

圖片

第一部分是品牌標志。Intel(R) Xeon(R) 表示的是這是 Intel 的 Xeon 服務器 CPU。第二部分是 CPU 級別。Intel 在 2017 年之前對服務器 CPU 是使用 E3、E5 和 E7 的方式來命名。其中 E3 代表的是入門級別的服務器處理器、E5 代表中端、E7代表高端。這種命名方式類似于桌面處理器中的 i3、i5 和 i7，數字越大代表的檔次越高。但在 2017 年之后，開始使用 Platinum（鉑金）、Gold（金牌）、Silver（銀牌）。

另外代表級別的字符串如 Platinum 和后面的第一位數字是有對應關系的，

如果數字是 8、9 都代表的是 Platinum 系列，定位高端

如果數字是 6、5 都代表的是 Gold 系列，定位中端

如果數字是 4 代表的是 Silver 銀牌系列，定位入門級服務器 CPU

第三部分的一位數字代表的是 CPU 的代際。這是 2017 年之后開始的可擴展處理器家族代際標識。其中數字越大代表 CPU 架構越新。

• 1 代表第一代可擴展處理器，對應代號 Skylake（2017 年發布） 的架構設計
• 2 代表第二代可擴展處理器，對應代號 Cascade Lake（2019 年發布） 和 Casecade Lake-R（2020 年發布） 的架構設計
• 3 代表第三代可擴展處理器，對應代號 Cooper Lake（2020 年發布） 和 Ice Lake（2021 年發布）的架構設計
• 4 代表第四代可擴展處理器，對應代號 Sapphire Rapids（2023 年發布）的架構設計

第四部分是 SKU 編號。這是 CPU 廠商為了方便對所有的產品進行庫存管理而制定的編號。這類似于超市里商品的條形碼、圖書的 ISBN 號，方便查詢和管理產品的庫存量。一般來說，這個值也是越大性能越好，但不絕對。

第五部分是產品線后綴。其中 C 代表單 CPU 插槽。Q 代表支持液冷。N 代表的是針對通信/網絡/NFV 網絡功能虛擬化優化。T 代表的是根據長壽命使用要求設計的能滿足 10 年使用周期支持。P 代表針對 IaaS 云環境優化。V 代表針對 Saas 云環境優化。

二、服務器 CPU 代際簡介

服務器 CPU 的代際發展和 PC 家用 CPU 的過程基本上是一致的，但在命名方式上有所不一樣。服務器 CPU 的代際從 2017 的 Skylake 開始，命名為了第一代可擴展處理器。接下來的代際命名都是在這個基礎之上更新。

其中我們開頭提到的 8260 是屬于第二代，2019 年發布，對應代號 Cascade Lake。

圖片

在第二代可擴展處理器這個代際中，采用的是 14nm 工藝。該代際既包括服務器 CPU，也包括個人 PC CPU。對于個人 PC CPU，是歸屬到酷睿 i7 和 i9 等型號中。對于服務器是歸屬到 Xeon Platinum（鉑金）、Xeon Gold（金牌）、Xeon Silver（銀牌）、Xeon Bronze（銅牌）。

其中在 Xeon Platinum（鉑金）系列中，最高可以支持到 28 個物理核心。核更多是和個人 PC CPU 中最大的不同點。下圖是 28 物理核 CPU 芯片的系統結構如下。

圖片

主要分成三個大部分。

第一個大部分是 IMC（integrated memory controller）內存控制器。

就是上圖中的 Memory Controller。Cascade Lake 支持的服務器內存規格是 DDR4 2933 MHz。從圖中可見有該 CPU 兩個內存控制器模塊，每個內存控制器都可以支持 3 個內存通道（channels），每個通道可以插兩個 DIMM 內存條，總共支持最大插 2*3*2 = 12 個內存條。

第二個大部分就是各個物理核了。

這個代際中采用的是 Mesh 架構。在 Mesh 架構中，把所有的物理就是把所有的物理核按照行、列的二維的結構進行排列。關于 Mesh 架構后面我們在第四小節中介紹。

在每個核上方的 LLC 是我們常說的 L3 級緩存，其實 LLC 是末級緩存 （Last Level Cache）的意思，叫法更為準確一些。值得注意的是，雖然 LLC 是分成了在每個核上都有一塊，但整個 CPU 上的所有 LLC 都是共享的。

每個物理核的內部就和個人 PC CPU 中的核一樣，都是采用的 Skylake 微處理器架構設計的。每個物理核有 32 KiB 的 L1 指令緩存、32 KiB 的 L1 數據緩存、1 MiB 的 L2 緩存。更詳細的 Skylake 微處理器架構圖如下。

圖片

第三個大部分是 Notrh Cap 部分。

這個部分包含 PCIe 總線（用來連接顯卡硬盤等）和 UPI 總線（用于多 CPU 片間互聯）。

關于 PCIe 總線，我們在個人 CPU 的型號、代際架構與微架構 中提到過。它是一種用于連接高速組件的高速串行計算機擴展總線標準。第二代 Cascade Lake 支持的是 PCIe 3.0 標準，單通道速率為 8 GT/s (984.6 MB/s)。用來連接顯卡或者固態硬盤等高速設備。

UPI 總線是用于多 CPU 片間互聯使用的。Xeon Platinum 系列 CPU 支持 3 個 UPI 連接。而低端的 Xeon Gold 5xxx、Xeon Silver 等只支持 2 個 UPI。關于 UPI 后面我們再單獨說。

三、片內總線之 Mesh 多核架構

在服務器 CPU 架構設計中，要解決的關鍵問題是如何合理設計多核布局，以更低的延遲實現對內存的訪問。所以，片內也需要“總線”進行互聯。

在 2017 年的 Skylake 之前，Intel 采樣的方式是環狀互聯，也叫 Ring 架構。在 Ring 架構里，所有的核都用一個環來連接。每個核需要訪問內存的時候，都通過這個這個環來進行。

大家都知道，后來服務器的發展都是朝著多 CPU 核的方向在發展。隨著時間的推進，核數越來越多。傳統的 Ring 架構的環狀結構中，核越多，環就越大，核通過環來訪問內存數據時延遲就會越大。

圖片

為了降低環上核的數量，Intel 還曾在高端 CPU 中為了塞進更多的核，設計了個雙環結構。這樣，環上的核就少了，數據傳輸路徑就短了一些。

圖片

但即便是分成了兩個環，依舊會有核心越多延遲越大的問題，且跨環訪問時會增加一個額外的 CPU cycle 的延遲，所以 Broadwell 算是把 Ring 架構續命做到了極致最多也只塞到了 24 個核心。

所以為了更好地控制多核處理器訪問內存時的延遲。Intel 于 2017 年推出的 Skylake 中采用了 Mesh 架構來設計多核處理器。所謂 Mesh 架構，就是把所有的物理核按照行、列的二維的結構進行排列 。

在最高規格的 28 個物理核的芯片設計中，采用了 5 行 6 列的矩陣結構。其中 2 個位置用于放上面提到的內存控制器。接下來的每個位置都放了一個物理核。

Ring 架構演進到 Mesh 架構后，片內總線也從一維結構演變到了二維結構

圖片

這樣，當某個物理核在訪問內存數據的時候，就可以通過這個二維結構找到一個最短路徑來通信了。例如下圖中 Start 這個位置的核想要訪問內存，這時候的訪問路徑是先沿著紅色箭頭向上，然后再沿著另一個紅色箭頭向右到達內存控制器來訪問內存。

圖片

有了這個二維結構后，訪問內存的路徑就會低一些，也就為在低延遲的情況下設計更多的物理核提供了可能。在 Cascade Lake 代際下設計到了 28 個物理核。

圖片

后面的服務器 CPU 仍然還延續使用 Mesh 架構，在 2021 年發布的 ice lake 中，更是設計到了 7 行 8 列的矩陣結構，共放了 40 個物理核。

關于更多 Mesh 架構的介紹參見 https://en.wikichip.org/wiki/intel/mesh_interconnect_architecture

四、片間總線之 UPI 多處理器互聯

單個 CPU 即使用盡全力，能設計進去的物理核仍然是有限的。所以另外一個計算擴展思路是多處理器互聯，在一臺服務器上安裝多個物理 CPU，進而達到擴展算力的目的。

前面我們看到，每個 CPU 都是支持多條內存的，都可以通過內存控制器和自己的內存插槽上的內存進行通信。但現代的服務器一般都不只是一個 CPU。這樣問題就來了，A CPU 如何訪問另外一個 CPU 插槽上內存里的數據。

答案就是 UPI 總線，它是 Ultra Path Interconnect 的簡稱。

在 17 年之前的服務器 CPU 中，采用的是 QPI（QuickPath Interconnect） 總線進行 CPU 之間的互聯。從 2017 年的第一代可擴展處理器開始，Intel 就采用了更為快速的 UPI（Ultra Path Interconnect） 總線。UPI 總線相對于 QPI 總線，傳輸速度更快，從9.6 GT/s 提升到了 10.4 GT/s，而且功耗還更低。

通過 UPI，可以實現雙處理器、四處理器、甚至是八處理器之間的互聯。Xeon Platinum 都支持 3 UPI 連接。對于 Xeon Platinum 系列，雙處理器的連接方式如下

圖片

四處理器的連接方式如下

八處理器的連接方式如下

Intel 通過 UPI 總線，極大地提高了多處理器可擴展性。不過雖然 Intel 支持最多八處理器，業界線上使用的最多的仍然是雙處理器的 UPI 互聯。

總結

在本節中，我們以較為常用的 Intel(R) Xeon(R) Platinum 8260 型號的 CPU 作為引子，對服務器 CPU 的型號命名規范、各個代際的發展過程、以及片內總線之 Mesh 架構、片間 UPI 總線互聯。

Intel 的服務器 CPU 從 2017 年開始后采用了新的代際命名規范。2017 年的 skylake 作為第一代，目前到了第四代。在每一代中，Platinum 都是最高端的 CPU 型號、接下來依次是 Gold、Silver。

其中 8260 是屬于第二代可擴展 CPU，代際代號為 Cascade Lake。我們找到了它的芯片結構圖。主要包括內存控制器、各個物理核、PCIe總線、UPI總線等部分。

為了更好地在低延遲的情況下實現更多的物理核，8260 采用的 Mesh 架構來組織所有的物理核。在 Mesh 架構中，把所有的物理就是把所有的物理核按照行、列的二維的結構進行排列。能較為有效地控制物理核訪問內存時的延遲。

除了片內設計更多的物理 CPU 的思路外，另外一個擴展算力的方法是在一臺服務器內設計多個 CPU。而多個 CPU 之間是通過 UPI 總線進行互聯的。通過該總線，單服務器最多可以實現八顆 CPU 的互聯。