Intel Xeon 6:新世代處理器技術解析與應用
Intel Xeon 6 Processors
AI逐字稿
大家好，很高興今天能站在這裡跟大家分享。今天的主題主要是想讓大家了解我們最新的 Intel Xeon 6 處理器（Processor）的應用場景，以及一些相關的解析。我會試著用比較簡單、生動的方式來描述，讓大家更容易理解這個產品為什麼值得關注。為什麼我要這樣說呢？因為我相信，大家對於直接接觸到的第七代處理器（7th Gen Processor），可能都知道英特爾（Intel）有 Xeon 這樣一個系列。但這些處理器背後的底層技術，大家可能不會直接接觸到。我待會兒會介紹許多應用場景（Applications），這些名詞大家可能聽過，有些印象，但我們會盡量整理清楚，讓大家明白這些應用程式跟 Intel Xeon 處理器內部的功能有什麼直接或間接的關聯。當你聽到這些技術時，可能會想：「我有沒有用過這個？這對我來說到底有什麼好處？」這些問題，我們會一步步跟大家說明清楚。同時，我也會順便提到我們 Intel Xeon 6 處理器在這些方面的優勢。好，那我們就繼續往下講。

首先，我想說的是，大家的需求其實一直在演變。從去年到今年，我們可以清楚看到這個趨勢。最早的時候，機房建設（Data Center Build）的需求主要集中在計算能力（Compute Power）上，尤其是 CPU 的算力（CPU Computing Power）。那時候，大家追求的是一個 CPU 能提供多強大的效能。但到了去年，甚至今年，大家開始轉而關注 GPU 的算力（GPU Computing Power），特別是那些能支援大量並行運算（Parallel Processing）的能力。為什麼會這樣呢？因為 AI（人工智慧）的應用現在真的是無處不在。從大型語言模型（Large Language Models），比如幾十億參數的模型，到小型的模型，像只有 1.5 億參數（1.5B Parameters）的，也許你甚至可以在自己的筆電上運行，問它一些問題，它就能幫你解答。

我舉個例子，大家熟不熟悉這種場景？比如你問一個問題，AI 能回答你很多東西，這可能是基於雲端的大型模型架構（Cloud-Based Architecture）。但如果我用的是筆電，或是一個安全性更高的設備（Secure Device），它能不能做到類似的事情呢？其實是可以的，只是它的回答範圍可能沒那麼廣泛。再舉個實際的應用案例：假設我們公司是做數學相關的業務，我希望我的員工只能問跟數學相關的問題。那麼，有些專門的語言模型（Specialized Language Models）就可以針對這種需求來設計。比如說，我可以打造一個只回答數學問題的 AI，它不需要像 ChatGPT 那樣什麼都懂。這種場景下，公司就不需要買一台機房等級的設備來支援所有的 AI 服務。我可以先評估：我要用多大的模型？需要什麼樣的算力？然後根據需求逐步調整。所以說，現在 AI 的需求真的是大大小小都有，無處不在。

而 AI 需求的提升，也帶動了 CPU 算力的需求。從過去到現在，大家對 CPU 的要求是什麼呢？說白了，就是你問一個問題，希望它能在 5 秒內回答，而不是 50 秒，因為 50 秒你可能就沒耐心等了，對吧？這就是大家一直在追求的目標，也是所有優勢競爭的方向。接下來，我們談談安全性的話題。有人可能會問：「安全性跟 CPU 的底層技術有什麼關係？」其實是有的。比如在安全功能（Security Features）方面，CPU 能提供什麼幫助？大家可能沒什麼概念。待會兒我會提到幾個功能，讓大家明白：「哦，原來這些是 CPU 能做到的！」

接下來，我們會講到高效能（High Performance）跟低持有成本（Low Total Cost of Ownership）。不管是經銷商還是客戶，大家都希望：「幫我組一台速度快一點的伺服器（Server），但我的預算是有限的。」這部分我們待會兒會詳細說明，這次的 Intel Xeon 6 處理器分成幾個系列（Series）。我們會根據客戶的需求方向，推薦適合的 SKU（Stock Keeping Unit），也就是說，哪些處理器最適合他們。因為我相信，Intel 在市場上的能見度算是很高的。但對各位經銷夥伴來說，可能會覺得：「我不可能自己買一台伺服器來用，但我可以跟今天不在場的其他夥伴合作，一起推廣產品。」然而，客戶對我們的 CPU 可能沒那麼深的了解，或者覺得底層技術太複雜，好像隨便拿一顆就好。這種情況下，我就會用簡單的方式來解釋。

再來談談永續性（Sustainability）。在節能（Energy Efficiency）方面，以及軟體生態系統的相容性（Software Ecosystem Compatibility），Intel 的 X86 架構（X86 Architecture）已經發展了好幾十年。我們的競爭對手 AMD（Advanced Micro Devices）也是基於 X86 架構。如果說到其他架構，比如 ARM 架構（ARM Architecture），最近大家可能聽到比較多，像 NVIDIA 的 Grace CPU 也在這個領域有所發展。但整體來說，市場主流還是 X86 架構，應該還是佔據主導地位。我舉個簡單的例子：假設你有一個資料庫（Database）、一個 ERP（企業資源規劃系統，Enterprise Resource Planning），或者一個簡單的應用程式要升級設備，你總不會推薦客戶用 ARM-based 的設備，對吧？因為 X86 的生態系更成熟，相容性也更好。

為什麼會這樣說呢？因為你也知道，如果你原本就在 X86 架構（X86 Architecture）的環境下，至少要用 X86 的平台才能完全相容。講白一點，客戶換一台設備不是一兩年就換一次，可能要用 5 到 7 年。我相信在座的各位經銷夥伴都有這樣的經驗：我們提供的設備維護週期可能是 5 年，但很多客戶到了 7 到 10 年還在用。他們可能會找其他夥伴一起維護，或者乾脆用到壞掉為止。等到要換下一台設備時，底層作業系統（Operating System, OS）的升級已經很麻煩了，你絕對不會想從 X86 生態系（Ecosystem）轉到一個完全陌生的架構。這是事實。所以，我們 X86 的相容性還是很高的。當然，這中間每個作業系統還有各自的挑戰，比如軟體（Software）跟 OS 的搭配問題，我們都需要去做適配（Compatibility Matching）。但至少在更換世代時，從 Intel 的 X86 到 Intel 的 X86，這種轉換的風險（Risk）相對來說是比較低的。這是在打造一個資料中心（Data Center）或進行基礎建設時的重要考量。

接下來，我們的主題回到 Intel Xeon 6 處理器（Processor）。今天的重點是 CPU，但其實我們還有許多其他產品。我先跟大家介紹幾個特點：Intel Xeon 6 系列分為兩種核心類型（Core Types），一是 E 核心（Efficiency Core），也就是效率核心；二是 P 核心（Performance Core），也就是效能核心。我待會兒會解釋這兩者的差別。這兩個類型在 Intel Xeon 6 中都有資源。從字面上看，效率核心（E-Core）顧名思義就是更有效率，那什麼叫有效率呢？我舉個應用場景（Application Scenario）的例子來說明。

比如說，大家可能有用過 VDI（虛擬桌面基礎架構，Virtual Desktop Infrastructure）或虛擬機器（Virtual Machine）。這些可能是作為跳板機（Jump Server）或文書處理（Office Work）的設備。那麼你的需求是什麼呢？就是開機不能太慢，微軟的 Office 軟體（Microsoft Office）要能順利打開，沒什麼大問題。但假設我的公司有 20 名員工，後來增加到 50 人，大家用的是一個共用的資料庫（Database），不是要求頂尖效能，而是希望作業系統的速度是可以接受的，能夠隨著人數增加等比例擴展（Scalability）。這種情況下，E 核心（Efficiency Core）的設計就是為了承載這種多人使用的服務，這是我們想要提供的價值。

再來說 P 核心（Performance Core）。很多人追求高時脈（High Clock Speed）、高效能（High Performance）、高頻寬（High Bandwidth）。但是不是每種應用場景都需要這些呢？不一定。哪些場景會需要呢？大家有沒有聽過資料庫（Database）或記憶體密集型（Memory-Intensive）的應用？比如 HPC（高效能運算，High-Performance Computing），需要進行大規模運算（Large-Scale Computing），這時候我們就會推薦使用 P 核心的 CPU。你可能會問：「在哪些場景下該選哪個？」其實沒有 100% 的標準答案。有人會問：「資料庫可以用 E 核心跑嗎？」也不是不行，關鍵在於你的應用場景（Use Case）。舉個例子，如果你是賣演唱會門票的系統，瞬間的資料庫流量（Database Traffic）可能很大，這時 P 核心可能更合適。但如果只是個內部系統，偶爾需要調用（Call）一些資料，E 核心也夠用。所以，實際上要看你的使用場景和需求。我們把 CPU 分成 E 核心和 P 核心，就是為了在不同的應用場景下，提供不同的選擇。這是 Intel Xeon 6 的特色，大家不用特別去記型號（Model Number），只要知道裡面有 E 核心和 P 核心，等真正有需求時，再去詳細查詢哪些型號最適合你的客戶。

接著談談邊緣運算（Edge Computing）。在邊緣運算領域，我們也有自己的資源和產品架構。針對這些應用，我們有相應的解決方案，目的是提升整體業務關鍵應用（Business-Critical Applications）的效能。接下來，我們會提到 Intel Xeon 6 的優勢。左邊是 Xeon 6 的部分，右邊我要順便提一下 Intel 的其他產品線。比如說，我們也有 AI GPU（AI Graphics Processing Unit）。坦白說，目前我們的 GPU 發展相較於其他競爭對手，比如 NVIDIA，可能起步較晚。我們目前推出的產品是 Gaudi（高地），在一些雲端服務供應商（Cloud Service Providers, CSP）和老牌廠商中已有應用。它的算力（Computing Power）可能無法與 NVIDIA 的系列（如 H100、A100）正面競爭，但在總持有成本（Total Cost of Ownership, TCO）上，我們可能有優勢。只是因為生態系統（Ecosystem）有所不同，客戶要轉換到我們的平台時，不管是從 Intel 還是 AMD 轉過來，都需要一些適應時間。這是可以理解的，因為大家對 Gaudi 可能還不熟悉。我相信大家比較熟的是 NVIDIA 的 H100、A100，對吧？這些型號幾乎是業界標準。但 Gaudi 是我們這一代認可的產品，展望明年，我們還會推出新的 GPU。Intel 在 GPU 領域其實是有潛力的，我們正在持續推進這條產品線。

大家可能有看新聞，我們現在有一位新的 CEO，整個公司內部正在積極調整，簡化產品線。因為 Intel 常被批評產品太多，大家記不住，這是事實。我們也在網通（Networking）領域持續前進，比如網卡（Network Interface Card, NIC），我們推出了 200G 的型號。大家可能聽過 E810 或 830 等系列，這是比較常見的規格，像 100G 的 E810、200G 的 E830，支援 5.3G 的頻寬（Bandwidth）。在光纖通訊（Optics）部分，我們也有產品。所以，在資料中心應用中，Intel 的網卡和適配方案都經過調校（Tuning），確保相容性和效能。

接下來談談 P 核心和 E 核心在不同場景下的應用。企業客戶可能會問：「APQ（Application Performance Quotient）是什麼？」這其實是指 IT 對效能的衡量標準（Metrics for Performance）。比如前面提到的資料庫（Database）或關鍵應用（Critical Applications），特別是前端服務客戶的應用，反應時間（Response Time）不能太慢，這時我們會建議使用 P 核心的 CPU。還有高效能運算或 AI 相關的部分。AI 應用中，GPU 負責大量資料處理，但中間的資料搬移（Data Movement）或運算輔助（Computation Assistance）還是需要 CPU。所以，我們建議這類場景 100% 使用 P 核心。

最近很多客戶問到 AI 設備（AI Devices）和 AI 資料中心的需求，裡面是不是還需要 CPU？答案是肯定的。Intel 的 CPU 在市場上是一個顯而易見的選擇。你可能會問：「我們的 CPU 跟 GPU 有沒有適配性問題？」我可以告訴大家，我們有白皮書（White Paper）支持。不管是 NVIDIA 的 B100、H100，甚至更新的型號，在市場推出前半年到一年，我們就已經跟 NVIDIA 合作，做過調校（Tuning）。有些大客戶甚至會問：「我有 8 個 GPU，要配幾個 CPU 和幾張網卡？」根據我知道的品牌伺服器（OEM Server），比如某個型號可能是 2:8:5 的配置。什麼是 2:8:5 呢？

什麼是 2:8:5？就是 2 個 CPU、8 個 GPU 和 5 張網卡（Network Interface Cards, NIC）。如果是插卡式（Add-in Card）的設計，我記得好像是搭配 2 張網卡，至於具體是 12 張還是其他數量，我一時也想不起來。但重點是，當你在組裝這些規格（Specifications）的設備時，不管是用 Intel 的產品還是其他品牌，你都可以查到類似的文件（Documentation）。這些文件會建議你在 GPU 伺服器（GPU Server）上應該選擇哪些型號的 CPU，搭配幾張網卡。如果是插卡式還是 OEM（原始設備製造商，Original Equipment Manufacturer）的設計，這些細節都會寫清楚。所以在 AI 運算（AI Computing）或通用運算（General Purpose Computing）上，到底該怎麼選，還是要看客戶的應用場景（Application Scenarios）是什麼。

你可能會問：「我買了 E 核心（Efficiency Core）的 CPU，會不會跑不動我的應用？」其實不一定，這跟速度（Performance Speed）的需求有關。在通用運算中，我們會告訴大家，客戶到底該買什麼，並沒有一個固定的答案。有的客戶可能沒有很關鍵的應用（Critical Applications），也不知道 E 核心能不能滿足他們的需求。這時候就需要我們這些經銷夥伴（Channel Partners）去了解客戶的具體使用情況：他們用的是哪些軟體（Software）？哪些 CPU 可能比較適合？我們有很多參考文件（Reference Documents），但根據我的經驗，很多應用場景還是得實際跑一次 POC（概念驗證，Proof of Concept）才知道。因為現在 CPU 的換代週期不像一兩年換一次，可能要 5 年左右。對客戶來說，現在的計算能力（Compute Power）絕對是夠用的。

我以前也幫客戶做過 POC，有些情況很有趣。比如現在的 CPU 效能當然很快，但跑某些舊的應用程式（Legacy Applications），比如 K 線圖（Stock Charting），結果跟以前的 CPU 跑起來差不多。這有可能嗎？其實有可能。不是說現在的 CPU 跑不動，而是客戶的應用場景可能比較簡單，沒用到多核心（Multi-Core）或多執行緒（Multi-Threading）的優勢。我們現在的核心（Cores）雖然單核時脈（Clock Speed）可能比以前低一點，但多執行緒的設計讓它能同時處理更多任務。所以跑起來感覺差不多，這種情況在特定應用中是存在的。遇到這種場景時，建議大家實際去跑一下測試（Benchmark），結果就一目了然。不過正常來說，CPU 每隔三五年換代一次，效能提升（Performance Boost）應該是很顯著的。我只是提醒大家，可能會有這種特殊情況。

再來說 E 核心（Efficiency Core），也就是效率核心。剛才提到一個簡單的例子：工作機（Workstation）。現在的工作機需求可能是，我買一台設備，裡面有很多核心（Cores），我可以模擬出多台跳板機（Jump Servers）或小型工作站（Small Workstations），或者是處理文書工作（Office Work）。核心數越多，能模擬的台數就越多，效率就越高。對機房（Data Center）來說，這意味著單位密度（Density）更高。比如一個小小的機櫃（Rack）就能支援一兩百個虛擬實例（Instances），比以前能承載更多的需求。台灣的電費相對國外來說算便宜，所以很多客戶覺得電費和機櫃空間不是大問題。但有些客戶的機櫃空間有限，如果需求增加，可能就塞不下了。這時，換上新一代的 CPU，比如 Intel Xeon 6，把舊設備汰換（Refresh），原則上就能更有效率地整理機房架構（Data Center Architecture），這就是 E 核心帶來的優勢。

好，大家有沒有什麼問題？如果有大問題想問，隨時提出來。順便提一下，Intel Xeon 6 其實有很多代號（Codename），我先跟大家解釋一下。Xeon 6 是我們最新的擴展內容，去年的 Xeon 5 是上一代，對吧？在 Xeon 6 裡面，有個特別的代號叫 Granite Rapids（花崗岩急流），大家可能在媒體上看過這個名字。我們在宣傳時會提到它，比如 Granite Rapids 或 Sierra Forest（塞拉森林）。這些代號不用特別背，只要查一下就知道它是 Xeon 6 的一部分。你跟前幾代的代號對不上也很正常。大家有沒有印象，前幾代有什麼代號？應該都賣過 Xeon Scalable（可擴展系列），對吧？還有什麼記憶？比如 Ice Lake（冰湖）、Cascade Lake（瀑布湖）、Skylake（天湖），這些都是 Xeon Scalable 系列的一部分。到了 Xeon 6，就是 Granite Rapids 或 Sierra Forest。遇到客戶問的時候，不用硬背。比如客戶說：「我用的是 Xeon 2 代，那是什麼？」其實不用記，網路上查一下就知道是哪一代。

我的建議是，如果客戶提到第幾代（Generation），他自己也不一定能對得上型號或代號。別說客戶了，我們每天在這行裡，問我四五年前是哪一代，我也未必馬上答得出來。所以建議大家，客戶問到設備更新（Refresh）時，不用糾結是第 2 代、第 3 代還是什麼代號，直接查一下，知道差幾代就行了。這樣大家討論起來會更簡單。Intel 的產品線看起來複雜，因為名字太多，但今天我們簡單一點，就用 Xeon 6 來統稱，大家知道新晶片（Chip）大概是這樣就好了。

接下來，我相信在座的經銷夥伴可能比我更熟悉客戶的應用場景。你們的客戶可能已經落地了一些應用（Deployed Applications）。我舉個常見的例子，比如 CRM（客戶關係管理系統，Customer Relationship Management）。在台灣，可能有 SAP 或鼎新這樣的系統，這些是比較常見的 ERP（企業資源規劃，Enterprise Resource Planning）或 CRM 應用。我們的建議是，這類系統可能適合用 P 核心（Performance Core）。因為在這一代，CRM 的邏輯運算量（Computational Logic）很大，資料庫（Database）和記憶體（Memory）需求也很高，甚至涉及 AI、深度學習（Deep Learning）、機器學習（Machine Learning）或推論（Inference）。還有 HCI（超融合基礎架構，Hyper-Converged Infrastructure），像一体機或虛擬機（Virtual Machines），這些場景我們也建議以 P 核心為主。

實際上，還是要看應用場景。如果客戶告訴你：「我用的是什麼什麼系統。」你可以參考我們的圖表（Chart）。比如他說：「我們用 CRM，落地規模很大。」那就知道可能要往 P 核心的方向推薦。如果客戶提到的是右邊的結構化資料庫（Structured Database）或非結構化資料（Unstructured Data），那是什麼意思呢？

以下是根據您的要求，將演講內容修正為流暢的繁體中文，並參考英中內容進行語意調整，融入 Intel Xeon 6 處理器及專業 IT 知識，修正可能的錯誤，並保留演講的完整性與細節。英文名詞後括弧附上原文，避免濃縮內容，並確保語句順暢：

講者 1（續）：

什麼是非結構化資料（Unstructured Data）呢？比如影片（Video）、照片（Photos）這些都屬於非結構化資料。你試著用右鍵壓縮（Compress）這些檔案，會發現壓縮前後幾乎沒什麼差別，檔案大小還是很大。這就是非結構化資料的特點，它不像結構化資料（Structured Data）可以輕易壓縮或整理，它就是扎扎实實地佔據儲存空間（Storage Space）。但如果是處理非結構化資料的儲存（Storage），通常對效能（Performance）的需求不會太高，因為這些資料大多是需要時才拉出來用（Retrieve）。這只是一個例子，還有像是認知運算（Cognitive Computing）或教育相關的 AI（Education AI）應用，這些場景可能偏向 Web 應用（Web Applications）或前端資料中心的應用（Front-End Data Center Applications）。所以我們用 P 核心（Performance Core）和 E 核心（Efficiency Core）來做一個簡單的分類。

這邊給各位經銷夥伴（Channel Partners）一個快速參考。你們的客戶可能有些設備會落在這些應用場景中，一眼就能看出 Intel Xeon 6（溧陽 6 代）應該選 P 核心還是 E 核心。這是個簡單的方法來記住使用場景（Use Cases）。因為每個人的專注領域不同，有些人可能專注於幫客戶建資料中心（Data Center），有些人專注於 AI 資料中心（AI Data Center）。有了這個概念後，就能知道 Xeon 6 的哪些型號（Models）可能適用於哪些場景。這是給大家的一個起點。好，大家有沒有問題？沒有的話，我們繼續往下講。

接下來談談 Xeon 6 的細節。這邊會展示 P 核心和 E 核心的 CPU 大小比較。這些圖示不是隨便畫的，但實際上 CPU 沒這麼誇張大，像電視那麼大，對吧？這裡的比例是想告訴大家，最右邊的 6900 系列（Xeon 6900 Series）是比較大的型號，也是頂級（Top-Tier）的 CPU。像是 Xeon 6970 這樣的高階型號，我們通常建議給媒體相關應用（Media Applications）。比如 NVIDIA 的 B200，大家可以查一下，B200 的資料中心設計（Data Center Design）通常是一個機架（Rack）配 8 個 B200 GPU。如果裡面搭配的是 Xeon 6 代的 CPU，通常會以 6900 系列為主。因為我在前期開發時有參與過，Intel 會跟這些廠商合作進行驗證（Validation）。在 CPU 還是樣品階段（Sampling Stage）時，我們就提供給他們，讓他們測試並確認這個 CPU 適合搭配哪一代 GPU。所以這種迭代（Iteration）的初心是有的。

這個大小比例只是讓大家知道，6900 系列的功耗（Power Consumption）比較高，CPU 的實體尺寸（Physical Size）也比較大。如果你看過我們家的 CPU，像 Xeon 系列，拿在手上會發現不同型號的大小差異很明顯。好，接下來談談 Xeon 6 的規格（Specifications）。核心數（Core Count）部分，我們最高可以達到 288 個核心（288 Cores）和 3TB 的記憶體（Memory）。為什麼我們這一代做了這麼多核心呢？特別是在 E 核心的部分。跟我們的競爭對手 AMD（Advanced Micro Devices）比起來，他們也在追求多核心（Multi-Core）的設計，Intel 也在這方面努力追趕。所以這一代的核心數可以達到 200 多個。

再來是記憶體頻寬（Memory Bandwidth）。這一代比前一代提升了 1.7 倍。前一代 Xeon 5，我們叫它 Sapphire Rapids（藍寶石急流），是第五代（5th Gen）。現在的 Xeon 6 用的是 DDR5（Double Data Rate 5）的延伸技術，提升了記憶體頻寬。還有處理器之間的 UPI（Ultra Path Interconnect），這是 CPU 之間的溝通通道。如果你的伺服器（Server）有多個 CPU，它們需要互相協作（Communication），所以需要保留一些頻寬給 UPI 跑資料。這一代的 UPI 升級到 2.0（UPI 2.0）。效能擴展（Scalability）方面，通常是一顆 CPU 或兩顆 CPU，這是最常見的伺服器配置（Server Configuration）。

大家有沒有看過四顆 CPU 的設計？這種大多出現在 HPC（高效能運算，High-Performance Computing）中，比如資料庫（Database）或郵件伺服器（Email Server）。我們看過 Cisco（思科）的一些設計，四顆 CPU 不稀奇，尤其在 HPC 領域很常見。其他經銷夥伴應該比較常見的是兩顆 CPU 的配置，這是市場主流。有些客戶其實只需要一顆 CPU，不一定非要兩顆。一顆或兩顆應該是最常見的。Intel 這一代原本想推一顆 CPU 為主流，但經過許多 OEM（原始設備製造商）的回饋，市場還是偏好兩顆 CPU 的架構。所以我們最後還是定為雙 CPU 為標準，在市場上推行。

接著談談 IP 加速器（IP Accelerators）。這個名詞大家可能聽過，但不一定知道怎麼用，後面我會詳細解釋。還有 AI 加速器（AI Accelerators），這部分跟矩陣運算（Matrix Operations）和向量運算（Vector Operations）有關，特別是在 AI 資料中心或浮點運算（Floating-Point Operations）時有加速效果。我先說明一下這些加速器的原理。雖然每種加速器功能不同，但有人會問：「沒有加速器，我是不是就沒這些功能？」不是這樣的。沒有加速器的話，CPU 還是能跑這些運算，只是效率（Efficiency）沒那麼高。

舉個比喻，假設我要搬一堆貨物（Data），原本是用人力推車慢慢搬，現在給你一台起重機（Crane），就能更快地把貨物從 A 點搬到 B 點。加速器就像這個起重機，能減少 CPU 的負擔（Workload）。它告訴你：「我給你一個好工具，比如加速器，從 A 到 B 原來要 10 秒，現在只要 1/3 的力氣就能到達。」這些加速器其實都內建在 CPU 裡。你可能會問：「這些加速器到底用什麼技術？我怎麼沒聽過？這是用在哪裡？」我隨便舉個例子，比如 QAT（QuickAssist Technology），它是做資料串流（Data Streaming）的加速器，有點像你在複製檔案（File Copy）時，加速器能幫你更快搬移資料（Data Movement）。這就像居民搬家一樣，效率更高。

你可能會問：「這我哪裡用得到？」不是你用不到，而是你的儲存應用（Storage Applications）裡已經整合了這些功能。比如 QAT 跟 SSD 技術（Solid-State Drive Technology）相關，它能更快處理壓縮（Compression）和解壓縮（Decompression）的資料。你可能覺得：「解壓縮跟我有什麼關係？」但很多軟體或硬體在運作時，都會用到這些功能。如果客戶的環境有整合這些加速器，他們可能沒什麼感覺，但如果沒有，資料搬移的效率就會差很多。這就是差異所在。後面我們會再詳細提到。接下來是 I/O 系統（Input/Output System），好。

好，大家可以看一下這邊的規格表（Specification Sheet）。我們一樣有 P 核心（Performance Core）和 E 核心（Efficiency Core）的規格卡（Spec Card）。最簡單來說，看左邊的 Xeon 6567，它是 P 核心，最高支援 86 個核心（86 Cores），記憶體（Memory）支援到 12TB，搭配 8 個通道（Channels）。再看右邊，功耗（Power Consumption）範圍從 150 瓦到 350 瓦，中間的型號可以到 500 瓦，最右邊的最高也到 500 瓦。這邊要提醒大家，如果你選用比如 6567 或 6900 系列，它們的規格（Specs）不是完全可以互相替換的。還有個問題要注意：機箱（Chassis）的散熱能力（Cooling Capacity）。比如說，支援 350 瓦的 CPU，絕對不一定能撐得住 500 瓦的型號，主機板（Motherboard）也是一樣。所以客戶在挑選 CPU 時，你得先了解他們的環境能不能支撐（Support）。如果需求更高階（High-End），能不能直接升級（Upgrade）？這點要特別注意。我們的規格表裡，有些細節像是記憶體規格（Memory Specs）或 UPI（Ultra Path Interconnect），大家可能比較不會特別去注意，因為這是 CPU 之間的上行鏈路（Uplink）部分。

接下來是 AI 加速器（AI Accelerators）的部分，其實功能都差不多。好，這張表是給大家一個總覽：P 核心有哪些型號？你會發現它們的功耗不同，不是每顆 CPU 的耗能（Power Usage）都一樣，對吧？再看 E 核心，最高可以到 288 個核心（288 Cores），那天我記得它的功耗也是 500 瓦。也就是說，最高規格的 E 核心，耗能一定是最高的。好，這張圖主要是讓大家快速了解 P 核心和 E 核心的規格差異。你可以看到，6900 系列的記憶體頻寬（Memory Bandwidth）可以到 8800 MB/s，UPI 的規格也有所不同。所以這一頁的重點是，你一看就知道該選哪個型號。目前市場上最常用的可能是 6500 和 6700 系列，要不然就是頂規的 6900 系列。

大多數情況是這樣。6900 系列因為功耗高達 500 瓦，有些客戶搭配 GPU 時，可能不希望 CPU 的功耗太高，所以會選 6700 系列的頂規型號，這是有可能的。這邊給大家一個概念。大家對 GPU 應該比我還熟，一台 GPU 伺服器（GPU Server）可能很貴，對吧？我問個問題：假設你花 100 塊買一台 GPU 伺服器，CPU 在這 100 塊裡占多少比例？猜猜看。如果是 100 塊的預算，CPU 會占幾塊？

有人說不到 4 塊，還有人說更低一點。好，這其實是個有趣的數字。以前你花 100 塊買一台普通伺服器（Non-GPU Server），CPU 可能占幾十塊，加上其他成本（Costs）。但現在一台 GPU 伺服器動輒 800 萬到 1000 萬，CPU 的價格就算通膨再怎麼漲，也不可能漲到十幾倍，對吧？所以 CPU 的成本（Cost）在整體預算中，可能低於 10%，具體數字我沒法很精確，但概念上是這樣。所以客戶在選 CPU 時，通常會挑頂規的（Top-Tier），像是高頻率（High Frequency）、核心數多（High Core Count）的型號。講白了，如果一台設備我都花 800 萬到 1000 萬了，還會在乎那幾萬塊的 CPU 嗎？

不會。你不會因為 CPU 省幾萬塊，結果拖累整體效能（Performance）。因為 GPU 的資源更貴重（Expensive），客戶在要求我們測試（Validation）時，也會要求用最頂尖的型號。所以這是一個趨勢（Trend）。有人會問：「CPU 要不要選差一點的，來搭配 800 萬到 1000 萬的 GPU？」絕對不會省這個錢。這是時代的演變（Evolution）。在 GPU 伺服器裡，沒人會覺得 CPU 貴，因為貴的不是 CPU，而是 GPU，整個焦點（Focus）都在 GPU 上。這是新世代資料中心（Data Center）客戶花錢的模式，比以前花得多。但在 CPU 上，他們不會跟你計較這些小規格（Small Specs）。以前可能會說：「CPU 可不可以少一點核心、少一點頻寬？」現在不會。因為就算你把 CPU 塞滿（Max Out），跟 GPU 的價格比起來，比例還是太低。

好，接下來談談 Xeon 6 的 P 核心跟競爭對手 AMD EPYC 9005 系列（MBA 9005）的比較。在 AI 運算（AI Computing）部分，我們有些提升（Improvements），跟自己前一代比也有進步。順便跟大家分享一點經驗。我相信大家參加過很多場講座（Seminars），對吧？每家廠商來都會說自己比較厲害，對不對？這是一定的，誰會說自己不行？我跟大家講講這裡的貓膩（Tricks）。在做競爭比較（Competitive Comparison）時，大多數廠商會挑自己擅長的運算方式（Workloads）來跑基準測試（Benchmark）。這很正常。我們下面也有些小字，會註明這些測試是用哪些浮點運算（Floating-Point Operations）跑的，這可能是我們的優勢（Advantage）。所以大家回去看這些資料時，每家看起來好像都不錯，但到底誰更好？如果沒有真實的應用場景（Real-World Scenarios），確實很難馬上看出來。

但我們這邊直接跟自己前一代比，我覺得這樣很公平。比如跟 Xeon 5（Sapphire Rapids）比，Xeon 6 在某些方面有顯著進步（Significant Improvements）。因為我們的製程（Process Technology）每一代都在進步，這是 P 核心資料很明顯的一個提升。

接著跟大家提一下，Intel Xeon 6（溧陽 6 代）的設計其實還有後續版本，我們現在也在開發中，這些計畫都正在進行。所以你們現在市場上看到的產品，比如即將推出的設備，可能會有其他夥伴（Partners）待會兒一起介紹 Xeon 6 的伺服器（Server）。但這些產品其實在多久前就準備好了呢？可能是一年前或一年半前，甚至設計出來時已經過了一兩年。我們需要經過無數次驗證（Validation），才能確保這些產品上市時，你們在市場上買得到時，不會像是在抓雞（Catch a Chicken）一樣亂七八糟。因為伺服器不像消費級產品，隨便驗證一片就結束，它牽涉到很多周邊系統（Peripheral Systems），要能穩定運作（Stable Operation）。所以我們得不斷前進，這也是 Intel 花了很多時間的地方。除了效能（Performance），穩定性（Stability）對我們來說非常重要。沒錯，因為客戶要的資料中心（Data Center）不是像家用電腦，開開關關隨便用，對吧？所以這些周邊的驗證（Peripheral Validation），我們都投入了很多心力。

好，接著談談 X86 架構（X86 Architecture）如何符合市場成長的需求。這邊可以看到下面的圖表（Diagram），這是它的架構（Architecture）。有什麼特點呢？它有 4 個 Socket（插槽），支援 32 個 DDR5 DIMM（記憶體插槽），還有 360 個 PCIe 通道（PCIe Lanes）。另外還有 3 個 UPI（Ultra Path Interconnect），剛才提到過，UPI 是 CPU 跟其他 CPU 溝通的通道（Communication Link）。UPI 越多，它能連接的 CPU 就越多，就像手牽手（Hand-in-Hand）的概念，能串聯更多 CPU。你可能會問：「有沒有沒有 UPI 的型號？」其實我們有類似的 SKU（Stock Keeping Unit）。有些客戶只需要一顆強大的 CPU（Powerful CPU），對他們來說就夠了（Good Enough）。這時不用 UPI 有什麼好處呢？它可以釋放更多 PCIe 通道（PCIe Lanes）給其他用途，比如插更多記憶體（Memory）或其他設備。所以有些客戶可能選一顆 CPU 就夠了，不同的 SKU（型號）有不同的設計。帶 UPI 的型號基本上是為了跟其他 CPU 協作（Collaboration），大家可以這樣記住 UPI 的概念就好。

在 Xeon 6 的規格部分，它有 86 個核心（86 Cores），記憶體容量（Memory Capacity）最高可達 4TB，支援 DDR5-6400（6400 MT/s）。這是 DDR5 的規格（DDR5 Specs）。所以 UPI 在 Intel 裡就像是 CPU 之間的「手腳」，用這個概念記住就行了。好，這邊有個 IDC（國際數據公司，International Data Corporation）的資料，雖然我還沒拿到最新的，但 2024 年的數據顯示，全球 AI 市場規模（AI Market Size）是 2340 億美元（234 Billion USD）。其中包含硬體（Hardware）400 億美元，軟體（Software）和其他部分加起來是 1940 億美元。到 2027 年，預計會成長到 5100 億美元（510 Billion USD）。但我覺得，以現在市場的熱度來看，應該會遠遠超過這個數字。2024 年到 2025 年這兩年的成長速度有多誇張，大家有沒有感覺？所以 AI 的趨勢（Trend）和相關投資（Investment），不管是在台灣、美國還是中東，都有很多聲音。他們確實在搶 GPU，這部分 AI 的支出（AI Spending），我覺得遠超這張圖的預估。IDC 的資料可能沒那麼即時，但給大家參考一下。

因為 AI 資料中心（AI Data Center）是個很大的市場，Intel 現在正在努力的部分是什麼呢？我們的 CPU 在市場上還是有一席之地（Decent Position）。我不敢說我們一定是第一，但在 GPU 領域，大家聽到的那些熱鬧話題（Buzz），比如 NVIDIA 的產品，我們的 CPU 還是很常見的搭配選擇。這是我們必須承認的。所以我們很早就跟 NVIDIA（輝達）甚至其他廠商合作，確保我們的 CPU 能適配（Compatible）他們的 GPU。這是每家都要做的事。第二部分是我們的 GPU 發展，坦白說，我們是落後（Behind）了一些。這沒什麼好掩飾的，就是事實。有人問：「有沒有聽過 Intel 的 GPU？」可能會覺得有點陌生。我相信這是我們目前落後的地方，但我們仍在往前走（Moving Forward）。我們已經錯過了 AI 市場最巔峰（Peak）的時機，但我們沒放棄。這個市場很大，大家可以看一下。

好，這邊談談 AI 的 GPU 和 CPU 搭配。在 AI 運算（AI Computing）中，我們建議用 P 核心（Performance Core），像是 Xeon 6900 或 6567 系列，反正都是 P 核心。因為在 AI 運算時，如果你需要更大的記憶體頻寬（Memory Bandwidth）和快取（Cache），還有 AI 相關的矩陣加速（Matrix Acceleration）和向量加速（Vector Acceleration），這些都很關鍵。還有管理相容性（Management Compatibility）和適應性（Adaptability），I/O（輸入輸出，Input/Output）部分最高支援 192 個 PCIe 通道（192 PCIe Lanes），搭配單核心高時脈（High Frequency）或多執行緒（Multi-Threading）的設計。如果你看過前幾代的 AI 伺服器（AI Server），會發現 CPU 的時脈通常都是挑高的那幾顆。

我們在 Intel 內部怎麼做這些 CPU 呢？其實有個流程（Process），可能大家沒什麼概念。這跟晶圓（Silicon Wafer）有關。晶圓切割（Die Cutting）出來後，會檢查良率（Yield Rate）。比如我拿一塊晶圓（Wafer），做 100 顆 CPU，每顆都要測試（Test）。有些 CPU 的 128 個核心（128 Cores）都能跑得很順，這顆就會被歸類為頂規（Top-Tier）。但如果發現有 20 到 30 個核心跑不快或有問題（Defective），我們會把這些核心關閉（Disabled）。所以你拿到手的 CPU，肉眼看不出差別，但內部已經過篩選（Screening）和分類（Categorization），變成不同型號（Models）。基本上，同一個製程（Process Node）、同一塊晶圓切出來的 CPU，起點是一樣的。就像一批人跑步，跑到終點最快的賣最貴，但本質上它們出發時都一樣。

甚至桌上型電腦（Desktop）的 CPU，其實也是類似的概念。同一代（Generation）的晶圓（Wafer），製造出來後會測試（Test）誰跑得快（Performance）。跑得快的就成為頂規（Top-Tier）型號。當然，在 AI 應用上，我們通常會挑選效能較高的型號，比如 P 核心（Performance Core）。這邊是品管的提示（Quality Control Notes）。除了普通的 DDR5（Double Data Rate 5）之外，我們還有 MR-DIMM（Multi-Rank Dual In-line Memory Module），這是基於 DDR5 再做優化（Optimization）的記憶體規格。它的時脈（Clock Speed）更高，記憶體頻寬（Memory Bandwidth）和功耗效率（Power Efficiency）也更好。

什麼是功耗效率（Power Efficiency）呢？簡單說，就是你花一度電（1 kWh），用 MR-DIMM 的效能（Performance）會比普通記憶體更好。MR-DIMM 是不是比較貴？我印象中是比較貴的。但貴的東西要普及（Popularize）有兩個可能：一是它降價（Price Drop）；二是追求頂尖效能（Top Performance）的客戶不在乎成本。就像前面說的，一台機器 1000 萬，CPU 賺多少錢？可能賺一點，但跟 GPU 比起來，比例低很多。所以 MR-DIMM 可能是新的趨勢（Trend）。

這邊有 MR-DIMM 的效能比較（Performance Comparison）。右邊提到了一些測試，比如 LAMM（Large-Scale Matrix Multiplication，大規模矩陣乘法）和 HPC（高效能運算，High-Performance Computing）的運算。測試顯示，普通 DDR5-6400 的頻寬是 6400 MT/s，而 MR-DIMM 可以達到 8800 MT/s。也就是說，用同樣大小的記憶體（Memory Size），MR-DIMM 的效能更高。有些應用提升 5%，有些高達 30%，但還是得看用途（Use Case）。不過整體來說，效率（Efficiency）應該是有提升的，因為頻寬本來就比別人高。這是客戶需求（Customer Needs）的重點，會因場景不同而有所差異，但不管怎樣，效能一定有提升，只是幅度（Improvement Range）不同。

接下來談談加速器（Accelerators）的部分。這邊有些英文術語（Original Terms），我會用簡單的方式解釋。第一個是左邊的 AI 加速引擎（AI Acceleration Engine）。什麼是加速引擎呢？就像我可以走路（Walk）或跑步（Run），但有了加速引擎，就像穿上工具（Tools）幫我跑更快。你可以把加速引擎想像成幫你做事的小幫手（Helper）。在 AI 上，加速引擎主要針對矩陣運算（Matrix Operations）和向量運算（Vector Operations），這些對浮點運算（Floating-Point Operations）或深度學習（Deep Learning）都有幫助。

有人可能會問：「有了這些加速引擎，我還需要買 GPU 嗎？」這是個好問題。GPU 還是專用（Specialized）的。就像跑語言模型（Language Model），GPU 可能 3 秒就搞定，但用 CPU 的加速引擎跑，可能要 10 幾秒。能不能用？當然能，但商業應用（Commercial Applications）不會用它取代 GPU。有些客戶說：「我只是想在環境裡跑個簡單測試，比如 30 億參數（30B Parameters）的語言模型。」這是可以的，CPU 加速引擎能跑起來，做測試（Testing）沒問題。但如果要跑 70 億參數（70B Parameters）的模型，沒有 GPU 是跑不下的。有人說：「我用 CPU 也能跑。」可以，但效率（Efficiency）遠不如 GPU。之前我們測試過，Xeon 6 比 Xeon 5 跑簡單語言模型有顯著提升（Significant Improvement），但 CPU 本來就不是設計來取代 GPU 的。我們提供加速引擎是給客戶做簡單部署（Deployment）或測試，但絕對無法完全取代 GPU 的用途。

接著談安全功能（Security Features），這更抽象（Abstract），更難解釋。我舉個例子，這裡提到 SGX（Software Guard Extensions，軟體保護擴展）。它是什麼呢？就像程式碼（Code）裡的隱藏保險箱（Safe），一般人感覺不到，也不知道怎麼用。但真正用到的時候，它是用指令集（Instruction Set）做安全隔離（Isolation）或資料保護（Data Protection）的措施。另一個是 TDX（Trust Domain Extensions，信任域擴展），比較簡單，它在虛擬機（Virtual Machine）上做隔離。有人會說：「我的客戶用 VMware，不是也有隔離功能？」對，VMware 可以隔離，但我們在硬體層（Hardware Layer）提供實體隔離（Physical Isolation）。它需要利用 Intel 的 API（應用程式介面，Application Programming Interface）和指令集（Instruction Set）。軟體層（Software Layer）就算有保護，還是可能有漏洞（Vulnerabilities）。如果 Intel 在硬體層提供 API 讓你調用（Call），你的虛擬機不就能保護得更好嗎？這就是 CPU 底層指令集的功能。

對客戶或你們來說，可能覺得：「這到底用在哪？」完全沒感覺很正常。我們怎麼跟客戶解釋呢？比如做儲存（Storage）或資料中心的客戶，我們很早就跟他們合作，在 CPU 送樣（Sampling）階段就測試。所以你們看到產品時，這些功能已經落地（Deployed）。客戶不會因為 Intel 加了這些功能就特別有感，但如果沒有，他們會發現每一代用起來都有進步。這是因為軟體依賴（Reliance on）Intel 底層技術（Underlying Technology）做加速。你們記不起來很正常，因為這些技術離你們有點遠。你們只要知道，這些加速器是結合軟體功能（Software Features）一起提供給客戶的，大概是這個概念。

HPC（高效能運算）也用矩陣和向量運算，還有 QAT（QuickAssist Technology，快速協助技術）網路引擎（Network Engine），用於解壓縮（Decompression）和串流儲存（Streaming Storage）。我剛才提到資料搬移（Data Movement），你試過壓縮檔案（File Compression）嗎？以前用慢 CPU 壓縮很久，現在很快。這跟 Intel 的內部指令集有關，不是硬體硬跑（Brute Force）的。比如壓縮一個 5GB 檔案，舊 CPU 可能花 1 到 2 分鐘，新一代 CPU 15 秒就搞定。不是 Intel 加速了 4 倍，而是指令集配合軟體層（Software Layer）優化，讓你感覺快很多。你不會知道指令集做了什麼，但會覺得變快了，這樣記就可以。

好，接著談醫療應用（Medical Workloads）。這邊提到軟體保護（Software Protection），比如 SGX，它保護敏感資料（Sensitive Data），避免被竊取（Stolen）或存取（Accessed）。TDX 則是虛擬層級（Virtualization Layer）的保護，大家比較熟，像 VMware 或 Citrix 的虛擬機軟體也有類似功能。我們還有其他加密功能（Encryption Features）。比如 TME（Total Memory Encryption，全記憶體加密），它是 CPU 和 GPU 之間的加密通道（Encrypted Channel），避免資料在運算時被竊取（Intercepted）。硬體控制（Hardware Control）的 SGX 和 TDX 都需要軟體配合。有人說：「我的軟體 100% 安全。」你可能不信，因為沒人敢保證沒漏洞。Intel 在硬體層也不會說 100% 沒弱點，我們也出過漏洞補丁（Patches）。但如果軟體層加上硬體保護（Hardware Protection），垂直整合（Vertical Integration）安全性（Security），雖然不能 100% 保證沒問題，但層層疊加（Layered Security）一定比以前更高。這就是概念。

今天跟大家分享了很多，Intel 有非常多的技術還在發展中。對消費者（End Users）或經銷夥伴（Partners）來說，這些技術可能不那麼熟悉。我覺得沒必要讓大家聽完就完全懂，只要覺得「這些東西有幫助」就夠了（Enough）。接著談更新的效益（Update Benefits）。這邊提到你可以省多少成本（Cost Savings）和電力（Power Consumption），這得跟客戶做諮詢（Consultation）。現在 CPU 可以到 200 多個核心（200+ Cores），以前一台機器可能只有 16 個核心（16 Cores），換成 200 個核心，一台就能抵好幾台。這是真的，你省下的電費（Electricity Cost）會差很多。原本可能要一整排機櫃（Rack），現在用 200 多核心的 CPU，可能 5 到 6U（Rack Units）就夠，達到原本的算力（Compute Power）。

但在台灣，客戶可能覺得：「這還是得花錢啊。我原本三台機器一個月電費不高，現在一台貴這麼多？」沒錯，問題在哪？根據我的經驗，資料中心通常用很久，可能 10 年，維護（Maintenance）到全球都停產（End of Life）還在用，成本才會低。這是各地玩法不同（Regional Differences）。推新設備時，客戶覺得 TCO（總持有成本，Total Cost of Ownership）算法有差距。這是瓶頸（Bottleneck）。但從省電（Energy Saving）和效能（Performance）來說，確實有幫助。怎麼算的呢？可能是原廠維護（OEM Support）5 到 8 年的成本，跟用更少機器跑更快比，負載（Workload）更集中，成本會更低。這是事實。但面對客戶時，這張圖他們可能看一眼就過了，這是現實。

在節能（Energy Efficiency）和空間（Space Saving）上，Xeon 6900 或 6700 P 核心跑資料庫（Database）或 Web 服務（Web Services）時，TCO 有明顯優勢（TCO Advantage）。這得跟客戶談才清楚。這邊只是給個概念：更多核心數（Core Count），更省空間。好，我們快結束了，大家有沒有問題？結束後還可以再來問我，因為你們應該有很多豐富經驗（Rich Experience）。（