掌握AI Server市場新機遇 Caleb Pan ,mar,2025


各位台北的夥伴，大家好！我是來自神雲科技（MiTAC）的代表，負責台灣的伺服器與系統銷售業務（Server and Systems OTC）。今天很高興能有這個機會，先跟大家打聲招呼，並簡單介紹一下我們的背景。

或許有些朋友對 MITAC（神達電腦）這個名字有點陌生，但其實我們在去年，也就是2024年10月，進行了一次品牌整合。一些資深的前輩可能聽過 Tyan（泰安電腦），這個品牌過去是我們 MITAC（神達電腦）旗下的一條重要產品線，而神雲科技（MiTAC）則是我們在伺服器與雲端運算領域的整體業務名稱。我們在伺服器產業已經有二三十年的經驗。不論是整機系統（Barebone Systems）、主機板（Motherboards），還是針對企業級應用（Enterprise Applications）的解決方案，甚至是與品牌客戶的合作（如 ODM 或 OEM），我們都累積了相當豐富的經驗和成果。例如我們曾獲獎的 L9 系列，是最精準的整機系統之一。今天我會特別聚焦在與英特爾（Intel）合作的產品線以及相關應用場景，向大家做個簡單報告。

我的想法是這樣的：待會兒簡報結束後，如果大家對某些內容有更深入的問題，或者想探討一些商機，我們可以在會後一起討論並進一步執行。接下來，我會把時間交給我們團隊的其他成員，他們將為大家帶來更詳細的講解。謝謝各位！

講者1：
大家好！

大家好！我是神雲科技（MiTAC）亞太區的代表，你們可以叫我凱樂。今天我想跟大家聊聊 MITAC（神達電腦）集團的發展。我們隸屬於聯華神通集團（MiTAC Synnex Group），旗下還有一些大家可能聽過的品牌，比如專注於車用電子（Automotive Electronics）的 Mio、Magellan 和 Navman。剛才講者提到過 Tyan（泰安電腦），這個品牌是 MITAC 集團的一個重要組成部分，主打高效能運算（High-Performance Computing, HPC）和企業級應用。而神雲科技（MiTAC）則是我們在雲端運算（Cloud Computing）和伺服器解決方案上的核心力量，致力於提供高效能、低功耗的產品。

MITAC 集團本身是一家代工廠（ODM Factory），所以在產品行銷上，我們過去的力度可能不是特別大。但我可以向大家保證，我們的產品品質絕對是頂尖的，而且一直以來都維持著很高的水準。2025年對我們 MITAC 來說是非常重要的一年。我們重新梳理了銷售渠道（Distribution Channels），不論是在台灣還是整個泛亞太地區，我們希望能與大家有更多的接觸和交流。在座的各位前輩想必都是 IT 產業的資深人士，對市場趨勢和產品方向有很深的見解。我們非常歡迎大家跟我們的業務代表 Otis 或是我（凱樂）分享你的想法。這些意見我們都會帶回總公司，或許你們的建議會成為我們下一代產品的靈感來源。

接下來，我想分享一下我最近的經驗。我今年加入神雲科技（MiTAC）後，這兩個月陸續拜訪了其他地區的經銷商，了解當地的市場狀況。例如，上個月我去了中國，當地最熱門的話題是如何用較低的成本實現高效能的智慧運算（Smart Computing）。他們提到，如果要達到與市場上頂尖產品相同的效能，成本大約是500萬美元，相當於當地 GDP 的1/20。他們很希望我們能推出一整套產品線，來支援像 67B（67 Billion Parameters）這樣的大規模模型（Large-Scale Models）。他們問我們：如果採用 6B、10B 或 100B 等不同規模的模型，我們有沒有相對應的推理伺服器（Inference Servers）？

再比如，上週我去了新加坡，拜訪了當地一所學術單位——蘇泊爾（Supercell）的 HR 部門。他們的需求偏向超級電腦（Supercomputers），但不是每所學校或實驗室都有充足的預算。有些獨立實驗室希望能部署我們神雲科技的伺服器（MiTAC Servers）。他們特別提到我們的 R2520 型號，對這台機器很感興趣。他們的需求是作為推理伺服器（Inference Server），支援 10B 或 11.8B 的模型，想知道我們能不能搭配 L40S 或其他非典型的運算單元（Compute Units）來實現這樣的服務。

以上是我這兩個月的一些見聞，分享給大家。接下來，我會正式開始今天的簡報。我不知道大家有沒有拿到今天的大綱，沒有的話也沒關係，我就簡單介紹一下。

首先，我想談談 MITAC（神達電腦）的里程碑。我們隸屬於神達控股（MiTAC Holdings），成立於1982年。1999年，我們收購了 Tyan（泰安電腦），從此開始涉足高端伺服器（High-End Servers）的設計與製造。我們的產品經過各種環境測試，包括濕度（Humidity）、溫度（Temperature）、鹽度（Salinity），還有系統整合測試（Integration Testing）、相容性測試（Compatibility Testing）和壓力測試（Stress Testing）。這些測試確保我們的產品在交付給客戶時，能達到高效能和高品質的標準。

隨著我們整合了各個產品線，我們也重新命名了產品系列，目前包含六大類：

R 系列（Remote Series）：這是通用的機架式伺服器（Rack Servers），適合各種 IT 需求，尤其是人工智慧（AI）和雲端運算（Cloud Computing）應用。
N 系列（Node Series）：多節點伺服器（Multi-Node Servers），專為高效能運算（HPC）設計，適合需要大量 CPU 運算的任務。
G 系列（GPU Series）：GPU 伺服器（GPU Servers），支援多張 GPU，專為機器學習（Machine Learning）和人工智慧任務打造。
T 系列（Tower Series）：塔式伺服器（Tower Servers），為辦公室或小型工作室設計，例如影像處理（Video Processing）或私有雲（Private Cloud）應用。
C 系列（OCP Series）：符合 OCP 協會（Open Compute Project）規範的設備，採用開源模組化設計，具有高相容性和省電特性。
CN 系列（Cloud-Network Series）：專為 5G 應用設計的邊緣伺服器（Edge Servers），支援邊緣運算（Edge Computing）需求。

這六大產品線應用於人工智慧（AI）、雲端運算（Cloud Computing）和邊緣運算（Edge Computing）。現在 GPU 的運算速度已經很快，但瓶頸在於多節點、多 GPU（Multi-GPU）層級的網路互聯（Networking）。網路需求變高，例如多 GPU 部署時，他們希望能支援 200GB 或 400GB 的以太網路（Ethernet），甚至是 Infiniband（IB）。雲端運算強調高彈性擴展性（Scalability）、高可用性（High Availability）和高效服務（Efficient Services）；邊緣運算則注重低延遲（Low Latency）和耐用性（Durability），因為設備可能不在標準機房，耐用性是重要指標。

我們有相對應的產品，例如 G4520 和 R2520G6，這是新世代產品。但正值新舊交替時期，有些產品如 M50FCT（雲端運算用，基於 Intel DSG）和 TX88-5652（Tyan 產品）可能不太熟悉。沒關係，大家告訴我們應用需求，我們會推薦適合的產品。透過這樣的互動，我們會更了解產品優勢。例如 TX88-5652 是一款 2U 伺服器（2U Server），可插 24 個 3.5 寸硬碟，在最小空間提供最大儲存與擴充，非常適合人工智慧應用。

接下來談談人工智慧趨勢。自從大語言模型（Large Language Models）興起後，模型規模越來越大，需要更多 GPU 滿足運算需求。直到2025年第四季，大家才意識到透過軟體優化可降低訓練成本。這不再是大公司（如 CSP Top 7）的專利，中小企業也能參與應用落地。

機器學習分為訓練階段（Training Phase）和推理階段（Inference Phase）。首先是資料收集與預處理（Data Collection and Preprocessing），就像教小孩子，我們希望給他好的教材，避免「GIGO」（Garbage In, Garbage Out）。其次是預訓練（Pretraining），讓模型學習通用知識，如同國高中教育。第三是微調（Fine-Tuning），企業根據應用（如客服 QA）餵食專業知識，像大學研究所的專業訓練。最後是推理階段（Inference Phase），將訓練好的模型部署到推理伺服器（Inference Servers），與 API 串接。

舉例來說，車輛照片的像素分析，可推論出物品類別，這就是推理過程。接著是監測與迭代（Monitoring and Iteration），像 ChatGPT 會問你滿意度，反饋再用於模型優化。

MITAC 的 AI 伺服器優勢在於強大處理器，我們與英特爾（Intel）、Nvidia 等密切合作，開發下一代解決方案，確保發揮處理器潛能。我們也提供高適配性（High Adaptability），能客製化滿足技術需求，如高速儲存（High-Speed Storage）、網路卡（Network Cards）或 RAID 卡（RAID Cards）。散熱方面，隨著 GPU 功耗提升（如 H200 700W、B300 1400W），我們提供高效氣冷（Air Cooling）和液冷（Liquid Cooling）方案，確保產品穩定運行。我們也與新興硬體廠商（如 Graphcore）合作，整合軟硬體，提升運算效率。

以上是簡介，大家有什麼問題嗎？接下來介紹 AI 設備主推產品：G4520G6 和 R2520G6。G4520 是一款 4U 雙路伺服器（4U Dual-Processor Server），支援英特爾第四代與第五代可擴展處理器（Scalable Processors），如 6700 或 6900 系列，最高 TDP 350W，支援 32 個 DDR5 DIMM（最高 8192GB），並可插 8 張全高雙寬 GPU（Full-Height Double-Width GPUs），非常適合 AI 訓練。

接著我們來看 G4520 的其他規格。它支援另外三個 PCIe（PCI Express）插槽，提供高速網路傳輸（Network Transmission），最高可達 400Gb/s，並搭配高效電源與散熱設計。它採用 3+1 的 CRPS（Common Redundant Power Supply）電源配置，最高功率可達 6000W 或 9600W，並配有 IPMI（Intelligent Platform Management Interface）介面，支援企業級管理（Enterprise Management）。詳細規格大家可以參考簡報。

這張是 G4520 的前視圖，配備 8 個 NVMe/SATA 的 SSD 插槽（SSD Slots）。左右兩側各有一個 OCP（Open Compute Project）插槽。後方則是電源模組（3+1 電源設計）和 PCIe 介面。最下方還有一個額外的 OCP 插槽。我們的產品設計不會有浪費空間，你可以根據應用需求選配 2 個或 4 個網路卡（Network Cards）。上視圖顯示前方左側是硬碟區，中間是兩個 CPU 區域，後方則是 PCIe 插槽的配置。這就是 G4520 的介紹。

接下來是 R2520G6。它同樣採用英特爾（Intel）的可擴展處理器（Scalable Processors），是英特爾 DSG（Data Center Solutions Group）下一代產品 M50FCT 系列的延伸。它最多可支援 2 張全高全長的 GPU（Full-Height Full-Length GPUs），並適配 Nvidia H100。其記憶體規格與 G4520 相同，支援 32 個 DDR5 DIMM。它有 5 個 PCIe 插槽，其中 2 個支援全高全長 GPU，另外 2 個是全高半長（Full-Height Half-Length），1 個是半高半長（Half-Height Half-Length）。簡單來說，R2520G6 是一款機架式伺服器（Rack Server），其他配置可根據應用需求選擇。這是它的上視圖。

接著是 B730，同樣支援英特爾第四代與第五代可擴展處理器（4th/5th Gen Scalable Processors）。規格細節如簡報所示，簡單來說，它最多可插 2 張全高全長雙寬 GPU（Double-Width GPUs），搭配雙 CPU（Dual CPUs），因此運算核心數較多，適合高運算需求的應用。後面我們會介紹 TX88-5652，它是單 CPU（Single CPU）設計，我們會根據客戶需求推薦單 CPU 或雙 CPU 產品。

再來是 TX88-5652，這是 Tyan（泰安電腦）的產品，核心數較少，因為它只搭載單顆 CPU。它可支援 4 張顯示卡（Graphics Cards），是一款專為辦公室設計的多功能伺服器（Multi-Purpose Server）。橫放時可放入 19 寸機架，成為 4U 設備。這是它的前視與後視圖。它也支援 Nvidia H100，適用於訓練與推理服務。

最後是 2025 年第三季推出的 G4527。這款 GPU 伺服器（GPU Server）與 G4520 的主要差別在於，它符合 Nvidia NGS（Nvidia Grace Superchip）設計，並將 U.2 NVMe SSD（U.2 NVMe SSD）升級為 E1.S（Enterprise and Datacenter SSD Form Factor），提升儲存效能。規格如左側所示。特別值得一提的是，它滿足 NGS 的網路需求：1 個南北向網路（North-South Network），處理 CPU 與儲存（Storage）或外部網路的互動；4 個東西向網路（East-West Network），負責 GPU 間的互聯。這款產品支援 2 顆 CPU 和 8 顆 GPU，並有 5 張網路卡（NICs）的設計。

這頁是 Nvidia 的白皮書，根據應用選擇 GPU。左邊是訓練（Training），右邊是推理（Inference）。小於 5B（5 Billion Parameters）的模型，L40S 和 H100 都適用；6B 到 65B，H100 仍可勝任；超過 65B，則推薦 H200。G4520 和 G4527 未來也將支援 H200 和 B200，目前正在驗證中。推理方面，L40S 和 L4 已能滿足多數應用。

有沒有問題？好，我們接著講應用案例。剛才有人提到在中國的需求，他們問我們的資料中心（Data Center）有沒有對應產品。我們會根據模型規模推薦：600B 到 67B 的模型，建議使用兩台 G4520G6 搭配 H100，就能滿足推理需求；100B 到 500B，則推薦 R2520G6，搭配適配硬碟如 NVMe 或 SATA（而非 SAS）。若追求整體 CPU 效能與功耗平衡，G4520G6 是最佳選擇，但仍依應用而定。100B 以下，推薦 B730 搭載 2 張 L40S，就能滿足推理需求。

舉個案例：智慧助手（Smart Assistant）。在西安的旅遊聖地，資訊亭越來越多，提供文字或語音服務。每個資訊亭有小型語言模型（Small Language Models）回答常見問題。若超出範圍，則透過 WiFi 連接到核心網路，求助大語言模型（Large Language Models）。我們成功案例是用 R2520G6 搭載 8 張 Nvidia L40，支援超過 50 個資訊亭的推理服務。

另一案例是智慧檢測（AOI, Automated Optical Inspection）。某工廠的 PCB 生產線，原有系統有瓶頸，採用深度學習（Deep Learning）後，檢測準確率達 99.9%。他們詢問是否能用邊緣推理伺服器（Edge Inference Server），我們推薦適合的產品。

演講內容修正版本
這邊的圖表主要是想說明一個PCB（印刷電路板，Printed Circuit Board）的生產線。這個生產線會持續掃描PCB，判斷它是瑕疵品還是良品。過程中，我們使用照相機透過MoBus協定（MoBus Protocol）連接到工業電腦（Industrial PC）。工業電腦再透過TCP/IP協定（TCP/IP Protocol）與邊緣推論伺服器（Edge Inference Server）進行應用。這裡的TCP/IP技術其實是由以色列團隊開發的部分。我們使用了兩張專業繪圖卡（Graphics Card），這能夠滿足客戶的需求。

最後一部分是關於數位孪生（Digital Twin）或物理化學模擬（Physical-Chemical Simulation）。實際上，在晶圓設計（Wafer Design）或物理化學實驗中，模擬的方式越來越普遍。例如，神雲科技（Tyan）會選擇用模擬取代實際實驗，以降低整體研發成本。

在這邊，我們使用了四台M50SCP伺服器（假設為Mitac或Tyan的產品型號，根據上下文推測）。每台伺服器的規格是搭載英特爾第五代可擴展處理器（Intel 5th Gen Scalable Processor），每台有32核心（32 Cores），並配備兩張NVIDIA H100 GPU（NVIDIA H100 Graphics Processing Unit）。這些伺服器運行的是Linux作業系統（Operating System, OS）。這四台機器組成一個集群（Cluster），並使用K8S技術（Kubernetes）進行管理。這樣的設計有什麼優勢呢？

第一個優勢是，當其中一台機器故障時，其他機器可以接手這台機器的應用服務，確保服務不中斷（Service Continuity）。第二個優勢是，現在的情況可能是多個實驗室共用這套系統，處理需求有時大有時小。當需求變大時，我們希望應用程式能自動擴展。例如，原本應用程式只使用了前兩台機器的資源，但當需求增加時，它可以擴展到第三台甚至第四台，來滿足更大的運算需求。這種自動擴展應用程式（Auto-Scaling）的能力也是一大優勢。

第三個優勢是，我們可以根據使用狀況靈活調整。如果四台機器都滿載了，我們可以再採購一到兩台機器，加入這個集群。而且，這種擴充可以線上部署（Online Deployment），也就是說，我們可以新增節點（Node）而不中斷服務，這一點非常重要。

最後一張圖想表達的是，我們針對各種應用場景，在英特爾平台上都有相對應的產品。左邊是英特爾的部分，右邊則是第五代可擴展處理器（5th Gen Scalable Processor），當然也適配第四代可擴展處理器（4th Gen Scalable Processor）的相關產品。希望大家對此有個初步印象。

在這個部分，大家有什麼問題嗎？因為在應用端這一塊，我相信各家系統整合商（System Integrator, SI）在應用層面有更多經驗，我們可以互相交流一下。好的，非常感謝今天大家的參與，我的簡報到此結束，謝謝大家！

演講後互動部分

好的，我們感謝領導同意讓我們的合作夥伴跟大家報告一下。今天我們的晚宴將在6點開始，晚宴地點就在大門出去後右手邊的星光廳。稍後請各位幫忙入座，除了第一桌不要坐以外，其餘座位請業務單位自行安排分配。這個會場我們可以使用到5點20分，之後大家可以陸續移步到旁邊的廳。好，大家可以繼續在這裡享用咖啡，有需要的朋友也可以趁這個機會與英特爾團隊、我們的合作夥伴，或是我們的業務團隊交流一下。我們6點整會在隔壁廳開始晚宴活動，謝謝大家！

另外，提醒一下，如果有要提早離場的夥伴，請記得到服務台掃描停車折抵的部分。晚宴結束後，每桌也會提供停車折抵的小卡，大家可以直接在桌上拿到並掃描使用。感謝大家的支持！

（語意不明，疑似隨興發言）什麼都不一定，對不對？

這個我們特別清楚，像是在監控財務活動這方面，確實需要注意。好的，謝謝大家！關於明天要考慮的核算時間，可能還有些問題沒解決。如果他不管的時候，我自己覺得沒什麼，但大家的感覺比較重要。所以我覺得，光靠自己的想法可能不夠，還是得看整體的情況，比如全國的訂單量有多少。謝謝大家的支持！

剛剛提到的事情，我們可以聚焦一下，然後就先這樣處理。像是有什麼學校或公司來找我們的時候，剛剛講的這些就夠了。如果有什麼事情，我就不多看了。我覺得現在開始這個計畫，很多人可能覺得我還年輕，經驗不足，也不敢多說什麼。但我想告訴大家的是，我們都在為彼此著想，對吧？