March_AI Server Topics｜AI Server 2025 March Market Trend Analysis

回顧過去生成式AI與深度學習技術的興起，使得市場上對AI模型的發展與應用需求急速增溫。不僅傳統的NLP（自然語言處理）、CV（電腦視覺）領域持續推動模型規模的擴張，直到去年陸續傳出大語言模型(LLM)的進步速度放慢甚至可能來到停滯，然而在「OpenAI的O系列模型」、「DeepSeek R1」、「xAI Grok3」等具有推理能力地新興AI模型陸續問世，讓AI 模型往AGI（通用人工智慧） 的發展露出屬光，更進一步推升算力的需求。

1. OpenAI 的O系列被視為通用型人工智慧模型的先驅之一，其在資料處理與深層語意理解方面的表現突出。據傳O系列的最新版本採用了多層次的注意力機制（Attention Mechanism）能夠在面對龐大且多樣化的語料時，依照情境動態分配計算資源；並可能在預訓練中加入增強式學習(Reinforcement learning, RL)與特殊的回饋(Reward Model)，讓模型大幅提升了推理能力與回答問題時的準確度。
2. DeepSeek R1在論文中提到加入了RL以及客製化高維度的Transformer 模組，能夠在各種任務之間靈活切換。就推理效率而言，DeepSeek R1雖然在運算量上不斷往上堆疊，但透過複數向量運算（Complex Vector Computation）與特定的軟體平行化優化，也使其在雲端環境中的推理速度相較傳統深度模型更加流暢。雖其標榜使用較低算力成本可達到同樣效能，但我們認為若要持續進步仍然需要更多基礎建設與算力的配置。
3. xAI Grok3，則是新一代超大型模型的代表之一。xAI團隊宣稱他們在參數量與深度結構上比先前的Grok2提升了數個數量級，並內建了強大的預訓練語言理解和自動特徵萃取機制。因其在多種場景下展現了高度的通用推理能力，被視為下一波AGI的雛形的關鍵模型之一。

總體而言，從O系列到DeepSeek R1，再到xAI Grok3，每一個新的AI模型版本都搭載更多的參數或使用更複雜的深度學習架構，對硬體資源的需求持續飆升。這些需求不僅體現在訓練階段，也同樣影響到推理階段的高併發負載。因應這股潮流，AI伺服器市場正以高速發展，不論是GPU、AI ASIC（Application-Specific Integrated Circuit），或是其他專用加速硬體，都渴望提供更高效的運算核心、更寬頻的記憶體傳輸與更成熟的軟體生態系統。

輝達（NVIDIA）作為AI硬體與軟體生態系的龍頭，即將在下週登場的年度GTC大會，更是因其有望揭露新一代AI晶片GB300而成為焦點。這款晶片預計將整合多年的研發成果，包括其在GPU架構優化、張量運算核心（Tensor Cores）升級，以及新一代NVLink高速互連技術等多方面的技術突破，即CPO交換機和NVL288機櫃(Quantum 3400、Spectrum 5與6)的推出。坊間傳聞，最引人注目的有GB300其大幅強化的訓練效能。據推測，新一代張量核心將在浮點運算性能（FLOPS）上再度刷新紀錄，並且強化混合精度（Mixed Precision）與稀疏矩陣運算（Sparse Matrix Operations）的支援，使大型語言模型（LLM）與生成式對話模型的訓練時間能再度壓縮。此外，GB300在顯示記憶體（VRAM）頻寬與容量上也可能大幅提升，使得深度學習模型能夠處理更大批次、更高維度的資料。另外，輝達將在軟體層面同步發布新版本的CUDA與TensorRT，並為HPC（High Performance Computing）及AI雲端環境提供更強大的開發者工具。這包括更完善的協同運算架構，例如與Arm、x86等不同處理器架構的深度整合，以及對最新PCIe標準乃至專用網路交換技術的支援。另一訪間傳聞在互聯技術的部份，應會發佈CPO交換機與NVL288機櫃等新產品。交換器晶片，採chiplet架構搭配光引擎整合，大幅提升交換帶寬與能效。CPO交換機含多顆28.8T至102.4T交換機晶片，以台積電之hybrid bonding技術整合EIC(電晶片)與PIC(光晶片)，再配FAU與可插拔式光引擎模組。供應鏈包含Fabrinet、Amko等完成封測，康寧與天孚通訊則提供FAU與光連接器。NVL288機櫃採液冷散熱與高階CCL（PTFE＋HVLP5銅箔）以支援高速訊號傳輸並搭配GB300晶片，展現更優異的高頻運算性能。市場普遍對GB300與新的高速互連技術懷抱期望，認為這款晶片與架構將在參數量動輒千億、甚至上兆級的AI模型競賽中，提供更具競爭力的硬體平台，導致有傳聞有CSP業者延後GB200的出貨甚至削減訂單。我們認為一旦在GTC上獲得技術與實測成果的公開展示，各大雲端服務商與資料中心業者會有很大的機會加大採購力度，以搶先布局新一波的AI算力競賽。

 

然而，在高需求的表象之下，AI伺服器產業也面臨到產能與供應鏈變動的挑戰。根據市場消息，在農曆年後台積電的先進封裝技術CoWoS（Chip on Wafer on Substrate）出現了產能「Booking 下修」的情形。不論是輝達目前量產出貨的GB200以及未來GB300所用的CoWoS_L， 或是CoWoS_S與CoWoS_R皆有下修的情況。相較於去年底的樂觀，CoWoS 整體的Booking量下修約8~12%，其中以AWS 與 AMD 下修情況相對較多。但檢視市場消息，目前即便是下修了產能預訂量，也是回到去年10月上調前的水準。這些下修的主因可能相當複雜，涉及全球經濟前景的不確定性、資料中心(D.C.)與雲端服務供應商（CSP）業者對未來市場的觀望、產品庫存周期的調整。除此之外，今年主要的資料中心與雲端服務供應商對於資本支出（CAPEX）的規劃，也成為觀察AI伺服器市場的重要指標。從年初到現在已公開資訊來看，今年主要CSP業者的CAPEX成長率雖仍在正向區間，但與過去幾年大家一致預測爆發成長相比，目前各家市場機構對今年的成長預測顯得相對溫和與分歧，不過仍有機構預測全球雲端服務商（Google、AWS、Meta、Microsoft等）在2025年的資料中心基礎建設支出可能突破 3,000億美元甚至更高，如下圖一。

• AWS：持續擴張其AI訓練與推論平台，預計在2025年維持高額AI相關資本投資，不過增幅可能分階段釋放。
• Google Cloud：在Alphabet的財報會議上通常不會公布精確地資出與分配等，但為鞏固生成式AI與資料分析市場，也是預期同樣會在HPC與網路基礎建設上下重本，但也強調整體資本效率。
• Meta：雖2024~2025年初對非AI基礎建設可能縮減支出，但針對AI研發（特別是大模型與雲端推論）仍積極採購高階GPU與網路設備。
• Microsoft：隨著Azure OpenAI服務需求攀升，預期2025年AI/HPC基礎建設支出保持高成長，聚焦擴增GPU叢集與相關網路交換機。

圖一 樂觀之市調機構預測 北美/中國 主要CSP CAPEX

Source: 廣發證券，智璞產業趨勢研究所整理

整體而言，2025年高階算力相關的採購仍將是雲端服務商的優先重點。這在一定程度上能支撐包括CoWoS等先進封裝技術的需求。根據上述各家CSP今年展望加上去年年底輝達GB200的設計散熱議題傳聞研判，目前的下修可能會是主要客戶觀望市況或等新產品疊代的機率高一些。但細部投資時程與採購規模仍取決於各家營運策略與市場表現。相關資訊往往要等到該年下半年，企業根據實際需求與宏觀情勢進行調整後，才會在後續季度或年度報告中進一步公開。

 

總結來看，AI伺服器市場正面臨「機遇與挑戰並存」的時刻。一方面，新一代AI模型如O系列、DeepSeek R1、xAI Grok3等的推陳出新，持續推動算力需求的攀升；另一方面，輝達即將在GTC上發表的GB300也成為業界焦點，帶動了新一波硬體升級浪潮。這些因素無疑將繼續刺激AI伺服器市場的蓬勃發展，尤其在高階應用場景與雲端資料中心領域，對GPU與AI專用加速卡的需求仍將維持高檔。主要CSP業者在CAPEX上的成長趨勢雖未停滯，卻也出現了明顯放緩的跡象，意味著AI基礎設施的佈局可能變得更具選擇性與策略性。此時，擁有完善生態系和多元技術方案的廠商，往往能在競爭激烈的局面下保持領先或脫穎而出。對硬體廠商而言，如何在技術研發與產能布局之間取得平衡，將是未來取得市場先機的關鍵。呼應我們在年初所提的，今年最大變數會是地緣政治與川普不確定性所帶來變數，全球經濟或AI供應鏈是否會因為這因些因素裹足不前或只是短期的避險停滯情緒仍保持謹慎態度來觀察。