January_Intel AI Chip Feature｜Intel's Product and Strategy Intentions for AI Chips (Part1)

Published On: 2024/02/02|Categories: 科技(Technology)|

With generative AI taking the world by storm, the development of AI and related computing chips is constantly being discussed. In addition to NVIDIA, which is still the most popular chip, AMD is still in the lead, and AMD is working hard to catch up with them. However, Intel, which has been the leader in CPUs, has also shown its intention to seize the market in recent years. The following is an analysis and discussion of Intel's advanced computing chip-related deployment, in order to get a glimpse of the semiconductor giant's next development in the AI field. As we all know, Intel has been involved in the AI field for quite some time.Pat. Before Geisger returned to Intel to take over the CEO position, Intel's strategy was to adopt a multi-pronged approach of acquisitions, introducing vector and matrix computing architecture from the instruction set, strengthening processor performance in AI and machine learning, and returning to the GPU market to seize the AI chip market share. InPat. After taking the helm as CEO, Geisger has adopted the IDM 2.0 strategy to aggressively expand its own production capacity and upgrade its advanced manufacturing capabilities. The short-term strategy is to deepen the cooperation with major foundries to make up for the shortfalls of its own fabs in terms of production capacity and manufacturing processes. Although it has been rumored that the U.S. government intends to convince Intel to cut out its fabs, Intel's IDM 2.0 strategy remains largely unchanged, judging from the general direction of the strategy, such as completing the mass production of five advanced process nodes in four years to meet the capacity needs of Intel's many products and the IFS (Intel Foundry Services) division. Looking further, Intel's IDM 2.0 strategy is one of the cornerstones of Intel's success in the AI chip market.

在伺服器處理器上，加速新品推出速度，力保領先優勢：

資料中心的主要組成來自於眾多伺服器，而眾多的CSP（雲端服務供應商）公司近年來多以提升資料中心的運算能力，來擴大亦或是保持與其他競爭對手的領先距離，所以這也使得算力強大的GPU產品與ASIC晶片等，成為眾多伺服器業者積極搶購的重要產品。持平而論，面對AI運算，中央處理器本身在運算架構上並非是處理AI工作的首選，但以Intel的角度來說，從處理器中所內建的指令集優化，輔以先進製程的搭配，Intel的伺服器處理器也能在AI運算中扮演重要角色。

在2023年底的發表會上，推出第五代Xeon伺服器處理器，標榜是市場唯一內建AI加速功能的主流資料中心處理器。內含NPU，預計2024上半年上市，供雲端公司等大型企業部署。英特爾表示這款處理器處理AI的推論任務表現尤佳，以每瓦電力評估的效能改善36%。觀察Intel近年來在CPU的設計概念，可以說是大致抵定，原則上會分為P-Core（Performance）與E-Core（Efficiency）兩種不同的CPU，在Xeon處理器未來的發展路徑上，也不脫這樣的原則，P-Core負責因應高性能與複雜運算、E-Core聚焦能源效率的工作負載。這兩類CPU各自搭載Scalar（張量）引擎與Vector（向量）引擎，以對應AI與機器學習等運算工作，其中P-Core更進一步搭載Matrix（矩陣）引擎，以處理更為複雜的AI運算工作。Intel也在今年的創新日正式宣布，兩款CPU將會搭載Intel 3製程。Intel聚焦在資料中心的伺服器產品線主要以Xeon Scalable系列為主，分為Platinum、Gold、Silver與Bronze等四種級別，其中尤以Platinum系列鎖定高算力與AI模型訓練和推論等應用為主。大致上，Platinum處理器自2017年推出，截至目前為止，已經在2023年第一季推出第四代處理器（代號為Sapphire Rapids），同年更推出搭載HBM（高頻寬記憶體）版本，進一步拉抬處理器算力，藉此因應生成式AI的暴發性成長。在同年12月14號推出的第五代處理器（代號為Emerald Rapids），此款處理器預期搭載E-Core CPU，如前所述，製程將是Intel 3，2024年進入量產，Intel表示這款處理器處理AI的推論任務表現尤佳，以每瓦電力評估的效能改善36%。第六代處理器（代號為Sierra Forest）則是預計2024年上半年發布，顯而易見，Intel在伺服器處理器的市場策略相較於過往幾年變得較為積極，其主要原因在於避免AMD等其他對手持續蠶食伺服器市佔，同時站穩資料中心與AI高性能運算的領導地位。

AI模型訓練晶片/加速器晶片- Gaudi系列已略有成效

Intel過去在晶片收購策略上，先是收購FPGA大廠Altera，後期則有收購以色列新創AI晶片者Nervana，在2019年收購另一家新創AI晶片公司Habana，並在2020年取得AWS的採用。至此，Intel可說是完全拋棄Nervana相關產品的開發，全力投入Habana旗下的Gaudi產品，藉此設法拉近與NVIDIA在AI模型訓練市場的差距。

表1. Gaudi現有產品簡要規格一覽

Source：Habana官網；智璞產業趨勢研究所整理

Gaudi的產品定位是與NVIDIA的H100做競爭，皆是鎖定AI模型訓練、高性能推論與高算力應用，因此也搭載了HBM。就產品策略上，會與Intel的第三代、第四代Xeon Platinum處理器搭配，來滿足客戶需求。截至目前為止，除了美國幾個重要的學術研究單位引進了Gaudi晶片外，AWS也先後採用了Gaudi與Gaudi2，美超微（Supermicro）與戴爾（DELL）也有搭載。Gaudi2為2022年五月所推出，在生成式AI與大型語言模型上，也有相當出色的表現，根據Intel所提供的評測數據顯示，若是處理GPT-J的推論工作上，其性能相較於NVIDIA的H100約為1.09倍。而Intel也在今年的創新日宣布新一代Gaudi 3晶片將會採用5nm製程，預計將於2024年量產，而接續Gaudi 3的下一代產品，代號為Falcon Shores，量產時間則為2025年，詳細規格未定。從Intel收購Habana後，不難看出Intel對於該部門的深切期待，顯而易見。宏觀來說，市場普遍能被大多CSP業者所接受的AI模型訓練晶片，大致上還是以NVIDIA的A100與H100系列產品為大宗。相中這塊市場仍有利可圖的情況下，Intel以收購的Habana所打造的Gaudi，亦或是AMD所推出的MI300X GPU，皆是針對NVIDIA的產品而來。然而，扣除Google等這類也能獨力供應自身的訓練晶片的業者來說，觀察第三方AI模型訓練晶片市場，在NVIDIA過去長年以CUDA所打造的成熟生態系統，已經建立相當深厚的基礎，短時間內要翻盤並非易事，甚至可說難如登天。但換個角度看，畢竟該市場長年也被NVIDIA所壟斷，客戶端在某種程度上的確也需要有第二選擇，促使市場良性發展，所以這也讓AMD 與Intel有機會可以進入戰場的因素。

以2024年的發展走向來看，由於NVIDIA預計將推出接替H100的B100 GPU產品，以進一步因應大型語言模型的成長需求，Intel預計推出的Gaudi 3想必也將是劍指B100而來。以現今Intel在CSP市場所累積的基礎來說，如何有效地再進一步延伸，甚至與國內指標性的伺服器代工業者有更多的合作，應是2024年的觀察指標。

圖1. Gaudi發展藍圖路徑規劃