Why memory chips are the new frontier of the AI revolution

創新助力 SK 海力士超越三星，并讓芯片制造商陷入日益加劇的緊張局勢之中

高帶寬內存設計，例如 SK 海力士和三星生產的 HBM3E，正在改變整個行業，并改變頂級廠商的歷史順序。 © FT montage/Bloomberg

在 SK 海力士龐大的 M14 芯片制造廠，身穿白色、粉色和藍色潔凈服的工人們檢查著一排排的機器，700 臺機器人沿著高架軌道快速移動，將硅晶圓運送到制造過程的不同階段。

該工廠位于韓國利川市的公司主園區，生產高帶寬內存 (HBM) 芯片，每秒可傳輸相當于 200 部長片電影的數據。

幾十年來，內存芯片一直是半導體行業中不起眼的領域，被 AMD、高通、Nvidia 和臺積電等公司設計和生產的用于進行計算和控制電子設備運行的邏輯芯片或處理器芯片所掩蓋。

但HBM設計，例如利川工廠生產的HBM3E，正在改變存儲器行業。SK海力士副總裁兼HBM業務規劃負責人崔俊勇指出，在傳統的動態隨機存取存儲器（DRAM）中，“客戶優先考慮成本而不是功耗和性能，而對于HBM，他們優先考慮功耗和性能而不是成本”。

他們正在幫助所謂的大型語言模型的開發人員減輕“內存墻”的影響——存儲和檢索數據的限制阻礙了性能的提高——同時提高全球在建的數千個數據中心的效率并降低成本。

內存對人工智能日益增長的重要性，使該行業成為華盛頓與北京之間日益激烈競爭的焦點。華盛頓正試圖限制中國獲取尖端技術，而北京則在培育國內半導體行業，希望能夠與全球競爭對手展開競爭。

這也改變了行業巨頭的歷史排名。SK海力士的DRAM（HBM是其中的一部分）營收從2021年第二季度的7.5萬億韓元（54億美元）飆升至2025年同期的17.1萬億韓元，自20世紀80年代兩大韓國企業開始在內存市場競爭以來，首次超越其主要競爭對手三星。

塔夫茨大學副教授、 《芯片戰爭》一書的作者克里斯·米勒表示：“五年前，SK海力士超越三星還是不可想象的。這就像胡椒博士 (Dr Pepper) 突然變得比可口可樂更受歡迎一樣。”

米勒表示：“幾十年前就很明顯，內存市場的商品動態將使獲得巨額利潤變得非常困難。” 他補充道，這促使許多最聰明的人才以及像英偉達的黃仁勛和高通的歐文·雅各布斯這樣的雄心勃勃的企業家將注意力轉向了處理器芯片。

“但現在，記憶又恢復了。”

英特爾于 20 世紀 60 年代作為一家內存芯片公司起步，但在日本競爭對手東芝和 NEC 的壓力下于 20 世紀 80 年代退出了 Dram 領域。

而它們在20世紀90年代被三星和現代電子（Hynix）的芯片部門所取代，后者后來被SK集團收購。自此以后，這兩家韓國集團和美國美光公司一直主導著該行業。

直到最近，三星一直是高度商品化的DRAM芯片市場無可爭議的領導者。DRAM芯片在處理器運行時供電并臨時存儲數據。在周期性行業低迷時期，三星利用其優越的規模投資產能。

Choi 解釋說，雖然 Dram 和低價值 Nand 芯片（無需電源即可長時間存儲數據）是主導技術，但公司也在嘗試更多利基產品。

海力士于 2013 年開始研發的 HBM 芯片就是其中之一。這種芯片由層層堆疊的 DRAM 單元組成，這些單元通過厚度僅為人類頭發十分之一的銅線連接，就像一個多層圖書館，配有電梯，可以在樓層之間快速運送書籍。

Choi 解釋說，這意味著 HBM 芯片可以提供 1,024 條路徑來與處理器之間發送和接收數據，而傳統的高級 DRAM 芯片只有 64 條。“這就像注水箱的水龍頭數量，或者高速公路上的車道數量，”他說道。“就 AI 的內存需求而言，沒有什么能比得上 HBM。”

咨詢公司 Futurum Group 的首席半導體分析師 Ray Wang 也指出，海力士早期采用的先進鍵合技術，即大規模回流成型底部填充技術 (MR-MUF)，是其 HBM 成功的關鍵。該技術使用一種特殊的樹脂基絕緣材料來防止過熱，這在堆疊多達 16 個 Dram 芯片時至關重要。

海力士與其日本供應商 Namics Corporation 簽訂的材料獨家合同迫使三星和美光公司采用劣質制造工藝，該工藝需要高溫和高壓，而這兩者都可能導致硅層破裂并導致更高的故障率。

其卓越的產品幫助海力士鞏固了其作為 Nvidia HBM 芯片主要供應商的地位，并使其在 OpenAI 的 ChatGPT 聊天機器人于 2022 年底發布后對 AI 芯片的需求激增時，搭上了這家美國公司的便車。

根據伯恩斯坦研究公司的數據，HBM 在海力士整體 Dram 收入中的份額從 2022 年第四季度的 5% 左右上升到 2025 年第一季度的 40% 以上。

咨詢公司 SemiAnalysis 的 Myron Xie 指出，雖然美光公司的 HBM3E 芯片現已通過了用于 Nvidia 最先進 AI 芯片的嚴格資格測試，但三星的同類芯片尚未通過。

知情人士表示，其 HBM3E 芯片即將通過英偉達的測試。但他們也承認，作為這個直到最近才商品化的市場的主導者，該公司對人工智能企業對更符合其特定需求的定制化內存解決方案的需求感到措手不及。

“三星也在為生產尖端 Dram 芯片這一基本任務而苦苦掙扎，這些芯片最終會被堆疊到 HBM 中，”謝說道。“美光表現不錯，但三星排在第三位，這對它來說也相當不利。”

米勒補充道，三星“針對的是智能手機時代”，而非人工智能時代。“我認為整個公司都在努力設想，當智能手機不再是主導產品時，世界會是什么樣子。”

事實證明，這是一次代價高昂的失誤。花旗集團駐首爾的半導體分析師彼得·李（Peter Lee）指出，HBM芯片的利潤率約為50%至60%，而傳統DRAM芯片的利潤率約為30%。

由于每個 HBM 芯片都需要設計為適合與其配對的特定 AI 圖形處理單元，因此訂單必須在生產前一年下達，通常是一年期合同。

李補充道：“與銷售傳統 Dram 相比，這為內存公司提供了比潛在客戶更大的定價優勢，傳統 Dram 可以在一個月甚至一天內購買，并且可以輕松更換為競爭對手芯片制造商的產品。”

王估計，自 ChatGPT 發布以來，三星的失誤每年造成數百億美元的收入損失。“他們應該意識到機器學習的興起對內存需求的影響，”他說。

“低估 HBM 的潛力是一個巨大的戰略錯誤。”

如果 HBM 的崛起擾亂了內存市場高端的舊秩序，那么另一個擾亂因素則正從底層涌現：中國內存冠軍企業長鑫存儲科技（CXMT）。

據深圳前瞻咨詢公司稱，總部位于中國東部安徽省合肥市的長鑫存儲科技在全球 Dram 市場的份額已從 2020 年的接近零上升至去年的 5%。

目前尚不清楚長鑫存儲技術在傳統 Dram 方面的進步是否能夠使其在量產尖端 HBM 芯片方面趕上海力士、三星和美光——這一進展可能會減少中國人工智能開發商和芯片制造商對外國公司關鍵部件的依賴。

《金融時報》上個月報道稱，長鑫存儲正在測試HBM3產品樣品（比HBM3E落后一代），計劃明年推出。但分析師和業內人士仍懷疑，由于無法獲得受美國出口管制的關鍵設備和材料，長鑫存儲能否在短期內彌補HBM缺口。

“在最近一輪管控措施出臺之前，長鑫存儲囤積了大量所需設備，”富圖倫集團的王先生表示，“但該公司無法使用極紫外光刻機，而且目前尚不清楚他們是否擁有足夠的設備來量產先進的高帶寬存儲器 (HBM) 產品，其規模與領先的存儲器廠商相當。” 他估計，長鑫存儲的 HBM 開發“落后三到四年”。

上周，美國政府撤銷了允許海力士和三星無需許可就將芯片制造設備運送到其在中國的制造工廠的豁免，王先生表示，這一決定“凸顯了華盛頓進一步限制中國獲取內存技術的意圖”。

去年 12 月，美國出口管制限制韓國 HBM 供應之前，中國的科技集團和芯片制造商紛紛搶購 HBM，這表明 HBM 對中國人工智能雄心的重要性。

盡管有這些控制措施，但許多專家認為，美國政策制定者遲遲未能認識到內存對人工智能性能的核心作用，導致在最先進的處理芯片受到限制之后很長一段時間，中國企業仍然能夠獲得尖端內存技術。

雖然相當于 HBM2E 標準及以上的單個 HBM 芯片不能再出口到中國，但如果更先進的芯片被預先封裝成不超過特定性能標準的 AI 芯片，則可以出口到中國。

SemiAnalysis 的謝先生舉了 Nvidia 的 H20 芯片的例子，美國總統唐納德·特朗普以該芯片“過時”為由允許其向中國銷售。

雖然 H20 的處理能力明顯不如 H100，但其搭載的六個三星 HBM3 芯片實際上提供了更好的內存性能：每秒 4TB 的內存帶寬，而 H100 為 3.4TBps，華為旗艦產品 Ascend 910c 為 3.2TBps。

謝指出，雖然計算性能對于訓練人工智能模型更為重要，但內存被廣泛認為對于部署（也稱為推理）更為重要。

“從某些方面來看，H20 比 H100 更勝一籌，因為它擁有更大的內存容量和帶寬，”謝志雄說道，“人們仍然過于關注計算能力，但這只是性能的一個方面。”

分析師表示，SK 海力士目前在 HBM 領域的主導地位可能仍會受到來自其他方面的壓力。

這家韓國公司計劃今年開始大規模生產其下一代 HBM4 芯片，該芯片將用于 Nvidia 即將推出的 Rubin 平臺，為 LLM 開發人員提供性能上的實質性飛躍。

盡管 HBM3E 及其前代產品使用相對簡單的 Dram 芯片作為其“邏輯芯片”——調節 HBM 堆棧操作的基礎芯片——但這項任務將由新設計中臺積電生產的先進處理器芯片執行。

三星的HBM4還將采用其自有代工部門生產的先進處理器芯片。一位知情人士向英國《金融時報》透露，作為唯一一家同時擁有處理器、內存芯片和先進封裝（將多個芯片更緊密地集成在一起的工藝）尖端能力的公司，三星可以為客戶提供“一站式服務”。

該人士補充說，該公司還在“與主要客戶積極討論”一種名為“混合鍵合”的技術，這是一種連接堆疊 Dram 芯片的改進方法，可以提供更大的帶寬、功率和信號完整性。

如果所有零件都質量低劣，那么一站式服務就沒什么價值

Futurum集團的王先生認為，誰能率先將混合鍵合技術融入其中，“就將決定誰將在下一代HBM領域占據領導地位”。他表示，中國企業也在大力投資相關研究，并加快混合鍵合相關的專利申請。

花旗集團的李指出，除了提高性能之外，使用處理器芯片作為邏輯芯片將越來越多地允許 HBM 產品針對特定任務進行定制，從而使客戶更難以在供應商之間切換。

這引發了一個問題：HBM4 能否為三星的東山再起鋪平道路。李教授表示，這家規模更大的公司有時間糾正其在 HBM3E 設計中犯下的錯誤，并將其用于 HBM4，這意味著它很可能有資格成為英偉達的供應商。

但王先生指出，海力士將繼續受益于近期與英偉達的密切合作，以及與行業領軍企業臺積電的長期合作關系。周三，海力士發布了從阿斯麥公司（ASML）收購的高數值孔徑極紫外光刻機，使其在HBM領域相對于競爭對手更具優勢。

相比之下，SemiAnalysis 的謝指出，三星的代工和內存業務一直受到質量和生產問題的困擾。“如果所有單個零件都是劣質的，那么成為一站式服務商就沒有多大價值了。”

三星在一份聲明中表示，“該公司持續投資 HBM 業務，并專注于開發下一代內存技術”。

與此同時，無法規避美國出口管制的中國人工智能芯片制造商正在尋找減少對 HBM 的依賴以提高性能的方法。

華為上個月推出了一款新的AI軟件，旨在將不同的內存任務分配給不同類型的內存芯片，從而減少對HBM的依賴。上周，這家中國科技巨頭還發布了三款新的“AI固態硬盤”，作為替代的內存解決方案。

塔夫茨大學的米勒表示，由于 HBM 仍然相對昂貴且耗能，而且內存容量對 AI 性能至關重要，因此許多科技公司正在嘗試開發替代方案。

其中包括日本科技集團軟銀，該公司正與英特爾合作開發一種采用與 HBM 不同的布線系統的堆疊 Dram 產品。

大多數分析師都認為，HBM 至少在未來五年內仍將主導內存解決方案。但更高程度的定制化可能意味著代工廠、芯片設計師以及客戶自身將更深入地參與到設計和制造過程中。

謝警告說，這可能會威脅到內存公司從供應鏈中獲取更多價值的雄心。“HBM堆棧外包給臺積電和無晶圓廠設計公司的部件越多，內存公司就越有可能被那些實力雄厚的公司做最難的事情，”他說道。

“如果發生這種情況，那么這一刻可能會是苦樂參半的。”