調協(xié)大模型時代存算矛盾的HBM，如何入局其中尋找機會？

作者|葉子 來源|奇偶派(ID：jioupai)

近日，HBM的熱度不可謂不高，無論是相關半導體大廠“激進”擴產(chǎn)的計劃，還是產(chǎn)品供不應求的消息，都將這個內存領域的“新”技術，推到了資本市場與相關投資者的眼前。

在相關大廠的擴產(chǎn)方面，兩大存儲芯片巨頭持續(xù)加碼：三星、SK海力士擬將HBM產(chǎn)量提高至2.5倍的消息曝出，使得HBM概念股倍受市場關注。

據(jù)媒體報道，三星顯示（Samsung Display）在天安廠區(qū)內部分建筑及設備進行擴產(chǎn)，計劃在天安廠建立一條新封裝線，用于大規(guī)模生產(chǎn)HBM。公司已花費105億韓元購買上述建筑和設備等，預計追加投資7000億-1萬億韓元。

而早在今年6月，SK海力士就已經(jīng)被報道出正在著手擴建HBM產(chǎn)線，目標將HBM產(chǎn)能翻倍。擴產(chǎn)焦點在于HBM3，SK海力士正在準備投資后段工藝設備，將擴建封裝HBM3的利川工廠。預計到今年年末，后段工藝設備規(guī)模將增加近一倍，相關投資也在1萬億韓元左右。

能讓三星、SK海力士拋出如此大手筆的擴產(chǎn)計劃，自然是下游客戶極為旺盛的需求，在10月末的財報會議上，SK海力士已透露，2024年的HBM3與HBM3E產(chǎn)能已全部售罄，正在與客戶、合作伙伴討論2025年HBM產(chǎn)量與供應。而后又有報道指出，不僅是2024年的產(chǎn)能，SK海力士HBM 2025年的預期產(chǎn)能也出現(xiàn)了完全售罄的跡象。

而這一切的“爆點”，都是由于NVIDIA H200的發(fā)布。11月13日，相比于H100，英偉達今日發(fā)布了下一代人工智能超級計算機芯片H200，作為英偉達最新一代產(chǎn)品，H200首次搭載HBM3e，在GPU架構無調整的情況下，完成了1.4倍內存帶寬和1.8倍內存容量的提升，能以每秒4.8 TB的速度提供 141GB 的內存，順利讓推理速度達到了H100的兩倍。

在摩爾定律放緩、GPU核心利用率不足的背景下，英偉達針對存儲端的改進讓行業(yè)再一次認識到了存力的重要性，而在當前這輪市場與產(chǎn)業(yè)的熱潮追捧敘事中，HBM或許能成為那個破局的關鍵技術。

那么，為什么內存有著如此的重要性？HBM究竟是怎樣的存力技術？從投資者的角度來看，相關受益行業(yè)又有哪些？

一

HBM

能補上AI算力的阿喀琉斯之踵？

在市場的刻板印象中，算力的大小是決定AI大模型產(chǎn)出速度的決定性因素，這樣的觀點固然有部分正確但并不嚴謹，與現(xiàn)實有著很大的出入，因為在簡單的算力指標之外，還有許許多多其他影響產(chǎn)出速度的因素。

我們當代電子計算體系的最終表現(xiàn)，依賴于處理器與內存之間的“孰低值”，其個中原因也十分易于理解——當運算速度跟不上數(shù)據(jù)運輸速度之時，便會在處理器處形成數(shù)據(jù)的“堰塞湖”，反之也亦然，也就意味著存力與算力的重要性等級是相同的。

根據(jù)馮諾伊曼的設想，兩者之間的速度應該非常接近，但摩爾定律的出現(xiàn)，卻讓這一理想的設想落了空——代表著算力的處理器性能按照摩爾定律規(guī)劃的路線不斷飆升，而存力領域內所使用的DRAM卻從工藝演進中獲益很少，性能提升速度遠慢于處理器速度。

從具體數(shù)據(jù)來看，據(jù)EEPW預計，處理器的峰值算力每兩年增長3.1倍，DRAM的帶寬每兩年增長1.4倍，相差1.7倍，這樣巨大的增長速度之間的差值，讓存儲器的性能遠遠落后于了處理器，導致數(shù)據(jù)寫入與讀出的時間成為處理器運算所消耗時間的幾十倍或幾百倍，數(shù)據(jù)交換通路窄以及其引發(fā)的高能耗，導致DRAM的性能成為制約計算機性能的一個重要瓶頸，即所謂的“內存墻”。

如果說“內存墻”的問題在過去體現(xiàn)得沒有那么明顯的話，那么AI時代的來臨，讓其成為了必須要攻克的關口，畢竟，面對語言大模型這種動輒便需要重復訪問N次數(shù)十億到數(shù)百億、數(shù)千億甚至上萬億的參數(shù)，所消耗的時間也并不是一個小數(shù)目。可以說，內存已經(jīng)成為了AI算力的阿喀琉斯之踵。

于是，為滿足海量數(shù)據(jù)存儲以及日益增長的繁重計算要求，半導體存儲器領域也迎來新的變革，HBM技術從幕后正式走向臺前，而要談起為什么HBM能受到市場與廠商們的一致青睞，則要從另一GPU主流存儲方案，曾經(jīng)也是AI算力選擇的路線GDDR說起。

目前，GPU的主流存儲方案有GDDR和HBM兩種，GDDR采用的是傳統(tǒng)的方法，將標準PCB和測試的DRAMs與SoC連接在一起，是將DRAM芯片直接放置在PCB上并圍著處理器轉一圈的獨立封裝。

如GDDR的獨立封裝方式有兩個無法避免的缺點，一是會受到PCB面積的約束，無法完成更多DRAM芯片的封裝，此外，也因與SOC之間的距離拉大，導致互聯(lián)聯(lián)線長/帶寬以及通訊延遲的增大。

這樣的差距在日常消費、商業(yè)場景的使用中是感覺不出來的，在一定程度上甚至還具有便捷性與經(jīng)濟性，但在AI領域中，隨著圖形芯片性能的日益增長，使處理器對高帶寬的需求也不斷增加，GDDR滿足高帶寬需求的能力開始減弱，且單位時間傳輸帶寬功耗也顯著增加，逐步了成為阻礙圖形芯片性能的重要因素。

HBM的出現(xiàn)，則就是為了解決封裝數(shù)量與通訊距離兩個問題。針對現(xiàn)存帶寬不足的情況，HBM選擇在硅中階層上通過TSV堆棧的方式，將DRAM裸片垂直堆疊放在一起，這樣能在底面積相同的情況下布置過去數(shù)倍的DRAM顆粒，以達到更高的I/O數(shù)量，使得顯存位寬達到1024位，幾乎是GDDR的32x，這樣的堆疊空間節(jié)約空間，還帶來了更短的顆粒間距以縮短傳輸延遲。

在將多個DRAM裸片堆疊在一起的同時，也HBM Stack將其與GPU封裝在一起，極大地縮短HBM與GPU的距離，提高了GPU與存儲芯片之間傳輸?shù)乃俣取?/p>

而至于HBM產(chǎn)品為何現(xiàn)在才“上車”，除了過去存力的問題沒有那么明顯之外，HBM也是近十年來才飛速發(fā)展出的一種新產(chǎn)品，但自2014年問世以來，相關技術已經(jīng)發(fā)展至第四代，無論是帶寬、堆疊高度，還是容量、I/O速率等較初代均有多倍提升，并伴隨著高性能計算（HPC）、超級計算機、大型數(shù)據(jù)中心、AI、云計算等領域的發(fā)展快速占領市場，幾乎成為了當前先進AI計算中必備的技術。

HBM標準迭代歷史

資料來源：海力士官網(wǎng)，中金公司

可以這么說，HBM是目前能提供大規(guī)模存力的最好技術路線，但HBM也只是在AI加速卡領域有特定的優(yōu)勢，要想作為如GDDR一樣普適性極強的消費級產(chǎn)品，還有很長的路要走。

最先制約HBM發(fā)展的，是其居高不下的成本——HBM由于其復雜的設計及封裝工藝導致產(chǎn)能較低同時，成本也水漲船高，平均售價至少是DRAM的三倍，此前受ChatGPT的拉動同時受限產(chǎn)能不足，HBM的價格一路上漲，與性能最高的DRAM相比，HBM3的價格上漲了有五倍之多。

Cadence IP團隊產(chǎn)品營銷總監(jiān)Marc Greenberg也表示：“目前存在的HBM脫離了消費者領域，并更牢固地放置在服務器機房或數(shù)據(jù)中心，存在許多系統(tǒng)成本。相比之下，GDDR6等圖形內存雖然無法提供與HBM一樣多的性能，但成本卻顯著降低，GDDR6的單位成本性能實際上比HBM好得多。”

此外，使用2.5D/3D封裝的HBM結構會積聚許多熱量，而DRAM與GPU封裝在一起會加劇這種情況的發(fā)生，這就對散熱冷卻也提出了更多的挑戰(zhàn)，迫使制造者需要在時延與散熱之間做出抉擇，很顯然，無論哪一種選擇，都將從另一角度上推高總成本。

而在成本居高不下、散熱需求更多的缺陷外，HBM與主芯片出廠時便封裝在了一起，不存在擴容的可能；同時，HBM的容量偏小，據(jù)ittbank報道，采用128GB RDIMM最多能達到12TB，HBM8層die也不過32GB，再結合成本考慮，更加無法滿足數(shù)據(jù)中心要求。

所以從當前的進展來看，HBM在未來數(shù)年內還是只能應用于服務器、數(shù)據(jù)中心等領域，對于成本十分敏感的消費領域，對于HBM暫時還是可望而不可即的禁區(qū)。

但這些在商用領域中的缺點在火熱的AI需求的對比之下顯得微不足道，有媒體更是喊出了7年200倍的口號，產(chǎn)業(yè)鏈上的各個環(huán)節(jié)也正在被不斷挖掘出來。

二

先進封裝

成為HBM產(chǎn)業(yè)鏈核心價值增量

談及產(chǎn)業(yè)鏈，HBM作為存力領域的技術，自然離不開上游材料端與設備端的更新支持，但在材料與設備外，作為通過2.5D與3D封裝工藝實現(xiàn)更新迭代的技術，HBM在封測端核心工藝自然是最重要，也是價值量最高的部分。

而封測端的相關工藝，其實看過HBM的示意圖后，相關的技術難點已經(jīng)一目了然：如何將組成HBM各個DRAM Die之間一一串聯(lián)起來，并連接至下方的邏輯控制die（Base Die），形成完整個HBM Stack；如何將HBM Stack整體封裝至硅中介基板上方；是如何將CPU/GPU等邏輯芯片與HBM Stack一般，同樣封裝至硅中介基板上方。

HBM結構圖及用到的封裝工藝

圖源：臺積電，Wikichip，招商證券整理

簡而言之，便是組裝HBM Stack、將HBM Stack封裝至基板、將CPU/GPU封裝至基板三個步驟，而這三個步驟中，主要涉及TSV、CoWoS、FC工藝。

三者中，TSV（硅通孔）技術又是重中之重，它是通過銅、鎢、多晶硅等導電物質的填充來實現(xiàn)硅通孔的垂直電氣互聯(lián)的技術，將DRAM Die完成通孔封裝，其也是目前唯一的垂直電互聯(lián)技術，能夠以最低的能耗提供極高的帶寬和密度。

據(jù)招商證券報道，如圖所示，TSV與傳統(tǒng)的SIP等封裝技術相比，其垂直連接可以允許更多數(shù)量的連接，因此具備更好的電勢能、更低的功耗、更寬的帶寬、更高的密度、更小的外形尺寸、更輕的質量等優(yōu)勢，是實現(xiàn)電路小型化、高密度、多功能化的首選解決方案，也成為了解決出現(xiàn)在SOC(二維系統(tǒng)級芯片)技術中的信號延遲等問題的利器，可以說，HBM相較于GDDR最大的改進與優(yōu)勢，就是TSV的“上車”。

TSV封裝

疊層封裝

也正是因為TSV技術有如此多的優(yōu)點，2.5D/3D TSV技術才被廣泛用于AI GPU基板上的HBM中，也成為了HBM 3D封裝中成本占比最高的工藝，根據(jù)3DinCites，考慮4層DRAM Die和1層邏輯die堆疊的HBM結構，在99.5%和99%的芯片鍵合（die bonding）良率下，TSV制造和TSV通孔露出工藝分別占其成本的30%和29%。

資料來源: 3DInCites、招商證券

TSV完成HBM Stack的鍵合后，用于AI GPU的整體封裝的CoWoS，也是先進封裝中必不可少的關鍵技術。

CoWoS技術，簡單來說便是先將芯片通過Chip on Wafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基板連接，整合成CoWoS；利用這種封裝模式，使得多顆芯片可以封裝到一起，透過Si Interposer互聯(lián)，達到了封裝體積小，功耗低，引腳少的效果。

目前，臺積電的CoWoS技術全球領先，英偉達AIGPUDGXA100、H100、H200等均由其生產(chǎn)，而據(jù)臺積電預計，目前其相關產(chǎn)能供應極為緊張，將于2024-2025年進行擴產(chǎn)，2024年CoWos產(chǎn)能將實現(xiàn)倍增。

此外，在先進封裝工藝中取代引線鍵合，將CPU/GPU芯片封裝于基板上的倒片封裝（FC）也是必不可少的工藝。

在半導體行業(yè)內，現(xiàn)存的封裝工藝無非芯片粘接、引線鍵合、倒裝連接技術三種，而載帶連接技術因為有一定的局限性，故已經(jīng)被封裝逐漸淘汰。

而在引線鍵合與倒裝連接之間，倒片封裝不存在如引線鍵合對于可進行電連接的輸入/輸出引腳的數(shù)量和位置限制，也不再受制于以為擺放，可全部排列于芯片的同一側面，同時電信號傳輸路徑更短，也就有了更加優(yōu)良的性能。

于是，倒片封裝（FC）也成為了HBM制造過程中的一大必備工藝。

至此，封測端的三種最重要的技術工藝便已介紹完成，而封測工藝離不開的，則是產(chǎn)業(yè)鏈上的諸多設備，并且在HBM制造過程中，除去那些較為通用的微電子設備外，大多都是為了這些先進封測增添的的設備，但卻幾乎全部被海外廠商所壟斷。

據(jù)招商證券整理，HBM中大量增加前道工序，前道檢、量測設備主要增量來自微凸點、TSV、硅中介層等工藝，另外HBM中增加的預鍵合晶圓級測試和KGSD相關的封裝級測試也帶動分選機、測試機、探針臺等后道測試設備的數(shù)量和精度提升；由于HBM堆疊結構增多，要求晶圓厚度不斷降低，進而提升了減薄、鍵合等設備需求。

此外，HBM多層堆疊結構要求超薄晶圓和銅-銅混合鍵合工藝，增加了臨時鍵合/解鍵合以及混合鍵合設備需求，各層DRAM Die的保護材料也非常關鍵，對注塑或壓塑設備提出較高要求；另外，諸如劃片機、固晶機、回流焊機/回流爐等傳統(tǒng)設備需求也均受益于HBM封裝帶來的工藝步驟提升和工藝變革帶來的價值量提升。 

而在設備之外，材料的重要性也不容小覷。其中，環(huán)氧塑封料（EMC）通過其優(yōu)異的性能成為封裝必需的材料。

環(huán)氧塑封料是用于半導體封裝的一種熱固性化學材料，具有較高的機械和電氣性能、良好的著色性和優(yōu)異的耐熱性。作為半導體封裝材料防止芯片受到?jīng)_擊并耐候，覆蓋電感、連接器、電源等電子元件，全球90%以上電子器件采用EMC封裝。

但在先進封裝中，傳統(tǒng)EMC還遠遠不夠，需要有更好的耐潮性、低應力、低α射線、耐浸焊和回流焊性能，同時還得保證塑封性，因此環(huán)氧塑封料必須在無機樹脂基體內摻雜無機填料，市場份額被全球少數(shù)幾家廠商完成了寡頭壟斷。

縱觀封測端、設備端與材料端，我們不難看出，HBM作為代表著目前世界最尖端微電子技術融合為一推出的產(chǎn)品，大多環(huán)節(jié)都被國際大廠牢牢掌握在手中，那么，有哪些國產(chǎn)企業(yè)的產(chǎn)品介入了相關產(chǎn)業(yè)鏈呢？

三

寫在最后

在封測端，HBM核心封裝技術增量主要存在于TSV、CoWoS、Bumping、RDL等工藝之上，但掌握這些先進封裝工藝的企業(yè)均為一體化國際大廠，如韓系廠商三星、臺系廠商臺積電等企業(yè)。

而其下設備端的格局也大抵相同。即便相關設備涵蓋了眾多制造領域，中國微電子產(chǎn)業(yè)企業(yè)卻因技術能力所限，并沒有太多的涉足。在談及有關先進TSV工藝的設備之時，據(jù)界面新聞報道，有半導體行業(yè)資深人士表示，“國內對TSV技術雖然也研發(fā)了很多年，但其成本很高，技術難度大，應用面窄，主要應用于攝像頭，國內外雖然都將此技術稱為TSV，但技術難度上完全是兩碼事。”

“在這一技術水平上，二者不是一個量級的，國外能做3納米芯片，而我們只能做14納米芯片，工藝水平不足。加之國內沒有企業(yè)可以做HBM這一存儲器，對TSV技術自然沒有需求，因此國內幾乎沒有企業(yè)真正投入研發(fā)TSV技術。”前述業(yè)內人士表示。

同時，對方還補充道，“更為重要的是，國內現(xiàn)在沒有一家企業(yè)能夠制造出HBM存儲芯片，又怎么會去用TSV工藝呢？”

不過，雖然在封測端與設備端國內并沒有出現(xiàn)真正的玩家，但是在材料端中，卻存在許多有競爭力的企業(yè)，而華海誠科便是其中之一。

華海誠科成立于2010年，是?家專注于半導體封裝材料的研發(fā)及產(chǎn)業(yè)化的國家級專精特新小巨人企業(yè)，主要產(chǎn)品為環(huán)氧塑封料和電子膠黏劑，也是國內少數(shù)同時布局FC底填膠與LMC的內資半導體封裝材料廠商。

環(huán)氧塑封材料作為一種重要的半導體封裝材料，受益于全球封裝產(chǎn)能逐步轉移至大陸，大陸塑封材料增速高于全球市場，也為公司帶來了良好的發(fā)展機遇。

在傳統(tǒng)封裝領域，公司應?于DIP、TO、SOT、SOP等封裝形式的產(chǎn)品已具備品質穩(wěn)定、性能優(yōu)良、性價??等優(yōu)勢，且應?于SOT、SOP領域的?性能類環(huán)氧塑封料的產(chǎn)品性能已達到了外資?商相當?平，并在?電科技、華天科技等部分主流?商逐步實現(xiàn)了對外資?商產(chǎn)品的替代，市場份額持續(xù)增?。

在先進封裝領域，公司研發(fā)了應?于QFN、BGA、FC、SiP以及FOWLP/FOPLP等封裝形式的封裝材料，其中應?于QFN的產(chǎn)品已實現(xiàn)小批量生產(chǎn)與銷售，顆粒狀環(huán)氧塑封料(GMC)以及FC底填膠等應?于先進封裝的材料已通過客戶驗證，液態(tài)塑封材料(LMC)正在客戶驗證過程中，上述應用于先進封裝的產(chǎn)品有望逐步實現(xiàn)產(chǎn)業(yè)化，并打破外資?商的壟斷地位。

四

寫在最后

HBM，作為當今最先進的內存封裝技術，已經(jīng)在H200性能提升的過程中證明了自己價值，而HBM的價值則主要集中于先進封裝的領域，在算力需求催生存力風口的機遇下，先進封裝的重要性已經(jīng)不言而喻。

但縱觀整個產(chǎn)業(yè)鏈，能“插手”其中的中國企業(yè)卻寥寥無幾，并且大多還都集中于最上游的材料端，這與被禁運的GPU加速卡形成了鮮明且刺眼的對比。

可以說，無論從國產(chǎn)自主角度還是市場競爭角度，唯擁有自主研發(fā)能力和技術優(yōu)勢方能更具競爭力，在先進微電子產(chǎn)業(yè)發(fā)展的浪潮中占據(jù)一席之地。

參考資料：

1.《HBM很貴，但你必須買！》，芯長征科技；

2.《GDDR6 vs DDR4 vs HBM2?為什么CPU還不用GDDR？異構內存的未來在哪里？》，老狼；

3.《HBM火了，它到底是什么？》，楓哥；

4.《存儲行業(yè)深度報告：算力需求推動HBM市場數(shù)倍增長》，報告研究所；

5.《HBM技術，如何發(fā)展？》，半導體行業(yè)觀察

6.《一文讀懂HBM：高帶寬內存吸引各大科技巨頭搶購的“魔力”到底是什么？》，EEPW；

8.《新興的DRAM解決方案HBM產(chǎn)業(yè)鏈》，ittbank；

9.《存儲行業(yè)深度報告：AI服務器存儲量價齊升，算力需求推動HBM市場數(shù)倍增長全屏放大》，招商證券。

編者按：本文轉載自微信公眾號：奇偶派(ID：jioupai)，作者：葉子