永安期货

ChatGPT已经从下游AI应用火到了上游芯片领域，在将GPU等AI芯片推向岑岭的同时，也极大动员了市场对新一代内存芯片HBM（高带宽内存）的需求。据悉，2023年开年以来，三星、SK海力士的HBM订单就快速增添，价钱也水涨船高。有市场人士透露，近期HBM3规格DRAM价钱上涨了5倍。

HBM（High Bandwidth Memory，高带宽内存）是一款新型的CPU/GPU 内存芯片，着实就是将许多个DDR芯片堆叠在一起后和GPU封装在一起，实现大容量，高位宽的DDR组合阵列。

内存市场自去年下半年已经最先进入隆冬，HBM为何依旧火热呢？

01 需求所至

耐久以来，内存行业的价值主张在很洪水平上始终以系统级需求为导向，已经突破了系统性能的当前极限。很显著的一点是，内存性能的提升将泛起拐点，由于越来越多人最先质疑是否能一直通过内存级的取舍（如功耗、散热、占板空间等）来提高系统性能。相较于传统 DRAM，HBM 在数据处置速率和性能方面都具有显著优势，有望获得业界普遍关注并被越来越多地接纳。

随着集成电路工艺手艺的生长，3D和2.5D系统级封装（SiP）和硅通孔（TSV）手艺日益成熟，为研制高带宽、大容量的存储器产物提供了基础。针对内存高带宽、大容量、低功耗的需求，从2013年最先，国际电子元件工业团结会（JEDEC）先后制订了3代、多个系列版本的高带宽存储器（HBM、HBM2、HBM2E、HBM3）尺度。2022年1月28日，JEDEC正式公布了JESD238 HBM DRAM（HBM3）尺度，手艺指标较现有的HBM2和HBM2E尺度有伟大的提升，芯片单个引脚速率到达6.4Gbit/s，实现了跨越1TB/s的总带宽，支持16-Hi客栈，客栈容量到达64GB，为新一代高带宽内存确定了生长偏向[9]。HBM通过TSV和微凸块手艺将3D垂直堆叠的DRAM芯片相互毗邻，突破了现有的性能限制，大大提高了存储容量，同时可提供很高的访存带宽。

HBM的优点

高速、高带宽HBM客栈没有以外部互连线的方式与信号处置器芯片毗邻，而是通过中央介质层紧凑而快速地毗邻，同时HBM内部的差异DRAM接纳TSV实现信号纵向毗邻，HBM具备的特征险些与片内集成的RAM存储器一样。

可扩展更大容量

HBM具有可扩展更大容量的特征。HBM的单层DRAM芯片容量可扩展；HBM通过4层、8层以至12层堆叠的DRAM芯片，可实现更大的存储容量；HBM可以通过SiP集成多个HBM叠层DRAM芯片，从而实现更大的内存容量。SK Hynix最新的HBM3客栈容量可达24 GB。

更低功耗

由于接纳了TSV和微凸块手艺，DRAM裸片与处置器间实现了较短的信号传输路径以及较低的单引脚I/O速率和I/O电压，使HBM具备更好的内存功耗能效特征。以DDR3存储器归一化单引脚I/O带宽功耗比为基准，HBM2的I/O功耗比显著低于DDR3、DDR4和GDDR5存储器，相对于GDDR5存储器，HBM2的单引脚I/O带宽功耗比数值降低42%。 

在系统集成方面，HBM将原本在PCB板上的DDR内存颗粒和CPU芯片一起所有集成到SiP里，因此HBM在节约产物空间方面也更具优势。相对于GDDR5存储器，HBM2节约了94%的芯片面积。

02 HBM新时代，巨头结构

HBM每一次更新迭代都市随同着处置速率的提高。引脚（Pin）数据传输速率为1Gbps的*代HBM，生长到其第四代产物HBM3，速率则提高到了6.4Gbps，即每秒可以处置819GB的数据。也就是说，下载一部片长达163分钟的全高清（Full-HD）影戏（5GB）只需1秒钟。这与上一代HBM2E（3.6Gbps）相比，速率翻了一番。

这届年轻人结婚不爱钻石了

固然，存储器的容量也在不停加大：HBM2E的*容量为16GB，HBM3的*容量则增添到了24GB（业界*容量）。SK海力士将同时推出16GB和24GB两种容量的HBM3产物。此外，HBM3还搭载了ECC校检（On Die-ErrorCorrection Code），可以自动更正DRAM单元（cell）传输数据的错误，从而提升了产物的可靠性。

硅穿孔（TSV，Through Silicon Via）可以说是使存储器的上述高性能得以实现的焦点手艺。TSV手艺通过电极毗邻DRAM芯片上的数千个微细小孔，从而毗邻芯片，传送数据。比起通过在芯片上毗邻引线的方式传送数据的传统手艺，TSV手艺不仅可以实现速率翻倍，尚有助于提升密度（density）。

HBM3与HBM2E最基本的区别在于产物规格（spec）自己获得了升级。在HBM2的产物规格下，其速率和容量已经到达了极限，无法再进一步提高。因此，SK海力士研发团队界说了一种全新的产物规格——HBM3。

美光公司（Micron）高性能存储器和网络营业副总裁兼总司理Mark Montierth示意：“美光致力于为天下*进的盘算系统提供业界性能*的解决方案。HBM3所提供的内存带宽对实现下一代高性能盘算、人工智能和百万兆级系统至关主要。我们与新思科技的相助将加速HBM3产物生态系统的生长，以实现亘古未有的超高带宽、功耗和性能。”

三星电子内存产物计划高级副总裁Kwangil Park示意：“在数据驱动的盘算时代，人工智能、高性能盘算、图形和其他应用程序的生长极大提高了对内存带宽的需求。作为天下*的内存芯片制造商，三星一直致力于支持生态系统的形成，并开发HBM以知足不停增进的带宽需求。新思科技是HBM行业的生态系统先驱，也是三星的主要相助同伴，我们期待与新思携手继续为客户提供更好的HBM性能。” 三星结构高带宽存储器（HBM）市场较为努力，并依附深挚的积累在高带宽存储器（HBM）市场具备一定的影响力。2021年三星宣布了一项新的突破，面向AI人工智能市场首次推出了HBM-PIM手艺。在此前，行业内性能最强运用最普遍的是HBM和HBM2内存手艺，而这次的HBM-PIM则是在HBM芯片上集成了AI处置器的功效。PIM直接在存储芯片上集成了盘算功效，而不是CPU、内存数据星散，这一突破促使了三星首发的HBM-PIM手艺实现了2倍的性能，同时功耗还降低了70%。

在2022年手艺公布会上公布的内存手艺生长蹊径图中，三星展示了涵盖差异领域的内存接口演进的速率。在云端高性能服务器领域，HBM已经成为了高端GPU的标配，这也是三星在重点投资的领域之一。HBM的特点是使用高级封装手艺，使用多层堆叠实现超高IO接口宽度，同时配合较高速的接口传输速率，从而实现高能效比的超高带宽。

在三星公布的蹊径图中，2022年HBM3手艺已经量产，其单芯片接口宽度可达1024bit，接口传输速率可达6.4Gbps，相比上一代提升1.8倍，从而实现单芯片接口带宽819GB/s，若是使用6层堆叠可以实现4.8TB/s的总带宽。

2024年预计将实现接口速率高达7.2Gbps的HBM3p，从而将数据传输率相比这一代进一步提升10%，从而将堆叠的总带宽提升到5TB/s以上。另外，这里的盘算还没有思量到高级封装手艺带来的高多层堆叠和内存宽度提升，预计2024年HBM3p单芯片和堆叠芯片都将实现更多的总带宽提升。而这也将会成为人工智能应用的主要推动力，预计在2025年之后的新一代云端旗舰GPU中看到HBM3p的使用，从而进一步增强云端人工智能的算力。

海士力（SKhynix）公司副总裁、HBM产物卖力人兼DRAM设计主管Cheol Kyu Park Hyun示意：“作为全球*的半导体制造商，海士力不停投资开发包罗HBM3 DRAM在内的下一代内存手艺，以知足AI和图形应用事情负载的指数式增进所带来的需求。与新思科技确立耐久相助关系，有助于我们为配合客户提供经由周全测试和可互操作的HBM3解决方案，以提高内存性能、容量和吞吐量。”

SK海力士在新一代高带宽内存(HBM，High Bandwidth Memory)市场上，正睁开乘胜追击。其窍门正是得益于MR-MUF(Mass Reflow Molded Underfill)手艺。通过自主研发的这项手艺，SK海力士不仅击败了竞争对手美光半导体（Micron），还击败了DRAM市场*的三星电子，主导了处于起步阶段的HBM内存市场。曾位居DRAM万年迈二的SK海力士在最前沿的内存市场手艺上*竞争对手，另业界瞩目。

ChatGPT推动

ChatGPT等新兴AI产物对高性能存储芯片的需求与日俱增。据韩国经济日报报道，沾恩于ChatGPT，三星、SK海力士高带宽内存（high bandwidth memory，HBM）接单量大增。

与 HBM 相关的上下游企业也在纷纷发力，以期抢占先机。AMD 在 HBM 的降生与生长历程中功不能没。最早是 AMD 意识到 DDR 的局限性并发生开发堆叠内存的想法，厥后与 SK 海力士联手研发了 HBM，并在其 Fury 显卡接纳全球* HBM。据 ISSCC 2023 国际固态电路大会上的 新闻，AMD 思量在 Instinct 系列加速卡已经整合封装 HBM 高带宽内存的基础上，在后者之上继 续堆叠 DRAM 内存，在一些要害算法内核可以直接在整合内存内执行，而不必在 CPU 和自力内 存之间往复举行通讯传输，从而提升 AI 处置的性能，并降低功耗。

英伟达同样重视处置器与内存间的协同，一直在要求 SK 海力士提供最新的 HBM3 内存芯片。据悉，现在已经有跨越 2.5 万块英伟达盘算卡加入到了深度学习的训练中。若是所有的互联网企 业都在搜索引擎中加入 ChatGPT 这样的机械人，那么盘算卡以及响应的服务器的需求量将到达 50 万块，也将连同动员 HBM 的需求量大幅增进。

IP厂商亦已先行结构HBM 3。去年，Synopsys推出*完整的HBM3 IP解决方案，包罗用于2.5D多芯片封装系统的控制器、PHY（物理层芯片）和验证IP。HBM 3 PHYIP基于5nm制程打造，每个引脚的速率可达7200Mbps，内存带宽最高可提升至921GB/s。Rambus也推出支持HBM3的内存接口子系统，内含完全集成的PHY和数字控制器，数据传输速率达8.4Gbps，可提供跨越1TB/s的带宽。