巨头抢夺战,HBM被彻底引爆

时间:2024-07-17来源:半导体产业纵横

在英伟达一步步站稳万亿市值脚根的道路上,少不了两项关键技术支持,其中之一是由台积电主导的 CoWoS 先进封装,另一个便是席卷当下的 HBM(高带宽存储)。

英伟达 H200 是首次采用 HBM3E 存储器规格的 AI 加速卡。借助内存速度更快、容量更大的 HBM3e,英伟达 H200 以每秒 4.8TB 的速度提供 141GB 的内存,与 A100 相比,容量几乎是其两倍,带宽也提升了 43%,从而加速生成式 AI 和大语言模型,提高高性能计算(HPC)的工作负载。

随着人工智能的兴起,HBM 成为巨头们抢占的高地。三星、SK 海力士、美光等存储巨头纷纷将 HBM 视为重点生产产品之一。

HBM 的火热,给市场掀起巨大波澜。一起看看 HBM 这股热潮给市场带来了哪些转折?

HBM 走红,带来三大影响

HBM 成为力挽行业下行的关键词之一

数个季度的持续低迷下,头部存储厂商相继展现出季度收入环比增长趋势,其中以 SK 海力士的表现最为亮眼,背后就离不开由 HBM 拉动对 DRAM 的需求提升。

今年 Q1,SK 海力士收入创历史同期新高,营业利润也创下了市况最佳的 2018 年以来同期第二高,公司将其视为摆脱了长时间的低迷期,开始转向了全面复苏期。SK 海力士表示:「凭借 HBM 等面向 AI 的存储器技术领导力,公司提升了面向 AI 服务器的产品销量,同时持续实施以盈利为主的经营活动,从而实现了营业利润环比增长 734% 的业绩。」

三星电子曾表示生成式 AI 市场应用将带来 HBM 等支持大规模数据处理的内存产品需求快速增长,公司接到了大量客户需求。预计 2024 年 HBM 的需求可能出现陡峭增长。

美光表示,AI 服务器的 DRAM 容量是普通服务器的 6 倍到 8 倍,NAND 容量是普通服务器的 3 倍。英伟达 DGX GH200 所需的 DRAM 容量是普通服务器的数百倍。

通用 DRAM 恐缺货涨价

通用型 DRAM 内存芯片面临的供应短缺,主要源于业界对 HBM 等类型的 DRAM 进行了大量的投资,而通用型 DRAM 的产能利用率相对较低。目前,三星和 SK 海力士的产能利用率仅为 80% 到 90%,远低于 NAND 闪存的全速生产状态。

自 2024 年初以来,通用型 DRAM 的产能仅提升了大约 10%,但智能手机、PC 和服务器市场的增长率预计仅为 2% 到 3%。全球云计算和科技公司在 AI 基础设施上的投资削减,并未能显著推动 DRAM 需求的复苏。

然而,在同一时期内,企业级固态硬盘(eSSD)的需求却因人工智能的普及而激增。因此,三星、SK 海力士等主要制造商在第二季度满负荷运行其 NAND 生产线。此外,铠侠也在市场条件改善后结束了减产,NAND 产能利用率恢复至 100%。

由于通用 DRAM 内存芯片在消费市场,如个人电脑和移动终端等领域发挥着巨大作用,而随着市场需求的放大,可能会出现大范围的短缺。根据摩根士丹利最新报告,全球内存市场在 2025 年将迎来一次前所未有的供需失衡,2025 年 HBM 的供应不足率将达到-11%,而整个 DRAM 市场的供应不足率将高达-23%。

争夺战,不只是技术

存储巨头在 HBM 技术领域的争夺战日益激烈,从 HBM1 到 HBM2、HBM3,再到最新的 HBM3e,每一代技术的演进都标志着存储性能的显著提升和市场竞争的加剧。

HBM1 最早于 2014 年由 AMD 与 SK 海力士共同推出,作为 GDDR 竞品,为 4 层 die 堆叠,提供 128GB/s 带宽,4GB 内存,显著优于同期 GDDR5。

HBM2 于 2016 年发布,2018 年正式推出,为 4 层 DRAMdie,现在多为 8 层 die,提供 256GB/s 带宽,2.4Gbps 传输速度,和 8GB 内存。

HBM2E 于 2018 年发布,于 2020 年正式提出,在传输速度和内存等方面均有较大提升,提供 3.6Gbps 传输速度,和 16GB 内存。

HBM3 于 2020 年发布,2022 年正式推出,堆叠层数及管理通道数均有增加,提供 6.4Gbps 传输速度,传输速度最高可达 819GB/s,和 16GB 内存。

HBM3E 由 SK 海力士发布 HBM3 的增强版,提供高达 8Gbps 的传输速度,24GB 容量,2024 年开始大规模量产。

然而这不仅仅是一场单纯的技术较量,更是一场激烈无比的产能竞赛。

根据存储三巨头表示,今年的 HBM 供应能力已全部耗尽,明年的产能也已经大部分售罄。据专业机构分析,今明两年 HBM 需求的动态缺口约为产能的 5.5% 和 3.5%。因此,三大厂商纷纷开启产能冲刺竞赛。比如 SK 海力士正在大幅扩产第 5 代 1b DRAM,以应对 HBM 与 DDR5 DRAM 的需求增加。按照晶圆投入量看,公司计划将 1b DRAM 月产能从今年一季度的 1 万片增加到年末的 9 万片,到明年上半年进一步提升至 14 万-15 万片,是今年一季度产能的 14-15 倍。三星 3 月底曾表示,预计今年 HBM 产能将增至去年的 2.9 倍。美光正在美国建设先进的 HBM 测试生产线,并考虑首次在马来西亚生产 HBM,以抓住 AI 热潮带来的更多需求。

相比 GDDR,HBM 强在哪儿?

根据产品分类,DRAM 可以分为 DDR、LPDDR、GDDR、HBM。前三类产品主要用于传统周期领域,HBM 则主要是 AI 市场的带动。其中 DDR 主要用于消费电子、服务器、PC 领域;LPDDR 主要用于移动设备、手机及汽车领域;GDDR 主要用于图像处理方面的 GPU 等。

随着数据量越发庞大加之 AI 芯片的加速发展,冯氏计算架构问题凸显:「存」「算」之间性能失配,使得计算机的计算能力增长遇到瓶颈,虽然多核并行加速技术可以提高算力,但存储带宽的限制仍对计算系统的算力提升产生了制约。GDDR 是目前应用较为广泛的显存技术,但在 AI 计算领域 GDDR 也难堪重任,于是制造商将目光投向 HBM 技术。



HBM 具备高带宽的优势。通过多层堆叠,HBM 能达到更高的 I/O 数量,使得显存位宽达到 1024 位,几乎是 GDDR 的 32 倍,显存带宽显著提升。显存带宽显著提升解决了过去 AI 计算「内存墙」的问题,HBM 逐步提高在中高端数据中心 GPU 中的渗透比率。

HBM 具备高密度、小体积等优势。相比传统 DRAM,HBM 在相同的物理空间内能够容纳更多的存储单元,从而提供更高的存储容量。这对于存储千亿参数乃至更大规模的大模型至关重要。此外,HBM 通过 3D 封装工艺实现 DRAM die 的垂直方向堆叠封装,可以较大程度节约存储芯片在片上占据的面积。HBM 芯片的尺寸比传统的 DDR4 芯片小 20%,比 GDDR5 芯片节省了 94% 的表面积。根据三星电子的统计,3D TSV 工艺较传统 POP 封装形式节省了 35% 的封装尺寸。

受构造影响,GDDR 的总带宽上限低于 HBM。总带宽=I/O 数据速率(Gb/s)*位宽/8。为解决 DDR 带宽较低的问题,本质上需要对单 I/O 的数据速率和位宽(I/O 数*单 I/O 位宽)进行提升,可分为 GDDR 单体式方案和 HBM 堆叠式方案。单体式 GDDR 采取大幅提升单 I/O 数据速率的手段来改善总带宽,GDDR5 和 GDDR6 的单 I/O 数据速率已达到 7 Gb/s 到 16Gb/s,超过 HBM3 的 6.4 Gb/s。HBM 利用 TSV 技术提升 I/O 数和单 I/O 位宽,从而大幅提升位宽,虽然维持较低的单 I/O 数据速率,但总带宽远优于 GDDR。

HBM 的综合功耗也低于 GDDR。HBM 通过增加 I/O 引脚数量来降低总线频率,从而实现更低的功耗。尽管片上分布的大量缓存能提供足够的计算带宽,但由于存储结构和工艺制约,片上缓存占用了大部分的芯片面积(通常为 1/3 至 2/3),限制了算力提升。

如今,HBM 已经成为超级计算机、数据中心等核心设施中不可或缺的关键组件,为大规模并行计算提供了坚实的内存基础。尤其在图形处理领域,HBM 的高带宽特性使得 GPU 能够更快速地访问和处理图像数据,从而为用户带来更加流畅、逼真的视觉体验。

即便是业界领先的英伟达,也对这一产品展现出了高度的依赖性。据悉,英伟达近几年发布的多款旗舰产品(如 A100、H100、H200)均搭配了不同数量的 HBM。HBM 已然是英伟达 AI 芯片的必备搭档。然而全球约九成的 HBM 市场被 SK 海力士和三星两家韩系企业垄断。

2024 年末,HBM 是持续短缺?还是供过于求?

在存储三巨头的竞争中,由于海力士 HBM3 产品性能领先,率先拿下英伟达订单,成为其服务器 GPU 的主要供应商。

三星主攻一些云端客户的订单,美光则直接跳过了 HBM3,将主要精力放在了 HBM3E 产品上。仅从当下来看,美光的市场占有率和前面两个玩家有一些差距。

但不管怎样,三位存储芯片的大佬都在扩产能上不留余力。比如海力士已经放下豪言壮语,计划到 2028 年投资高达 748 亿美元,其中 80% 将用于 HBM 的研发和生产,而且将下一代 HBM4 芯片的量产时间提前到 2025 年。

据专业机构分析,今明两年 HBM 需求的动态缺口约为产能的 5.5% 和 3.5%。

不过根据海豚投研的数据显示,HBM 有望从 2023 年末的「供不应求」转为 2024 年末的「供大于求」。

海豚投研比较了 2023—2024 年 HBM 的供需关系情况。 从需求端来看,结合云服务厂商的资本开支和 AI 出货量情况,市场对 HBM 的需求有望从 2023 年的 284MGB 提升至 512MGB; 从供给端来看,结合存储主流厂商的产能计划,HBM 的供给端更可能从 2023 年的 147MGB 快速提升至 1000MGB 以上。

在此供需关系中,2023 年供给端仅能满足需求的 1/2,严重供不应求。供不应求的局面,推动各家厂商大幅提升产能计划。如果产能规划如实落地,2024 年的 HBM 供需关系可能会出现明显反转,供给端反而会超出整体的市场需求。

对于 HBM 的价格,当前由于供给仍相对紧张,因此整体价格在 2024 年将有所上涨。但随着三星产品通过认证和产能端的释放,HBM 的产品价格也可能出现回落。

国产厂商加速突破

随着 AIGC 技术应用的快速发展,AI 服务器和高端 GPU 的需求持续增长,将进一步推动 HBM 市场的高速增长。据预计,到 2025 年,中国 HBM 的需求量规模有望超过 100 万颗。

而中国,在这一赛道还属于后来者。

不久前,国家集成电路产业投资基金三期横空出世。大基金三期注册资本高达 3440 亿元,这一规模远超前两期基金,显示出国家对集成电路产业的重视和大力支持。如此庞大的资金注入,无疑将为集成电路产业的发展提供强大的动力。

目前,大基金三期对外投资重点还未正式披露。据悉,大基金三期有望增加覆盖人工智能芯片环节,在 HBM 产业链扶持大型晶圆厂。

今年 3 月,武汉新芯发布了《高带宽存储芯粒先进封装技术研发和产线建设》招标项目,这一行动标志着该公司正式进军 HBM 市场。通过利用三维集成多晶圆堆叠技术,武汉新芯旨在打造更高容量、更大带宽、更小功耗的存储解决方案,以满足市场对高性能存储芯片的需求。面对海外大厂对于 HBM3E 的量产,国内存储厂商也在 HBM 技术上进行着加速突破,有望在 AI 大浪潮的需求下提升竞争实力。

面对海外大厂对于 HBM3E 的量产,国内存储厂商也在 HBM 技术上进行着加速突破,有望在 AI 大浪潮的需求下提升竞争实力。

封测龙头长电科技在投资者互动中表示,其 XDFOI 高密度扇出封装解决方案也同样适用于 HBM 的 Chip to Wafer 和 Chip to Chip TSV 堆叠应用;通富微电此前表示,南通通富工厂先进封装生产线建成后,公司将成为国内最先进的 2.5D/3D 先进封装研发及量产基地,实现国内在 HBM(高带宽内存)高性能封装技术领域的突破,对于国家在集成电路封测领域具有重要意义。

中国主要的存储芯片公司也在与封测厂商通富微电合作开展 HBM 相关项目。

然而总体来看,国内厂商在 HBM 技术上的发展仍处于早期阶段。尽管国际上已经有了更先进的 HBM3 和 HBM3E 产品,但国内存储厂商目前还处于 HBM2 的研发和产业化阶段。

面对海外大厂在 HBM3E 等先进技术上的量产优势,国内厂商仍需加快追赶步伐,克服技术壁垒,实现从技术跟随到技术引领的转变。在此过程中,客户对于 AI 服务器性能、内存带宽及内存大小的持续高要求,既是对 HBM 技术的巨大挑战,也是推动其不断前行的动力源泉。

值得注意的是,尽管 HBM 在带宽性能上占据优势地位,但其高昂的成本与功耗也促使行业探索更多元化的解决方案。GDDR、LPDDR 等内存技术的快速发展,为 AI 处理器提供了更多选择,尤其是在成本、性能与功耗之间寻求最佳平衡点的应用场景中。例如,GDDR7 的推出不仅显著提升了内存容量与数据传输率,还因其相对较低的复杂度成为部分 AI 应用的理想之选。

综上所述,随着 AI 技术的不断演进与市场需求的日益多样化,HBM 作为高性能存储技术的代表,将继续在特定领域发挥关键作用。同时,国内厂商需紧抓机遇,加速技术创新与产业升级,以更加灵活多样的内存解决方案,满足 AI 时代对高性能计算的多元化需求。

关键词: HBM

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章

查看电脑版