高带宽内存HBM需求猛涨，原因还是……

ChatGPT已经从下流AI应用“火”到了上游芯片范畴，在将GPU等AI芯片推向顶峰之外，也极大带动了市场对新一代内存芯片HBM（高带宽内存)的需求。据悉，2023年开年以来三星、SK海力士的HBM订单就快速增加，价格也水涨船高。有市场人士透露近期HBM3规格DRAM价格上涨了5倍。那也为寒冬中的存储器市场带来了一抹春色。

ChatGPT爆红提拔HBM需求

做为一款天然语言类AI应用，ChatGPT不只对芯片算力有着庞大需求，对内存手艺的需求也极高，好比ChatGPT上线应用以来，拥有高速数据传输速度的HBM内存芯片几乎成为ChatGPT的必备设置装备摆设，市场需求激增。有动静称，2023年开年以来三星、SK海力士HBM订单就快速增加，价格也水涨船高。

有市场人士透露英伟达已经将SK海力士的HBM3安拆到其高性能GPU H100上，而H100已起头供给ChatGPT办事器所需。近期最新一代高带宽内存HBM3的价格上涨了5倍。

SK海力士HBM设想团队项目负责人朴明宰撰文介绍，HBM是一种能够实现高带宽的高附加值DRAM产物，适用于超等计算机、AI加速器等对性能要求较高的计算系统。跟着计算手艺的开展，机器进修的应用日渐普遍，而机器进修的根底是自20世纪80年代以来不断做为研究热点的神经收集模子。做为速度最快的DRAM产物，HBM在克制计算手艺的局限性方面阐扬着关键的感化。

此前，虽然HBM具有超卓的性能，但与一般DRAM比拟，其应用较少。那是因为HBM需要复杂的消费过程，均匀售价至少是DRAM的三倍。但AI办事的扩展正在改变如许的场面。据悉，目前已经有超越25000块英伟达计算卡参加到了深度进修的训练中。将来，跟着不竭接入ChatGPT等生成式AI需求大增，HBM的需求也将呈现出暴增的态势。三星内存副总裁Kim Jae-joon便指出，ChatGPT等基于天然语言手艺的交互式AI应用的开展有利于提拔内存需求。高效且大量的运算才能、高容量的内存，是AI进修与推论模子的根底。

存储巨头齐争高性能市场

去年以来，受消费电子产物需求下滑等多种因素影响，存储行业进入了下行周期。SK海力士全年的净利润降至2.4万亿韩元，同比下滑75%。三星电子存储营业的营收与营业利润，在去年第三季度和第四时度也是同比环比双双下滑。TrendForce集邦征询预估2023年第一季度DRAM价格仍将持续下探。此中，PC及办事器用DRAM跌幅仍是近两成。HBM的需求火爆不啻于一剂“强心针”。那种情况下，SK海力士、三星电子、美光等内存厂商均暗示将努力于HBM的开发。企业之间的产物开发合作也随之升温。

2013年SK海力士将TSV手艺应用于DRAM，在业界初次胜利研发出第一代HBM芯片。尔后，SK海力士相继推出HBM2、HBM2E、HBM3数代产物。据悉，SK海力士正在研发HBM4，估计新一代产物将可以更普遍地应用于高性能数据中心、超等计算机和AI等范畴。SK海力士CFO金祐贤暗示，公司正存眷着市场上呈现以AI为根底的新办事器替代存储器需求的积极信号。公司方案持续投资DDR5/LPDDR5、HBM3等主力产物的量产和将来高生长范畴。

三星电子固然在HBM的开发上落后一步，但也在寻找新的打破口。据悉，三星电子正在开发集成AI处置器新一代存内计算芯片HBM-PIM。北京大学信息科学手艺学院微纳电子学系副传授叶乐暗示，存内计算芯片是将AI引擎引入存储库，将处置操做转移到HBM自己，将有效加大数据传输带宽，进步内存的处置速度。存内计算手艺正在实现产物化。目前基于SRAM的存内计算，已经进入到产物化的前夕，DRAM存内计算适用于大算力AI芯片，因而还需要处理其他一系列的手艺难题。

上下流发力抢占先机

与HBM相关的上下流企业也在发力，以期抢占先机。AMD在HBM的降生与开展过程中功不成没。最早是AMD意识到DDR的局限性并产生开发堆叠内存的设法，其后与SK海力士联手研发了HBM，并在其Fury显卡接纳全球首款HBM。ISSCC 2023国际固态电路大会上的动静，AMD考虑在Instinct系列加速卡已经整合封拆HBM高带宽内存的根底上，在后者之上继续堆叠DRAM内存，能够在一些关键算法内核能够间接在整合内存内施行，而没必要在CPU和独立内存之间往复通信传输，从而提拔AI处置的性能，并降低功耗。

英伟达同样重视处置器与内存间的协同，不断在要求SK海力士供给最新的HBM3内存芯片。据悉，目前已经有超越25000块英伟达计算卡参加到了深度进修的训练中。若是所有的互联网企业都在搜刮引擎中参加ChatGPT如许的机器人，那么计算卡以及响应的办事器的需求量将会到达50万块，也将连同带动HBM的需求量大幅增长。

IP厂商亦已先行规划HBM3。去年，Synopsys推出首个完好的HBM3 IP处理计划，包罗用于2.5D多芯片封拆系统的控造器、PHY（物理层芯片）和验证IP。HBM3 PHY IP基于5nm造程打造，每个引脚的速度可达7200 Mbps，内存带宽更高可提拔至921GB/s。Rambus也推出撑持HBM3的内存接口子系统，内含完全集成的PHY和数字控造器，数据传输速度达8.4 Gbps，可供给超越1TB/s的带宽。

Rambus IP核产物营销高级总监Frank Ferro此前在承受采访时指出，HBM如今照旧处于相对早期的阶段，其将来还有很长的一段路要走。而可预见的是，跟着越来越多的厂商在AI和机器进修等范畴不竭发力，内存产物设想的复杂性正在快速上升，并对带宽提出了更高的要求，不竭上升的宽带需求将持续驱动HBM开展。