据财联社报道，英伟达为了确保HBM稳定供应，已向SK海力士和美光支付数亿美元的预付款，等同已确定供应合约。三星电子近期也结束产品测试，与英伟达签订HBM产品供应协议。

大模型的推理和训练是内存密集型工作，从内存中存储和检索数据的能力将制约AI芯片性能的发挥，即内存墙。HBM在传统DDR内存和片上缓存的基础上，通过大幅增加引脚数量以达到每个HBM堆栈1024位宽的内存总线，实现了更高的带宽，相当于每个DIMM64位宽的DDR5的16倍，从而解决了内存墙的问题。Omdia研究显示，从2023年到2027年，DRAM市场收入的年增长率预计为21%，而HBM市场预计将飙升52%。HBM今年在DRAM市场收入中的份额预计将超过10%，到2027年将接近20%。