财联社 3 月 5 日讯 (编辑 史正丞)随着韩国股市近 3 天坐上 「过山车」,一些揣测也在股价巨震期间敲打着股民们紧绷的神经。
作为背景,上周五美股收盘后有爆料称,英伟达将在当地时间 3 月 16 日举行的 GTC 大会上发布一款专门用于推理计算的新系统,这个新平台将采用初创公司 Groq 设计的芯片。
随着上周末中东战火重燃,韩国股市周一休市后,周二、周三均遭遇大跌,三星电子、SK 海力士均累计跌近 20%。除了中东战火外,市场里似乎也有一些声音将内存巨头的大跌归因于 「Groq 抢了 HBM 的饭碗」。
(三星电子、SK 海力士周四均强劲反弹,来源:TradingView)
何来忧虑?
作为背景,英伟达去年底豪掷 200 亿美元,获得芯片初创公司 Groq 的人才团队和非独占专利授权。这也是英伟达在核心算力芯片产品上首次大规模引入外部架构。
引发部分三星、海力士股东焦虑的点,正是 Groq 自研的 LPU(语言处理单元) 芯片。该芯片的核心特点是在片上集成数百兆 SRAM(访问速度比 HBM 快约 20 倍),通过减少或者完全不调用外部存储,实现超低延迟的 token 输出。
随着英伟达发布会临近,「Groq 是否利空 HBM」 又被拿来讨论:如果推理芯片路线从 HBM 堆料转向片上 SRAM,存储公司的生意不是被抢走了么?
作为这一猜想的佐证,OpenAI 上周五在宣布获得英伟达 300 亿美元融资时,就专门强调将从该公司购买大量 「专用推理算力」,暗示了这款新型处理器的存在。
黄仁勋也曾表示,将在 GTC 上发布 「世界前所未见」 的全新芯片。市场猜测,如果不是 Rubin CPX 或下一代 Feynman 架构的 GPU 旗舰产品,确有可能是以 SRAM 为核心的 LPU。
两者真的是替代关系么?
对于这种说法,韩国科技分析师 Jukan 周四开盘前引用独立分析机构 KIS 的分析称,认为 SRAM 推理芯片的出现将减少 HBM 使用的想法,反映出对存储器的理解不足。
分析称,与 DRAM 相比,SRAM 的单元面积大、密度低。相同容量的 SRAM 需要 DRAM 5 到 10 倍的芯片面积,因此也限制了容量的扩展。正因如此,SRAM 历来被用于对延迟要求极低的缓存或片上缓冲区应用,而不是作为存储大量数据的主存储器。
因此,与其说取代 GPU,这类芯片更多会成为针对特定推理工作的额外选择,例如需要极低延迟的物理 AI 边缘应用 (机器人和自动驾驶),而不是取代 HBM 或 DRAM。
事实上,英伟达 CEO 黄仁勋也在 1 月 CES 的分析师问答活动上详细解释过这件事。
黄仁勋表示,如果把所有东西都放在 SRAM 里,那么当然就不需要 HBM 内存了。但问题是:能够放进这些 SRAM 里的模型规模会小大约 100 倍。工作负载的形态一直在变化,有时候会遇到 MoE 模型,还有多模态模型等,因此英伟达需要提供普适性的解决方案。
黄仁勋也指出,对于某些特定工作负载来说,SRAM 可能会 「快得惊人」,因此在预填充阶段和解码阶段可以看到一些好处。
