英伟达200亿美元收购Groq，其机架产品今年上线

Nvidia Groq 3 LPU芯片。

英伟达正加速将Groq芯片量产并交付客户，这反映出低延迟推理的重要性与日俱增。低延迟推理是确保AI智能体快速响应、避免用户长时间等待的关键因素，在编程场景中尤为突出。英伟达指出，云服务商可针对此类token服务收取更高费用。

Harris在电话会议中表示：“对于提供token服务的厂商而言，这为他们创造了向对延迟最为敏感的客户提供优质服务层级的契机，以满足相应的服务等级协议。”

去年12月，英伟达斥资200亿美元收购了芯片初创公司Groq的资产，这是该公司迄今规模最大的一笔收购。

Groq架构在芯片裸片上集成了500兆字节的高速SRAM，旨在缓解内存瓶颈。Groq芯片由三星代工，而英伟达的GPU则由台积电制造。

英伟达将256个独立的Groq 3芯片封装在LPX机架中。根据Artificial Analysis的基准测试，英伟达称其Groq 3 LPX机架可实现每秒3400个token的吞吐量。

这一领域竞争激烈。较小的GPU制造商AMD今年早些时候宣布，将把其机架级系统与近期上市的Cerebras芯片集成，同样聚焦低延迟推理。OpenAI新近推出的“超快模式”目前承诺每秒750个token，且“由Cerebras提供支持”。

低延迟芯片并不会取代GPU——GPU是AI芯片的主力，既能用于训练也能用于推理，且足够灵活以适应新技术和新模型。像Groq这样的低延迟芯片主要专注于模型服务中的一个环节，即“解码”阶段。

Harris表示：“这不是要取代GPU，而是要在合适的负载部分使用合适价格、合适的处理器。”

英伟达目前正加快Vera Rubin系统的出货，该系统已于今年早些时候投产。在3月Vera Rubin和Groq 3 LPX的发布会上，英伟达CEO黄仁勋预计，从当前一代Blackwell芯片到新的Vera Rubin系统，到2027年的累计销售额将达到1万亿美元。

黄仁勋当时表示，他将在专用于编程应用的数据中心空间中，划出四分之一分配给Groq芯片。

黄仁勋说：“我数据中心的其余部分将全部使用Vera Rubin。”

英伟达将于周三公布财报。