一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。
Groq并没有研发新模型，主页上运行的是开源模型Mixtral8x7B-32k和Llama270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由GroqLPU驱动的MetaLlama2模型推理性能是顶级云计算供应商的18倍。Groq创始人JonathanRoss称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存，2万美元一张。
