Groq选择了一个全新路线——LPU。其芯片推理速度较英伟达GPU提高10倍、成本只有其1/10；运行的大模型生成速度接近每秒500 tokens，碾压ChatGPT-3.5。“快”是Groq芯片主打的优点，也是其使用的SRAM最突出的强项之一。推理速度较英伟达GPU提高10倍、成本只有其1/10；运行的大模型生成速度接近每秒500 tokens，碾压ChatGPT-3.5大约40 tokens/秒的速度——短短几天，一家名为Groq的初创公司在AI圈爆火。

LPU旨在克服两个大模型瓶颈：计算密度和内存带宽。据Groq介绍，在 LLM 方面，LPU较GPU/CPU拥有更强大的算力，从而减少了每个单词的计算时间，可以更快地生成文本序列。此外，由于消除了外部内存瓶颈，LPU推理引擎在大模型上的性能比GPU高出几个数量级。据悉，Groq芯片完全抛开了英伟达GPU颇为倚仗的HBM与CoWoS封装，其采用14nm制程，搭载230MB SRAM，内存带宽达到80TB/s。算力方面，其整型（8位）运算速度为750TOPs，浮点（16位）运算速度为188TFLOPs。