Grok-1 是一个拥有 3140 亿个参数的大型语言模型，运行这样的模型需要相当高的硬件配置。有人估计，可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。由于每个 NVIDIA H100 GPU 拥有 80 GB 的显存，因此可以计算出所需的 H100 GPU 卡数量。

由于不能有零数个 GPU 卡，所以需要向上取整，这意味着至少需要 8 张 H100 GPU 卡来满足 Grok-1 模型的硬件要求。

相关标签：