AMD MI300X在LLM推理AI基准测试中大幅超越NVIDIA H100

近日，AI云提供商Tensorwave发布了一份关于AMD最新加速器MI300X的基准测试报告，结果显示，在大型语言模型（LLM）推理AI工作负载中，MI300X的性能比NVIDIA的旗舰产品H100高出3倍。这一令人瞩目的性能提升，使得AMD不仅在技术性能上取得了领先地位，同时也在性价比方面展现出了显著优势。

Tensorwave在其博文中详细介绍了测试过程。他们使用了Mixtral 8x7B模型，在AMD和NVIDIA的硬件上进行了在线和离线测试。测试环境包括8个MI300X加速器和8个NVIDIA H100 SXM5加速器。测试结果显示，无论是在离线性能还是在模拟真实聊天应用的在线性能上，MI300X均显著优于H100。

在离线性能测试中，MI300X在所有测试的批量大小上都超越了H100，性能提升了高达194%，几乎是H100的3倍。在在线性能测试中，与两个NVIDIA H100 GPU相比，MI300X加速器每秒处理的请求数增加了33%，同时保持了5秒的平均延迟，显示出在更高流量下更快地生成文本的能力。

值得一提的是，此次测试中NVIDIA的H100 GPU运行的是vLLM套件，而非经过TensorRT-LLM优化的版本，且使用的是去年的旧CUDA堆栈。这意味着，如果NVIDIA的GPU使用最新的软件优化，其性能可能会有所提升。然而，即便如此，AMD MI300X在当前测试条件下已经展现出了显著的性能优势。

Tensorwave的首席执行官对MI300X的性能表示赞赏，并强调与H100相比，MI300X不仅性能卓越，而且价格更具竞争力。此外，他还提到MI300X的市场可用性较高，而H100则经常面临供应紧张的情况。