笔记本

AMD MI300X在LLM推理AI基准测试中大幅超越NVIDIA H100

小烂毛 2024-06-14 10:09:30
笔记本_行业动态

近日,AI云提供商Tensorwave发布了一份关于AMD最新加速器MI300X的基准测试报告,结果显示,在大型语言模型(LLM)推理AI工作负载中,MI300X的性能比NVIDIA的旗舰产品H100高出3倍。这一令人瞩目的性能提升,使得AMD不仅在技术性能上取得了领先地位,同时也在性价比方面展现出了显著优势。

Tensorwave在其博文中详细介绍了测试过程。他们使用了Mixtral 8x7B模型,在AMD和NVIDIA的硬件上进行了在线和离线测试。测试环境包括8个MI300X加速器和8个NVIDIA H100 SXM5加速器。测试结果显示,无论是在离线性能还是在模拟真实聊天应用的在线性能上,MI300X均显著优于H100。

在离线性能测试中,MI300X在所有测试的批量大小上都超越了H100,性能提升了高达194%,几乎是H100的3倍。在在线性能测试中,与两个NVIDIA H100 GPU相比,MI300X加速器每秒处理的请求数增加了33%,同时保持了5秒的平均延迟,显示出在更高流量下更快地生成文本的能力。

值得一提的是,此次测试中NVIDIA的H100 GPU运行的是vLLM套件,而非经过TensorRT-LLM优化的版本,且使用的是去年的旧CUDA堆栈。这意味着,如果NVIDIA的GPU使用最新的软件优化,其性能可能会有所提升。然而,即便如此,AMD MI300X在当前测试条件下已经展现出了显著的性能优势。

Tensorwave的首席执行官对MI300X的性能表示赞赏,并强调与H100相比,MI300X不仅性能卓越,而且价格更具竞争力。此外,他还提到MI300X的市场可用性较高,而H100则经常面临供应紧张的情况。

点击展开全文
打开APP,阅读体验更佳

网友评论

聚超值推荐

更多优惠

相关推荐

全新戴尔XPS 14 2024体验:任时光流逝,精英范儿依然 笔记本资讯栏目 资讯
全新戴尔XPS 14 2024体验:任时光流逝,精英范儿依然
【科技实话】常见笔记本维修套路,希望你能不踩坑 笔记本资讯栏目 资讯
【科技实话】常见笔记本维修套路,希望你能不踩坑
【科技实话】老网民的青春:盘点那些消失在互联网中的软件,你用过哪款? 笔记本资讯栏目 资讯
【科技实话】老网民的青春:盘点那些消失在互联网中的软件,你用过哪款?
宏碁蓝绍文:先行入局,为用户开启AIPC之门! 笔记本资讯栏目 资讯
宏碁蓝绍文:先行入局,为用户开启AIPC之门!
《黑神话:悟空》1秒被抢光 黄牛翻倍加价转卖 笔记本资讯栏目 资讯
《黑神话:悟空》1秒被抢光 黄牛翻倍加价转卖
RTX 50系列笔电端显卡曝光:6个SKU,CES2025发布 笔记本资讯栏目 资讯
RTX 50系列笔电端显卡曝光:6个SKU,CES2025发布
苹果新版MacOS发布:支持iPhone镜像 “多屏协同”来了 笔记本资讯栏目 资讯
苹果新版MacOS发布:支持iPhone镜像 “多屏协同”来了
AIPC十倍速发展?和AMD产品总监聊过后我看还是保守了 笔记本资讯栏目 资讯
AIPC十倍速发展?和AMD产品总监聊过后我看还是保守了
功耗直接做到0W!三星彩色电子纸显示屏首秀 笔记本资讯栏目 资讯
功耗直接做到0W!三星彩色电子纸显示屏首秀
【TOP本色】智能高效战力全开,惠普战X锐龙版评测 笔记本资讯栏目 资讯
【TOP本色】智能高效战力全开,惠普战X锐龙版评测
相关产品
取消