埃隆·马斯克启动100,000个液冷H100 GPU训练xAI，打造地球上最强大的AI训练集群

埃隆·马斯克（Elon Musk）近日宣布，xAI已正式开始在NVIDIA最强大的数据中心H100 GPU上进行培训。马斯克在社交媒体X上自豪地发布了这一消息，称该超集群将由100,000个液冷H100 GPU在单个RDMA结构上进行训练。他特别祝贺了xAI、X和Nvidia团队在孟菲斯开始这一重要训练。

训练于孟菲斯当地时间凌晨4点20分正式开始。马斯克在另一条帖子中声称，世界上最强大的人工智能将在今年12月之前准备就绪。他还透露，GROK 2将于下个月发布，而GROK 3则计划在12月前完成。

值得注意的是，xAI此前曾与甲骨文公司达成了一项100亿美元的服务器交易，但最终决定终止该协议，并选择自己建立服务器。这一决策旨在构建优于甲骨文的超级计算机，而实现这一目标的关键就是使用十万个高性能H100 GPU。

每个H100 GPU的成本约为30,000美元。虽然GROK 2已经使用了其中的20,000个，但GROK 3需要五倍的功率来开发其AI聊天机器人。这一决定无疑显示了马斯克对AI技术的巨大投入和信心。

有趣的是，NVIDIA即将在第三季度推出其更新的H200 GPU。这款采用先进Hopper架构的GPU提供更好的内存配置，使生成式AI输出的响应时间提高多达45%。然而，马斯克和他的团队似乎对H100 GPU充满信心，认为它们足以在今年12月之前通过每个指标训练出世界上最强大的AI。

预计xAI的Gigafactory将在2025年秋季之前准备就绪，但显然，Gigafactory的运营已经提前开始。根据马斯克的说法，这种先进的大型语言模型将在2024年底之前完全训练完成，成为迄今为止世界上最快的AI。