英伟达经济学：在GPU上每花1美元就能赚5-7美元

英伟达表示，在四年的时间里，公司在GPU上每投资1美元，就可以获得5到7美元的收益。近日，英伟达超大规模和高性能计算业务副总裁兼总经理Ian Buck在美国银行证券2024年全球技术会议上表示，客户正在投资数十亿美元购买新的英伟达硬件，以跟上更新的人工智能模型，从而提高收入和生产力。

竞相建设大型数据中心的公司将尤其受益，并在数据中心4到5年的使用寿命中获得巨大回报。

“云计算提供商在GPU上每花1美元，四年后就能赚回5美元。”Buck说。

巴克说推理甚至更有利可图。

“这里的经济状况甚至更好：每消费1美元，在同一时期内就会有7美元的收益，而且还在增长。”巴克说。

围绕Llama、Mistral或Gemma的AI推理正在增长，并由tokens提供服务。英伟达正在将开源人工智能模型打包到名为Nvidia Inference Microservices (NIMs)的容器中。

英伟达表示，今年早些时候宣布的即将推出的Blackwell GPU针对推理进行了优化。GPU支持FP4和FP6数据类型，在运行低强度AI工作负载时可以提高能效。

为Rubin做准备

云提供商提前两年就开始规划数据中心，他们想知道GPU架构未来会是什么样子。

英伟达已经分享了Rubin的计划——在Computex上宣布了一款新的GPU——这样云提供商就可以为GPU准备数据中心了。Rubin将于2026年上市，接替Blackwell和Blackwell Ultra，后者将于2025年上市。

“这对我们来说真的很重要——数据中心不会从天上掉下来，它们是大型建设项目。他们需要了解Blackwell数据中心将会是什么样子，它与Hopper有什么不同?’”Buck说。

由于空气冷却效率不高，Blackwell提供了一个向更密集的计算形式转移的机会，并使用了液体冷却等技术。

英伟达每年都会推出一款新的GPU，这有助于该公司跟上人工智能的发展步伐，进而帮助客户规划产品和人工智能战略。

“Rubin已经和那些最大的客户谈了很长时间了——他们知道我们的发展方向和时间表。”Buck说。

人工智能的速度和能力与硬件直接相关。花在GPU上的钱越多，越多的公司可以训练更大的模型，这反过来又带来更多的收入。

微软和谷歌已将未来寄托在人工智能上，它们正在竞相开发更强大的大语言模型。微软严重依赖新的GPU来支撑其GPT-4后端，而谷歌则依赖其TPU来运行其人工智能基础设施。

Blackwell供不应求

英伟达现在正在生产Blackwell GPU，样品将很快发布。但客户可以预期，首批将于今年年底发货的GPU将供不应求。

“每一次新技术转型都伴随着供需方面的挑战。我们在Hopper项目上肯定经历过这种情况，在Blackwell项目的坡道上也会出现类似的供需限制……从今年年底到明年，”Buck说。

Buck说，数据中心公司正在弃用CPU基础设施，为更多的GPU腾出空间。Hopper GPU将被保留，而基于Ampere和Volta架构的旧GPU将被转售。

英伟达将保留多层GPU，随着Blackwell的崛起，Hopper将成为其主流AI GPU。为了提升Hopper的性能，英伟达已经对硬件和软件进行了多项改进。

所有的云提供商都将提供Blackwell的GPU和服务器。

Brain-Sized模式

Buck说，GPT-4模型有大约1.8万亿个参数，随着人工智能的扩展尚未达到极限，参数的数量将继续增长。

“人类的大脑有1000亿到150万亿，这取决于你是谁，你的大脑里有神经元和连接。我们现在在人工智能上大约有2万亿美元……我们还没有开始推理，”Buck说。

将会有一个拥有数万亿个参数的大模型，围绕这个模型将会建立更小、更专业的模型。参数的数量对英伟达有利，因为它有助于销售更多的GPU。

混合专家模型

英伟达正在调整其GPU架构，从最初的基础模型方法转向混合专家模型。

专家混合包括多个神经网络通过相互参照来验证答案。

“1.8万亿参数的GPT模型有16个不同的神经网络，它们都试图回答自己那一层的问题，然后相互交流，决定正确的答案是什么。”Buck说。

即将推出的GB200 NVL72机架级服务器，拥有72个Blackwell GPU和36个Grace CPU，专为混合专家模型而设计。多个GPU和CPU相互连接，从而允许混合专家模型。

“这些家伙都可以相互通信，而不会被IO阻塞。这种演变在模型架构中不断发生，”Buck说。

锁定客户的技巧

英伟达首席执行官黄仁勋本月在惠普(HPE)的Discover大会上发表了一些大胆的言论，敦促人们更多地购买该公司的硬件和软件。

英伟达和惠普宣布了一个新的产品组合，其名称并不复杂，名为“HPE的Nvidia AI Computing”。

“我们已经做到了，所以你可以选择小号，中号，大号，特大号。正如你所知，你买的越多，省的就越多。”

黄在今年早些时候发表的另一个值得质疑的言论是，他说未来的程序员不需要学习如何编程。但在Nvidia gpu上加载AI模型需要掌握命令行和脚本知识，才能创建和运行AI环境。

英伟达的专有言论和在人工智能市场的完全主导地位，使其成为反垄断调查的目标。

巴克在试图缓和对CUDA的担忧时不得不小心翼翼，他说“护城河是一个复杂的词”。

两位高管都解释说，CUDA是其GPU的必备组件——要最大限度地发挥GPU的性能，你需要CUDA。开源软件可以与Nvidia gpu一起工作，但没有CUDA的库和运行时的冲击力。

向后兼容性和连续性是英伟达的独特优势。支持Nvidia的AI模型和软件，可以延续到下一代GPU。对于像英特尔的高迪这样的ASIC来说，情况就不一样了，每推出一款新型号的ASIC都必须重新调优。

原文《Nvidia Economics: Make $5-$7 for Every $1 Spent on GPUs》