NVIDIA GPU弱爆了！世界第一AI芯片升级4万亿晶体管、90万核心

Cerebras Systems推出了其最新一代的AI加速芯片——Wafer Scale Engine 3（WSE-3），在保持功耗和价格不变的条件下，性能实现了翻倍的提升。

该公司于2019年发布的第一代WSE-1采用了台积电的16nm工艺，拥有46225平方毫米的面积，包含1.2万亿个晶体管，40万个AI核心，搭载18GB SRAM缓存，并支持高达9PB/s的内存带宽和100Pb/s的互连带宽，功耗达到惊人的15千瓦。

随后，2021年推出的第二代WSE-2升级到台积电7nm工艺，尽管面积保持不变，但晶体管数量增加至2.6万亿个，AI核心增至85万个，缓存扩大到40GB，内存带宽提升至20PB/s，互连带宽达到220Pb/s。

现在，第三代WSE-3进一步升级为台积电5nm工艺，虽然面积数据未披露，但预计与前代相仿。晶体管数量激增至4万亿个，AI核心数也增至90万个，缓存容量上升至44GB，外部搭配的内存容量选项包括1.5TB、12TB甚至1200TB。

尽管AI核心数量和缓存容量的增加看似不大，WSE-3的性能却实现了巨大飞跃，峰值AI算力高达125PFlops，即每秒钟进行12.5亿亿次浮点计算，可媲美顶级超级计算机。

这款芯片能够训练相当于GPT-4或Gemini十几倍规模的下一代AI大型模型，能够在单一逻辑内存空间内存储24万亿参数，无需分区或重构。使用WSE-3训练1万亿参数的大模型的速度，相当于使用GPU训练10亿参数。四颗WSE-3并联可以在一天之内完成700亿参数的训练，并且支持最多2048路互连，一天内即可完成Llama 700亿参数的训练。

关于WSE-3的具体功耗和价格，目前尚未公开，但根据上一代产品的情况推测，价格可能在200多万美元左右。