Cerebras发布第三代晶圆级AI芯片

美国芯片设计初创公司Cerebras Systems宣布推出晶圆级Wafer Scale Engine 3 (WSE-3) 芯片，这是AI晶圆级芯片的突破性产品，其性能是前一代产品“WSE-2”的两倍。WSE-3是为训练业界最大的人工智能模型而打造的，基于5纳米、4万亿晶体管的WSE-3为Cerebras CS-3人工智能超级计算机提供动力，通过90万个人工智能优化的计算核心，提供每秒125千万亿次的峰值人工智能性能。

CS-3拥有高达1.2 PB的巨大内存系统，旨在训练比GPT-4和Gemini大10倍的下一代前沿模型，24万亿参数模型可以存储在单个逻辑内存空间中，无需分区或重构，大大简化了训练工作流程并加快了开发人员的工作效率。在CS-3上训练一个一万亿个参数的模型和在gpu上训练一个十亿参数的模型一样简单。

CS-3是为企业和超大规模需求而构建的。紧凑的四个系统配置可以在一天内微调70B模型，而在使用2048个系统的全尺寸下，Llama 70B可以在一天内从头开始训练-这是生成人工智能前所未有的壮举。

最新的Cerebras软件框架为PyTorch 2.0和最新的AI模型和技术提供了本地支持，如多模态模型、视觉转换器、专家混合和扩散。Cerebras仍然是唯一一个为动态和非结构化稀疏性提供原生硬件加速的平台，将训练速度提高了8倍。

“当我们八年前开始这一旅程时，每个人都说晶圆级处理器是白日梦。我们非常自豪地推出我们开创性的第三代水级人工智能芯片，”Cerebras首席执行官兼联合创始人Andrew Feldman表示。“WSE-3是世界上最快的人工智能芯片，专为最新的尖端人工智能工作而打造，从专家混合到24万亿参数模型。我们很高兴能将WSE-3和CS-3推向市场，帮助解决当今最大的人工智能挑战。”