迄今最大！马斯克AI大模型Grok开源：参数量达3140亿

媒体报道称，由马斯克支持的人工智能初创公司xAI宣布其大型语言模型Grok-1已经开源，并可供公众下载。

Grok-1是基于混合专家系统（Mixture-of-Experts, MoE）技术构建的一款大型语言模型，拥有3140亿个参数，超过了OpenAI GPT-3.5的1750亿参数，成为目前参数量最大的开源大语言模型。该模型按照Apache 2.0协议开放了其模型权重和架构。

xAI表示，Grok-1完全由公司内部自行训练，预训练阶段于2023年10月完成。此次发布的是预训练结束时的基础模型检查点，这意味着发布的模型尚未针对任何特定应用进行微调。

xAI的目标是与OpenAI、谷歌、微软等公司在大模型领域展开竞争。该公司的团队由来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等知名机构的成员组成。

尽管xAI尚未公布Grok-1的具体测试成绩，但该模型与其他公司的大型模型之间的比较将成为业界关注的焦点。