办公

万卡训练史上最大参数模型!百度文心大模型4.0最快下周见

快科技 2023-10-11 13:57:56
业界动态

快科技10月9日消息,日前有媒体报道称,百度正加紧训练文心大模型4.0,已经接近可发布状态,这将是文心大模型3.5版本后,又一个重磅版本。

消息称,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。

根据我们获得的最新消息,上述消息基本属实。目前了解到,文心大模型4.0实际上已经在小流量测试。

根据我们拿到的消息,文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM,也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。

万卡集群什么概念?国内之前只有华为、阿里透露已建成万卡AI集群,但我们都没看到基于它推出的具体模型。万卡集群就不容易建了,如果用起来发挥最大化作用则更难了。

据分析,正是因为飞桨的深度联合,才能高效地基于万卡集群训练起如此规模的模型。

不仅训练成本在增加,文心4.0的推理成本比3.5增加很多,我们还没拿到具体每千token的推理成本,但据传大概是此前的8-10倍,这还是在高利用率(MFU)的情况下。如果利用率更低,估计成本还会继续增加。

不得不说,大模型真的很费钱。可见,打造领先的底层基础打模型,就是一场巨头的游戏。

根据IDC发布的首个大模型评估报告——《AI大模型技术能力评估报告,2023》,百度文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型第一,行业覆盖第一,综合能力在众多国产大模型中遥遥领先。

经过全面升级后,文心大模型4.0的训练速度、推理速度等将进一步提升,能否与GPT-4一战甚至超越后者的表现,我们拭目以待。

万卡训练史上最大参数模型!百度文心大模型4.0最快下周见

点击展开全文
打开太平洋科技,阅读体验更佳

网友评论

聚超值推荐

更多优惠

相关推荐

专用于CAD和海报的打印机,企业办公的”福音“它来啦! 办公设备 资讯
专用于CAD和海报的打印机,企业办公的”福音“它来啦!
2023安徽省工业互联网创新发展大会于视源股份合肥产业园召开 办公设备 资讯
2023安徽省工业互联网创新发展大会于视源股份合肥产业园召开
探寻更高效的智慧会议解决方案!福建台江区高层次人才专题研修班一行参访视源股份产业园 办公设备 资讯
探寻更高效的智慧会议解决方案!福建台江区高层次人才专题研修班一行参访视源股份产业园
Win11 Canary 26002 新增功能,启用后无法使用Win10任务栏 办公设备 资讯
Win11 Canary 26002 新增功能,启用后无法使用Win10任务栏
Win11更新,新增节能模式 办公设备 资讯
Win11更新,新增节能模式
年度思想智慧盛宴即将开启,MAXHUB受邀亮相2023中国企业家博鳌论坛 办公设备 资讯
年度思想智慧盛宴即将开启,MAXHUB受邀亮相2023中国企业家博鳌论坛
当贝F3 Air投影:与经典同行,掌握光影的魔法师 办公设备 资讯
当贝F3 Air投影:与经典同行,掌握光影的魔法师
微软马上放弃Win10!Windows各版本最新份额一览:你升级Win11没 办公设备 资讯
微软马上放弃Win10!Windows各版本最新份额一览:你升级Win11没
哈趣K1 Pro投影:探索卓越性能的神奇之旅 办公设备 资讯
哈趣K1 Pro投影:探索卓越性能的神奇之旅
最新商务交互平板销量出炉:累计下跌24.2% 办公设备 资讯
最新商务交互平板销量出炉:累计下跌24.2%
相关产品
取消