国内AI独角兽MiniMax即将推出新一代大模型M3。其AI工程负责人Skyler Miao预告新品将至。M3采用全新稀疏注意力架构,结合快速索引与精准计算,解决超长上下文计算瓶颈。相比传统Transformer,它能大幅降低百万Token级别上下文的计算开销,对比前代M2有突破性提升,可降低推理成本。
这背后,M3的稀疏设计是关键技术突破,能以低算力成本处理超长上下文,为长文本理解等场景提供支撑。虽未公布发布时间与完整参数,但有望在长文本处理市场掀起波澜。
近日,国内AI独角兽MiniMax将推出新一代大模型M3,由其AI工程负责人Skyler Miao预告。M3采用全新稀疏注意力架构,能解决超长上下文计算瓶颈,大幅降低百万Token级别上下文计算开销,相比前代M2有突破性提升。虽未公布发布时间与完整参数,但有望在长文本处理市场掀起波澜。
国内AI独角兽MiniMax即将推出新一代大模型M3。其AI工程负责人Skyler Miao预告新品将至。M3采用全新稀疏注意力架构,结合快速索引与精准计算,解决超长上下文计算瓶颈。相比传统Transformer,它能大幅降低百万Token级别上下文的计算开销,对比前代M2有突破性提升,可降低推理成本。
这背后,M3的稀疏设计是关键技术突破,能以低算力成本处理超长上下文,为长文本理解等场景提供支撑。虽未公布发布时间与完整参数,但有望在长文本处理市场掀起波澜。
网友评论