近日,新浪开源了VibeThinker-3B模型。该模型拥有30亿参数。在数学、编程等高难度基准测试中,其性能媲美主流百倍规模大模型,在部分竞赛级任务中超越了多款行业顶尖产品。该模型以阿里Qwen2.5-Coder-3B为基底,通过多阶段的精细化“后训练”——涵盖了监督微调、强化学习、自蒸馏及指令微调等环节进行训练。测试显示,在LeetCode竞赛题目中,它能完成128道题中的123道。研发团队提出了“参数压缩-覆盖假说”,认为AI的能力并非“铁板一块”:逻辑推理、编程运算等结构清晰的任务,通过特定模式的训练,可以被极高密度地压缩;而广泛的世界知识储备,则依然依赖庞大的参数量来支撑。目前,VibeThinker-3B已在Hugging Face和GitHub正式开源。
网友评论