OpenAI被曝数据崩溃GPT-5难产，团队抢算力冲突激烈！Ilya预言成真？

让人们解释他们的思维过程可以深化新创建的数据的价值。

这不仅为LLM提供了更多可学习的语言数据，还为模型在未来解决类似问题提供了系统化的解决方案。

与OpenAI、Meta等科技巨头都有合作的AI基础设施公司Turing，就会要求软件工程师编程序去高效解决复杂的逻辑问题，或让数学家计算用一百万个篮球堆成的金字塔的最大高度。

然后，这些答案，以及更重要的解题思路和步骤，都会被整合到AI的训练数据当中。

此外，OpenAI还与理论物理等领域的专家展开合作，请他们详细说明如何应对该领域中最具挑战性的问题。这些专业知识也将助力提升Orion的智能水平。

这个过程，同样非常缓慢……

据估计，GPT-4的训练使用了大约1.3×10¹³个token。即使组织一千人的团队，每人每天撰写5000字，要生成十亿个token也需要数月时间。

与此同时，OpenAI也采用了「合成数据」来辅助训练Orion。然而研究表明，这种AI创建数据再用于训练AI的反馈循环往往会导致系统故障或产生毫无意义的答案。

据知情人士透露，OpenAI的科学家们认为，使用另一个AI模型o1生成的数据，可以避免这些问题。

大模型训练充满挑战。而公司内部的剧烈动荡和竞争对手持续以数百万美元年薪挖角其顶尖研究人员，OpenAI的大模型训练变得更加复杂。

去年，奥特曼突然被OpenAI董事会解职，这一事件让许多研究人员对公司的未来产生疑虑。不过奥特曼很快被重新任命为首席执行官，并随即着手改革OpenAI的治理架构。

仅在今年一年，就有超过二十多名核心高管、研究人员和资深员工离开了OpenAI，包括联合创始人兼首席科学家Ilya Sutskever和首席技术官Mira Murati。

在最近的一次人事变动中，著名研究员Alec Radford也宣布离职，他在公司服务近八年， 是多篇重要科研论文的主要作者。

GPT-4推出已满一年，而竞争对手们正在快速追赶。

Anthropic公司推出的新一代大模型在业内广受好评，许多专家认为其性能已经超越了GPT-4。

在2024年第二季度，谷歌又推出了智能笔记应用NotebookLM，这款AI辅助写作工具迅速成为年度最受欢迎的人工智能应用。

面对Orion项目的研发瓶颈，OpenAI开始将资源分配到其他项目和应用的开发中。这些新项目包括开发GPT-4的轻量级版本，以及名为Sora的AI视频生成产品。

据知情人士透露，为了争夺有限的算力资源，负责新产品开发的团队与Orion研究员之间产生了冲突。

AI实验室之间的竞争已经远超科学界常态，各大科技公司发表的最新研究成果和技术突破论文数量显著减少。

自2022年大量资金涌入市场以来，科技公司开始将这些研究成果视为核心商业机密。一些研究人员对保密工作极其谨慎，甚至拒绝在飞机上、咖啡店或任何可能被他人窥视工作内容的场所办公。

这种过度保密的态度引发了许多资深AI研究者的不满，其中包括Meta首席AI科学家Yann LeCun。他直言不讳地表示，OpenAI和Anthropic的工作本质上已不能算作研究，而应该被视为「高级产品开发」。

在一次OpenAI几乎缺席的AI会议上，LeCun表示：「如果是在商业开发周期的压力下进行的，那就不能称之为研究；如果是在完全保密的情况下进行的，那也不能称之为研究。」

2024年初，OpenAI准备借助改进后的数据再次启动Orion项目。研究团队在第一季度开展了数次小规模模型训练，以积累经验并建立信心。

到5月，OpenAI的研究人员认为时机成熟，决定再次尝试Orion的大规模模型训练，预计整个过程将持续到11月。

然而，训练开始后，研究人员发现了数据集存在的问题：数据的多样性远低于预期，这可能会严重制约Orion的学习能力。

这个问题在小规模测试中并未显现，直到大规模训练启动后才暴露出来。考虑到已投入的时间和资金成本过于巨大，OpenAI已无法从头开始。

为此，研究团队不得不在训练过程中紧急寻找更多样化的数据输入模型。这种补救策略的效果目前仍未可知。

Orion项目遇到的这些问题向OpenAI内部传递出一个信号：过去推动公司取得成功的「规模至上」策略可能已经走到尽头。

不只是OpenAI在担忧发展遇到瓶颈。整个AI行业都在激烈讨论一个问题：人工智能的技术进步是否已开始进入平台期。

OpenAI前首席科学家Ilya Sutskever最近在NeurIPS 2024上明确表示，依靠海量数据推动AI发展的时代已经终结。

「由于我们只有一个互联网，数据增长已经到头了。数据就像AI领域的化石能源一样，即将枯竭。」

而这种珍贵的「数字燃料」正在日渐枯竭。

研究人员表示，通过延长模型在推理时的「思考」时间，可以使其解决一些没有训练过的难题。

从技术实现角度来看，OpenAI o1采用多答案生成机制，即对每个问题生成多个候选答案，并通过分析筛选出最优解。

由此，模型便可以处理更复杂的任务，如制定商业计划或设计填字游戏，同时提供详细的推理过程说明——这种机制使模型能够从每次回答中持续学习优化。

不过，苹果的研究员在论文中对此提出了质疑，认为包括o1在内的推理模型很可能只是在复现训练数据中的模式，而非真正具备解决新问题的能力。

论文链接：https://arxiv.org/abs/2410.05229

研究人员发现，当在问题中添加无关信息时，模型性能会出现严重退化——例如，仅仅在一道关于猕猴桃的数学题中加入水果大小差异的描述，就会导致模型表现显著下降。

在最近的TED演讲中，OpenAI的高级研究科学家Noam Brown着重强调了推理能力的重要性。

Noam Brown表示：「我们的研究发现，让AI在扑克游戏中进行20秒的推理思考，就能获得与将模型规模扩大100,000倍并延长训练时间100,000倍相当的性能提升。」

一个更先进、更高效的推理模型可能成为Orion项目的核心基础。

OpenAI的研究团队正在深入探索这一方向，并计划将其与传统的数据扩充方法相结合，部分训练数据将来自OpenAI的其他AI模型。

随后，他们将利用人工生成的内容来进一步优化模型效果。

随着o3的「发布」，模型也在多项基准测试中，相比o1 pro取得了明显的提升， 而这才过了1个月。

并且，在号称通用人工智能「唯一正式进展基准」的ARC-AGI测试中， o3以20%+的优势远超第二名。

具体来说，o3在半私有评估集上取得了突破性的75.7%高分，在高计算量模式（172倍计算量）下得分高达87.5%。

作为对比，ARC-AGI在此前的4年时间里，正确率仅增长了5%——从2020年GPT-3时的0%到2024年GPT-4o的5%。

o3颠覆了所有关于AI能力的直观感受。

毕竟，就算在GPT-4上投入再多的计算，也无法获得这样的结果。

但问题在于，提高准确率的代价是巨大的：人类在完成ARC-AGI基准测试时，每项任务大约只需支付5美元，且只消耗几美分的能量；而o3在低计算量模式下，每个任务需要17-20美元。

尽管87.5%这个更高得分排名性价比很低，但能证明随着计算量的增加，模型的性能确实有所提升。

在ARC-AGI「公开评估」（Public Eval）中，有大约9%的任务，即便o3加大计算量也无法解决。但对于人类来说却十分简单。

擦擦眼睛，试试能否打败目前最强的o3模型。

在尝试前，请注意：在下面这个例子中，箭头前的图片（即上方图片）表示输入，箭头后的图片（下方的图片）表示输出，灰色部分表示数据集中的例子，绿色部分为o3的两次错误尝试，最后一部分为答案。

在第一个例子中，o3先是给出了一个错到离谱的答案，然后在第二次输出中生成了一大片黑色像素……

这似乎是目前为止最差的一次结果，而且很难解释为什会这样。

第二个例子有点考验眼力，虽然每一行都对了的，但网格却没有对齐。

第三个例子，o3没有将蓝色图块拉到左侧边栏。

最后一个例子，在两次尝试中，o3的预测中漏掉了几行。看来，它很难记住有多少相同重复的行要输出。

在10月， 投资者给予OpenAI的1570亿美元估值，很大程度上基于奥特曼预测GPT-5将在各类学科和任务上实现「重大飞跃」。

目前并没有固定的标准，来判断一个模型是否足够智能到可以被称为GPT-5。

普遍的看法是GPT-5能够解锁新的科学发现，同时能完成日常任务（如门诊预约或订机票）。

研究人员希望它犯更少的错误，或至少能在犯错时承认自己对答案也有所怀疑，即减少所谓的「AI幻觉」。

一位前OpenAI高管表示，如果说GPT-4的表现像个聪明的高中生，那么未来的GPT-5在某些任务上将相当于拥有博士学位水平。

今年早些时候，奥特曼在斯坦福大学的一次演讲中告诉学生，OpenAI可以「以高度的科学确定性」说，GPT-5将比当前模型更加智能。

公司高管们主要基于经验判断和技术评估，或者如许多技术专家所说的「整体表现」，来决定模型是否达到了GPT-5的水平。

但是，到目前为止，这种「整体表现」并不理想。