作者 | 硬 AI

      编辑 | 硬 AI

“这是一个令人惊讶且重要的阶跃式提升，展示了GPT系列模型前所未有的新型任务适应能力。

作为对比，ARC-AGI-1从2020年GPT-3的0%提升到2024年GPT-4o的5%，历时四年。

随着o3的出现，关于人工智能能力的所有既有认知都需要重新评估...

这不仅仅是渐进式的改进，而是真正的突破。”

• o3 是一个非常强大的模型，在编码、数学以及ARC-AGI基准测试等多个基准上超过了OpenAI此前的o1模型（o1得分25%，o3得分87.5%)。
• o3-mini是o3更经济高效且性能导向的版本，在成本和延迟方面比o1-mini低得多，同时提供类似的功能。

1. 在token空间内进行自然语言程序搜索和执行
2. 使用类似AlphaZero的蒙特卡洛树搜索方法
3. 通过评估器模型引导搜索过程

• 实时生成和执行解决方案程序
• 通过思维链（Chain of Thought）实现知识的动态重组
• 展现出类人的任务适应能力

1. 技术层面的局限：

• 仍然依赖自然语言指令而非可执行的符号程序
• 缺乏与现实世界的直接交互能力
• 无法通过直接执行来评估解决方案的有效性

1. 性能层面的局限：

• 在某些基础任务上仍会出现失误
• 在即将发布的ARC-AGI-2测试中，预计其得分可能降至30%以下（而普通人类仍能保持95%以上的得分）
• 依赖专家标注的人工生成数据，缺乏自主学习能力

1. 效率层面的局限：

• 高昂的计算成本
• 大量的计算资源消耗
• 在某些任务上的效率低于人类

“实际上，o3代表了一种深度学习引导的程序搜索形式...  

同时，由于推理预算的可变性，效率（如计算成本）已成为评估AI性能时的必要指标。”