超等推理模子正靠近垒：谷歌版o1发布次日，OpenAI o1下一代o3登场

本文作家：李丹

开首：硬AI

圣诞节前，东谈主工智能巨头献技了一场精彩的推理模子攻防战。谷歌和OpenAI正靠近垒，谷歌刚发布自家的先进推理模子挑战OpenAI的o1，第二天，OpenAI就推出了升级版的最强推理模子o3。

好意思东技艺12月20日周五，在为期12个责任日的线上新品发布举止临了一日，OpenAI晓示了“压轴大作”：o1的下一代模子o3，况兼一开动就要推出两个版块，一个正经的o3，还有一个相对较小的精简版o3-mini。

OpenAI的CEO Sam Altman在直播中提到，OpenAI本次12日的举止、所谓满血o1。举止临了一天又有o3亮相，首尾齐由先容推理模子呼应，也算是一种全心想象。

逻辑上说，o1的下一代应该定名为o2，至于为什么新模子叫o3，之前媒体称，OpenAI是为了幸免和名为O2的英国电信办事商冲突。Altman也说明了这点，说出于对O2的尊敬，并莫得起相通的名字。

直播中，Altman称o3是“一个十分、十分贤慧的模子”。OpenAi的评估效果也涌现，不管在软件工程、编写代码，照旧竞赛数学、掌捏东谈主类博士级别的天然科学学问能力方面，o3齐赫然高出o1一筹。同期测试涌现，o3在OpenAI竣事通用东谈主工智能（AGI）这一激越目的上取得了冲破，最高的测试得益达到了类东谈主水平。

张开剩余81%

o3软件工程测试准确率比o1高近47% 竞赛数学高15% 东谈主类博士各人级生化物高近13%

本年9月，OpenAI 发布o1的预览版o1 preview时称，o1是第一个具备实在通用推理能力的大模子，它的中枢能力推理在测试化学、物理和生物学专科学问的基准GPQA-diamond上得到了充分体现。据OpenAI评估，o1在该测试中全面杰出了东谈主类博士各人，准确率达到78.3%，而东谈主类各人的得分为69.7%。

本周五的直播中，OpenAI展示了o3的测评进展：

凭证OpenAI8月推出的SWE-bench Verified代码生成评估基准，在软件工程的能力测评中，o3的准确度得分71.7，即准确率71.7%，远超得分48.9的o1和得分41.3的o1 preview。也等于说，o3的准确率比o1郑再版高快要47%，比o1预览版高快要74%。 在竞争性编程网站Codeforces的竞争性代码测评中，o3取得2727的Elo评分，o1评分1891，o1 preview评分1258。这个测评效果涌现，竞争性代码方面，o3的评分比o1郑再版高44%，是o1预览版的两倍多。

经过2024年AIME数学竞赛的题目测试，o3的准确度得分为96.7、即准确率96.7%，o1和o1 preview辞别得分83.8和56.7。从竞赛数学的角度看，o3的准确率比o1郑再版高15%，比o1预览版高近71%。 以东谈主类博士各人的测试锻练，在测试化学、物理和生物学专科学问的基准GPQA-diamond上，o3的准确度得分为87.7，即准确率87.7%，o1和o1 preview辞别得分78.0和78.3。o3的准确率比o1高快要13%，比o1预览版高12%。

迈向类东谈主智能取得冲破 AGI联系测试最好得益达到东谈主类水平

除了以上和o1对比的编码、数学、天然科学测评效果，OpenAI周五还展示了，o3的推理能力一经愈加接近竣事AGI。

OpenAI对o1和o3齐进行了名为ARC-AGI的测试。ARC-AGI是一项旨在评估 AI 系统是否能灵验在其锻练数据以外赢得生人段的测试，运用半迥殊评估集考证的测评效果。

下图可见，以100%为最高分的ARC-AGI评估效果涌现，o1的得分在25%到32%，而o3的最低得益为75.7%，最高得益为87.5%。从这个效果看，o3的最好得益杰出了美艳着达到东谈主类水平的门槛85%。

独创ARC-AGI表率的前谷歌高等工程师、AI征询员François Chollet走漏，OpenAI这些推理模子在AGI测试中取得杰出是“稳当的”。

Chollet周五在外交媒体X发帖，公布了同OpenAI互助进行的ARC-AGI效果，称“咱们敬佩这代表了让AI妥贴新任务的紧要冲破。”

Chollet解释说，在低猜测模式下、即猜测中每个任务 20 好意思元的半私东谈主评估中，o3的得分为 75.7%，在高猜测模式下、即每个任务数千好意思元的评估中，o3的得分为 87.5%。它不单是是蛮力，它是新鸿沟的功能，需要科学鸿沟厚爱宽恕。

OpenAI诡计来岁头发布o3 可能一段技艺内齐不会面向群众上线

天然o3的测评看上去进展惊艳，但OpenAI应该不会很快面向群众上线这款新的超等推理模子。

从本周五开动，OpenAI允许安全征询东谈主员不错注册走访o3 和 o3-mini的预览。OpenAI的又名发言东谈主本周五称，OpenAI诡计来岁头正经发布这些新的o3模子。

周五的直播中，Altman示意，o3系列可能在一段技艺内齐不会向庸俗群众推欺诈用。因为他说，在OpenAI正经发布新的推理模子之前，他更但愿有一个联邦政府的测试框架，引导监控和松开此类模子的风险。Altman说，

在OpenAI发布o3之前，“应该有某种联邦测试框架，评释咱们最感兴致的是监控缓和解危害，肖似于这里有一组测试，在你发布它之前，你必须草率讲授，这种模子在这些方面是安全的，就像你对一种新药或一架新飞机或其他什么的讲授一样。”

在OpenAI发布o3之前，“应该有某种联邦测试框架，评释咱们最感兴致的是监控缓和解危害，肖似于这里有一组测试，在你发布它之前，你必须草率讲授，这种模子在这些方面是安全的，就像你对一种新药或一架新飞机或其他什么的讲授一样。”

本周四，谷歌晓示推出全新的测试模子——。它使用了肖似o1模子的慢念念维念念考花样，不错深度可视化展示悉数这个词念念维链历程，尤其是在实行数学、编程等复杂问题方面。

比拟o1，Gemini 2.0 Flash Thinking的最大辞别是，让用户能看到一步一步推理的历程，更澄莹、更透明地了解模子怎么得出论断。它刚亮相就登上了Chatbot Arena大模子评估的榜首。不外，谷歌的这一新模子还处于现实性阶段，只是一个早期版块。

发布于：上海市