OpenAI发布最新推理模型o3和o4-mini：新增图像思考与工具使用能力

当地时间4月16日，OpenAI正式发布了最新的推理模型o3和o4-mini。OpenAI表示，这是其”迄今为止发布的最智能的模型”，在智能性和实用性方面设定了全新标准。两款新模型不仅在数学、编码、科学、视觉感知等领域全面超越前代，更首次引入了图像思考和工具使用能力。

一、o3：OpenAI 最强推理模型

据OpenAI介绍，o3是其最强大的推理模型，在数学、编码、科学、视觉感知等领域的表现都超过了前代o1、o3-mini模型。”它非常适合处理需要多方面分析、答案可能不是立即显而易见的复杂查询。”

o4-mini则是一款经过优化的小型模型，旨在提供快速、经济高效的推理。在o3开发过程中，OpenAI称发现大规模强化学习呈现出与GPT系列预训练相同的趋势，即”计算量越大，性能越好”。OpenAI在训练计算量和推理过程中的思考方面都提升了一个数量级，看到了明显的性能提升。

二、首次支持图像思考与工具组合使用

最新的推理模型o3和o4-mini能够组合使用ChatGPT中的所有工具，包括网页搜索、图像生成、使用Python分析数据等。在OpenAI提供的示例中，当用户询问电池技术的突破对电动汽车的影响时，o1模型在推理5秒后给出了文字、代码片段为主的回复，而o3模型经过40秒的推理时间，多次使用搜索功能，除文字外还能直接生成图像和图表。

相较于前代推理模型，新模型在视觉推理方面也取得突破。o3和o4-mini不仅可以”看到”图像，还能够用图像来思考，将其整合到思维链中。例如，当用户上传一张倒着拍的手写笔记照片时，模型在推理过程中能够借助工具，对图像进行缩放、旋转或裁剪，最终识别出笔记上的手写内容。

三、全球推理模型竞争加剧

去年9月，OpenAI率先推出推理模型o1，引领了大模型范式的转变。自那以来，全球许多大模型厂商都发布了自己的推理模型，包括谷歌Gemini 2.5、Grok 3，以及国内的DeepSeek-R1、通义千问QwQ-32B等，对OpenAI形成了追赶。3月底，阿里通义也推出了视觉推理模型QVQ-Max，同样主打能结合图片、视频信息进行分析和推理。

四、安全评估时间大幅缩短引争议

激烈的竞争让OpenAI对新模型的发布更为迫切。据英国《金融时报》报道，OpenAI一直在推动尽早发布o3模型，使得员工和第三方组织仅能在几天时间内，对模型性能和风险进行安全评估。而2023年发布的GPT-4模型，经过了6个月的评估。OpenAI强调，已对o3、o4-mini两个模型进行了至今最严格的安全压力测试。

五、从GPT-5计划中独立发布

事实上，o3模型原本并不在OpenAI的预期路线图中。2月中，OpenAI CEO Sam Altman曾在社交平台X上表示，将不会单独发布o3模型，而是会将o3的技术集成到下一代GPT-5模型中。Sam Altman曾多次抱怨，算力的限制导致公司不得不推迟新模型的发布。今年3月OpenAI完成400亿美元的新融资后，他终于表示”不再受到计算限制”。

OpenAI称，o3和o4-mini的发布反映了其模型的发展方向：将o系列的推理能力，与GPT系列的对话能力、工具使用能力相融合。”通过统一这些优势，我们未来的模型将支持无缝、自然的对话，同时进行主动的工具使用和高级问题解决。”

游侠云AI普通

收藏 链接