智東西4月17日報道，今日凌晨，OpenAI重磅發(fā)布兩大視覺推理模型OpenAI o3和o4-mini，這也是OpenAI o系列中首次可以使用圖像進行思維鏈推理的模型。OpenAI還開源了輕量級編程Agent Codex CLI，發(fā)布不到7個小時，Star數(shù)已超5500。
這兩個模型的區(qū)別在于，OpenAI o3是最強大的推理模型；OpenAI o4-mini是一個針對快速、成本效益推理進行優(yōu)化的較小模型。新模型首次將圖像融入思維鏈過程，還能自主調(diào)用工具，在一分鐘內(nèi)生成答案。
OpenAI開源的編程Agent Codex CLI能最大化模型推理能力，可在端側(cè)部署。今日OpenAI還在AI編程領(lǐng)域曝出重磅收購交易。據(jù)外媒報道，OpenAI正在洽談以30億美元（約合人民幣219億元）收購AI輔助編程工具Windsurf（前身為Codeium），這將是OpenAI迄今規(guī)模最大的一筆收購。
今天起，ChatGPT Plus、Pro和Team用戶今天起可以使用o3、o4-mini和o4-mini-high，這些模型會取代o1、o3-mini和o3－mini－h(huán)igh。ChatGPT企業(yè)和教育將在一周后獲得訪問權(quán)限。免費用戶可以在提交查詢前選擇“思考”來嘗試o4-mini。OpenAI預(yù)計在幾周內(nèi)發(fā)布OpenAI o3-pro，并配備完整工具支持。目前Pro用戶仍可訪問o1-pro。o3和o4-mini通過Chat Completions API和Responses API向開發(fā)者開放。
OpenAI聯(lián)合創(chuàng)始人兼CEO Sam Altman在社交平臺X上發(fā)文盛贊o3、o4-mini是“天才水平”。
正在被OpenAI洽談收購的Windsurf，正式名稱為Exafunction Inc.，成立于2021年，已籌集超過2億美元的風(fēng)險投資資金，估值30億美元，近期與其洽談融資事宜還包括Kleiner Perkins和General Catalyst在內(nèi)的投資者。去年11月，Windsurf發(fā)布了全球首個智能體IDE。
▲Windsurf發(fā)布全球首個智能體IDE（Agentic IDE）
近期AI編程創(chuàng)企融資火爆，Cursor背后的初創(chuàng)公司Anysphere在今年早些時候與投資者洽談以近100億美元（約合人民幣731億元）的估值獲得新融資。
此前OpenAI曾收購過向量數(shù)據(jù)庫公司Rockset和遠程協(xié)作平臺Multi。如果收購Windsurf的新交易完成，OpenAI將進一步補充AI編程助手實力，與Anthropic、微軟旗下Github、Anysphere等知名AI編程公司展開更直接的競爭。
交易條款尚未敲定，談判仍有可能發(fā)生變化。
一、用圖像思考，手繪草圖、顛倒文字都能處理
o3和o4-mini模型可以直接將圖像整合到思維鏈中，用圖像來進行思考，并且其還會被訓(xùn)練推理在什么時間點使用哪種工具。
具體來看，模型可以解讀人們上傳的白板照片、教科書圖表或手繪草圖，如果圖像模糊、顛倒，模型也能借助工具實時操作圖像，如進行旋轉(zhuǎn)、縮放或變換等，或者與Python數(shù)據(jù)分析、網(wǎng)絡(luò)搜索、圖像生成等工具協(xié)同工作，這些都是模型推理過程的一部分。
如用戶上傳一張隨手拍的圖片，可以詢問模型圖片“最大船只的名字、在哪里?？俊钡葐栴}。
例如在使用內(nèi)置文獻解決一道數(shù)學(xué)難題時，OpenAI o3可以在不使用搜索的情況下給出正確答案，o1則無法提供正確響應(yīng)。
面對幫助用戶“收集區(qū)域旅行數(shù)據(jù)、經(jīng)濟統(tǒng)計數(shù)據(jù)和酒店入住率，病直觀分析趨勢并推薦理想的擴張地點”這一復(fù)雜問題時，OpenAI o3的結(jié)果引用了更多與行業(yè)相關(guān)的來源，并提出了詳細計劃，同時預(yù)測現(xiàn)實世界的挑戰(zhàn)并提供主動的緩解措施。相比之下，01的結(jié)果更為寬泛。
在根據(jù)用戶上傳的一張“手持節(jié)目單”照片進行分析后，OpenAI o3能夠準(zhǔn)確考慮日程安排并輸出可用的計劃，而o1存在不準(zhǔn)確之處，某些節(jié)目時間錯誤。
模型能夠根據(jù)遇到的信息做出反應(yīng)和調(diào)整，例如，它們可以在搜索提供商的幫助下多次搜索網(wǎng)絡(luò)、查看結(jié)果，并在需要更多信息時嘗試新的搜索。這使得模型可以處理需要訪問超出模型內(nèi)置知識、擴展推理、綜合和跨模態(tài)輸出最新信息的任務(wù)。
二、多模態(tài)任務(wù)大幅優(yōu)于前代模型，視覺推理準(zhǔn)確率高達97.5%
在成本和性能方面，OpenAI預(yù)計對于大多數(shù)實際應(yīng)用，o3和o4-mini分別將比o1和o3-mini更智能且更便宜。
o4-mini和o3-mini在成本和性能方面的對比：
o3和o1在成本和性能方面的對比：
OpenAI在一系列人類考試和機器學(xué)習(xí)基準(zhǔn)測試中測試了OpenAI o3和o4-mini，其結(jié)果顯示，這些新的視覺推理模型在所有測試的多模態(tài)任務(wù)上都顯著優(yōu)于前代模型。
其中，無需瀏覽的圖像思維幾乎在其所有評估的感知基準(zhǔn)測試中均取得了顯著提升。OpenAI o3和o4-mini在STEM問答（MMMU、MathVista）、圖表閱讀和推理（CharXiv）、感知原語（VLMs are Blind）和視覺搜索（V*）方面均達到了新的最先進性能。在V*上，新模型的視覺推理方法達到了95.7%的準(zhǔn)確率。
o3在分析圖像、圖表和圖形等視覺任務(wù)上表現(xiàn)更好。外部專家的評估中，o3在困難、現(xiàn)實世界的任務(wù)上比OpenAI o1少犯20%的重大錯誤。早期測試者強調(diào)了其在生物學(xué)、數(shù)學(xué)和工程背景中分析嚴謹性問題的能力，以及可以生成和批判性地評估新穎假設(shè)的能力。
在專家評估中，o4-mini在非STEM任務(wù)以及數(shù)據(jù)科學(xué)等領(lǐng)域表現(xiàn)超過o3-mini。且o4-mini支持比o3高得多的使用限制，具備高容量、高吞吐量的優(yōu)勢。
外部專家評估員認為這兩個模型都表現(xiàn)出比先前模型更好的指令遵循能力和更有用、可驗證的響應(yīng)，此外，新模型在自然對話方面，可以參考記憶和過去的對話來使響應(yīng)更加個性化的回答。
多模態(tài)能力的評估結(jié)果：
編碼能力的評估結(jié)果：
遵循指令和代理工具使用的評估結(jié)果：
三、延續(xù)“更多計算=更好性能”思路，已開源輕量級編碼智能體
在OpenAI o3的開發(fā)過程中，研究人員觀察到大規(guī)模強化學(xué)習(xí)呈現(xiàn)出與GPT系列預(yù)訓(xùn)練中觀察到的“更多計算=更好性能”的趨勢相同。
他們通過在強化學(xué)習(xí)中追溯擴展路徑，在訓(xùn)練計算和推理時間上又推進了一個數(shù)量級后，看到了模型明顯的性能提升，這驗證了隨著模型被允許進行更多思考，其性能仍在持續(xù)提升。
與OpenAI o1相同的延遲和成本下，o3在ChatGPT中實現(xiàn)了更高的性能，并且其在博客中透露，研究人員已經(jīng)驗證，如果讓模型思考更長的時間，其性能還會繼續(xù)提升。
研究人員還通過強化學(xué)習(xí)訓(xùn)練了新模型使用工具，不僅包括如何使用工具，還包括如何推理何時使用工具。新模型可以根據(jù)期望結(jié)果部署工具，使得其在涉及視覺推理和多步驟工作流程等開放式情境的表現(xiàn)更好。
OpenAI還分享了一個輕量級的編程Agent Codex CLI，用來最大化o3和o4-mini等模型的推理能力，用戶可以直接在終端運行，OpenAI計劃支持GPT-4.1等更多API模型。
用戶可以通過傳遞截圖或低保真草圖到模型，結(jié)合對本地代碼的訪問，從命令行獲得多模態(tài)推理的好處。OpenAI認為這可以將模型與用戶及其計算機連接起來。今天起，Codex CLI已完全開源。
開源地址：github.com/openai/codex
同時，OpenAI啟動了一項100萬美元倡議，以支持使用Codex CLI和OpenAI模型的工程項目，其將評估并接受以25000美元API信用額度形式提供的補助金申請。
四、仍有三大局限性：推理鏈過程、感知錯誤、可靠性不足
不過，在博客中研究人員也提到，圖像推理目前存在以下局限性：
過長的推理鏈：模型可能會執(zhí)行冗余或不必要的工具調(diào)用和圖像處理步驟，導(dǎo)致過長的思維鏈；
感知錯誤：模型仍然可能犯基本的感知錯誤。即使工具調(diào)用正確推進推理過程，視覺誤解也可能導(dǎo)致最終答案不正確；
可靠性：模型可能在多次嘗試解決問題時嘗試不同的視覺推理過程，其中一些可能導(dǎo)致錯誤的結(jié)果。
在安全方面，OpenA重建了安全訓(xùn)練數(shù)據(jù)，在生物威脅（生物風(fēng)險）、惡意軟件生成和越獄等領(lǐng)域添加了新的拒絕提示。這使得o3和o4-mini在其內(nèi)部拒絕基準(zhǔn)測試中表現(xiàn)較好。
OpenAI還開發(fā)了系統(tǒng)級緩解措施，以標(biāo)記前沿風(fēng)險區(qū)域中的危險提示。研究人員訓(xùn)練了一個推理大模型監(jiān)控器，該監(jiān)控器基于人類編寫的可解釋安全規(guī)范。當(dāng)應(yīng)用于生物風(fēng)險時，該監(jiān)控器成功標(biāo)記了人類紅隊行動中約 99%的對話。
研究人員更新了應(yīng)急準(zhǔn)備框架，對o3和o4-mini在框架涵蓋的三個跟蹤能力領(lǐng)域進行了評估：生物和化學(xué)、網(wǎng)絡(luò)安全和AI自我改進。根據(jù)這些評估的結(jié)果，其確定o3和o4-mini在所有三個類別中均低于框架的“高”閾值。
結(jié)語：發(fā)力視覺推理，邁向多模態(tài)推理
OpenAI o3和o4-mini顯著提升了模型的視覺推理能力，這些模型在視覺感知任務(wù)上的提升，使其能夠解決之前模型難以觸及的問題，標(biāo)志著模型向多模態(tài)推理邁出的重要一步。
OpenAI在博客中提到，他們將o系列的專業(yè)推理能力與GPT系列的自然對話能力和工具使用能力相結(jié)合，未來可以實現(xiàn)模型能支持無縫、自然的對話，同時能主動使用工具并解決更為復(fù)雜的問題。
此外，研究人員也在不斷優(yōu)化模型使用圖像進行推理的能力，使其更加簡潔、更少冗余、更可靠。
熱門跟貼