一直以來，OpenAI 的o1模型都是推理模型的巔峰，其DeepResearch功能就是憑借o系列的基座能力，在市場上贏得了口碑。
不過，可能生成報(bào)告的模式，讓大家始終覺得搜索升級沒啥看頭，大家很難體會AI的研究能力。
在昨晚發(fā)布的o3和o4、o4 mini模型中，實(shí)現(xiàn)了以下能力的躍遷：
整體推理能力：對真實(shí)、復(fù)雜任務(wù)的專家打分顯示，o3 的重大錯(cuò)誤比上一代?o1?少?≈20?% ?視覺多模態(tài)：在大學(xué)水平的多學(xué)科視覺推理基準(zhǔn)?MMMU，o3 82.9?%?→?GPT?4 34.9?%，絕對提升?≈48?分，相當(dāng)于 2.4?× 的相對提升 ?競賽數(shù)學(xué)：AIME?2024 單次作答 o3 91.6?%，而 GPT?4o 只有 12?% 左右，提升 >7?× ?上下文長度：o3 200?k 輸入窗口?vs?GPT?4 8?k，且輸入/輸出 token 價(jià)格僅為 GPT?4 的約 1/3?2/3
AI呈現(xiàn)了一定程度的研究能力，為了能讓大家更直觀感受到大模型在各個(gè)領(lǐng)域場景下，高水平處理任務(wù)的能力。
鯨哥實(shí)測了10個(gè)案例，我們能看到o3的分步推理思考過程，很多復(fù)雜的問題真正在研究，以及利用工具解決！
1、化身福爾摩斯，看圖猜測背景信息：
鯨哥在o3上傳了一張菜單，要求ChatGPT猜出來是哪家飯店。
可以看到o3分析了菜品和價(jià)格，并搜索了大眾點(diǎn)評的數(shù)據(jù)，提出指紋式的菜名+價(jià)格組合只有在四季民福出現(xiàn)，最終答對了!
2、識別圖片內(nèi)容信息，成為植物學(xué)家：
識圖能力在此前的眾多大模型中都已經(jīng)具備，但這次是給大模型加大難度，用一大束花，讓GPT識別都有哪些花束。
最終o3識別出了8種主要的花束，展現(xiàn)了對復(fù)雜內(nèi)容的理解。
3、做考公 圖推題，o3當(dāng)小學(xué)題題目做
在考公題目中，經(jīng)常有圖推題出現(xiàn)。這些題目往往具有一定的難度，考驗(yàn)?zāi)Ｐ蛯D片理解以及意識推理的能力。
這道考公題并不容易，GPT用幾種形狀來找規(guī)律，最終選擇了答案D。當(dāng)然，這道題也有爭議，粉筆網(wǎng)給出的答案是D，但很多人認(rèn)為是B。
只是19秒做完這題，o3估計(jì)覺得這題沒多復(fù)雜，都是小學(xué)生題。
4、數(shù)學(xué)計(jì)算能力更強(qiáng)，重大錯(cuò)誤比o1強(qiáng)20%
在數(shù)學(xué)計(jì)算中，此前o1開始計(jì)算哥德巴赫猜想，讓大家吃了一驚。當(dāng)然，也沒有計(jì)算出來，卻顯示出推理大模型的強(qiáng)悍之處。
鯨哥拿一道DeepSeeK做錯(cuò)的數(shù)學(xué)題，考驗(yàn)o3的進(jìn)化能力。
這道題不太難，但是DS的幻覺率需要人為矯正。
而o3很快就得出了正確答案，數(shù)學(xué)題是推理模型的阿克琉斯之踵，o3有進(jìn)步。
5、調(diào)用OpenAI內(nèi)部工具，除了不能做視頻
在這里，我們先讓o3深度調(diào)研下『2025年北京夏天可能火的食物』這一主題。o3從全網(wǎng)內(nèi)容中獲取了最新的5款食物銷量，得出了結(jié)論。
o3最看好 乳茶2.0這款產(chǎn)品，接著讓o3做一張輕乳茶2.0的宣傳海報(bào)，o3會思考任務(wù)交代中沒有明確提示要Midjourney生成，那就是不僅要生成Prompt，還需要調(diào)用4o模型直接生成圖片。
接著我們讓o3直接生成輕乳茶的電商網(wǎng)頁，以動態(tài)可視化的HTML網(wǎng)頁形式運(yùn)行?，F(xiàn)在GPT還可以直接運(yùn)行代碼，實(shí)時(shí)預(yù)覽，很方便。
可以看到右下角還有修復(fù)提示，這也是本次o3的重要提升，當(dāng)它意識到程序有Bug時(shí)，就會實(shí)時(shí)提示可以修復(fù)真實(shí)代碼，這對于AI編程落地很關(guān)鍵。
6、創(chuàng)意視頻生成，后續(xù)結(jié)合Sora才有前景
o3其實(shí)作為LLM，本身不支持生成視頻，但是我們還是要求他生成視頻，考驗(yàn)它解決問題的思路，這里鯨哥給到的是飛機(jī)和魚的創(chuàng)意故事。
o3是逐幀生成了圖片，然后做成gif形式的視頻。
可以看到最終生成的視頻內(nèi)容，是一架飛機(jī)路過，伸出了魚鉤，釣起魚飛走了。這個(gè)創(chuàng)意讓我想起來一個(gè)歌：『海鳥與魚相愛，只是一場意外』
7、代碼能力和真實(shí)物理能力測試
這次公告中，官方稱在“修 bug”基準(zhǔn)?SWE中，o3 解決?69.1?% 問題，而 GPT?4o 只解決 33?%左右，代碼能力 ≈2?倍提升。
實(shí)測中，生成代碼的審美確實(shí)沒什么進(jìn)步，以下是o3生成的100個(gè)小球碰撞的物理實(shí)驗(yàn)，這個(gè)效果差強(qiáng)人意。
和下圖對比看，相比o1的還遜色不少，o系列模型確實(shí)在代碼編程方面，始終沒有超越Claude3.7。尤其前端UI這塊，水平還是差不少，GPT-4.1也不行。
8、科技商業(yè)問題推理，最終寫成文章
在這道題中，鯨哥用比較有門檻的科技商業(yè)文作為寫作題目，而且要求中間插入數(shù)據(jù)分析以及戰(zhàn)略路徑歸納，最終得出結(jié)論。
生成的分析深度還可以，只是沒學(xué)會吳曉波老師的文筆。
一直以來，ChatGPT的寫作能力都略遜Claude3.7，從目前看，語言的風(fēng)格化以及潤色程度，比3.7確實(shí)還有距離，但是數(shù)據(jù)和邏輯分析，以及概念的引用都不錯(cuò)。像是個(gè)不經(jīng)常寫文章，而是經(jīng)常做研究的博士，寫出來比較硬的內(nèi)容。
9、視頻分析能力，對多媒體的理解能力
我們在Youtube上找了個(gè)萬人大合唱的合集，然后讓他分析這是什么內(nèi)容，以及為什么能爆火。
o3解讀出了都包括哪些歌，然后分析了爆火的底層邏輯。感覺對于IP孵化類博主是個(gè)福音，大家以后能用o3直接寫爆款分析課程了。
10、生成深度研究報(bào)告，o3表現(xiàn)更好
我們調(diào)用o3模型的深度思考能力，生成了一份行業(yè)報(bào)告。o3用了不到20分鐘生成了這份1萬多字的報(bào)告。
還是先思考后搜索的思路，內(nèi)容較o1版也有一定程度的提升。
報(bào)告全文在這里：https://chatgpt.com/share/6800bf78-bac8-8005-82e4-07c686e121e6
o4mini更適合批量客服回答等強(qiáng)調(diào)性價(jià)比場景，所以本文沒有測試。Altman還提到，o3 Pro版本將在未來幾周內(nèi)到達(dá)，能力應(yīng)該比本文測試的o3更強(qiáng)，但也意味著價(jià)格更貴。
在Plus賬號中，你能大范圍使用ChatGPT 的所有能力，尤其o3的20美金每月費(fèi)用，相當(dāng)于花近200多元雇傭了一個(gè)跨學(xué)科博士生在身邊做助理，大家覺得值不值呢？
視頻內(nèi)容推薦：
熱門跟貼