號稱“OpenAI迄今為止最強模型”，o3/o4-mini真實能力究竟如何？
就在發(fā)布后的幾小時內(nèi)，網(wǎng)友們的第一波實測已新鮮出爐。
最強推理模型o3，即使遇上首位全職提示詞工程師Riley Goodside的“刻意刁難”，也順利過關(guān)：
可以看到，面對藏在一堆玩具里的手繪圖表，它也能通過圖像識別和推理能力正確解答。
而o4-mini作為一款專為快速、經(jīng)濟高效的推理而優(yōu)化的小模型，在數(shù)學能力方面堪稱強悍——
用時2分55秒，解決了最新的歐拉問題，并且該網(wǎng)友強調(diào)：
- 至今只有15個人能夠在30分鐘內(nèi)解決它。
與此同時，OpenAI內(nèi)部技術(shù)人員也表示，o3的出現(xiàn)讓他第一次萌生了將模型稱為通用人工智能（AGI）的念頭。
眼見氣氛都烘托到這兒了，那我們還不得趕緊看看更多實測效果（doge）。
網(wǎng)友實測o3/o4-mini
首次帶圖深度思考
首先，官方提到，o3和o4-mini是OpenAI首次能將上傳圖像集成到思維鏈中的模型——
這意味著，它們可以基于圖像展開思考。
比如有人隨手上傳一張照片，讓o3來判斷拍攝時間和地點，而且要求能具體到地圖上的某一個點。
結(jié)果令這位小哥驚訝的是，其答案和實際情況之間的誤差非常小：
- 地點僅相差1000英尺（約305米），時間僅相差2分鐘。
更有意思的是，假如一張圖上的小字看不清，通過扒思維鏈還能發(fā)現(xiàn)——o3甚至會自己“偷偷放大”。
難怪在針對復雜多模態(tài)謎題的EnigmaEva測試基準中，o3能拿下SOTA。
不過值得注意的是，據(jù)自稱OpenAI員工的網(wǎng)友爆料，雖然基準測試結(jié)果存在差異，但o4-mini實際上是比o3更好的視覺模型。
該網(wǎng)友甚至直接建議大家：
- 在任何涉及視覺的任務(wù)中使用o4-mini-high而不是o3。
巧合的是，在大多需要計算復雜數(shù)學題的帶圖測試中，大家竟默契選擇了o4-mini而非o3。
除了一開頭提到的解答歐拉問題的例子，o4-mini也被用來解讀技術(shù)圖紙。
該網(wǎng)友表示，對于這種大多AI都很難搞定的難題，它一次就成功了：
- o4 mini（high）能夠分析該部件的尺寸并準確計算出正確體積。
編程能力
其次，兩個新模型這次在編程能力上都有一定程度升級，測試結(jié)果表明：
其中o3 High取代谷歌Gemini-2.5，拿下編程第一。
順帶OpenAI這次還開源了一個本地代碼智能體Codex CLI——
它是一種聊天驅(qū)動的開發(fā)方式 ，能夠理解并執(zhí)行本地代碼庫，兼容所有OpenAI模型，包括剛剛發(fā)布的o3、o4-mini和GPT-4.1。
賓大沃頓商學院教授Ethan Mollick，這次直接利用o3的推理+編程能力制作了一個小短片：
從完整制作過程來看，這里還同步考察了o3調(diào)用各項工具的能力。
- 第一步：理解需求；
- 第二步：使用編程庫生成幀，并將這些幀組合成一個視頻文件；
- 第三步：使用Python的PIL庫（Pillow）來處理圖像，使用imageio庫來創(chuàng)建視頻文件；
- 第四步：生成幀；
最后我們也簡單實測了一把，重點考察一下o3和o4-mini的推理能力。
比如讓它們分別幫忙看看“手相”，o3的結(jié)果如下：
o4-mini：
可以看到，兩個模型對人物性格特征的判斷大致相似，不過o3還額外給了一些提示建議。
p.s. 原圖為AI生成，大家感興趣可以自己試試~
One More Thing
有趣的是，有網(wǎng)友在實測o3的過程中還發(fā)現(xiàn)了一個現(xiàn)象：
- o系列模型比GPT系列模型更容易錯誤地聲稱使用了代碼工具
為此他們還專門寫了一篇博客，其中揭露了：o3經(jīng)常編造其為滿足用戶請求而采取的行動，并在用戶質(zhì)疑時詳細地為這些編造進行辯解。
就像下面這樣，模型聲稱它在筆記本電腦上運行了實際并不存在的代碼。
而且通過進一步研究發(fā)現(xiàn)，這些偽造行為包括下面這些：
1、錯誤地聲稱執(zhí)行代碼，聲稱“我本地運行了這個”或“運行它產(chǎn)生了”后面跟著特定輸出，而模型沒有能力執(zhí)行Python或其他編程語言；
2、編造詳細的計算結(jié)果，包括特定的數(shù)值、統(tǒng)計數(shù)據(jù)和加密哈希值，表現(xiàn)為它們是實際執(zhí)行輸出而不是估計或示例；
同時，他們也初步提出了造成這一現(xiàn)象的可能原因：
首先就是模型幻覺和獎勵黑客攻擊，他們表示這些問題在o系列模型中尤為普遍。
另外，使用基于結(jié)果的強化學習可能會導致模型盲目猜測，并且某些行為（如模擬代碼工具）可能會在某些任務(wù)上提高準確性，但在其他任務(wù)上造成混淆。
最后就是，o系列模型在處理連續(xù)對話時有一個限制，它們無法訪問之前的推理過程，這可能導致模型在回答問題時出現(xiàn)不準確或不一致的情況。
順便一提，即日起，ChatGPT的Plus、Pro會員以及Team用戶，都能直接體驗o3、o4-mini和o4-mini-high，而原本的o1、o3-mini和o3-mini-high則已悄然下架。
你怎么看OpenAI這次發(fā)布的o3和o4-mini？
博客：
https://transluce.org/investigating-o3-truthfulness
熱門跟貼