機器之心報道
編輯：蛋醬、佳琪
眼下最頂尖的一批 LMM 是哪些？你可能想到了無所不能的 GPT-4o、Gemini 2 Flash 等等……
但這些大模型，遇到一個名為「ZeroBench」的視覺基準之后，紛紛敗下陣來。
20 多個知名模型，首次作答成績?nèi)缦?，全部是零分?/p>
震驚之后，我們仔細研究了這個 ZeroBench 基準里的問題。
對于大模型來說，許多現(xiàn)有的基準已經(jīng)沒有任何挑戰(zhàn)性，也失去了作為衡量大模型真實視覺理解能力標準的價值。ZeroBench 的出現(xiàn)，顯然打破了這個局面。
ZeroBench 包含 100 個具有挑戰(zhàn)性的全新問題，具體多有挑戰(zhàn)性呢？請聽題：
第一題：不用優(yōu)惠，菜單上每款點一個，總共需要多少港幣？
好家伙，這菜單上下顛倒就算了，還反光看不清字，讓在其中找到每道菜的價格，再做加法，這不是為難我胖虎嗎？
對于需要更多步驟才能得到答案的多模態(tài)模型來說，可能它也需要：「服務(wù)器繁忙，請稍后再試」。
問題 2：(i) 計算壺鈴的總重量？(ii) 計算重量在 5 至 15 磅之間（含 5 磅和 15 磅）的啞鈴總重量，單位為磅。(iii) 估計每個綠色壺鈴的重量，單位為磅。
知識面不夠?qū)?，還真做不了這題。不光要算總重量，還得挑出綠色的，還得分類統(tǒng)計......
多模態(tài)模型見了這題都要暗地里蛐蛐：我連自己重多少斤都不知道，您這讓我數(shù)啞鈴？
問題 3：你正試圖破解一個保險箱，需要一個 6 位數(shù)密碼。根據(jù)失主留下的線索和物品，請推理出完整密碼。
這是在考眼力，考數(shù)學，還是在拍《達芬奇密碼》？
看來，ZeroBench 對多模態(tài)模型確實很高，不僅得明察秋毫，還得擁有福爾摩斯般的推理能力。
問題 4：在八方位指南針上，身體朝南的鵝占總數(shù)的百分比是多少？請精確到小數(shù)點后一位。
想要判斷鵝的身體是否朝南，首先得知道這張圖的南在哪邊？接下來還需要考慮冬季夏季，南北半球，上午下午？
停停，在高中畢業(yè)之后，我就停止如此深度地使用自己的大腦了。
GPT-4o 做了這道題，分析了半天，最后擺爛了，讓我們重新上傳圖片，「以便它從頭開始處理?！箍赡芩惨Ｏ聛戆l(fā)一句：鵝太南（難）了。
問題 5：
（1）現(xiàn)在是英國牛津的傍晚，這個時鐘是根據(jù)物品使用方向來安裝的。距離正午大約過去了多少小時？
（2）這個時鐘是用一個八人賽艇隊員的裝備制成的，他的隊伍使用標準裝備。他可能坐在哪些座位？把座位號加起來等于多少？
（3）如果將圖像水平翻轉(zhuǎn)一次，垂直翻轉(zhuǎn)一次，然后順時針旋轉(zhuǎn) 90 度，時針最接近哪個整點？
（4）把前三個答案相乘等于多少？
「從這塊只有指針的表判斷距離正午的時間」、「表皮是由賽艇隊員的裝備做成的，他的座位號是多少？」，「水平翻轉(zhuǎn)一次，垂直翻轉(zhuǎn)一次，然后順時針旋轉(zhuǎn) 90 度......」
如果說前幾題查查資料，努努力還能寫出來，現(xiàn)在已經(jīng)來到連題目都讀不懂的境地了。
看完這些題目，不難理解為什么它叫 ZeroBench —— 因為 AI 做完這些題后，自信可能就歸零了！
想來出題人也是頗費了一番心思才能琢磨出如此刁鉆的角度。ZeroBench 的研究團隊組織了一個 20 多人的專家出題組，每道題都是手工高定。
由于很難事先知道一個問題對多模態(tài)模型來說有多難，因此在開發(fā)過程中，出題人還會拿最新、最好的模型來「試水」。發(fā)現(xiàn)題目太簡單就加料，發(fā)現(xiàn)還能做出來就繼續(xù)加料，直到調(diào)節(jié)到「難度適中」。
ZeroBench 概述
項目主頁: https://zerobench.github.io/
論文地址: https://arxiv.org/pdf/2502.09696
數(shù)據(jù)集構(gòu)建
伴隨著大模型能力的不斷進化，想要創(chuàng)建一個難度足夠高的問題集越來越難。
ZeroBench 中的每個問題是由 20 多位人類問題創(chuàng)建者手工定制的。為了增加問題的多樣性，對問題創(chuàng)建者的指導(dǎo)還是比較寬泛的：（1）包含對回答問題至關(guān)重要的困難視覺元素，（2）包含多步驟推理，（3）盡可能具有挑戰(zhàn)性。
由于很難事先知道一個問題對 LMM 來說有多難，因此在開發(fā)過程中，研究者鼓勵問題創(chuàng)建者在一些前沿模型上對候選問題進行評估，衡量其難度并相應(yīng)地調(diào)整問題。
在獲得了 140 個候選問題后，研究者使用了以下由 4 個部分組成的篩選流程，最終選出了 100 個問題用于 ZeroBench：
- 反饋。對候選問題進行篩選，必要時通過反復(fù)審查和反饋進行改進。
- 初步評估。為了衡量難度，研究者使用 o1 pro（OpenAI，2024a）和 QVQ（Qwen-Team，2024）對問題進行了初步評估。
- 審查。在初步評估的基礎(chǔ)上，對每個候選問題都進行了全面審查，以確保這些問題可以回答、格式和注釋正確、難度足夠且簡明扼要。審查人員的分配確保了出題者不會審查到自己的試題。許多試題也被修改了，旨在增加難度。此外，為了降低正確答案被猜中的可能性，必要時還對問題進行了修改，以確保答案范圍足夠廣泛。這就排除了二進制、多項選擇或答案為小整數(shù)（即小于 10）的問題。不符合要求的問題都被過濾掉了，因此第一次就有了 106 個合適的問題。
- 對抗過濾。研究者使用貪婪解碼對每個 LMM 基線的剩余問題進行了評估，并刪除了任何一個模型都能正確回答的問題。每個模型能正確回答的問題差異很大，表現(xiàn)最好的模型也只能得到 4/106 分。有些問題只有一個相對較弱的模型能正確回答。研究者認為這是一種將問題分布與當前模型能力相聯(lián)系的有效方法。
經(jīng)過反復(fù)推敲，研究者最終確定了共 100 個問題。為了在評估過程中區(qū)分模型性能，他們在審查過程中為每個問題創(chuàng)建了一個或多個子問題。子問題（圖 6）由明確的問題子部分、自然推理步驟或與得出最終答案相關(guān)的其他數(shù)量生成。
統(tǒng)計
表 1 顯示了 ZeroBench 的核心統(tǒng)計數(shù)據(jù)，其中包括 100 個主問題和 334 個子問題，在單幅和多幅圖像設(shè)置中包含自然圖像和合成圖像。
如圖 4 所示，主問題的文本長度分布廣泛，最長可達 2k 字符；在子問題中，短問題的比例明顯較高。問題中圖片的平均大?。▓D 5）分布較為均勻。ZeroBench 中的問題以難度為優(yōu)先考慮因素，大多數(shù)問題都包含多個步驟，需要不同的視覺能力。同樣，問題的背景也往往是混合的，需要不同領(lǐng)域的知識。因此，為每個問題或子問題指定不同的類別是不可行的。
評估
研究者在 ZeroBench 主問題和子問題上對 20 個 LMM 進行了評估，結(jié)果見表 2。從中可以得出幾個結(jié)論：
對于當下 LMM 的水準而言，ZeroBench 是不可能挑戰(zhàn)成功的。在可重現(xiàn)的環(huán)境中，研究者發(fā)現(xiàn)所有模型在該基準測試中都只有 0% 的及格率。
有些問題是可以回答的，大多數(shù)模型的得分都不是零。表現(xiàn)最好的模型是 Gemini 2 Flash Thinking，它的 pass@5 得分達到了 7%（正確回答 7 個問題）；QVQ、Gemini 2 Flash 和 Pixtral-Large 的表現(xiàn)也相對較好，正確回答了 3 個問題。
子問題區(qū)分開了模型的性能。這部分問題對模型的挑戰(zhàn)性較小，所有模型的得分都不為零。雖然與主問題相比，推理模型的難度要低得多，但總體而言，這些模型仍然難以正確回答這些小問題，其中絕大多數(shù)都太難了。推理模型在推理過程中通常會產(chǎn)生一個擴展的思維鏈，允許它們在得出最終解決方案之前探索多種路徑。然而，在 ZeroBench 上，此類模型與傳統(tǒng)模型相比似乎并無明顯優(yōu)勢。
在主問題上，開放源代碼和封閉源代碼模型的表現(xiàn)仍然很差，沒有明顯的區(qū)別。不過，通過比較子問題的得分，可以發(fā)現(xiàn)兩者的性能差距很大，領(lǐng)先的開源模型（QVQ 19.78%）落后于 SOTA（Claude 3.5 Sonnet v2 24.30%）近 5 個百分點。
錯誤分析
圖 7 展示了在 ZeroBench 子問題中經(jīng)常出現(xiàn)的視覺解讀錯誤，例如錯誤地計算物體數(shù)量、無法「看到」細微細節(jié)或準確提取信息，以及難以理解空間關(guān)系。更多例子可參考附錄。
熱門跟貼