本項目由北京大學(xué)物理學(xué)院朱華星老師、曹慶宏副院長統(tǒng)籌指導(dǎo)?；鶞试O(shè)計、項目管理以及數(shù)據(jù)整合的主要工作由學(xué)生核心團隊完成，核心成員包括仇是、郭紹陽、宋卓洋、孫韞博、蔡則宇、衛(wèi)家燊、羅天宇等。項目還得到了北京大學(xué)計算中心羅民興院士和人工智能研究院張牧涵老師的鼎力支持。
PHYBench 項目匯聚了來自物理學(xué)院及兄弟院系的 200 余名學(xué)生，共同承擔(dān)題目編寫、審核及人類基準測試等工作。這支高水平的參與者團隊中，包含至少 50 位全國中學(xué)生物理競賽金牌得主，更有亞洲物理奧賽和國際物理奧賽的金牌獲得者。這場大規(guī)模、高質(zhì)量的協(xié)作，不僅充分展現(xiàn)了北大學(xué)子深厚的學(xué)術(shù)功底和卓越的組織協(xié)調(diào)能力，也為 PHYBench 產(chǎn)出高質(zhì)量成果提供了堅實保障。
在大語言模型（LLMs）飛速發(fā)展的當(dāng)下，模型的推理能力儼然成為模型能力的代名詞。OpenAI 的 o 系列、DeepSeek R1 等前沿模型相繼發(fā)布，這些大模型憑借強化學(xué)習(xí)技術(shù)的助力，在許多科學(xué)評測基準上頻頻刷新紀錄，甚至聲稱 “超越人類專家”。
但是，隨著模型能力和評測基準的軍備競賽白熱化，越來越多的基準不得不轉(zhuǎn)向生僻的知識點、或者抽象的數(shù)學(xué)競賽題。這些題目雖然能 “區(qū)分” 模型，但是逐漸脫離實際場景，可能難以真正反映模型的實際表現(xiàn)。
近日，北京大學(xué)物理學(xué)院聯(lián)合人工智能研究院等多個院系，推出了全新評測基準 PHYBench。PHYBench 包含 500 道經(jīng)過精心設(shè)計的高質(zhì)量物理題（如圖 1），難度橫跨高中物理、大學(xué)物理以及物理奧林匹克競賽。這些題目以真實的物理場景為基礎(chǔ)，對人類來說并不抽象，卻把一眾大模型考得七零八落。大模型在解決物理題時的思維鏈也暴露了它們在感知（Perception）和推理（Reasoning）能力上的缺陷。
- 論文鏈接：https://arxiv.org/abs/2504.16074
- 項目網(wǎng)址：https://phybench-official.github.io/phybench-demo/
- 數(shù)據(jù)集：https://huggingface.co/datasets/Eureka-Lab/PHYBench
也許，物理才是最適合考察 AI 推理能力的學(xué)科？PHYBench 的嘗試為評估大模型真正有效的推理能力提供了全新的工具和視角。
圖 1：題目樣例與兩種評估方法：表達式樹編輯距離、正確率。
表 1：與現(xiàn)有 benchmark 對比，PHYBench 在高難度數(shù)據(jù)集中，有著相對大的規(guī)模，同時引入了創(chuàng)新的分數(shù)度量：表達式樹編輯距離。
評測方法創(chuàng)新
表達式樹編輯距離（EED Score）
傳統(tǒng)基準通常依賴 Accuracy 這一單一指標(biāo)：設(shè)置唯一正確答案，模型只有在完全匹配時才能得分。為了方便評分，問答題通常被改寫成選擇題或要求代入數(shù)值。這樣會導(dǎo)致答案的信息量被嚴重壓縮，而且給出過多條件可能導(dǎo)致模型 “根據(jù)選項猜過程”，或者缺乏使用解析表達式表達普適關(guān)系的能力。同時在高難度的樣本上，0/1 打分會使得所有模型在分數(shù)層面都被歸零，強弱差異無從體現(xiàn)。
EED Score（Expression?tree Edit Distance）帶來了更貼近人類閱卷的方案。它將數(shù)學(xué)表達式解析成表達式樹，再計算模型答案與參考答案之間的編輯距離：樹的結(jié)構(gòu)越接近，得分越高。這一機制輸出的是連續(xù)、細粒度的分數(shù)，能在更多題目上顯示區(qū)分度，顯著提高了統(tǒng)計效力。
實驗表明，采用 EED Score 的 500 題，其區(qū)分能力相當(dāng)于 1500 道使用 0/1 Accuracy 的題目。上圖（圖 1）展示了同一道題三種不同答案在 Accuracy 與 EED Score 下的對比：前者只能給出 “全錯 / 全對” 的粗糙評價，而后者則定量刻畫了模型解答與正確答案之間的 “距離”。
實驗結(jié)果
前沿模型與人類專家的差距
PHYBench 團隊招募了 81 名北大學(xué)子，在 3 小時時限內(nèi)做 8 道題目，與最先進的 AI 模型展開了一場 "人機大戰(zhàn)"。
結(jié)果顯示，即使是最強的 Gemini 2.5 pro，也只能答對 36.9% 的題目，EED 評分 49.5%。而 “人類專家” 們則輕松碾壓，平均正確率高達 61.9%，EED 評分高達 70.5%。排名前 25% 的受試者更是達到了 71.4% 的正確率 —— 幾乎是最強 AI 的兩倍。其他模型與人類的差距則更為顯著。這一顯著差距揭示了現(xiàn)階段 LLM 在在物理推理場景中的瓶頸。
PHYBench 對模型的能力也進行了細粒度的對比?？梢钥吹剑珿emini 2.5 pro、o3 等強推理模型雖然和人類還有較大差距，但是相比前代推理模型已經(jīng)有了明顯的進步。DeepSeek-V3 等基座模型雖未能超越主流推理模型，但也展現(xiàn)出了亮眼的成績。QwQ-32B 和 DeepSeek32B 蒸餾模型等小型推理模型在 PHYBench 上的表現(xiàn)很令人失望，這可能歸因于其物理感知能力的不足。
基于思維鏈的錯因分析：PP × RR
PHYBench 團隊對模型的錯誤進行了系統(tǒng)性總結(jié)分析，將模型的推理過程和推理能力劃分為了兩個關(guān)鍵模塊：物理感知（Physical Perception，PP）和魯棒推理（Robust Reasoning，RR）：
- 物理感知（PP）：在此階段，模型進行密集的文字推理，模型需要識別問題相關(guān)的物理對象、變量和動力學(xué)關(guān)系，定性判斷哪些物理效應(yīng)是重要的，哪些可以忽略不計。若 PP 出錯，后續(xù)整個推理都會偏離軌道。（示例 1 展示典型 PP 失誤）
- 魯棒推理（RR）：在此階段，模型寫下大量的 “草稿”，一步步化簡表達式，解方程?，F(xiàn)階段的推理模型在此階段的推理效率尚不高，“草稿” 長度遠長于人類，而且經(jīng)常犯 “低級錯誤”。（示例 2 展示典型 RR 失誤）
PP 和 RR 交替進行，組成了典型的物理解題思維鏈。
未來展望
推動 AI 的物理理解與推理能力發(fā)展
PHYBench 的愿景遠不止于 “評測”，更在于 “引領(lǐng)” AI 探索物理世界的無限可能。
PHYBench 的發(fā)布，不僅為評估大語言模型在物理感知與推理方面的能力提供了一個全新且權(quán)威的基準，更為未來 AI 系統(tǒng)的發(fā)展指明了攻堅方向。我們精心設(shè)計的真實、復(fù)雜的物理場景，旨在深度激發(fā)并驗證 AI 理解世界并進行可靠推理的能力，推動 AI 系統(tǒng)真正實現(xiàn)對世界的認知、融入與變革。
面向未來，PHYBench 團隊將持續(xù)致力于數(shù)據(jù)集的拓展與創(chuàng)新，計劃納入更多前沿物理課題、跨學(xué)科交叉內(nèi)容，甚至挑戰(zhàn)人類尚未解開的科學(xué)謎題。我們相信，通過提供更具深度和廣度的物理挑戰(zhàn)，PHYBench 將有力催化 AI 向著突破認知邊界、探索未知領(lǐng)域的 “智能伙伴” 或 “超級助手” 發(fā)展。
熱門跟貼