白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
大模型持續(xù)震驚科學家！
- 以往一小時才能完成的代碼，現(xiàn)在十分鐘就能實現(xiàn)「生成、測試到得出結(jié)果」。
“大模型推廣大神”陶哲軒又來分享他的親測體驗了。
這一次o3-mini一眼識破并且糾正了他的一個錯誤，然后在它的幫助下快速完成了一道數(shù)學題的解答。
而在另一邊，CMU數(shù)學教授、美國奧數(shù)國家隊前掌舵人羅博深發(fā)現(xiàn)，GPT-o1在卡內(nèi)基梅隆大學數(shù)學本科考試中獲得滿分，而且每道題的解題時間不超過一分鐘。
關(guān)鍵是，他專門設(shè)計的是全新的非標準問題，這些問題都是開卷的。
而普通學生的成績分布be like：
事情是這樣的。
他在MathOverflow上遇到了這樣一道題，由于答案不是封閉形式的，所以他想近似地模擬他。
首先，他要求o3-mini-high提供一些代碼。結(jié)果在思考一分12秒之后，首先聲明他試圖計算的數(shù)量是無限的，但其實事實并非如此。此處o3-mini犯了個小錯誤。
不過它仍然提供了數(shù)值代碼，確實粗略地近似了陶哲軒想要的數(shù)量（精確到小數(shù)點后一位）。
那時它意識到應(yīng)該使用馬爾可夫鏈理論來獲得更精確的答案，于是先向 o3-mini-high詢問理論公式，然后編寫代碼來計算結(jié)果。
有趣的是，它能夠糾正提示中的一個基本錯誤：把min寫成了max。
并且給了完美的代碼，然后陶哲軒在此基礎(chǔ)上對這一問題給出更精確的數(shù)值答案。
對此，陶哲軒的評價是：
- 總的來說，o3提供了相當不錯的幫助；它犯了一個錯誤，我糾正了它，但我也犯了一個錯誤，它糾正了它。
- 而且以前我自己可能需要花一個小時的時間才能完成的代碼，在大約十分鐘內(nèi)就生成、測試、修改并報告出來了。
也就在一周前，陶哲軒才點贊o3-mini不久：
- 重建圖論中一個標準（專家級）結(jié)果的證明，o3-mini是完全可以hold住的。
大模型持續(xù)震驚數(shù)學家
而在另一邊，羅博深也被o1的數(shù)學能力震驚到了。
他日常給本科生設(shè)計了五道數(shù)學題，分別涉及差分方程、線性代數(shù)、組合數(shù)學、數(shù)論、斐波那契數(shù)列性質(zhì)等內(nèi)容。
結(jié)果每道題均在一分鐘內(nèi)解決，甚至部分思考時間僅在20秒以內(nèi)。
而在班級上考滿分的人當中，最快的人只用了30分鐘。
最后，他額外算了算這背后的成本。
已知GPT-o1每百萬字的輸出成本僅為60美元，這意味著每個問題的解決成本約為5美分。
對于大多數(shù)人無法在1小時內(nèi)完成的工作來說，總共花費約25美分。
對此，他忍不住驚呼：Oh my goodness.讓我覺得已經(jīng)接近「能夠從事中等非程序性技術(shù)工作」的臨界點。
值得一提的是，前兩天其實還是GPT-4發(fā)布的兩周年。兩年之間，大模型的數(shù)學能力已經(jīng)有了質(zhì)的變化——各種數(shù)學難題都輕松拿下。
比如挑戰(zhàn)最難本科數(shù)學考試，o1 Pro只需36分鐘16秒交卷。
最新的o3系列，在最難數(shù)學測試的EpochAI Frontier Math（包含最新未公開前沿題目）中，比之前SOTA從2分提升到25分。
人類專業(yè)數(shù)學家解決其中一道題目也要花費數(shù)小時到數(shù)天，現(xiàn)在o3只需要思考幾分鐘了。
眼看著數(shù)學難題一一被挑戰(zhàn)讓數(shù)學家們驚呆，大模型下一個可能被攻克的領(lǐng)域會是哪一個呢？
你有沒有遇到過類似被大模型能力驚呆的經(jīng)歷？歡迎在評論區(qū)與我們分享。
參考鏈接：
[1]https://mathstodon.xyz/@tao/114173696303072269
[2]https://chatgpt.com/share/67d71204-3510-800e-8bca-11bfbf53fc3d
[3]https://mathoverflow.net/questions/486790/maximum-minimum-difference-between-fk1-and-average-of-f0-dots-f2k1/489533#489533
[4]https://x.com/PoShenLoh/status/1900721180887203879
熱門跟貼