新智元報道
編輯：alan
【新智元導讀】大模型的能力是否已經(jīng)觸及極限？Business Insider采訪了12位業(yè)內(nèi)前沿人士。眾人表示，利用新類型的數(shù)據(jù)、將推理能力融入系統(tǒng)， 以及創(chuàng)建更小但更專業(yè)的模型，將成為新一代的范式。
大模型的發(fā)展已經(jīng)陷入瓶頸了嗎？
近幾周，關于這件事情的爭論愈演愈烈。
市場的信心很重要，CEO們趕緊出來回應。
領頭羊OpenAI最早發(fā)聲，Altman明確表示：沒有的事。
隨后，Anthropic的CEO Dario Amodei和英偉達的老黃，也站出來向眾人保證。
不過，包括硅谷風投大佬Marc Andreessen在內(nèi)的一些人則認為，這么長時間了，也沒看到什么明顯的進步，表現(xiàn)最好的幾個模型，性能也大差不差。
花兒謝了，冬天來了，又一年要過去了，GPT-5呢？
這關系到未來價值萬億美元的AI市場，如果燒錢的Scaling Law被證實回報越來越少，就會影響到當前的投資周期。
包括新的初創(chuàng)公司、新的數(shù)據(jù)中心、新的產(chǎn)品，甚至是重新啟用的核電站。
為此，Business Insider采訪了12位人工智能行業(yè)的前沿人士，包括初創(chuàng)公司的創(chuàng)始人、投資者，以及谷歌DeepMind和OpenAI的現(xiàn)任（和前任）員工， 探討了在追求超智能人工智能（superintelligent AI ）的過程中所面臨的挑戰(zhàn)與機遇。
AGI的內(nèi)幕
預訓練的難題
研究人員指出， 在人工智能開發(fā)的早期階段（即預訓練階段），公司可能會遇到兩個關鍵障礙。
第一個障礙是獲取計算能力，具體來說就是買顯卡。
這個市場主要由芯片巨頭英偉達主導， 而英偉達在持續(xù)的高需求下面臨著數(shù)錢的困難供應的挑戰(zhàn)。
法國風險投資公司Singular的合伙人Henri Tilloy表示，也許你可以拿出5000萬美元買GPU，但你在很可能在英偉達的供應名單上排在最后——等不起。
另一個供應問題就是訓練數(shù)據(jù)。盡管每年向大模型投入更多的數(shù)據(jù)和GPU，能夠可靠地產(chǎn)生更智能的模型， 但公司們已經(jīng)耗盡了互聯(lián)網(wǎng)上公開可用的數(shù)據(jù)。
研究公司Epoch AI預測， 到2028年，可用的文本數(shù)據(jù)可能會被完全耗盡。
Clarifai的創(chuàng)始人兼首席執(zhí)行官Matthew Zeiler表示，互聯(lián)網(wǎng)的規(guī)模是有限的。
多模態(tài)與私有數(shù)據(jù)
數(shù)據(jù)初創(chuàng)公司Encord的聯(lián)合創(chuàng)始人Eric Landau認為，當公共數(shù)據(jù)陷入瓶頸時，就需要其他數(shù)據(jù)來源發(fā)力了。
一個例子是多模態(tài)數(shù)據(jù)，將視覺和音頻信息（如照片或播客錄音） 輸入到AI系統(tǒng)中。
「這只是增加數(shù)據(jù)的一種方式（增加更多的數(shù)據(jù)模態(tài)），盡管實驗室和企業(yè)已經(jīng)開始用了，但還算不上是充分利用」。
Lamini平臺的聯(lián)合創(chuàng)始人兼CEO Sharon Zhou，發(fā)現(xiàn)了另一個尚未開發(fā)的領域：私人數(shù)據(jù)。
許多公司已經(jīng)與出版商簽訂了許可協(xié)議，以獲取他們龐大的信息資源。
例如OpenAI與Vox Media、Stack Overflow等組織建立了合作關系， 將受版權保護的數(shù)據(jù)引入自己的模型中。
Sharon Zhou說，「與我們的企業(yè)客戶和初創(chuàng)客戶的合作表明，私人數(shù)據(jù)中蘊含著許多對模型非常有用的信號?！?/p>
數(shù)據(jù)質(zhì)量
目前，許多研究工作正集中在提高LLM訓練數(shù)據(jù)的質(zhì)量，而不僅僅是數(shù)量。
Sharon Zhou表示，研究人員以前在預訓練階段可以「對數(shù)據(jù)相對懶惰」，只需將盡可能多的數(shù)據(jù)輸入模型，看看哪些有效。
「現(xiàn)在這種做法已經(jīng)不再完全適用了，公司正在探索的一種解決方案是合成數(shù)據(jù)?！?/p>
初創(chuàng)公司Aindo AI的首席執(zhí)行官Daniele Panfilo也相信，合成數(shù)據(jù)可能是「提升數(shù)據(jù)質(zhì)量的強大工具」，因為它可以「幫助研究人員構(gòu)建符合其具體信息需求的數(shù)據(jù)集」，這在AI開發(fā)的后訓練階段（post-training）特別有用。
一位前谷歌DeepMind的員工透露，Gemini已經(jīng)改變了戰(zhàn)略，從追求規(guī)模轉(zhuǎn)向追求高效。
「我認為他們意識到，服務如此龐大的模型實際上非常昂貴，因此通過后訓練去適配專業(yè)的下游任務是更明智的選擇。」 理論上，合成數(shù)據(jù)為提升模型的知識水平提供了一種有效的方法， 使其更加精簡和高效。
然而，在實際應用中，關于合成數(shù)據(jù)在提升模型智能方面的有效性，并沒有達成一致的看法。
Hugging Face的聯(lián)合創(chuàng)始人Thomas Wolf就表示，「通過合成數(shù)據(jù)Cosmopedia我們發(fā)現(xiàn)，在某些方面它確實有幫助，但并不是解決數(shù)據(jù)問題的靈丹妙藥」。
Databricks的首席AI科學家Jonathan Frankle也認為，在合成數(shù)據(jù)方面沒有「免費午餐」，并強調(diào) 「如果沒有人類的監(jiān)督，也沒有過濾和選擇哪些合成數(shù)據(jù)最相關的過程，那么模型所做的只是重復自己的行為」。
構(gòu)建推理模型
僅僅關注訓練部分是不夠的。
前OpenAI首席科學家Ilya，表達了對于預訓練模型的Scaling Law已經(jīng)停滯不前的擔憂，「大家都在尋找下一個突破?！?/p>
當前，行業(yè)的關注越來越多地轉(zhuǎn)向推理模型（reasoning model）。在本月的微軟Ignite活動上，首席執(zhí)行官Satya Nadella宣布，
Scaling Law并沒有遇到瓶頸，新的范式已經(jīng)出現(xiàn)，那就是test-time compute。
——允許模型在面對復雜的用戶提示時，花費更長的時間來做出響應。
比如Copilot推出的新功能：「think harder」，通過延長時間來解決更難的問題。
AI初創(chuàng)公司Agemo的創(chuàng)始人Aymeric Zhuo說，推理（reasoning） 「一直是一個活躍的研究領域」，尤其是在「行業(yè)面臨數(shù)據(jù)壁壘」的情況下。
來自投資公司Balderton的Sivesh Sukumar也表示，「考慮人腦的工作方式，即使是最聰明的人也需要時間來找到問題的解決方案?！?/p>
九月份，OpenAI發(fā)布了新的推理模型o1。
「從第一原則進行推理」并不是LLM的強項，因為它們是基于「下一個單詞的統(tǒng)計概率」來工作的。但如果我們希望LLM能夠思考并解決新問題，就必須讓它們進行推理。
OpenAI研究員Noam Brown在上個月的TED AI演講中提到：「結(jié)果表明，讓一個機器人在一局撲克中思考20秒的效果，和將模型規(guī)模和訓練時間同時擴大100,000倍是一樣的?！?/p>
未來預期
前DeepMind員工表示，「行業(yè)可能需要適應一個較慢的進步節(jié)奏。我們經(jīng)歷了一個瘋狂的時期，模型的進步非常迅速，這種情況以 前從未出現(xiàn)過。今年的進步速度沒有那么快，但這并不意味著出現(xiàn)了瓶頸?！?/p>
Lamini的Sharon Zhou對此表示贊同。她指出，規(guī)模法則是基于對數(shù)尺度而非線性尺度。換句話說，應該將AI的進步視為一條曲線， 而不是圖表上的一條直線。這使得開發(fā)成本遠高于我們對這項技術下一個實質(zhì)性進展的預期。
「這就是我們的期望在我們想要的時間框架內(nèi)無法實現(xiàn)的原因，同時也是為什么當能力真正出現(xiàn)時我們會感到驚訝的原因?！?那么，投資者和客戶是否愿意等待？
參考資料：
https://www.businessinsider.com/generative-ai-wall-scaling-laws-training-data-chatgpt-gemini-claude-2024-11
熱門跟貼