新智元報道
編輯：桃子 好困
【新智元導讀】ICLR 2025時間檢驗獎重磅揭曉！Yoshua Bengio與華人科學家Jimmy Ba分別領銜的兩篇十年前論文摘得冠軍與亞軍。一個是Adam優(yōu)化器，另一個注意力機制，徹底重塑深度學習的未來。
剛剛，ICLR 2025時間檢驗獎公布！
斬獲大獎的是，xAI工程師、Hinton高徒Jimmy Ba發(fā)表的Adam優(yōu)化器。
獲得亞軍的是，Yoshua Bengio團隊提出的「注意力機制」，為Transformer和大模型奠定了基礎。
每年，ICLR時間檢驗獎都會頒給10年前發(fā)表，且對領域產(chǎn)生持久影響的論文。
滑鐵盧大學CS助理教授Gautam Kamath做了一個總結：
OpenAI聯(lián)創(chuàng)Diederik P. Kingma已連續(xù)第二次拿下ICLR ToT大獎，去年因VAEs論文獲獎
今年ToT冠軍/亞軍，全都授予加拿大高校的學者
2024年和2025年亞軍來自NYU團隊
時間檢驗獎
ICLR 2025時間檢驗獎公布，再次讓所有人見證了深度學習領域的「黃金十年」。
Adam優(yōu)化器讓大模型訓練更快更穩(wěn)，注意力機制更是賦予了AI超強理解力，成為深度學習領域的重要里程碑。
Adam優(yōu)化器：深度學習「加速引擎」
標題：Adam: A Method for Stochastic Optimization
作者：Diederik P. Kingma, Jimmy Ba
機構：阿姆斯特丹大學/OpenAI、多倫多大學
論文地址：https://arxiv.org/abs/1412.6980
如果說深度學習是一輛飛馳列車，那么Adam優(yōu)化器就是它的「超級引擎」。
2015年，由Diederik P. Kingma和Jimmy Ba提出的Adam算法，徹底改變了神經(jīng)網(wǎng)絡訓練的方式。
Adam全稱是Adaptive Moment Estimation，通過結合梯度算法的一階矩和二階矩，自動調整學習率，不僅加速了模型收斂，還提升了訓練的穩(wěn)定性。
它之所以成為深度學習領域，重要的算法之一，其魅力在于不同領域和神經(jīng)架構中的通用性與高效性。
無論是CV、NLP、還是RL，Adam幾乎成為所有深度學習模型的默認優(yōu)化器，成為無數(shù)頂尖模型的基石。
注意力機制：Transformer前世今生
標題：Neural Machine Translation by Jointly Learning to Align and Translate)
作者：Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
機構：康斯特大學、蒙特利爾大學
論文地址：https://arxiv.org/abs/1409.0473
由Yoshua Bengio帶隊這篇論文，首次引入了注意力機制（Attention Mechanism），為現(xiàn)代深度學習架構奠定了基礎。
它從根本上改變了序列到序列模型處理信息的方式。
在此之前，編碼器-解碼器架構通常將整個輸入序列，壓縮成固定長度向量，面對較長序列往往捉襟見肘。
Bengio團隊的突破在于，讓模型能夠「動態(tài)關注」輸入序列相關部分，極大地提升了翻譯任務的性能。
要知道，這篇論文的影響力遠遠超出了機器翻譯領域。
2017年，Attention is All You Need開山之作出世，注意力機制成為了Transformer模型的核心，催生了BERT、GPT系等大模型的繁榮。
如今，幾乎所有頂尖的AI模型都離不開注意力機制的加持。
正因如此，這篇論文也被業(yè)界譽為「現(xiàn)代深度學習的基石」。
深度學習巨擘領銜
這兩篇2015年里程碑式論文榮登榜首，分別是由圖靈獎得主Yoshua Bengio，以及Jimmy Ba領銜。
正如Gautam Kamath所指出那樣，加拿大在深度學習領域的領先地位。
Jimmy Ba
作為Adam論文共同作者，Jimmy Ba的學術軌跡堪稱耀眼。
他分別于2011年和2014年獲得了多倫多大學本科與碩士學位，分別師從Brendan Frey和Ruslan Salakhutdinov教授。
博士期間，他又在多倫多大學跟著Geoffrey Hinton學習。
Jimmy Ba的長期研究目標致力于解決一個核心計算問題：如何構建具備類人效率和適應性的通用問題求解機器？
具體而言，他的研究聚焦于為深度神經(jīng)網(wǎng)絡開發(fā)高效的學習算法。
他的研究成果頻頻亮相NeurIPS、ICLR和ICML頂會，2016年更是摘得Facebook機器學習方向研究生獎學金（Facebook Graduate Fellowship）。
目前，Google Scholar主頁顯示，Adam這篇論文被引超20萬。
Yoshua Bengio
提到Yoshua Bengio，AI界無人不曉。
作為深度學習三巨頭之一，他的每項研究都在改寫AI的歷史。
Yoshua Bengio，生于1964年3月5日是一位加拿大-法國籍計算機科學家，也是人工神經(jīng)網(wǎng)絡和深度學習領域的先驅。他是蒙特利爾大學的教授，也是AI研究所MILA的科學總監(jiān)。
他在麥吉爾大學獲得了理學學士學位（電氣工程）、理學碩士學位（計算機科學）和博士學位（計算機科學）。
獲得博士學位后，Bengio曾在MIT（導師是Michael I. Jordan）和AT&T貝爾實驗室擔任博士后研究員。
自1993年以來，他一直是蒙特利爾大學的教員，領導著MILA，并且是加拿大高等研究院（CIFAR）「機器與大腦學習」項目的聯(lián)合主任。
2017年，Bengio被授予加拿大勛章。同年，他被提名為加拿大皇家學會會士，并獲得了Marie-Victorin Quebec獎。
2018年，他與Geoffrey Hinton和Yann LeCun因其在深度學習領域的基礎性工作，共同獲得了計算領域的「諾貝爾獎」——ACM圖靈獎。
2020年，他當選為英國皇家學會會士。2022年，他與Geoffrey Hinton、Yann LeCun和Demis Hassabis共同獲得了「科學研究」類別的阿斯圖里亞斯女親王獎。
2023年，Bengio被授予法國最高榮譽勛章——榮譽軍團騎士勛章。同年，被評為ACM Fellow。
2025年，Bengio與Bill Dally、Geoffrey E. Hinton、John Hopfield、Yann LeCun、黃仁勛和李飛飛共同獲得了伊麗莎白女王工程獎。
Google Scholar個人主頁中，Bengio總被引數(shù)破90萬，其中被引量最高的論文便是與LeCun和Hinton共同撰寫的「深度學習」的論文。
有趣的是，他的兄弟Samy Bengio也是一位在神經(jīng)網(wǎng)絡領域很有影響力的計算機科學家，目前擔任蘋果AI和機器學習研究高級總監(jiān)。
參考資料：
https://blog.iclr.cc/2025/04/14/announcing-the-test-of-time-award-winners-from-iclr-2015/
熱門跟貼