白小交 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
奧特曼稱他是愛(ài)因斯坦級(jí)別的天才；OpenAI總裁更是直言：
- 只要他想要的，我們都給。
Alec Radford大神離職OpenAI，現(xiàn)在牽出更多細(xì)節(jié)：
改變世界的GPT，竟然是在Jupyter notebook上誕生的。
而他只負(fù)責(zé)提供背后的靈感，剩下的由工程師來(lái)解決。
（網(wǎng)友：那在Excel也可以做到這一點(diǎn)）
奧特曼高度評(píng)價(jià)：沒(méi)有他應(yīng)有的知名度。
他在Jupyter notebooks上發(fā)明了GPT
在奧特曼帖子下面，更多細(xì)節(jié)軼事被扒了出來(lái)。
比如事實(shí)是，他差點(diǎn)就放棄了將語(yǔ)言作為通往 AGI 的道路。
據(jù)這位OpenAI員工描述，在Alec在職最后一天他們有機(jī)會(huì)第一次謀面，他向Alec詢問(wèn)了堅(jiān)持語(yǔ)言模型背后的原因。
大概在2017年，Alec花了幾年時(shí)間來(lái)研究RNN，但是進(jìn)展不大。
于是Alec就感覺(jué)很沮喪，就想著要不要退出OpenAI。最終他決定休息一個(gè)月來(lái)調(diào)整，重新思考自己的方案。
回來(lái)后不久，Ilya就跟他推薦了谷歌前同事的新論文，也就是那篇著名的Attention is all you Need。
于是乎，他就開(kāi)始了新的架構(gòu)嘗試，并將其與無(wú)監(jiān)督預(yù)訓(xùn)練相結(jié)合。
結(jié)果效果非常好，GPT時(shí)代就此開(kāi)始。
同樣還有CLIP，他曾為此閉關(guān)一年來(lái)解決計(jì)算機(jī)視覺(jué)問(wèn)題，最終才得以推出。CLIP也成為后續(xù)解決2D計(jì)算機(jī)視覺(jué)問(wèn)題的基礎(chǔ)。
不過(guò)能造就GPT、CLIP，也是少不了OpenAI諸位同事對(duì)他的全力支持——
當(dāng)時(shí)他在Jupyter notebooks上編寫代碼，然后就讓研究工程師在那里翻譯。好奇心勝過(guò)一切。
OpenAI總裁Greg Brockman曾提到過(guò)這位天才：只要他想要的，我們都給。
當(dāng)時(shí)是在2023年SXSW大會(huì)上，Greg Brockman表示，Alec Radford對(duì)語(yǔ)言非常感興趣，一直在研究如何構(gòu)建小型聊天機(jī)器人。
- 我們非常喜歡他，所以我們非常支持他做任何他想做的事情。與此同時(shí)，我們也在投資一些嚴(yán)肅的項(xiàng)目，我們就想，你知道，無(wú)論亞歷克需要什么，我們都會(huì)確保他得到。
- 也正因如此，2017誕生了第一個(gè)有趣的結(jié)果——一個(gè)根據(jù)亞馬遜評(píng)論訓(xùn)練出來(lái)的模型，它可以預(yù)測(cè)下一個(gè)角色、下一個(gè)角色、下一個(gè)字母是什么。實(shí)際上，它學(xué)會(huì)了最先進(jìn)的情感分析分類器。你可以給它一個(gè)句子，它會(huì)說(shuō)這是正面的還是負(fù)面的。這聽(tīng)起來(lái)并不令人印象深刻，但就是在這一刻，我們知道它一定能成功?！?/li>
還有同行們表示，他的一些想法是整個(gè)AI領(lǐng)域研究者們重要靈感來(lái)源。并且他從來(lái)也不吝惜地去分享他的時(shí)間和想法。
據(jù)這位朋友分享，當(dāng)時(shí)他在學(xué)習(xí)ML，在MNIST訓(xùn)練一個(gè)普通的MLP，結(jié)果遇到了一個(gè)愚蠢的小問(wèn)題。
然后Alec沒(méi)有敷衍，又或者是幫忙修復(fù)這個(gè)小問(wèn)題，而是立即開(kāi)始教關(guān)于CNN方面的知識(shí)。
奧特曼：愛(ài)因斯坦級(jí)別的天才
他畢業(yè)于富蘭克林·歐林工程學(xué)院（Franklin W. Olin College of Engineering）。
據(jù)網(wǎng)友透露，這是個(gè)規(guī)模很小、以項(xiàng)目為導(dǎo)向的工程學(xué)院。其聲譽(yù)與Rose-Hulman理工學(xué)院和Harvey Mudd College等學(xué)校類似。
他們的學(xué)生在項(xiàng)目方向上往往有很大的個(gè)人自由度，并能直接接觸到大量的教師和研究工作，這與其他院校的研究生經(jīng)歷不相上下。
隨后就加入OpenAI，一干就是八年。
截至今日，他的論文被引數(shù)已超過(guò)19萬(wàn)。被引量排名前三的論文，分別與GPT-3、CLIP和GPT-2相關(guān)。
這三篇論文都為今天的ChatGPT打下了重要基礎(chǔ)，實(shí)際上，Alec幾乎參與了OpenAI所有的重大突破。
除了被引量最高的這三篇，從第一代GPT到GPT-4o的作者名單中，Alec的名字都赫然在列，并且前兩代中都是第一作者。
Alec同樣作為一作的CLIP，則是OpenAI在多模態(tài)路線上的重要成果，甚至在整個(gè)行業(yè)都極具影響力；同時(shí)，Alec也是OpenAI初代繪圖模型DALL·E的參與者。
其他模態(tài)方面，OpenAI開(kāi)源的語(yǔ)音識(shí)別系統(tǒng)Whisper，一作仍然是他。不過(guò)，最新的o1模型貢獻(xiàn)者列表中已經(jīng)沒(méi)有了Alec的名字。
接下來(lái)，奧特曼表示，期待他以獨(dú)立開(kāi)發(fā)者的身份與OpenAI合作。
網(wǎng)友：不用博士學(xué)位也能干大事？
Alec Radford的經(jīng)歷，牽出來(lái)更多研究層面上的討論。
- 是不是不用博士學(xué)位也能干大事了？
Stability AI創(chuàng)始人回憶，他們自己的博士占比也不高，大概80個(gè)研究者/工程師中只有16個(gè)博士。
這樣看，博士學(xué)位是不是就不是招聘中的必選項(xiàng)了。
但也有持反對(duì)意見(jiàn)，這樣以偏概全未免有點(diǎn)夸張和過(guò)于簡(jiǎn)單化了。博士學(xué)位不僅僅是一個(gè)證書(shū)，更是一個(gè)教會(huì)你如何批判性思考和系統(tǒng)地解決復(fù)雜問(wèn)題的旅程。
而圍繞這些細(xì)節(jié)，另一個(gè)討論的主角是Jupyter notebook，網(wǎng)友們直呼：是個(gè)誕生天才想法的地方。
所以新的一年，從開(kāi)始學(xué)習(xí)如何使用notebook開(kāi)始吧。
[1]https://x.com/sama/status/1872666383210971560
[2]https://x.com/Yuchenj_UW/status/1874171107705811285
[3]https://x.com/ahatamiz1/status/1874228975175950487?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
[4]https://x.com/priceindex/status/1873134352395051093?s=46&t=R82LqSqpRZuVhcZxqH_Vlw
熱門跟貼