機器之心報道
機器之心編輯部
在斯坦福，有一門專門講 Transformer 的課程，名叫 CS 25。這門課曾經邀請過 Geoffrey Hinton、Andrej Karpathy 以及 OpenAI 的 Hyung Won Chung、Jason Wei 等一線大模型研究科學家擔任講師，在 AI 社區(qū)引起廣泛關注。
最近，這門課又上新了。這一春季學期課程名為「CS25: Transformers United V5」，邀請了 Google DeepMind 推理團隊創(chuàng)立者和現(xiàn)任負責人 Denny Zhou、OpenAI Canvas 項目負責人 Karina Nguyen、OpenAI 研究科學家 Hongyu Ren（任泓宇）、Meta 視頻生成團隊研究科學家 Andrew Brown 等知名研究者，深入探討 AI 領域的最新突破。
而且，這門課是完全開放的，任何人都可以現(xiàn)場旁聽或加入 Zoon 直播，無需注冊或與斯坦福大學建立關聯(lián)。
- 課程地址：https://web.stanford.edu/class/cs25/recordings/
課程結束后，他們還會把課程的視頻上傳到官方 YouTube 賬號。目前，新學期視頻第一期已經上傳。
- 視頻地址：https://www.youtube.com/watch?v=JKbtWimlzAE
整個學期的課程表如下：
想要聽直播的同學記得在太平洋夏令時間每周二下午 3:00 - 4:20（北京時間每周三上午 6:00 - 7:20）蹲守，具體信息請參考官方網(wǎng)站。
往期熱門課程
V2：Geoffrey Hinton——Representing Part-Whole Hierarchies in a Neural Network
AI 領域傳奇人物 Geoffrey Hinton（「深度學習教父」）分享了他對神經網(wǎng)絡中部分-整體層次結構的最新研究，提出了 GLOM 模型，旨在模擬人類視覺系統(tǒng)處理復雜場景的能力。
講座探討了 GLOM 如何通過動態(tài)解析樹結構增強 Transformer 在視覺任務中的表現(xiàn)，解決自注意力機制的計算效率瓶頸。Hinton 結合深度學習的演變歷程，從感知機到 RNN 再到 Transformer，展望了神經網(wǎng)絡在模擬認知過程和提升視覺理解中的未來潛力。
- 視頻地址：https://www.youtube.com/watch?v=CYaju6aCMoQ&t=2s
V2：Andrej Karpathy——Introduction to Transformers
Andrej Karpathy（前 Tesla AI 總監(jiān)、OpenAI 研究員）系統(tǒng)介紹了 Transformer 架構的原理與影響。他從 2017 年《Attention is All You Need》論文出發(fā)，拆解了自注意力機制（Self-Attention）、多頭注意力（Multi-Head Attention）及 Transformer 在大型語言模型（如 ChatGPT）中的核心作用。
講座還探討了 Vision Transformer（ViT）等跨領域應用，并展望了模型高效化和多模態(tài)學習的未來。Karpathy 結合自身從斯坦福學生到業(yè)界先鋒的經歷，回顧了深度學習從 RNN 到 Transformer 的演變。
- 視頻地址：https://www.youtube.com/watch?v=XfpMkf4rD6E
V3：Douwe Kiela——Retrieval Augmented Language Models
Douwe Kiela（Contextual AI 首席執(zhí)行官兼斯坦福符號系統(tǒng)客座教授）深入探討了檢索增強生成（Retrieval-Augmented Generation, RAG）作為解決大型語言模型（LLM）局限性的關鍵技術。講座介紹了 RAG 的基本概念，即通過外部檢索器提供上下文信息，緩解幻覺（hallucination）、信息時效性和定制化問題。
Kiela 回顧了語言模型的歷史，追溯至 1991 年的神經語言模型，澄清了 OpenAI 并非首創(chuàng)的誤解，并調研了 RAG 的最新進展，如 Realm、Atlas 和 Retro 架構，分析其優(yōu)劣。他還探討了 RAG 與長上下文模型的效率對比、指令微調（instruction tuning）的重要性以及未來的研究方向，如多模態(tài) RAG 和預訓練優(yōu)化。
- 視頻地址：https://www.youtube.com/watch?v=mE7IDf2SmJg
V4：Jason Wei & Hyung Won Chung of OpenAI
OpenAI 研究科學家 Jason Wei 和 Hyung Won Chung 分享了關于大型語言模型（LLM）和 Transformer 架構的洞見。
Jason Wei 探討了語言模型的直觀理解，強調下一詞預測作為大規(guī)模多任務學習的本質，并分析了擴展律（scaling laws）與個體任務的涌現(xiàn)能力。Hyung Won Chung 則從歷史視角審視 Transformer 架構的演變，聚焦計算成本指數(shù)下降的驅動作用，提出通過連接過去與現(xiàn)在預測 AI 未來的統(tǒng)一視角。
兩位講者結合在 OpenAI 的工作經驗（如 FLAN-T5、Codex），展望了 Transformer 在多模態(tài)和通用 AI 中的潛力。
- 機器之心報道：AI研究的主要推動力會是什么？ChatGPT團隊研究科學家：算力成本下降
- 視頻地址：https://www.youtube.com/watch?v=3gb-ZkVRemQ
熱門跟貼