機器之心發(fā)布
機器之心編輯部
《大規(guī)模語言模型：從理論到實踐（第2版）》是一本理論與實踐并重的專業(yè)技術書，更是AI時代不可或缺的知識工具書。任何人都能在本書中找到屬于自己的成長路徑。
在人工智能浪潮席卷全球的今天，大語言模型正以前所未有的速度推動著科技進步和產(chǎn)業(yè)變革。從 ChatGPT 到各類行業(yè)應用，LLM 不僅重塑了人機交互的方式，更成為推動學術研究與產(chǎn)業(yè)創(chuàng)新的關鍵技術。
面對這一飛速演進的技術體系，如何系統(tǒng)理解其理論基礎、掌握核心算法與工程實踐，已成為每一位 AI 從業(yè)者、研究者、高校學子的必修課。
2023 年 9 月，復旦大學張奇、桂韜、鄭銳、黃萱菁研究團隊面向全球?qū)W術界與產(chǎn)業(yè)界正式發(fā)布了《大規(guī)模語言模型：從理論到實踐》。短短兩年，大語言模型在理論研究、預訓練方法、后訓練技術及解釋性等方面取得了重要進展。業(yè)界對大語言模型的研究更加深入，逐漸揭示出許多與傳統(tǒng)深度學習和自然語言處理范式不同的特點。例如，大語言模型僅需 60 條數(shù)據(jù)就能學習并展現(xiàn)出強大的問題回答能力，顯示了其驚人的泛化性。然而，本書作者們也發(fā)現(xiàn)大語言模型存在一定的脆弱性。例如，在一個擁有 130 億個參數(shù)的模型中，僅修改一個特定參數(shù)，就可能導致模型完全喪失生成有意義信息的能力
這些發(fā)現(xiàn)促使本書的作者「復旦大學 NLP 團隊」張奇、桂韜、鄭銳、黃萱菁幾位老師對本書第 1 版進行大幅修訂升級（增加內(nèi)容超過 40%），系統(tǒng)整合 AI 領域最新研究成果與技術進展，為廣大讀者帶來更前沿、更實用的知識體系與工程實踐指導。無論你是渴望深入理解 LLM 原理的學者，還是希望將 AI 能力融入產(chǎn)品的工程師，亦或是對人工智能充滿興趣的學習者，這本書都將為你提供系統(tǒng)、權威且極具實操價值的知識指引。
第二版核心升級
聚焦前沿技術
深度剖析 MoE（混合專家模型）、強化學習、多模態(tài)、智能體、RAG（檢索增強生成）、效率優(yōu)化等技術趨勢，緊跟 AI 最新發(fā)展。
重構(gòu)知識體系
覆蓋預訓練、微調(diào)、強化學習、應用開發(fā)、效率優(yōu)化等全流程，體系更加完善，邏輯更清晰。
提升實踐價值
新增逾 40% 的前沿研究成果與技術案例，增設工程實踐指南與評估體系模塊，助力理論落地。
擴展章節(jié)內(nèi)容
新增多模態(tài)大語言模型、智能體、RAG、大模型效率優(yōu)化等實用章節(jié)，并對指令微調(diào)和強化學習部分進行了大幅修改。
本書架構(gòu)
圍繞LLM 理論基礎、預訓練、指令理解、大模型增強、大模型應用五大部分展開。
第 1 部分介紹大語言模型的基礎理論：包括語言模型的定義、Transformer 結(jié)構(gòu)、大語言模型框架、混合專家模型等內(nèi)容，并以 LLaMA 使用的模型結(jié)構(gòu)為例介紹代碼實例。
第 2 部分介紹大語言模型的預訓練，包括大語言模型預訓練數(shù)據(jù)和分布式訓練。該部分介紹了預訓練需要使用的數(shù)據(jù)分布和數(shù)據(jù)預處理方法。除此之外，還介紹模型分布式訓練中需要掌握的數(shù)據(jù)并行、流水線并行、張量并行及 ZeRO 系列優(yōu)化方法。并以 DeepSpeed 為例介紹如何進行大語言模型預訓練。
第 3 部分介紹大語言模型如何理解并服從人類指令，包括指令微調(diào)和強化學習。重點介紹模型微調(diào)技術、指令微調(diào)數(shù)據(jù)的構(gòu)造策略，以及高效微調(diào)方法，如 LoRA、Delta Tuning 等方法。強化學習章節(jié)重點講解其基礎理論、策略梯度方法（REINFORCE 算法、廣義優(yōu)勢估計、PPO 算法、PLOO 算法、GRPO 算法），推理模型的強化學習（以 DeepSeek-R1 和 Kimi k1.5 為例），RLHF 等，并結(jié)合實際案例，以 DeepSpeed-Chat 和 verl 框架為例，詳細說明如何訓練類 ChatGPT 系統(tǒng)。
第 4 部分圍繞提升大語言模型的能力展開詳細探討，內(nèi)容涵蓋多模態(tài)大語言模型、大模型智能體和檢索增強生成。多模態(tài)大語言模型章節(jié)重點介紹其基礎理論、架構(gòu)設計與訓練策略，并探討其在實際場景中的應用實踐。智能體章節(jié)聚焦其發(fā)展歷程與大語言模型智能體的架構(gòu)設計，深入分析智能體的實現(xiàn)原理，并以 LangChain 和 Coze 為例詳細闡述具體實踐。RAG 章節(jié)介紹其核心思想與實現(xiàn)方式，涵蓋檢索增強框架的設計、檢索模塊與生成模塊的協(xié)作機制，以及其在具體任務場景中的應用方法與實踐。
第 5 部分圍繞如何應用大語言模型展開討論，內(nèi)容涵蓋大語言模型效率優(yōu)化、大語言模型評估，以及大語言模型典型應用的開發(fā)與部署。效率優(yōu)化章節(jié)重點介紹模型壓縮與優(yōu)化、訓練效率優(yōu)化和推理效率優(yōu)化等提升模型效率的關鍵技術。大語言模型評估章節(jié)探討其基本概念和難點，闡述評估體系的構(gòu)建、評估方法的設計及實際評估的實施。大語言模型應用章節(jié)介紹典型的大語言模型應用場景，詳細介紹其開發(fā)流程、開發(fā)工具及本地部署的實踐方法。
新增章節(jié)亮點
- 多模態(tài)大語言模型：介紹典型架構(gòu)及其與 LLM 的融合方法、多模態(tài)訓練策略。
- 大模型智能體：剖析涵蓋感知、規(guī)劃、記憶機制及工具調(diào)用能力的核心架構(gòu)，訓練與實踐方法。
- 檢索增強生成（RAG）：解析系統(tǒng)設計模式、訓練優(yōu)化策略、評估體系全流程。
- 大模型效率優(yōu)化：圍繞模型壓縮、低精度訓練、高效推理框架（如 vLLM）等全鏈路技術實踐展開。
- 大語言模型基礎：新增混合專家模型（MoE）相關內(nèi)容。
- 強化學習：新增對「The Bitter Lesson」的理解、長思維鏈、推理模型的強化學習等內(nèi)容。
作者團隊簡介
本書作者團隊由來自復旦大學的張奇、桂韜、鄭銳、黃萱菁等多位人工智能領域的優(yōu)秀學者組成。團隊長期專注于自然語言處理、大規(guī)模預訓練模型、智能體、多模態(tài)學習等前沿方向，具備豐富的理論研究與工程實踐經(jīng)驗。
張奇，復旦大學計算機科學技術學院教授、博士生導師。兼任上海市智能信息處理重點實驗室副主任，中國中文信息學會理事、CCF 大模型論壇常務委員，CIPS 信息檢索專委會常務委員、CIPS 大模型專委會委員。近年來在國際重要學術期刊和會議上發(fā)表論文 200 余篇。獲得 WSDM 2014 最佳論文提名獎、COLING 2018 領域主席推薦獎、NLPCC 2019 杰出論文獎、COLING 2022 杰出論文獎。
桂韜，復旦大學副研究員。研究領域為預訓練模型、類人對齊和智能體交互。在國際重要學術期刊和會議上發(fā)表論文 50 余篇，主持國家自然科學基金計算機學會和人工智能學會的多個人才項目。獲得錢偉長中文信息處理科學技術一等獎、NeurIPS 2023 大模型對齊 Track 最佳論文獎，入選第七屆「中國科協(xié)青年人才托舉工程」、上海市啟明星計劃。
鄭銳，博士畢業(yè)于復旦大學計算機科學技術學院，師從張奇教授。曾任字節(jié)跳動豆包大模型團隊算法工程師，現(xiàn)就職于某前沿科技公司，研究方向為大模型對齊、復雜推理能力提升。獲得 NeurIPS Workshop on Instruction Following 2024 最佳論文獎。在 ICLR、ICML、NeurIPS、ACL 等國際會議上發(fā)表多篇論文。
黃萱菁，復旦大學特聘教授、博士生導師。主要從事人工智能、自然語言處理和大語言模型研究。兼任中國計算機學會理事、自然語言處理專委會主任、中國中文信息學會理事、計算語言學學會亞太分會主席。在國際重要學術期刊和會議上發(fā)表論文 200 余篇，獲優(yōu)秀論文獎 8 項。獲得錢偉長中文信息處理科學技術一等獎、上海市育才獎，以及人工智能全球女性學者、福布斯中國科技女性等多項榮譽。
專家點評
自《大規(guī)模語言模型：從理論到實踐》首版問世以來，便受到了學術界與產(chǎn)業(yè)界的廣泛關注。此次全新升級的第二版，內(nèi)容更加豐富、體系更加完善，得到了多位人工智能領域權威專家的高度認可（按姓氏拼音排序）：
「隨著 ChatGPT 的問世，大語言模型展現(xiàn)出巨大潛力，對人工智能發(fā)展產(chǎn)生了深遠影響。面對這一迅速發(fā)展的技術，如何快速理解其理論并參與實踐是我們必須要面對的挑戰(zhàn)。本書在第 1 版的基礎上增加了多模態(tài)、智能體、RAG 等章節(jié)，并對指令微調(diào)和強化學習部分進行了大幅修改，旨在幫助讀者深入理解大語言模型的原理，提供實操指導，值得閱讀?！?/p>
——柴洪峰 中國工程院院士
「本書深入解析了大語言模型的基本原理，分析了當前幾種有代表性的大語言模型的學理特點，分享了作者在這一領域的實踐經(jīng)驗。本書的出版恰逢其時，是學術界和產(chǎn)業(yè)界不可多得的讀物，將助力讀者進一步探索和應用大語言模型?！?/p>
——蔣昌俊 中國工程院院士
「本書全面解析了大語言模型的發(fā)展歷程、理論基礎與實踐方法，對大語言模型預訓練、指令微調(diào)、強化學習、多模態(tài)、智能體、RAG 等前沿領域的研究進展有較好的覆蓋。此外，本書深入探討了大語言模型的實際應用場景與評價方法，為研究者提供了系統(tǒng)的理論指導與實踐經(jīng)驗。相信本書對從事相關研究的學者和大語言模型開發(fā)者具有重要的參考價值?！?/p>
——周伯文 上海人工智能實驗室主任、首席科學家、清華大學惠妍講席教授
《大規(guī)模語言模型：從理論到實踐（第 2 版）》的出版上市，希望可以讓讀者快速掌握大語言模型的研究與應用，更好地應對相關技術挑戰(zhàn)，為推動這一領域的進步貢獻力量。
熱門跟貼