天堂网最新版资源,国产一区二区三区99视频,男人舔女人的奶头的视频,亚洲免费av电影网,国产精品久久久久久久久av大片

機(jī)器之心報(bào)道

機(jī)器之心編輯部

終于，華為盤古大模型系列上新了，而且是昇騰原生的通用千億級語言大模型。

我們知道，如今各大科技公司紛紛發(fā)布百億、千億級模型。但這些大部分模型訓(xùn)練主要依賴英偉達(dá)的 GPU。

而現(xiàn)在的情形下，國內(nèi)研究團(tuán)隊(duì)很難獲得足夠的計(jì)算資源，這也制約了國內(nèi)大模型技術(shù)的快速發(fā)展。

我們看到華為盤古發(fā)布的這篇新研究，證明了基于全國產(chǎn)的昇騰也可以實(shí)現(xiàn)領(lǐng)先的大規(guī)模語言模型的研究與開發(fā)。

技術(shù)報(bào)告標(biāo)題：Pangu Ultra: Pushing the Limits of Dense Large Language Models on Ascend NPUs

技術(shù)報(bào)告地址：https://github.com/pangu-tech/pangu-ultra/blob/main/pangu-ultra-report.pdf

研究稱華為盤古團(tuán)隊(duì)成功開發(fā)出基于昇騰算力訓(xùn)練的千億級通用語言大模型 Pangu Ultra。在效果上，Pangu Ultra 在多個(gè)領(lǐng)域和評測上超越之前 Llama 405B 和 Mistral Large 2 等稠密模型，并可以與 DeepSeek-R1 等更大規(guī)模的稀疏模型一較高下。

Pangu Ultra 是一個(gè)擁有 94 層架構(gòu)、總參數(shù)量達(dá) 135B 的超大稠密模型。針對超深千億級大模型的訓(xùn)練穩(wěn)定性問題，研究團(tuán)隊(duì)提出了新的穩(wěn)定性架構(gòu)和初始化方法，成功實(shí)現(xiàn)了在 13.2T 高質(zhì)量數(shù)據(jù)上的全流程無 loss 突刺長穩(wěn)訓(xùn)練。同時(shí)，在系統(tǒng)實(shí)現(xiàn)層面，團(tuán)隊(duì)通過一系列系統(tǒng)優(yōu)化策略，在 8192 張昇騰 NPU 構(gòu)建的大規(guī)模集群上將算力利用率（MFU）提升至 50%。

接下來，讓我們從模型架構(gòu)、模型訓(xùn)練等方面，詳細(xì)了解下 Pangu Ultra 的技術(shù)細(xì)節(jié)。

模型架構(gòu)

基礎(chǔ)架構(gòu)信息：Pangu Ultra 包含 1350 億參數(shù)、采用了 94 層的 Transformer 結(jié)構(gòu)。其中 FFN 采用SwiGLU激活。注意力層采用 GQA 降低 KV 緩存占用。

Pangu Ultra 針對大規(guī)模極深模型的訓(xùn)練穩(wěn)定性問題提出了 Depth-scaled sandwich-norm 和 TinyInit 初始化兩項(xiàng)技術(shù)。

Depth-scaled sandwich-norm：與混合專家模型（MoE）側(cè)重在寬度上擴(kuò)展不同，大規(guī)模稠密模型通常采用更深的層數(shù)。然而，深度增加會(huì)加劇訓(xùn)練穩(wěn)定性的挑戰(zhàn)。考慮到預(yù)訓(xùn)練的巨大成本，保證大模型的穩(wěn)定訓(xùn)練至關(guān)重要。

Pre-LN 在基于 Transformer 的大語言模型架構(gòu)中被廣泛應(yīng)用，但采用 Pre-LN 的模型中，各子層輸出尺度的波動(dòng)容易導(dǎo)致訓(xùn)練不穩(wěn)定。為解決此問題，Sandwich-Norm 在殘差連接前對每個(gè)子層輸出額外施加 layer norm。雖然 Sandwich-Norm 能保持單個(gè)子層輸出的尺度穩(wěn)定性，但跨越多層的殘差連接仍會(huì)導(dǎo)致輸出范數(shù)逐漸累積，進(jìn)而引發(fā)訓(xùn)練不穩(wěn)定。

為此，Pangu Ultra 提出 Depth-Scaled Sandwich-Norm（DSSN）。該技術(shù)通過對每個(gè)子層輸出的 layer norm 的 gamma 參數(shù)來調(diào)控各層輸出尺度，通過把 gamma 參數(shù)初始化為與網(wǎng)絡(luò)深度的平方根倒數(shù)成比例。下圖展示了 Depth-Scaled Sandwich-Norm 與 Pre-LN 架構(gòu)的差異。實(shí)驗(yàn)結(jié)果表明所提出方法相比基準(zhǔn)方法在穩(wěn)定性和收斂性都具有較大優(yōu)勢（見模型結(jié)果與分析）。

Pre-LN 與 DSSN 架構(gòu)對比。相比 Sandiwich norm，DSSN 對 layer norm 系數(shù)做了特殊的 re-scale

Pangu Tokenizer：在 Pangu Ultra 的中，作者優(yōu)化了分詞器（Tokenizer）。傳統(tǒng)方法在構(gòu)建詞匯表時(shí)，常因數(shù)據(jù)分布導(dǎo)致通用文本占比過高，而代碼、數(shù)學(xué)等專業(yè)領(lǐng)域的詞元代表性不足。為解決此問題，Pangu Ultra 采用了「領(lǐng)域感知」的分詞詞表策略：

對通用中文、通用英文、代碼、數(shù)學(xué)等多個(gè)關(guān)鍵領(lǐng)域的數(shù)據(jù)獨(dú)立進(jìn)行詞頻分析，生成領(lǐng)域?qū)僭~匯表。

隨后，將這些詞匯表合并與去重，形成了一個(gè)包含 153376 詞元的分詞詞表。

這種方法提升了詞匯表在不同領(lǐng)域間的均衡性，確保了模型在處理文本、代碼、數(shù)學(xué)等多樣化任務(wù)時(shí)，都能獲得更精準(zhǔn)、高效的理解基礎(chǔ)，同時(shí)保持了良好的整體壓縮效率。

各領(lǐng)域詞在 Pangu 詞表中的分布

模型訓(xùn)練

預(yù)訓(xùn)練策略與數(shù)據(jù)：Pangu Ultra 的預(yù)訓(xùn)練過程的三個(gè)階段：12T tokens 的通用能力訓(xùn)練、0.8T tokens 的推理能力增訓(xùn)以及 0.4T tokens 的退火階段。

Pangu Ultra 預(yù)訓(xùn)練各個(gè)階段的數(shù)據(jù)配比

Pangu Ultra 模型的預(yù)訓(xùn)練語料覆蓋了高質(zhì)量、多樣化的 13.2T tokens，如上表所示，整個(gè)預(yù)訓(xùn)練過程分為三個(gè)階段：通用階段（General）、推理階段（Reasoning）和退火階段（Annealing）。

通用階段（12T）旨在幫助模型積累知識和語言表達(dá)能力，推理階段（0.8T）旨在強(qiáng)化模型推理技能，而退火階段（0.4T）則進(jìn)一步教會(huì)模型如何運(yùn)用已學(xué)到的知識和推理技能。

團(tuán)隊(duì)為訓(xùn)練語料打了質(zhì)量與難度的標(biāo)簽分?jǐn)?shù)，并在上述三個(gè)階段中采用課程式的數(shù)據(jù)采樣策略，即完成一個(gè)從易到難的學(xué)習(xí)過程：

通用階段覆蓋了大量的書籍、網(wǎng)頁、百科、多語言以及各行各業(yè)的語料，實(shí)際訓(xùn)練中分成了兩個(gè)子階段，訓(xùn)練量分別為 7.4T 和 4.6T tokens；

推理階段重點(diǎn)提高泛數(shù)學(xué)、理科以及代碼數(shù)據(jù)的比重，強(qiáng)推理數(shù)據(jù)占比超過 60%；

退火階段將指令類數(shù)據(jù)占比提高到 20%，旨在激發(fā)模型更好的應(yīng)用知識和推理技能。團(tuán)隊(duì)設(shè)計(jì)了大量的指令類問答對，并且包含長、短思維鏈，這些推理路徑經(jīng)過精心優(yōu)化，以確保內(nèi)容清晰且邏輯連貫。

數(shù)據(jù)質(zhì)量評估是提升模型訓(xùn)練效果的核心環(huán)節(jié)，Pangu Ultra 結(jié)合規(guī)則篩選與 AI 評估優(yōu)化數(shù)據(jù)質(zhì)量。團(tuán)隊(duì)設(shè)計(jì)人工標(biāo)注數(shù)據(jù)，微調(diào)盤古系列模型作為質(zhì)量評估器，從數(shù)據(jù)干凈度、流暢性、教育價(jià)值和信息密度四個(gè)維度，對超過 10T 語料進(jìn)行打分，并且賦予高質(zhì)量語料更高的采樣概率。

團(tuán)隊(duì)基于 Pangu 26 億參數(shù)的代理模型進(jìn)行了大量的消融實(shí)驗(yàn)，結(jié)果表明基于低質(zhì)量數(shù)據(jù)訓(xùn)練的模型需要多 1.6 倍訓(xùn)練量才能達(dá)成基于高質(zhì)量數(shù)據(jù)的同等效果，進(jìn)一步印證了數(shù)據(jù)質(zhì)量對于提升訓(xùn)練效率的關(guān)鍵價(jià)值。

長序列擴(kuò)展：Pangu Ultra 模型通過兩階段長度擴(kuò)展訓(xùn)練將可支持的輸入 token 數(shù)增加到 128K，可以輸入約 10 萬英語單詞或者 17 萬中文漢字。針對長序列訓(xùn)練中 RoPE 基礎(chǔ)頻率這一重要參數(shù)，在訓(xùn)練前首先在目標(biāo)擴(kuò)展長度的特定驗(yàn)證集上對不同的參數(shù)進(jìn)行評測來搜索出最優(yōu)的參數(shù)，保證了長度擴(kuò)展的效果。

后訓(xùn)練策略與數(shù)據(jù)：在模型后訓(xùn)練階段，通過兩階段優(yōu)化實(shí)現(xiàn)能力躍升：首先采用監(jiān)督微調(diào)（SFT）建立基礎(chǔ)指令跟隨能力，隨后引入基于結(jié)果的強(qiáng)化學(xué)習(xí)（RL）框架，顯著提升模型的復(fù)雜推理、價(jià)值對齊和指令執(zhí)行能力。為充分發(fā)揮昇騰算力優(yōu)勢，研究團(tuán)隊(duì)特別設(shè)計(jì)了具有延遲容忍特性的強(qiáng)化學(xué)習(xí)框架，配合融合確定性信號與模型評估的混合獎(jiǎng)勵(lì)系統(tǒng)，在數(shù)學(xué)推導(dǎo)、代碼生成和通用問題解決三大領(lǐng)域構(gòu)建精準(zhǔn)反饋機(jī)制，確保大規(guī)模策略優(yōu)化的效率與穩(wěn)定性。

模型在 AIME 2024、MATH-500、GPQA Diamond 和 LiveCodeBench 等核心推理基準(zhǔn)上取得了理想的性能，驗(yàn)證了后訓(xùn)練架構(gòu)的有效性，這既得益于預(yù)訓(xùn)練階段 0.8T 規(guī)模的專項(xiàng)推理數(shù)據(jù)積累，也源于強(qiáng)化學(xué)習(xí)階段對模型潛力的深度激發(fā)。同時(shí)模型仍保持強(qiáng)大的通用語言理解能力（MMLU-pro 和 ArenaHard），彰顯了技術(shù)路徑的均衡性，結(jié)果見模型結(jié)果與分析部分。

系統(tǒng)優(yōu)化

Pangu Ultra 135B 的訓(xùn)練環(huán)境是一個(gè)配備了 8192 個(gè)昇騰 NPU 的大規(guī)模計(jì)算集群。團(tuán)隊(duì)通過混合并行策略、細(xì)粒度負(fù)載均衡調(diào)優(yōu)、高效融合算子、子序列切分以及數(shù)據(jù)緩存共享等技術(shù)手段，在 8192 卡規(guī)模的集群中實(shí)現(xiàn)了超過 50% 的 MFU（Model FLOPs Utilization）。

并行策略：為了擴(kuò)展 Pangu Ultra 的訓(xùn)練規(guī)模并提升集群線性度，團(tuán)隊(duì)采用了混合并行策略。在 8192 卡規(guī)模的集群中，使用了 128 路數(shù)據(jù)并行（Data Parallelism）、8 路張量并行（Tensor Parallelism）和 8 路流水線并行（Pipeline Parallelism），同時(shí)結(jié)合了 ZeRO 和序列并行（Sequence Parallelism），以降低模型參數(shù)、優(yōu)化器狀態(tài)和激活值的顯存占用。由于 batch-size 的限制，大規(guī)模集群訓(xùn)練中每個(gè)數(shù)據(jù)并行（DP）組的批次較小，導(dǎo)致較高的流水線空泡率。為解決這一問題，團(tuán)隊(duì)引入了 6 路虛擬流水線（Virtual Pipeline）調(diào)度算法，將訓(xùn)練空泡率從 30.45% 降低至 6.8%。通過一系列精細(xì)的負(fù)載均衡優(yōu)化，在 BF16 訓(xùn)練精度下實(shí)現(xiàn)了 43% 的 MFU。

系統(tǒng)優(yōu)化：為了進(jìn)一步提升大規(guī)模集群的訓(xùn)練效率，團(tuán)隊(duì)從多個(gè)方面進(jìn)行了系統(tǒng)優(yōu)化，將 8192 卡訓(xùn)練的 MFU 從 43% 提升至 52%。關(guān)鍵優(yōu)化技術(shù)包括：

MC2（Merged Compute and Communication）通算融合

通過將訓(xùn)練中的矩陣乘法（MatMul）計(jì)算與張量并行（TP）切分引入的通信操作細(xì)粒度拆分，并對計(jì)算和通信操作進(jìn)行深度流水線編排，實(shí)現(xiàn)了通信與矩陣乘法的高效重疊，顯著提升了資源利用率和訓(xùn)練效率。

NPU Fusion Attention（NFA）

針對昇騰 NPU 優(yōu)化的自注意力（Self-Attention）融合算子，支持 Attention Mask 壓縮，避免了顯式構(gòu)造 Attention Mask 帶來的計(jì)算和顯存開銷。在 Pangu Ultra 訓(xùn)練中，根據(jù)每個(gè)樣本的結(jié)束標(biāo)記（EOD）計(jì)算出實(shí)際序列長度（actual_seq_len），并將其傳入 NFA。NFA 內(nèi)部使用一個(gè) 2048×2048 的下三角矩陣作為素材庫，根據(jù) actual_seq_len 動(dòng)態(tài)構(gòu)造訓(xùn)練時(shí)的 Attention Mask，從而在重置 Attention Mask 的場景下實(shí)現(xiàn)高效的自注意力計(jì)算。

其他融合算子

除了 MC2 和 NFA，訓(xùn)練還采用了 RMSNorm、SwiGLU、RoPE 融合算子、梯度累加融合以及 PP send/recv 融合等技術(shù)，進(jìn)一步提升了系統(tǒng)性能。

子序列切分

上下文并行（Context Parallelism，CP）是長序列訓(xùn)練中常用的優(yōu)化方法。為了實(shí)現(xiàn) CP 切分下的負(fù)載均衡，Megatron-LM 將序列切分為 2×CP 個(gè)子序列，每個(gè)設(shè)備負(fù)責(zé)計(jì)算上下兩個(gè) chunk 的數(shù)據(jù)（見圖 1.(b)）。然而，這種切分方式在重置 Attention Mask 的場景下仍會(huì)導(dǎo)致負(fù)載不均（見圖 1.(c)）。Pangu Ultra 采用了改進(jìn)的子序列切分并行方式，針對每個(gè)樣本中的子序列采用負(fù)載均衡的切分策略，每個(gè)節(jié)點(diǎn)負(fù)責(zé)計(jì)算子序列中的兩個(gè) chunks（見圖 1.(d)）。

圖 1. 子序列切分的序列并行方式

顯存優(yōu)化

允許同一計(jì)算設(shè)備上的不同 vpp stage 之間共享 attention mask/actual_seq_len，RoPE sin/cos， position embedding 等數(shù)據(jù)。避免重復(fù)的計(jì)算和顯存開銷。

模型結(jié)果與分析

Pangu Ultra 實(shí)現(xiàn)了昇騰近萬卡大集群上約 13T 數(shù)據(jù)的長穩(wěn)訓(xùn)練，DSSN 和 TinyInit 保障訓(xùn)練全程沒有出現(xiàn)任何 loss 突刺，如下圖：

Pangu Ultra 預(yù)訓(xùn)練 Loss，全流程無 loss 突刺

Pangu Ultra 的預(yù)訓(xùn)練基座模型測評結(jié)果如下。對比稠密架構(gòu)的代表 Qwen2.5-72B 和 Llama 405B 以及 MoE 架構(gòu)的代表 DeepSeek V3。Pangu Ultra 在大多數(shù) benchmark 上取得了最好的效果，和同為稠密架構(gòu)的模型對比優(yōu)勢更加明顯。

Pangu Ultra Base 測評結(jié)果，粗體表明最好結(jié)果，下劃線表明該模型在 dense 中最好

經(jīng)過后訓(xùn)練之后，Pangu Ultra 在主要的 Reasoning benchmark 上的表現(xiàn)如下所示。

Pangu Ultra 在 Reasoning Benchmarks 上的表現(xiàn)

Pangu Ultra 在 AIME24，MATH-500，GPQA，MMLU-Pro 等指標(biāo)上超越 DeepSeek R1。關(guān)于盤古后訓(xùn)練使用的相關(guān)技術(shù)將在之后的報(bào)告中發(fā)布。

針對訓(xùn)練穩(wěn)定性，團(tuán)隊(duì)發(fā)現(xiàn) DSSN 和常見的 Pre-Norm（Pre-LN）架構(gòu)對比能夠完全杜絕訓(xùn)練中的 loss 突刺現(xiàn)象。在 gradient norm 上，使用 DSSN 的模型也更加平穩(wěn)，突刺更少。經(jīng)過測評，DSSN 架構(gòu)的模型效果也超出 Pre-LN 架構(gòu)，說明避免訓(xùn)練突刺的重要性。