作為全球領(lǐng)先的AI計(jì)算解決方案提供商，浪潮信息持續(xù)推動技術(shù)創(chuàng)新，于2月11日正式發(fā)布元腦R1推理服務(wù)器。該產(chǎn)品通過浪潮信息自主研發(fā)的系統(tǒng)架構(gòu)優(yōu)化與軟硬協(xié)同設(shè)計(jì)，成功實(shí)現(xiàn)單機(jī)部署DeepSeek R1 671B全參數(shù)模型，顯著降低企業(yè)部署門檻。浪潮信息此次創(chuàng)新不僅突破了大模型推理的顯存瓶頸，更通過元腦R1服務(wù)器的卓越性能，為金融、制造等千行百業(yè)提供了高效可靠的智能算力支撐。
當(dāng)前，DeepSeek開源多版本模型，助力各行業(yè)加速應(yīng)用大模型技術(shù)推動業(yè)務(wù)升級轉(zhuǎn)型。其中，DeepSeek R1 671B模型作為全參數(shù)基礎(chǔ)大模型，相比蒸餾模型具有更強(qiáng)的泛化能力、更高的準(zhǔn)確性和更好的上下文理解能力，但也對系統(tǒng)顯存容量、顯存帶寬、互連帶寬和延遲提出了更高要求：在FP8精度下至少需要約800GB顯存承載，F(xiàn)P16/BF16精度下需要1.4TB以上的顯存空間；此外，DeepSeek R1是典型的長思維鏈模型，具有短輸入、長輸出的應(yīng)用特點(diǎn)，推理解碼階段依賴更高的顯存帶寬和極低的通信延遲。面向671B模型的算力特征和系統(tǒng)需求，元腦R1推理服務(wù)器提供領(lǐng)先的顯存容量、顯存帶寬和通信速度，能夠助力企業(yè)高效完成DeepSeek全參數(shù)模型的本地化部署。
元腦R1推理服務(wù)器NF5688G7是領(lǐng)先的高算效AI計(jì)算平臺，原生搭載FP8計(jì)算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失。在顯存方面，提供1128GB HBM3e高速顯存，滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機(jī)支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達(dá)4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征，在推理解碼階段可實(shí)現(xiàn)極致加速。在通信方面，GPU P2P帶寬達(dá)900GB/s，保障單機(jī)部署張量并行最佳通訊性能，基于最新推理框架單機(jī)可支持20-30用戶并發(fā)。同時，單臺NF5688G7配備3200Gbps無損擴(kuò)展網(wǎng)絡(luò)，可根據(jù)用戶業(yè)務(wù)需求增長實(shí)現(xiàn)敏捷擴(kuò)展，提供成熟的R1服務(wù)器集群Turnkey解決方案。
元腦R1推理服務(wù)器NF5868G8是專為大推理模型（Large Reasoning Model）創(chuàng)新設(shè)計(jì)的高吞吐推理服務(wù)器，業(yè)界首次實(shí)現(xiàn)單機(jī)支持16張標(biāo)準(zhǔn)PCIe雙寬卡，提供高達(dá)1536GB顯存容量，支持在FP16/BF16精度下單機(jī)部署DeepSeek 671B模型。創(chuàng)新研發(fā)基于PCIe Fabric的16卡全互連拓?fù)?，任意兩卡P2P通信帶寬可達(dá)128GB/s，降低通信延遲超60%。通過軟硬協(xié)同優(yōu)化，相較傳統(tǒng)2機(jī)8卡PCIe機(jī)型，NF5868G8可將DeepSeek 671B模型推理性能提升近40%，目前已支持多元AI加速卡選配。
浪潮信息作為新一代智算架構(gòu)的引領(lǐng)者，始終致力于通過元腦生態(tài)體系構(gòu)建開放多元的AI基礎(chǔ)設(shè)施。通過持續(xù)加碼AI計(jì)算平臺、資源平臺和算法平臺的研發(fā)投入，浪潮信息已形成完整的元腦智算產(chǎn)品矩陣。值得關(guān)注的是，浪潮信息正攜手元腦生態(tài)合作伙伴，共同推動包括元腦R1服務(wù)器在內(nèi)的創(chuàng)新成果在智能制造、智慧城市等領(lǐng)域的規(guī)?；瘧?yīng)用落地。
熱門跟貼