來源：央廣網(wǎng)
央廣網(wǎng)北京3月28日消息 3月26日下午，上海交通大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心特訓(xùn)營(yíng)-DeepSeek專場(chǎng)在上海交通大學(xué)閔行校區(qū)圖書信息樓成功舉辦。活動(dòng)旨在基于昇騰技術(shù)的DeepSeek本地化部署實(shí)踐分享，培養(yǎng)學(xué)員自主創(chuàng)新開發(fā)能力。華為技術(shù)專家與學(xué)校老師現(xiàn)場(chǎng)授課，干貨滿滿，吸引了來自計(jì)算機(jī)、電子信息、人工智能等專業(yè)的60余名學(xué)生參加。
技術(shù)筑基：解析DeepSeek大模型核心架構(gòu)
活動(dòng)伊始，昇騰生態(tài)技術(shù)專家 ZOMI醬，分享了基于昇騰Atlas 800 A2部署滿血DeepSeek-R1-671B的經(jīng)驗(yàn)，重點(diǎn)分享了如何通過剪枝和量化，讓DeepSeek-R1/V3大模型特性實(shí)現(xiàn)加速。他指出，昇騰Atlas 800 A2的硬件特性與DeepSeek模型高度適配。通過結(jié)構(gòu)化剪枝技術(shù)，基于昇騰芯片的稀疏計(jì)算單元（如CANN的aclSparse接口），對(duì)模型中冗余的注意力頭與FFN層通道進(jìn)行動(dòng)態(tài)裁剪，在保證任務(wù)精度損失小于1%的前提下，將參數(shù)量壓縮40%，推理時(shí)延大幅降低。同時(shí)，采用混合量化策略——對(duì)計(jì)算密集的矩陣乘操作（如Q/K/V投影）啟用INT8動(dòng)態(tài)量化，結(jié)合昇騰3D Cube架構(gòu)的整數(shù)計(jì)算加速，實(shí)現(xiàn)算力利用率提升200%；而對(duì)精度敏感的LayerNorm等操作保留FP16精度，避免量化誤差擴(kuò)散。同時(shí)，他還介紹了昇騰Attention計(jì)算優(yōu)化方法Laser Attention，該技術(shù)通過動(dòng)態(tài)稀疏計(jì)算、低精度無損加速與硬件級(jí)算子融合三重創(chuàng)新，為大模型訓(xùn)練與推理提供顯著效能提升。
實(shí)踐落地：揭秘DeepSeek高校部署創(chuàng)新方案
大模型憑借出色的文本處理能力，已經(jīng)深入工作生活的方方面面，被廣泛應(yīng)用于文案寫作、文本處理、數(shù)據(jù)分析等。如何在本地部署一個(gè)專屬于自己的大模型？究竟如何跟大模型對(duì)話才能發(fā)揮其出色的功能？這些都是初窺門徑的AI開發(fā)者關(guān)心的問題。上海交大網(wǎng)絡(luò)信息中心“交我算”團(tuán)隊(duì)工程師王星澤圍繞在交大本地的昇騰服務(wù)器上部署DeepSeekV3/R1大模型的經(jīng)驗(yàn)介紹部署方法，包括硬件設(shè)備條件、網(wǎng)絡(luò)拓?fù)洹PI封裝、前端集成等。同時(shí)，還結(jié)合大模型在高?？蒲?、教學(xué)和管理中的實(shí)際應(yīng)用場(chǎng)景，介紹提示詞技巧和使用案例。
開發(fā)實(shí)戰(zhàn)：體驗(yàn)原生開發(fā)全流程
培訓(xùn)中，昇思布道師非常work老師的基于香橙派AI pro（20T）開發(fā)板的開發(fā)實(shí)戰(zhàn)吸引了現(xiàn)場(chǎng)每一位交大學(xué)子，對(duì)MindSpore在香橙派開發(fā)板上的能力支持做了詳細(xì)的說明，大家迫不及待動(dòng)手體驗(yàn)。目前昇思MindSpore AI框架已實(shí)現(xiàn)在香橙派AIpro開發(fā)板預(yù)置，并在官方網(wǎng)站上線開發(fā)指導(dǎo)教程，通過軟硬結(jié)合，使能開箱即用模型，并提供模型全流程使能套件，支持積木式搭建，覆蓋CV、NLP小模型及1B級(jí)大模型（如DeepSeek-R1-Distill-Qwen-1.5B）。學(xué)生們可通過動(dòng)態(tài)圖+類HuggingFace接口靈活調(diào)試，結(jié)合三行代碼調(diào)用JIT即時(shí)編譯，兼顧開發(fā)效率與執(zhí)行性能，為邊緣端AI部署提供輕量化解決方案。
本次特訓(xùn)營(yíng)是基于上海交通大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心開展的2025年第一場(chǎng)DeepSeek主題特訓(xùn)營(yíng)。該中心自2024年6月揭牌成立以來，始終致力于構(gòu)建基于鯤鵬昇騰技術(shù)路線的校級(jí)生態(tài)合作平臺(tái)，圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開合作，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰原生人才，孵化和培育根植中國的世界級(jí)原生科研創(chuàng)新成果。
據(jù)悉，鯤鵬昇騰科教創(chuàng)新卓越中心特訓(xùn)營(yíng)將持續(xù)推進(jìn)，隨著特訓(xùn)營(yíng)在全國重點(diǎn)高校的陸續(xù)開展，校企協(xié)同育人的創(chuàng)新模式正為國產(chǎn)化AI人才培養(yǎng)注入新動(dòng)能。
熱門跟貼