OSCHINA

相信經(jīng)常網(wǎng)上沖浪的朋友對(duì)下面這個(gè)賬號(hào)應(yīng)該不會(huì)陌生:

打開網(wǎng)易新聞 查看精彩圖片

沒錯(cuò),正是微博上知名的 AI 博主 ——「愛可可-愛生活」,粉絲數(shù)近百萬,日更不斷,致力于傳播前沿 AI 技術(shù)。

陳光,北京郵電大學(xué)人工智能學(xué)院副教授,中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟具身智能工作組秘書長(zhǎng),主要研究方向是文本計(jì)算和具身智能等。擁有多項(xiàng)發(fā)明專利,主持、參與國(guó)家重大專項(xiàng)、核高基、國(guó)家 863、國(guó)家自然科學(xué)基金等多項(xiàng)國(guó)家級(jí)項(xiàng)目,在國(guó)際高水平期刊和學(xué)術(shù)會(huì)議發(fā)表論文數(shù)十篇。 創(chuàng)辦微博賬號(hào) “愛可可-愛生活”,聚焦人工智能主題,以專業(yè)的學(xué)術(shù)品味、廣闊的領(lǐng)域視野、敏銳的業(yè)界觀察、豐富優(yōu)質(zhì)的資源推薦,為廣大人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)愛好者所熟悉和喜愛。多次在團(tuán)中央、發(fā)改委等企事業(yè)單位作大模型和人工智能報(bào)告,是人民網(wǎng) “全國(guó)大學(xué)生同上一堂人工智能大課” 主講專家。 著有《DeepSeek 全攻略》、《走進(jìn)具身智能》等廣受歡迎的科普書。

上周,OSCHINA 有幸邀請(qǐng)到了陳光教授@愛可可-愛生活)做客「高手問答」欄目,和大家一起聊聊 AI。

下面是部分問答回顧

1. Deepseek以來,很多人開始做AI本地部署,這個(gè)是否有必要?
2. 繼續(xù)上一個(gè)問題,端側(cè)AI的計(jì)算類型千奇百怪,目前有沒有比較好的端側(cè)AI框架,能夠覆蓋盡可能多的計(jì)算設(shè)備?

1、是否有必要本地部署AI要"視具體情況而定",主要取決于以下因素: 隱私與安全需求:數(shù)據(jù)敏感度越高,本地部署價(jià)值越大 使用頻率與成本:高頻使用場(chǎng)景下,本地部署可能更經(jīng)濟(jì) 定制化需求:需要專門訓(xùn)練或調(diào)整的場(chǎng)景更適合本地控制 基礎(chǔ)設(shè)施能力:擁有足夠計(jì)算資源的組織更容易實(shí)現(xiàn)本地部署 Deepseek的出現(xiàn)降低了本地部署的技術(shù)門檻,為更多場(chǎng)景提供了選擇的可能性,但這并不意味著所有人都需要走本地部署路線。最優(yōu)解應(yīng)該是根據(jù)具體需求選擇最合適的部署方式。 如果需要在多種設(shè)備上部署AI模型,目前較為實(shí)用的方案是: 1、以O(shè)NNX為中心的工作流: - 訓(xùn)練模型轉(zhuǎn)換為ONNX格式 - 針對(duì)不同設(shè)備選擇最優(yōu)運(yùn)行時(shí)(ONNX Runtime、廠商SDK等) - 利用設(shè)備特定的量化工具進(jìn)一步優(yōu)化 2、基于編譯優(yōu)化的方案: - 使用TVM或類似技術(shù)針對(duì)目標(biāo)硬件編譯優(yōu)化模型 - 犧牲一定開發(fā)便利性,換取跨平臺(tái)性能 3、混合部署策略: - 高端設(shè)備:PyTorch Mobile/TFLite提供完整功能 - 中端設(shè)備:ONNX Runtime配合量化模型 - 低端設(shè)備:ncnn等超輕量框架運(yùn)行特別優(yōu)化的模型 綜合來看,沒有完美的"一站式"解決方案,但ONNX生態(tài)系統(tǒng)結(jié)合特定優(yōu)化工具鏈,是目前覆蓋范圍最廣的方案。

一個(gè)比較寬泛的問題。對(duì)于大齡程序員來說,是轉(zhuǎn)AI Infra呢,還是繼續(xù)做AI應(yīng)用?

對(duì)大齡程序員而言,AI Infra和AI應(yīng)用并非非此即彼的選擇,而應(yīng)基于個(gè)人優(yōu)勢(shì)和市場(chǎng)需求做出決策: 如果有系統(tǒng)底層或分布式系統(tǒng)經(jīng)驗(yàn),轉(zhuǎn)AI Infra可能更有優(yōu)勢(shì),尤其是在可靠性工程、性能優(yōu)化方面; 如果有豐富的產(chǎn)品開發(fā)或業(yè)務(wù)理解,繼續(xù)AI應(yīng)用可能更有價(jià)值,特別是領(lǐng)域特定AI應(yīng)用; 最佳定位可能是中間層:AI平臺(tái)工程、MLOps、AI應(yīng)用架構(gòu)等連接基礎(chǔ)設(shè)施和應(yīng)用的角色; 降低風(fēng)險(xiǎn)策略:打造"T型"技能組合,一個(gè)方向深入,同時(shí)保持另一方向的理解。 大齡程序員的優(yōu)勢(shì)在于對(duì)技術(shù)完整生命周期的理解,而非單純的開發(fā)速度。選擇應(yīng)該基于個(gè)人興趣、現(xiàn)有技能和自我的價(jià)值主張,而非僅僅追隨市場(chǎng)熱點(diǎn)。

個(gè)人覺得現(xiàn)在的生成式AI有替代搜索引擎的勢(shì)頭,博主認(rèn)為,AI會(huì)替換現(xiàn)在的傳統(tǒng)搜索引擎的商業(yè)模式嗎?

個(gè)人覺得,生成式AI不太可能完全替代傳統(tǒng)搜索引擎的商業(yè)模式,而是會(huì)重塑信息獲取的生態(tài)系統(tǒng)。搜索引擎正在整合AI功能,AI工具在增強(qiáng)檢索能力,兩種技術(shù)正走向"AI增強(qiáng)搜索"和"搜索增強(qiáng)AI"的雙向融合。 短期內(nèi),廣告模式仍是主導(dǎo)(搜索引擎最擅長(zhǎng)),中期,可能出現(xiàn)混合模式——基礎(chǔ)搜索免費(fèi)+高級(jí)AI功能訂閱,長(zhǎng)期,可能形成新型的注意力經(jīng)濟(jì)模式。簡(jiǎn)單問答和綜合類查詢可能轉(zhuǎn)向AI,需要多角度信息、最新信息和深度研究的查詢?nèi)砸蕾囁阉?,不同人群?huì)采用不同的工具組合。 贏家最有可能是擁有海量數(shù)據(jù)和計(jì)算資源的科技巨頭、能同時(shí)提供搜索+AI體驗(yàn)的平臺(tái),以及在特定垂直領(lǐng)域提供專業(yè)化AI+搜索解決方案的新玩家。

DeepSeek的“低成本”部署是否是偽命題?之前部署了個(gè)7b的模型,速度慢的一批,感覺沒法用呀。

DeepSeek 的“低成本”部署并非偽命題,但效果取決于硬件和配置。7B 模型在低端硬件上速度慢是正?,F(xiàn)象,因?yàn)椤暗统杀尽敝傅氖怯布T檻低,而非保證高性能。 “顯存夠大能跑起來”和“速度夠快能用起來”是兩個(gè)不同的方面。

我在使用r1的時(shí)候,最怕的就是幻覺問題,感覺他太過發(fā)散,我之前試過讓它把我寫的問題進(jìn)行分類,這么一個(gè)簡(jiǎn)單的需求得到的內(nèi)容卻發(fā)現(xiàn)它把一個(gè)問題重復(fù)歸納到了幾類,而且過于發(fā)散進(jìn)行了不現(xiàn)實(shí)的擴(kuò)展。包括之前讓它生成一些問答,都特別的假,不像是人類會(huì)說出來的,這個(gè)比較頭疼。

幻覺是目前大模型實(shí)用性的關(guān)鍵障礙之一。用戶需要的往往是工具而非創(chuàng)意伙伴,但模型卻在"創(chuàng)造性"和"幫助性"之間搖擺。解決方案可能包括:提示詞工程或增加額外約束來控制輸出。 另一個(gè)有效的辦法可能是將任務(wù)分解成更小、更明確的子任務(wù),并為每個(gè)子任務(wù)設(shè)定明確的評(píng)判標(biāo)準(zhǔn),而不是讓AI一次完成復(fù)雜任務(wù)。這符合"窄任務(wù)會(huì)得到窄答案"的原則。

本月初,陳光教授出版了新書《DeepSeek 全攻略》,本書以通俗易懂的問答形式,帶你零基礎(chǔ)入門 DeepSeek,揭秘其智能內(nèi)核與技術(shù)優(yōu)勢(shì),探索辦公、教育、醫(yī)療等領(lǐng)域的無限應(yīng)用。從理性認(rèn)識(shí) DeepSeek 的能力邊界,到掌握提示詞優(yōu)化的實(shí)戰(zhàn)技巧,本書助你快速上手,玩轉(zhuǎn) DeepSeek,在 AI 時(shí)代搶占先機(jī)!

京東購(gòu)買地址: https://item.jd.com/14396069.html

購(gòu)買地址:

DeepSeek 的橫空出世,就像一塊巨石被投入國(guó)內(nèi) AI 行業(yè)這潭平靜的湖水,激起了千層浪,徹底攪動(dòng)了原有的格局。如果說之前的國(guó)內(nèi) AI 行業(yè)還是一汪相對(duì)平靜的池塘,那么 DeepSeek 的出現(xiàn)就仿佛引爆了一場(chǎng) AI 海嘯,其影響之深遠(yuǎn),波及范圍之廣闊,都遠(yuǎn)超人們的想象。

但隨之而來的,是公眾對(duì) DeepSeek 的諸多疑問:

  • DeepSeek 到底是什么?

  • 它從何而來?它為何能 “爆火”?

  • 什么是 DeepSeek-R1 的 “滿血版 “和 “蒸餾版”?

  • DeepSeek 的 " 低成本 “優(yōu)勢(shì)是如何實(shí)現(xiàn)的?

  • DeepSeek 能在本地部署嗎?

  • DeepSeek 采用了哪些獨(dú)特的技術(shù)?讓它如此高性能?

  • 和 DeepSeek 對(duì)話有什么 “話術(shù)” 嗎?

面對(duì)等等這些疑問,我們需要一本通俗易懂、深入淺出的科普讀物來?yè)荛_迷霧,揭示 DeepSeek 的真相,幫助我們更好地理解這項(xiàng)技術(shù),理性地?fù)肀?AI 時(shí)代。這便是陳光教授撰寫 《DeepSeek 全攻略》的初衷。

↓分享、在看與點(diǎn)贊~Orz