大家好，我是Ai學(xué)習(xí)的老章
剛剛，DeepSeek 在 GitHub 上新建了open-infra-index倉庫，準(zhǔn)備開源其內(nèi)部使用的推理引擎。
根據(jù) README.md 的描述，DeepSeek推理引擎是基于 vLLM 經(jīng)過大量魔改的版本，專為 DeepSeek 自家模型優(yōu)化。值得注意的是，DeepSeek 選擇了一種更為開放和協(xié)作的方式來開源這一技術(shù)。
正如 DeepSeek 在其聲明中所述："幾周前，在開源周期間，我們開源了幾個(gè)庫。社區(qū)的反響非常積極——激發(fā)了令人鼓舞的合作、富有成效的討論和寶貴的錯(cuò)誤修復(fù)。受此鼓舞，我們決定再邁出一步：將我們的內(nèi)部推理引擎回饋給開源社區(qū)。"
DeepSeek 坦誠地指出了直接開源其完整內(nèi)部推理引擎面臨的三大挑戰(zhàn)：
代碼庫分歧：他們的引擎"基于一年多前 vLLM 的早期分支。盡管結(jié)構(gòu)相似，但我們已經(jīng)為 DeepSeek 模型進(jìn)行了大量定制，使其難以擴(kuò)展到更廣泛的用例。"
基礎(chǔ)設(shè)施依賴：引擎"與我們的內(nèi)部基礎(chǔ)設(shè)施緊密耦合，包括集群管理工具，如果沒有重大修改，這使得公共部署變得不切實(shí)際。"
有限的維護(hù)帶寬：作為"專注于開發(fā)更好模型的小型研究團(tuán)隊(duì)，我們?nèi)狈S護(hù)大型開源項(xiàng)目的帶寬。"
面對(duì)這些挑戰(zhàn)，DeepSeek 選擇了一條更為務(wù)實(shí)的路徑——不是簡(jiǎn)單地將魔改版本作為獨(dú)立倉庫發(fā)布，而是"與現(xiàn)有的開源項(xiàng)目密切合作"，通過"提取獨(dú)立功能"和"分享優(yōu)化"的方式，將其改進(jìn)直接貢獻(xiàn)回開源社區(qū)。
這種開源方式獲得了 vLLM 官方的高度認(rèn)可，vLLM 在轉(zhuǎn)發(fā) DeepSeek 的相關(guān)動(dòng)態(tài)時(shí)附言：
@deepseek_ai 的高性能推理引擎是建立在 vLLM 之上的。現(xiàn)在他們正在以正確的方式開源引擎：不是創(chuàng)建一個(gè)單獨(dú)的倉庫，而是將變更帶給開源社區(qū)，這樣每個(gè)人都可以立即受益！
這種做法體現(xiàn)了真正的開源精神——不是為了彰顯自己的技術(shù)實(shí)力而創(chuàng)建分支，而是通過協(xié)作方式讓整個(gè)社區(qū)共同進(jìn)步。
DeepSeek 在聲明的最后部分做出了一個(gè)令人振奮的承諾："我們承諾在新模型發(fā)布之前積極同步與推理相關(guān)的工程努力，目標(biāo)是使社區(qū)能夠從第 0 天起實(shí)現(xiàn)最先進(jìn)（SOTA）的支持。"
正如 DeepSeek 所言，他們的"最終目標(biāo)是培養(yǎng)一個(gè)同步的生態(tài)系統(tǒng)，在官方模型發(fā)布時(shí)，可以在各種硬件平臺(tái)上無縫實(shí)現(xiàn)前沿 AI 能力。
制作不易，如果這篇文章覺得對(duì)你有用，可否點(diǎn)個(gè)關(guān)注。給我個(gè)三連擊：點(diǎn)贊、轉(zhuǎn)發(fā)和在看。若可以再給我加個(gè)，謝謝你看我的文章，我們下篇再見！
熱門跟貼