金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
滿血DeepSeek一體機(jī)，價(jià)格竟然被打到10萬元級(jí)別了！
而且還不是量化版本，正是那個(gè)671B參數(shù)、最高質(zhì)量的FP8原版。
或許有小伙伴要問了，那跑DeepSeek-R1/V3的速度，能跟官方一較高下嗎？
可以的，甚至是更快的那種。例如我們提個(gè)問題，來感受一下這個(gè)feel：
一個(gè)漢字具有左右結(jié)構(gòu)，左邊是木，右邊是乞。這個(gè)字是什么？只需回答這個(gè)字即可。
△左：一體機(jī)；右：DeepSeek官網(wǎng)
視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q
從視頻中不難看出，不僅答案精準(zhǔn)，一體機(jī)的速度也是肉眼可見地比DeepSeek官網(wǎng)快上一些，粗略估計(jì)是已經(jīng)接近了22 tokens/s。
那么這個(gè)一體機(jī)到底是什么來頭？
不賣關(guān)子，它就是由北京行云集成電路最新推出的產(chǎn)品——褐蟻HY90，具體價(jià)格定到了14.9萬元。
而且除了產(chǎn)品，這家公司本身也是有不少的“標(biāo)簽”在身上的，其中最為吸睛或許當(dāng)屬CEO了：
季宇，清華90后博士、前華為“天才少年”、計(jì)算機(jī)學(xué)會(huì)CCF優(yōu)博獎(jiǎng)獲得者。
那么褐蟻HY90具體執(zhí)行起更多任務(wù)時(shí)，又會(huì)是什么樣的效果？
來，更多維度的一波實(shí)測(cè)走起。
實(shí)測(cè)10萬元級(jí)的DeepSeek一體機(jī)
我們先在褐蟻HY90部署DeepSeek-R1，來測(cè)試一下它的推理能力。
有請(qǐng)AIME 2025的數(shù)學(xué)題：
Find the sum of all integer bases b>9 for which 17b is a divisor of 97b.
視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q
從內(nèi)容生成的速度上來看，褐蟻HY90面對(duì)數(shù)學(xué)推理問題，依舊是可以保持接近20+ tokens/s。
并且最終給到的答案也是精準(zhǔn)無誤：70。
再來一道新版類似“9.9和9.11哪個(gè)大”、“Strawberry里面有幾個(gè)‘r’”，極度迷惑一眾AI的難題：
讓7米長(zhǎng)的甘蔗通過2米高1米寬的門。
△左：一體機(jī)；右：DeepSeek官網(wǎng)
速度依舊在線，并且這個(gè)問題已經(jīng)是難不倒DeepSeek，給出的答案也是正解。
而除了DeepSeek之外，我們還在褐蟻HY90上體驗(yàn)了一把類似Deep Research的功能：
視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q
由此可見，無論是什么類型的題目，褐蟻HY90都能以相對(duì)較快的速度絲滑處理。
不過有一說一，以往的一體機(jī)，即便是搭載Q4量化版本，成本動(dòng)輒就要達(dá)到200萬元。
而褐蟻HY90在搭載滿血、未量化的DeepSeek情況下，不僅能夠保證速度，更是把價(jià)格打掉了一個(gè)數(shù)量級(jí)。
因此，接下來的一個(gè)問題便是：
如何煉成的？
在我們聊“如何實(shí)現(xiàn)”之前，且需了解一下“什么在阻礙”。
首先，大家提到一體機(jī)，第一反應(yīng)大概率就是GPU，而它本身就或許構(gòu)成了短板。
因?yàn)閭鹘y(tǒng)GPU方案因顯存容量限制，例如671GB需求需多張A100顯卡，成本已經(jīng)超過了百萬的級(jí)別。
而CPU方案則受限于內(nèi)存帶寬，因?yàn)榇竽Ｐ屯评硇枰l繁加載參數(shù)（如671B參數(shù)的FP8精度模型占用約671GB內(nèi)存）。
如果內(nèi)存帶寬不足，就會(huì)導(dǎo)致計(jì)算單元（CPU 核心）長(zhǎng)時(shí)間等待數(shù)據(jù)，形成“內(nèi)存墻”（Memory Wall），嚴(yán)重影響推理速度。
針對(duì)上述的短板，行云的褐蟻一體機(jī)采用雙路AMD 9005系列CPU，通過1TB/s的高內(nèi)存帶寬滿足基礎(chǔ)推理需求，同時(shí)搭配一張中高端消費(fèi)級(jí)GPU作為算力補(bǔ)充。
這種異構(gòu)計(jì)算架構(gòu)通過軟件協(xié)同優(yōu)化，既解決了純CPU方案在部分推理階段的算力不足問題，又顯著降低了成本，將硬件投入壓縮至10萬元以內(nèi)。
除此之外，行云自主研發(fā)的推理引擎框架通過算法優(yōu)化和任務(wù)調(diào)度，同樣對(duì)token生成速率起到了顯著的提升作用。
在FP8精度下，Decode階段速度穩(wěn)定在20TPS以上，且受上下文長(zhǎng)度影響較小（128K上下文仍保持15TPS）；Prefill階段在16K上下文內(nèi)首字延遲控制在80秒以內(nèi)。
這種高效推理能力尤其適合需要連續(xù)生成大量token的場(chǎng)景（如AI Agent），大幅縮短任務(wù)響應(yīng)時(shí)間。
不僅如此，團(tuán)隊(duì)還針對(duì)大模型運(yùn)行需求，精準(zhǔn)平衡了計(jì)算能力與內(nèi)存帶寬，支持滿血FP8精度的R1/V3模型，并預(yù)留擴(kuò)展能力，未來可支持1.5T參數(shù)量的模型。
通過參數(shù)壓縮技術(shù)（如INT4量化），進(jìn)一步將Decode速度提升至28TPS（1K上下文），滿足不同場(chǎng)景對(duì)速度與精度的靈活需求。
據(jù)了解，團(tuán)隊(duì)后續(xù)還將對(duì)MoE類的模型提供較好的支持。
褐蟻一體機(jī)的出現(xiàn)，可以說是改寫了行業(yè)的格局——
此前運(yùn)行滿血671B模型需百萬級(jí)設(shè)備，而同類低配方案（如32B/70B模型）仍需20-40萬元。
行云通過技術(shù)整合，將最高質(zhì)量的模型體驗(yàn)直接帶入10萬元價(jià)位，為中小團(tuán)隊(duì)提供了低門檻、高擴(kuò)展性的AI部署方案。
這一技術(shù)突破不僅實(shí)現(xiàn)了“高性能+低成本”的平衡，更推動(dòng)了大模型在智能客服、數(shù)據(jù)分析等場(chǎng)景的普惠應(yīng)用。
清華90后創(chuàng)辦的公司
最后，正如我們剛才提到的，行云除了產(chǎn)品本身之外，創(chuàng)始團(tuán)隊(duì)同樣也有不少的亮點(diǎn)。
首先就是創(chuàng)始人兼CEO季宇，他本科就讀于清華大學(xué)物理系，后轉(zhuǎn)向計(jì)算機(jī)體系結(jié)構(gòu)方向，獲得清華大學(xué)計(jì)算機(jī)體系結(jié)構(gòu)博士學(xué)位。
在學(xué)術(shù)研究方面，他曾作為共同第一作者在頂級(jí)期刊《自然》（Nature）上發(fā)表計(jì)算機(jī)體系結(jié)構(gòu)相關(guān)論文，并榮獲中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）優(yōu)秀博士學(xué)位論文獎(jiǎng)（CCF優(yōu)博獎(jiǎng)）。
△行云集成電路創(chuàng)始人兼CEO，季宇
在2023年8月成立行云集成電路之前，季宇曾在華為海思昇騰芯片團(tuán)隊(duì)，擔(dān)任昇騰AI芯片編譯器專家，負(fù)責(zé)多個(gè)昇騰編譯器項(xiàng)目，也曾入選“華為天才少年”。
在華為期間，正因長(zhǎng)期專注于AI編譯器優(yōu)化和處理器微架構(gòu)等挑戰(zhàn)性問題，也讓他積累了豐富的AI芯片研發(fā)經(jīng)驗(yàn)。
除了季宇本人之外，CTO余洪敏擁有深厚的學(xué)術(shù)背景和豐富的行業(yè)經(jīng)驗(yàn)。
他本科畢業(yè)于華中科技大學(xué)，后在中國(guó)科學(xué)院半導(dǎo)體研究所獲得博士學(xué)位。
在職業(yè)履歷方面，余洪敏曾擔(dān)任百度昆侖芯、華為海思車載昇騰芯片等多款芯片的負(fù)責(zé)人，并曾在地平線擔(dān)任芯片研發(fā)總監(jiān)。
他長(zhǎng)期領(lǐng)導(dǎo)和管理超過100人的研發(fā)團(tuán)隊(duì)，精通芯片研發(fā)設(shè)計(jì)全流程，具備豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)——成功主導(dǎo)10余款芯片的流片與量產(chǎn)，并多次推動(dòng)先進(jìn)工藝數(shù)據(jù)中心芯片的架構(gòu)設(shè)計(jì)、工程實(shí)現(xiàn)及大規(guī)模商用部署。
值得一提的是，在去年11月份，行云集成電路還得到了一眾明星資本的投資，包括智譜AI、峰瑞資本、嘉御資本、春華資本、聚合資本、中科創(chuàng)星、同創(chuàng)偉業(yè)、奇績(jī)創(chuàng)壇、水木清華校友基金等。
由此，從行云集成電路成立至今的發(fā)展來看，是有產(chǎn)品，有團(tuán)隊(duì)，更有市場(chǎng)的那種了。
但更重要的一點(diǎn)是，這家剛成立兩年的公司，一舉實(shí)現(xiàn)了一體機(jī)圈子里類似的DeepSeek的“高性能+低成本”——
嗯，“中國(guó)初創(chuàng)”的含金量還在持續(xù)上升。
一體機(jī)近期可從官方公眾號(hào)預(yù)約體驗(yàn)，更多詳情見↓
熱門跟貼