任何技術(shù)產(chǎn)品都有攻擊面,大模型也在所難免。模型產(chǎn)品和攻擊方式永遠(yuǎn)是「道」與「魔」的此消彼長。

比如去年就有份論文提出一個新的攻擊方法,成功盜取了其他用戶發(fā)送給大模型的字段。此漏洞利用了 KV 緩存共享——一項大語言模型 (LLM) 業(yè)界廣泛應(yīng)用,兩大主流推理框架 SGLang 和 vLLM 都在使用的技術(shù)。

LLM 的安全問題不容小覷。無論對于用戶還是企業(yè),數(shù)據(jù)泄露都足以「致命」。APPSO 之前的一篇文章就曾提到,越來越多的人將豆包、DeepSeek 和 ChatGPT 們視作傾訴對象,和它們推心置腹,不經(jīng)意間便將個人的隱私信息吐露其中。而一旦 LLM 遭遇泄露事故,好事者能夠依據(jù)數(shù)據(jù)識別出具體的用戶以及對應(yīng)的現(xiàn)實身份,從而用于不法意圖。

打開網(wǎng)易新聞 查看精彩圖片

為了應(yīng)對 iPhone 用戶使用 AI 產(chǎn)品的隱私顧慮,維持公司數(shù)據(jù)隱私政策的連貫性,蘋果在 24 下半年宣布了一個名叫 Apple PCC(私密云計算 Private Cloud Compute)的系統(tǒng):

在 Apple Intelligence 場景下,端側(cè)算力不足時,用戶數(shù)據(jù)經(jīng)私鑰加密上傳云端,由部署在服務(wù)器私密計算模塊(類似 iPhone 芯片里的安全隔區(qū))里的大模型進(jìn)行加密推理,僅在推理過程和結(jié)果返回端側(cè)時短暫解密。全鏈路數(shù)據(jù)均以密文流轉(zhuǎn),且采用無狀態(tài)計算模式,確保數(shù)據(jù)零存儲、用后即焚。

技術(shù)是很好,但遺憾由于國內(nèi) Apple Intelligence 目前狀態(tài)微妙,iOS 用戶反而用不上。

在 iOS 以外的科技產(chǎn)品世界,另一家公司也正在應(yīng)對私密云計算的挑戰(zhàn):

火山引擎開發(fā)的 Jeddak PCC(私密云計算)平臺,有望應(yīng)用于 Android 手機(jī)、PC 電腦、新能源汽車等更多領(lǐng)域,為數(shù)十億用戶的 LLM使用隱私保駕護(hù)航,企業(yè)在加大 LLM 與自身場景結(jié)合的同時無需擔(dān)心數(shù)據(jù)泄露。

通過在各自的硬件產(chǎn)品和 LLM 技術(shù)棧中應(yīng)用 Jeddak PCC 平臺能力,硬件廠商能將保護(hù)用戶個人數(shù)據(jù)隱私的承諾,從設(shè)備端延伸到云端。

新時代的 LLM 要大,也要安全

近期,火山引擎對外公布了基于 Jeddak PCC,面向私有云 AI 安全推理/私密計算的合作案例,合作伙伴包括聯(lián)想和努比亞等設(shè)備品牌。這也讓 Jeddak PCC 成為了國內(nèi)首個針對個人電腦和智能手機(jī)市場布局的私密云計算解決方案。

背景不難理解:日常生活中,每天有大量用戶和企業(yè)在PC 和智能手機(jī)等主流設(shè)備上與 LLM 進(jìn)行互動。聯(lián)想用戶在 PC 上進(jìn)行文本生成、潤色、提煉摘要、深度思考等文本類工作,努比亞用戶在手機(jī)上使用多模態(tài)豆包大模型、扣子空間 Agent(智能體)等產(chǎn)品。

不是所有的 AI 任務(wù)都能夠在本地完成。一些需要深度思考、知識庫建立、以及 Agent 能力的任務(wù),本地模型尺寸太小或算力不夠,需要使用云端的 LLM。

問題在于,用戶與 LLM 和 Agent 互動,可能涉及機(jī)密數(shù)據(jù)或個人的隱私信息。這就遇到了敏感數(shù)據(jù)上云的困境了。云端的模型大歸大,但服務(wù)提供方無法保證安全。當(dāng)用戶處在高敏感、高密級的工作環(huán)境中,是不能輕易將資料隨便上傳給 LLM 的。

PC 和手機(jī)廠商對于 AI 產(chǎn)品和服務(wù)的架構(gòu),需要針對隱私計算的需求進(jìn)行重構(gòu)。它們希望構(gòu)建一個端到端全流程,且能夠自證清白的私密云計算平臺,用來解決端云協(xié)同計算下的 LLM 數(shù)據(jù)安全隱私問題。

少有其它解決方案,比 Jeddak PCC 更適合解決這個問題??聪旅孢@個典型案例就行了:

假設(shè)一個企業(yè)科研人員,寫了一篇論文準(zhǔn)備投稿到頂級期刊,但需要使用 LLM 工具對論文進(jìn)行潤色優(yōu)化,需要使用外部公司提供的 LLM 工具,同時要求數(shù)據(jù)全程加密——這是一個典型的檢索增強(qiáng)生成(RAG) 任務(wù)。

  1. 密鑰:用戶托管一個密鑰(BYOK - Bring Your Own Key),PCC 在 LLM 任務(wù)的全流程期間使用該密鑰進(jìn)行加/解密。密鑰保存在用戶設(shè)備上 + 云端的安全隔區(qū)(TEE 可信執(zhí)行環(huán)境)模塊內(nèi)。
  2. 知識庫創(chuàng)建:用戶上傳文檔時,PCC提供端云互信的加密通信能力,將用戶文檔從端側(cè)設(shè)備安全地傳輸?shù)桨踩魠^(qū)內(nèi);知識庫服務(wù)對文檔解密、切片,生成明文向量和片段;加密服務(wù)將其變成密文向量和密文切片,存儲在向量數(shù)據(jù)庫 (VikingDB) 內(nèi)——密態(tài)知識庫創(chuàng)建完成。
  3. 知識庫檢索召回:用戶對 LLM 輸入提示;提示詞通過端云互信加密通信傳輸至安全隔區(qū),在安全隔區(qū)內(nèi)生成并加密明文向量;使用密文向量在數(shù)據(jù)庫檢索,召回密文切片;在安全隔區(qū)內(nèi)解密切片后,進(jìn)行 rerank 等處理。
  4. 推理階段:拼接生成的明文檢索結(jié)果+用戶的提示詞,給到大模型(也在安全隔區(qū)內(nèi))進(jìn)行推理,生成明文的推理結(jié)果——推理完成。
  5. 回傳階段:PCC 對生成結(jié)果加密,生成密文結(jié)果,傳回用戶設(shè)備上;端側(cè) TEE 的解密服務(wù)對結(jié)果進(jìn)行解密,向用戶呈現(xiàn)明文結(jié)果。

打開網(wǎng)易新聞 查看精彩圖片

這也正是聯(lián)想使用 Jeddak PCC 正在做的事情。5 月 7 日,聯(lián)想正式發(fā)布了面向個人和企業(yè)用戶的超級智能體產(chǎn)品,而火山引擎的私密云計算解決方案成為了這一 Agent 解決方案的基石。

在 RAG 類型工作中,Jeddak PCC 將用戶的各類文檔進(jìn)行向量化處理,將硬件芯片級加密安全能力延伸至云端,通過機(jī)密計算和密碼學(xué)等隱私計算手段,實現(xiàn)全流程加密——讓用戶在構(gòu)建私人/企業(yè)級知識庫的時候,無需擔(dān)心數(shù)據(jù)泄密。

聯(lián)想同期發(fā)布的多款 PC 設(shè)備,包括消費(fèi)級和商用市場 SKU,均支持 Jeddak PCC 技術(shù)。

打開網(wǎng)易新聞 查看精彩圖片

從整個流程可以看到:

  • 所有涉及到數(shù)據(jù)流轉(zhuǎn)的過程,全部受到用戶粒度密鑰的加密保護(hù);
  • 云端只存儲密文向量,不存儲明文的文本和向量;
  • 只有 LLM 推理使用明文,且推理過程在安全隔區(qū)內(nèi)進(jìn)行;
  • LLM 運(yùn)營商和云計算服務(wù)提供商全程不掌握用戶密鑰,無法看到明文,實現(xiàn)了全程保密。

那么問題也來了:全程加密的方式,對推理效率和用戶側(cè)體驗是否有影響?

實際上沒有可觀影響。APPSO 從火山引擎了解到,雖然加密的過程復(fù)雜,但從用時的角度,用戶不會有明顯感知,速度相比明文方式只會慢 5% 或更低。

而從推理結(jié)果上,由于采用了高性能的密碼學(xué)方法,加解密過程的信息很難出現(xiàn)信息損失。LLM 的推理工作在安全隔區(qū)進(jìn)行,沒有數(shù)據(jù)泄密的風(fēng)險。最后的推理結(jié)果無限接近于無損,并且 LLM 仍然保持流式輸出的工作方式,讓用戶可以看到 token 不斷生成。

架構(gòu)開放,業(yè)務(wù)廣泛,Jeddak PCC 已為「Agent 元年」準(zhǔn)備好

隱私計算 (privacy/confidential computing) 第一次在大眾面前被提起,還是在 2013 年。自從當(dāng)年的 iPhone 5s,蘋果開始在 A 系列處理器內(nèi)封裝一顆單獨的隱私計算小模塊,名叫安全隔區(qū) (secure enclave),用于生物驗證、支付等操作。應(yīng)用、處理器,乃至整個操作系統(tǒng),都無法看到這些私密數(shù)據(jù)對應(yīng)的明文。

時代更替技術(shù)升級,現(xiàn)在每個人都在努力追上 AI 的潮流,享受 LLM、Agent 等技術(shù)帶來的便利和創(chuàng)新體驗。然而隱私計算很長時間以來并沒有跟上 AI 普及化的腳步——直到 Jeddak PCC 的問世。

私密云計算的概念,是隱私計算在云時代和 AI 時代的延伸擴(kuò)展。而 Jeddak PCC 其實就是在用同樣的技術(shù),把概念擴(kuò)展到 AI 云計算的場景下,將存儲在用戶端側(cè)的私密數(shù)據(jù),放在一個更大的區(qū)域內(nèi)做安全的存儲、托管和計算。

就像蘋果安全隔區(qū)讓用戶首次接觸到隱私計算,Jeddak PCC 也是私密云計算的能力第一次交到企業(yè)開發(fā)者、設(shè)備廠商,以及它們的終端用戶的手上。而且從架構(gòu)開放性、支持業(yè)務(wù)種類、軟硬融合等多個方面來看,Jeddak PCC 和蘋果 PCC 相比也已經(jīng)展現(xiàn)出明顯的優(yōu)勢。

據(jù) APPSO 的了解,Jeddak PCC 采用開放架構(gòu),支持 CPU、GPU 以及異構(gòu)計算,支持英偉達(dá) Hopper、英特爾 TDX、AMD SEV 等機(jī)密算力平臺,滿足客戶的公有/私有云等多種或融合的部署需求。

這讓 Jeddak PCC 和蘋果 PCC 的封閉架構(gòu)和完全依賴獨家軟硬件實現(xiàn)的做法,形成了明顯差別。畢竟蘋果 PCC 只是為了實現(xiàn)其原生內(nèi)部應(yīng)用 (Apple Intelligence) 而推出,而 Jeddak PCC 是火山引擎自研的私密云計算能力輸出并普及給整個科技行業(yè)。

蘋果宣稱其 PCC 系統(tǒng)采用封閉架構(gòu)的一大原因在于確保安全閉環(huán)。但其實隨著技術(shù)和觀念的進(jìn)步,安全行業(yè)目前更普遍認(rèn)為,封閉系統(tǒng)無法減緩「漏洞-入侵-補(bǔ)丁」的亡羊補(bǔ)牢式循環(huán);安全軟件在開放的架構(gòu)和協(xié)作的模式中開發(fā),可以確保所有的利益相關(guān)者能夠及時發(fā)現(xiàn)漏洞、補(bǔ)強(qiáng)安全。

這也是為什么 Jeddak PCC 方案的開放架構(gòu),可能更容易被行業(yè)普遍接受,能夠大大加速行業(yè)整體安全水位的提升。

  • 火山引擎積累了大量數(shù)據(jù)庫、密碼學(xué)等方面的人才,這些領(lǐng)域都和私密云計算高度相關(guān)。強(qiáng)大的人才儲備、安全科研能力,加上一線云服務(wù)商的安全政策,可以確保隱患及時發(fā)現(xiàn)。
  • Jeddak 項目組目前在安全方面專利累計達(dá)到 130 件,2024 年新增 62 件,涉及密碼學(xué)、隱私計算、系統(tǒng)安全等專業(yè),覆蓋AI、LLM 安全、可信執(zhí)行環(huán)境等技術(shù)方向。
  • 除了火山引擎的工作外,開放架構(gòu)也意味著 Jeddak PCC 的能力和安全性提升也依賴聯(lián)合端側(cè)廠商客戶共同建設(shè)。

在支持的 AI 業(yè)務(wù)類型上,Apple PCC 目前存在唯二目的: 1)服務(wù) Apple Intelligence 產(chǎn)品的用戶端體驗;2)蘋果自己的后端訓(xùn)練,以及公司內(nèi)部的員工任務(wù)。具體能力目前也僅僅涉及推理層面,沒有看到對其它 LLM 主流業(yè)務(wù)類型的支持。

而 Jeddak PCC 已經(jīng)支持可信 AI 推理和安全 RAG——這兩者已經(jīng)通過前一小節(jié)的案例體現(xiàn)。這背后其實是火山引擎隱私計算團(tuán)隊將多年以來在機(jī)密計算、同態(tài)加密上的技術(shù)外放給云服務(wù)客戶,幫助它們更好在 LLM 安全合規(guī)的前提下,實現(xiàn)應(yīng)用拓展和降本增效。

至于 Jeddak PCC 對 Agent 的支持,更是火山引擎正在加緊研發(fā)和測試的業(yè)務(wù)項目。

業(yè)界普遍認(rèn)為 2025 年是「Agent 元年」,從娛樂休閑到專業(yè)任務(wù),各種類型、具備各種能力的的 Agent 層出不窮;火山引擎背后的字節(jié)跳動本身也通過豆包、扣子空間等產(chǎn)品深度布局了 Agent 市場。顯然 Agent 成為了當(dāng)下場景可能性最豐富、生命力最強(qiáng)的 AI 產(chǎn)品類別。

火山引擎在6月即將上線基于 Jeddak PCC 的可信版 Agent——OS Agent,讓用戶通過自然語言指令,即可完成點外賣、訂機(jī)票等復(fù)雜操作,并且任務(wù)全過程貫徹 Jeddak PCC 的私密云計算邏輯。隨著 Agent 技術(shù)的不斷進(jìn)步、市場活躍度提升,Jeddak PCC 也已經(jīng)為 Agent 的徹底爆發(fā)做好了準(zhǔn)備。

用戶可感知的 AI 安全

無論是觸摸屏幕還是輸入內(nèi)容,用戶與應(yīng)用產(chǎn)品的每一次互動都會留下痕跡。而在今天的互聯(lián)網(wǎng)服務(wù)用戶權(quán)利結(jié)構(gòu)下,一個尷尬的事實是,用戶并不真正「擁有」自己的數(shù)據(jù)。

在 AI 的時代,這個邏輯同樣延續(xù)。僅就目前的 LLM 產(chǎn)品形態(tài)來看,用戶的隱私控制權(quán)同樣極其有限,服務(wù)商的隱私政策還未跟上節(jié)奏。用戶往往在未意識到這一點的前提下,向 LLM 產(chǎn)品發(fā)送更多隱私和機(jī)密的數(shù)據(jù)。

火山引擎認(rèn)為,在這樣的背景下,LLM 開發(fā)者和云計算平臺更需要多做一些努力,幫助國民提高 AI 時代的數(shù)據(jù)隱私和安全意識。

在 AI 完全起飛,LLM 植入每一個產(chǎn)品的前中后端的新時代,私密云計算技術(shù)對于用戶的重要性與日俱增。與此同時,這一技術(shù)的好處,也應(yīng)該讓用戶感知到,給他們可見的獲得感。

想象一下,在不遠(yuǎn)的將來,手機(jī)的系統(tǒng)設(shè)置-隱私功能里面,會新增一個「AI」模塊:

比如,你可以看到自己今天和 AI 進(jìn)行了 100 次互動,其中有 80 次在本地,20 次發(fā)送到云端執(zhí)行。

不僅如此,你還可以查看每次互動的具體明細(xì),例如時間、輸入的提示內(nèi)容、本地或云端處理。這些細(xì)節(jié)需要你用指紋、人臉,或者至少輸入密碼才能查看,因為它們受到手機(jī)芯片的安全隔區(qū)的保護(hù)——本地隔區(qū)同樣受到 Jeddak PCC 體系的保護(hù)。

更進(jìn)一步,或許你還可以看到那些上云的互動次數(shù),數(shù)據(jù)在云端被如何加密,用后是否已刪除——能夠「自證清白」對于一個健全的 PCC 平臺來說,是最基本的要求之一。

打開網(wǎng)易新聞 查看精彩圖片

好的設(shè)計,潤物細(xì)無聲。但對于數(shù)據(jù)隱私安全這種焦點議題,或許讓用戶能夠?qū)嶋H感知到,體驗流暢的同時也用得放心,才是真理。

2025 上半年,國內(nèi)各主流 Android 廠商都在加碼 LLM、Agent 相關(guān)的功能,創(chuàng)新層出不窮。但與此同時,個人數(shù)據(jù)隱私的泄露風(fēng)險在 AI 時代也進(jìn)一步提高。對于私密云計算技術(shù)的需求,也與日俱增。

火山引擎希望 Jeddak PCC 的推出能夠滿足這些設(shè)備廠商和 LLM 開發(fā)者的需求,成為 AI 時代全民提升隱私保護(hù)和增強(qiáng)安全意識的一個里程碑。