出品 | 網(wǎng)易科技《態(tài)度》欄目
作者 | 袁寧
編輯 | 丁廣勝
“AI智能體正在將傳統(tǒng)AI的安全風(fēng)險(xiǎn)，系統(tǒng)性地放大?！?/b>Gartner高級(jí)研究總監(jiān)趙宇告訴網(wǎng)易科技。
AI智能體正快速進(jìn)入落地階段。AI智能體的興起被視作生成式AI走向?qū)嵱没闹匾獦?biāo)志。它不僅理解指令，更能自主判斷、調(diào)動(dòng)工具、協(xié)同任務(wù)，AI智能體似乎預(yù)示著一個(gè)“智能系統(tǒng)自治”的新時(shí)代。
然而，風(fēng)險(xiǎn)也隨之升級(jí)——從幻覺(jué)、指令注入到物理世界失控，智能體系統(tǒng)也成為多類安全風(fēng)險(xiǎn)的放大器。
趙宇指出，大量用戶對(duì)智能體潛在的安全風(fēng)險(xiǎn)認(rèn)知不足，在產(chǎn)品設(shè)計(jì)與部署過(guò)程中常常低估其可能帶來(lái)的系統(tǒng)性負(fù)面效應(yīng)，從而缺乏必要的防護(hù)機(jī)制。
同時(shí)，不同用戶群體對(duì)于安全問(wèn)題的重視程度存在顯著差異——高敏感行業(yè)如金融、醫(yī)療在初期就具備一定防范意識(shí)，而面向C端的消費(fèi)級(jí)應(yīng)用往往容易忽視底層風(fēng)險(xiǎn)。
更為關(guān)鍵的是，當(dāng)前智能體相關(guān)的安全法規(guī)與標(biāo)準(zhǔn)體系尚未健全。用戶在實(shí)際使用過(guò)程中難以獲得明確的合規(guī)指引，進(jìn)一步加劇了風(fēng)險(xiǎn)管理的復(fù)雜性與不確定性。
01風(fēng)險(xiǎn)放大：從“輸出錯(cuò)誤”變成“動(dòng)作風(fēng)險(xiǎn)”
AI智能體并非傳統(tǒng)AI的延續(xù)，而是疊加決策邏輯與動(dòng)作執(zhí)行鏈的新系統(tǒng)?！皞鹘y(tǒng)AI的風(fēng)險(xiǎn)依然存在，但在這個(gè)場(chǎng)景下會(huì)被放大化?！壁w宇表示。
首先是幻覺(jué)問(wèn)題。生成式AI的“編造”特性早已被業(yè)內(nèi)熟知，但在智能體中，其危害被顯著放大。
由于AI智能體需要長(zhǎng)時(shí)間運(yùn)行，并依據(jù)動(dòng)態(tài)上下文做出推理，其幻覺(jué)往往不是文字輸出錯(cuò)誤，而是直接引發(fā)錯(cuò)誤行為——例如在自動(dòng)駕駛場(chǎng)景中，若智能體誤識(shí)別交通標(biāo)志，便可能導(dǎo)致物理事故。
其次是指令層的攻擊風(fēng)險(xiǎn)升級(jí)。傳統(tǒng)的“提示注入”攻擊（Prompt Injection）在智能體場(chǎng)景中，演變?yōu)楦卟僮餍缘摹靶袨椴倏亍薄?/p>
例如在MCP（Multi-Component Prompt）架構(gòu)下，第三方工具作為系統(tǒng)信任組件被接入，攻擊者可通過(guò)篡改工具描述實(shí)現(xiàn)“Rug Pull”——用惡意工具替換原組件，但保留可信標(biāo)簽，使得攻擊隱蔽且高效。
同時(shí)，還有一個(gè)更隱蔽的風(fēng)險(xiǎn)：第四方提示注入。攻擊路徑并非直接指向智能體，而是通過(guò)間接信任鏈進(jìn)行跳躍式入侵，極大地增加了溯源難度。
此外，數(shù)據(jù)泄漏在AI智能體環(huán)境下，表現(xiàn)出更具“誘導(dǎo)性”的特征。
一方面，攻擊者可以通過(guò)構(gòu)造惡意工具引導(dǎo)智能體訪問(wèn)敏感文件，并將數(shù)據(jù)作為參數(shù)外發(fā)。另一方面，數(shù)據(jù)泄漏可能在用戶無(wú)意識(shí)中發(fā)生。例如在寫作輔助工具中，智能體從用戶文件中抓取隱私內(nèi)容自動(dòng)生成文本并公開發(fā)布。
02自主決策：無(wú)法預(yù)測(cè)的行為，是無(wú)法防控的風(fēng)險(xiǎn)
與傳統(tǒng)AI不同，AI智能體具備一定的自主性與連續(xù)性，它不再僅僅是“輔助”，而是在執(zhí)行中具備目標(biāo)管理和任務(wù)分解能力。
這種“去人化”帶來(lái)的是全新的風(fēng)險(xiǎn)類型：
· 行為目標(biāo)可能發(fā)生偏離
· 行為模式隨時(shí)間演化而動(dòng)態(tài)變化
· 風(fēng)險(xiǎn)不可復(fù)現(xiàn)、難以建模
這直接挑戰(zhàn)了企業(yè)當(dāng)前的安全管理方法?！拔覀円郧敖踩€，一旦行為偏離就觸發(fā)告警。但如果智能體的行為一直在變，還怎么設(shè)定基線？”趙宇告訴網(wǎng)易科技。
AI智能體根據(jù)反饋?zhàn)晕已莼男袨槟Ｊ?，也讓今天的“正?！笨赡茉诿魈炀筒辉龠m用。這讓“異常檢測(cè)”變得低效，甚至失效。
03多智能體協(xié)作：信任鏈條正在“失控化”
從研發(fā)趨勢(shì)看，AI智能體未來(lái)將以多體協(xié)同模式運(yùn)行。一個(gè)看似簡(jiǎn)單的操作，可能涉及多個(gè)智能體之間的任務(wù)拆解與協(xié)調(diào)。
這種設(shè)計(jì)確實(shí)提高了任務(wù)效率，但也放大了權(quán)限管理的挑戰(zhàn)。而隨著多智能體系統(tǒng)被用于復(fù)雜任務(wù)場(chǎng)景，權(quán)限鏈條也變得愈發(fā)復(fù)雜。
這意味著，每新增一個(gè)智能體或工具，都是新增一個(gè)被利用的入口。
“一個(gè)智能體調(diào)用另一個(gè)智能體，甚至跨平臺(tái)調(diào)用工具API。如果這個(gè)鏈條中的某一環(huán)出問(wèn)題，就可能形成整個(gè)系統(tǒng)的權(quán)限控制級(jí)聯(lián)崩塌?！壁w宇表示。
04物理交互風(fēng)險(xiǎn)：最容易被忽略，但也可能最致命
AI智能體的應(yīng)用正逐步從軟件層面延伸到物理空間，例如自動(dòng)駕駛、倉(cāng)儲(chǔ)機(jī)器人、酒店導(dǎo)覽等。這些場(chǎng)景中，AI智能體不僅處理信息，還會(huì)直接控制物理設(shè)備，一旦被攻擊或誤導(dǎo)，后果可能是“實(shí)實(shí)在在的災(zāi)難”。
“這個(gè)領(lǐng)域目前實(shí)際的網(wǎng)絡(luò)安全事件不多，但我覺(jué)得反而是最危險(xiǎn)的?！壁w宇表示，這一風(fēng)險(xiǎn)主要來(lái)自三類場(chǎng)景：
一是環(huán)境攻擊。攻擊者通過(guò)“偽造現(xiàn)實(shí)”來(lái)欺騙傳感器系統(tǒng)。例如偽造交通標(biāo)志，干擾自動(dòng)駕駛決策；或用聲波指令劫持語(yǔ)音助手，發(fā)出惡意命令?！坝绕涫怯幸獾?，那它一定就是一個(gè)安全攻擊?！?/p>
二是惡意指令。攻擊者通過(guò)黑入系統(tǒng)修改物理信號(hào)。例如在工控系統(tǒng)中修改溫度讀數(shù)，讓設(shè)備錯(cuò)誤執(zhí)行，甚至爆炸或失控。“它對(duì)應(yīng)的是物理層面的提示注入?！?/p>
三是隱私侵犯。如酒店服務(wù)機(jī)器人與客戶對(duì)話過(guò)程中，自動(dòng)聯(lián)動(dòng)門鎖、燈控系統(tǒng)。若無(wú)有效權(quán)限隔離與數(shù)據(jù)使用規(guī)范，極易導(dǎo)致用戶隱私外泄。
“智能體不是一個(gè)產(chǎn)品，是一個(gè)體系?！壁w宇提醒，無(wú)論是智能體廠商還是使用方企業(yè)，都應(yīng)從設(shè)計(jì)階段介入安全架構(gòu)建設(shè)，而這也意味著我們必須以“新范式”思維重新理解AI系統(tǒng)的邊界與風(fēng)險(xiǎn)。
熱門跟貼