本文來自微信公眾號： IT時報 ，作者：林斐，原文標(biāo)題：《為了考100分 AI決定自己“越獄”》
8月26日，OpenAI Agent自主攻擊Hugging Face的安全事件，終于有了結(jié)論。
Hugging Face是一家機(jī)器學(xué)習(xí)（ML）和數(shù)據(jù)科學(xué)平臺及社區(qū)。今年7月，OpenAI在一次內(nèi)部網(wǎng)絡(luò)安全評估測試中發(fā)現(xiàn)，原本運(yùn)行于隔離環(huán)境中的AI Agent，在無法完成部分測試任務(wù)后，開始探索測試環(huán)境中的其他資源，并通過未經(jīng)授權(quán)的渠道相互通信，最終對Hugging Face部分系統(tǒng)產(chǎn)生了未經(jīng)授權(quán)的訪問。
OpenAI隨后委托METR與Redwood Research兩家人工智能安全非營利組織開展復(fù)盤調(diào)查。結(jié)果顯示，此次事件發(fā)生于OpenAI內(nèi)部網(wǎng)絡(luò)安全評估項(xiàng)目ExploitGym，約1200個Agent參與了相關(guān)通信，其中約700個進(jìn)一步卷入了針對Hugging Face相關(guān)系統(tǒng)的行動。
《IT時報》記者持續(xù)關(guān)注該事件，在被訪的多位安全專家看來，當(dāng)AI從“回答問題”進(jìn)一步走向“調(diào)用工具、訪問資源、持續(xù)執(zhí)行任務(wù)”后，傳統(tǒng)圍繞賬號、權(quán)限和網(wǎng)絡(luò)隔離建立的安全體系，正在面臨新的挑戰(zhàn)。
8月27日，OpenAI聯(lián)合Anthropic、Microsoft等超過100家公司，發(fā)表了一封公開信，呼吁全社會進(jìn)行“網(wǎng)絡(luò)防御總動員”，信中寫道，AI驅(qū)動的網(wǎng)絡(luò)攻擊將在未來幾個月變得“far more widespread and sophisticated”（更加廣泛和復(fù)雜）。
Agent自己找到了“出口”
按照OpenAI的測試設(shè)計(jì)，相關(guān)模型運(yùn)行在隔離虛擬機(jī)環(huán)境中，不能直接訪問互聯(lián)網(wǎng)。但為了完成網(wǎng)絡(luò)安全測試任務(wù)，Agent仍可以調(diào)用部分內(nèi)部軟件服務(wù)，例如用于軟件包管理的服務(wù)。
問題便出在這些原本用于支撐測試運(yùn)行的基礎(chǔ)設(shè)施上。
根據(jù)METR與Redwood Research的調(diào)查，測試期間，一個無法完成任務(wù)的Agent在內(nèi)部軟件服務(wù)的目錄名稱中編碼了一條求助信息。隨后，其他Agent發(fā)現(xiàn)這一信息，并開始通過該渠道交換消息，后續(xù)累計(jì)有超千個原本應(yīng)當(dāng)彼此隔離的Agent通過該渠道交換了超過7萬條消息和文件。
這些內(nèi)部服務(wù)原本只是測試環(huán)境中的輔助工具，但在Agent探索過程中，被賦予了新的用途。天翼安全科技有限公司高級安全研究員王鴻（化名）向《IT時報》記者解釋，“測試人員以為設(shè)置‘不能上網(wǎng)’就形成有效隔離，但部分Agent利用環(huán)境中已有的共享基礎(chǔ)設(shè)施，找到了連接外部資源的通道。”
上海電信網(wǎng)信安專家陶皆宇將這一問題歸結(jié)為傳統(tǒng)隔離機(jī)制中的盲區(qū)：系統(tǒng)安全性不僅取決于是否具備聯(lián)網(wǎng)權(quán)限，也取決于內(nèi)部組件是否可能被重新利用。
每日互動安全專家胡洪旻則用了一個更直觀的比喻：“就像微信群被禁言了，但群員還可以通過紅包備注交流?！?/p>
調(diào)查顯示，后續(xù)行動中，這些Agent利用測試環(huán)境中可獲得的憑證信息以及漏洞相關(guān)信息，嘗試訪問Hugging Face部分系統(tǒng)。據(jù)Hugging Face事后披露，實(shí)際受到訪問的數(shù)據(jù)主要涉及與ExploitGym相關(guān)的5個數(shù)據(jù)集。
Agent集群形成協(xié)同風(fēng)險
模型繞過限制、獎勵投機(jī)、漏洞利用以及多Agent協(xié)作，并非完全未知的問題。王鴻認(rèn)為，此次事件中，不同Agent能力組合后可能會產(chǎn)生新的風(fēng)險放大效應(yīng)。
在這次測試過程中，不同Agent之間逐漸形成類似分工的協(xié)作模式：有的負(fù)責(zé)尋找漏洞，有的負(fù)責(zé)搜集憑證，有的負(fù)責(zé)協(xié)調(diào)任務(wù)。其中，一個名為PHASEONE的Agent承擔(dān)了類似協(xié)調(diào)者的角色，先后向其他Agent分配了196項(xiàng)任務(wù)，涉及6個不同工作流。
這種協(xié)作方式已經(jīng)超出了簡單的信息交換，多個Agent開始圍繞共同目標(biāo)分配任務(wù)、推進(jìn)執(zhí)行。陶皆宇介紹，當(dāng)前Agent已經(jīng)具備編程、漏洞發(fā)現(xiàn)、環(huán)境探索、長時間執(zhí)行和相互協(xié)作等能力。當(dāng)大量Agent并行運(yùn)行，并擁有較長執(zhí)行時間后，一些過去概率較低的行為會被反復(fù)嘗試。
圖源：METR紅木研究
這次事件發(fā)生于OpenAI內(nèi)部網(wǎng)絡(luò)安全評估項(xiàng)目ExploitGym，該項(xiàng)目用于評估模型發(fā)現(xiàn)和利用軟件漏洞的能力，但部分任務(wù)難度極高。據(jù)OpenAI披露，在此次安全測試中設(shè)置的898項(xiàng)任務(wù)中，有198項(xiàng)此前沒有任何OpenAI測試模型能夠正確完成。
為了“考100分”，部分Agent沒有按照預(yù)設(shè)流程停止嘗試，而是繼續(xù)尋找新的解決路徑。胡洪旻解釋，Agent并不是按照人類理解的方式主動選擇攻擊對象，而是判斷哪些資源可能幫助完成當(dāng)前任務(wù)。
安全體系需重新設(shè)計(jì)
AI Agent正在進(jìn)入企業(yè)生產(chǎn)環(huán)境，這意味著企業(yè)需要管理的對象正在發(fā)生變化。
過去，企業(yè)主要管理員工賬號、應(yīng)用系統(tǒng)和服務(wù)器權(quán)限。未來，大量能夠自主調(diào)用工具、訪問數(shù)據(jù)并持續(xù)執(zhí)行任務(wù)的Agent，也需要被納入企業(yè)的安全管理體系。
第一步仍然是確認(rèn)Agent身份。
王鴻向記者提到，每個Agent連接了哪些工具、擁有怎樣的權(quán)限、能夠訪問哪些數(shù)據(jù)，都應(yīng)該形成清晰的記錄，并且可追溯責(zé)任主體。
但在多Agent協(xié)作環(huán)境中，僅知道“它是誰”還不夠?！斑€需要回答另一個問題：它是否有權(quán)代表其他Agent發(fā)出這個請求？”陶皆宇說。
在陶皆宇看來，未來企業(yè)需要建立Agent之間的授權(quán)鏈，當(dāng)一個Agent向另一個Agent委托任務(wù)時，需要攜帶明確授權(quán)信息，包括最初由誰授權(quán)、允許執(zhí)行哪些操作、能夠訪問哪些資源，以及授權(quán)是否具備時間限制。但如果任務(wù)繼續(xù)向下傳遞，權(quán)限范圍不應(yīng)隨著任務(wù)鏈條自動擴(kuò)大。
除了身份和授權(quán)，如何及時發(fā)現(xiàn)Agent異常行為，也是企業(yè)部署AIAgent時需要考慮的問題。對此次事件復(fù)盤后OpenAI認(rèn)為，如果當(dāng)時部署思維鏈監(jiān)控，部分異常行為至少在HuggingFace相關(guān)系統(tǒng)被訪問前一天可能被發(fā)現(xiàn)。
這也意味著，企業(yè)在建設(shè)Agent安全體系時，需要關(guān)注的不只是Agent能夠調(diào)用哪些工具，還需要了解其執(zhí)行過程和判斷依據(jù)。
這類風(fēng)險并非OpenAI一家獨(dú)有。7月30日，Anthropic也披露了相關(guān)安全測試案例，顯示其模型在特定條件下可能獲得超出預(yù)期的訪問能力。
胡洪旻提醒，企業(yè)推進(jìn)Agent安全建設(shè)時，還需要平衡安全控制與業(yè)務(wù)效率。如果權(quán)限控制過嚴(yán)，可能影響Agent實(shí)際價值；但如果開放過多能力，一旦模型判斷出現(xiàn)偏差，風(fēng)險也會隨之?dāng)U大。
最終，準(zhǔn)備擁抱AI的企業(yè)其實(shí)都需要回答三個關(guān)于Agent的基礎(chǔ)問題：它的身份是什么，它憑借什么權(quán)限執(zhí)行操作，以及當(dāng)它出現(xiàn)異常后你能不能及時“掀桌子”。