Uber打造AI代理全生命週期治理框架 三層防線防堵脫軌風險
面對自主人工智慧(AI)代理人可能脫軌的風險,叫車與外送平台巨頭 Uber 的工程團隊開發了一套涵蓋 AI 代理全生命週期的治理架構。這套系統旨在確保 AI 的執行動作嚴格符合使用者需求、預期目的、權限範圍以及當下的互動脈絡,為大型企業在部署自主代理技術時提供資安與合規解方。
根據外媒報導,Uber 該架構主要防範六大常見的安全隱患,包括外部惡意輸入誘導偏離指令的「提示詞注入」(Prompt Injection)、工具遭受竄改並回傳惡意指令的「工具投毒」、儲存上下文夾帶不良指令的「記憶投毒」、代理轉向追求非預期目標的「目標劫持」,以及隨著時間推移未經核可擅自改變行為的「行為漂移」,甚至包含模型自行捏造事實並據此採取行動的「幻覺引發動作」。
為了徹底管理這些風險,Uber 的治理體系橫跨三大核心層級:配置層、執行期強制執行層,以及持續保證層。在最初的配置階段,工程師透過內部「Uber AI Registry」登記代理人的身分、歸屬權與風險等級,並結合安全工具 Argus 分析程式碼、提示詞與工具調用路徑,及早找出潛在的安全漏洞。
當代理進入運作階段,架構則仰賴執行期的行為授權機制。系統整合了 AI Guards 與 Agent Guard 的執行時期掛鉤(runtime hooks,即在程式執行流程的關鍵檢查點插入攔截邏輯以驗證行為),動態評估代理動作是否合規,阻斷越權或惡意操作。最後,在持續保證層中,Uber 利用統一的執行追蹤與互動重放功能,定期稽核代理行為,並以過往流量測試新策略的安全性。
Uber 工程團隊指出,這套系統已從過去的通用型管制,轉向依據個別代理人量身打造專屬政策,大幅提升管制的精準度與情境適應力。包含聯合國資深資訊技術官員 Tristan G. 與 AI 架構師 Pratik Dhanave 等外部專家也分析認為,為個別代理人設定明確的角色限制、意圖與邊界,是當前控制自主 AI 系統最具效益的防禦手段。
Uber 如何確保 AI 代理的行為符合預期並防範風險?
Uber 開發了一套涵蓋 AI 代理全生命週期的治理架構,旨在確保 AI 的執行動作嚴格符合使用者需求、預期目的、權限範圍及當下脈絡,為企業部署自主代理技術提供資安與合規解方。該架構防範六大安全隱患,包括提示詞注入、工具投毒、記憶投毒、目標劫持、行為漂移及幻覺引發動作。治理體系包含配置層、執行期強制執行層與持續保證層,透過 Uber AI Registry、Argus 工具、AI Guards 與 Agent Guard 的 runtime hooks,以及執行追蹤與互動重放功能,來管理風險並提升管制精準度。
Uber 的 AI 治理架構包含哪些核心層級?
Uber 的 AI 治理體系橫跨三大核心層級:配置層、執行期強制執行層,以及持續保證層。配置層負責登記代理人資訊並分析潛在漏洞;執行期強制執行層透過行為授權機制動態評估代理動作的合規性;持續保證層則透過稽核與流量測試來確保代理行為的安全性。
Uber 的 AI 治理架構主要防範哪些安全隱患?
該架構主要防範六大常見的安全隱患,包括外部惡意輸入誘導偏離指令的「提示詞注入」、工具遭受竄改並回傳惡意指令的「工具投毒」、儲存上下文夾帶不良指令的「記憶投毒」、代理轉向追求非預期目標的「目標劫持」,以及隨著時間推移未經核可擅自改變行為的「行為漂移」,甚至包含模型自行捏造事實並據此採取行動的「幻覺引發動作」。