企業AI代理工具應用存風險 數據治理與即時監管成挑戰
企業部署代理式AI工具面臨哪些主要風險與挑戰?
企業在部署代理式AI工具時,面臨數據治理與即時監管的顯著落差,恐帶來潛在資安風險。儘管多數組織已制定AI工具數據存取政策,但僅約半數能即時執行,且僅有不到兩成組織能即時偵測AI工具是否超出範圍存取數據。此外,高達87%的IT與資安主管曾懷疑AI工具存取超出任務範圍的敏感資訊,更有76%的員工曾繞過審批程序將企業數據與AI工具結合使用,其中高階主管繞過審批的比例更高達81%。
根據Delinea和SailPoint近期發布的兩份產業報告指出,儘管企業對人工智慧(AI)的應用日漸普及,尤其是在代理式AI工具(Agentic AI Tools)的部署上,但在數據治理與即時監管方面卻存在顯著落差,這恐為企業帶來潛在資安風險。
所謂代理式AI工具,簡單來說,是一種能自主判斷並執行任務的AI系統,例如自動處理客戶查詢或進行資料分析。Delinea在2026年秋季發布的「AI執行落差」報告,綜合美國、英國、德國、澳洲、新加坡、阿拉伯聯合大公國、法國及印度的2,254位資訊科技(IT)與資安主管,以及2,250位非IT員工的調查結果顯示,高達99.7%的受訪組織雖然已制定AI工具數據存取政策,但僅有約51%的組織能即時執行這些政策。更令人擔憂的是,只有19%的組織能即時偵測到代理式AI工具是否超出原定範圍存取數據。
Delinea執行長Art Gilliland點出核心問題:「大多數組織無法明確回答三個關鍵問題:環境中運行的AI代理工具有哪些?它們能存取什麼?以及它們實際上做了什麼?」他進一步指出,一個AI代理工具在初期可能擁有合法存取權限,但運行中卻可能偏離預設軌道,存取不應觸及的資訊。過去一年內,高達87%的IT與資安主管曾遇到或懷疑AI工具存取了超出任務範圍的敏感資訊。
此外,員工行為也加劇了風險。調查發現,有76%的員工曾繞過正式審批程序,將企業數據、應用程式或系統與AI工具結合使用,其中48%的員工更表示總是或經常這麼做。值得注意的是,高階主管(C-level)定期繞過AI存取審批的比例高達81%,遠高於中階員工的33%。
SailPoint Technologies的報告也指出,全球79%的組織已將AI代理工具投入實際營運,但僅有2%的組織使用專為管理與治理AI代理工具設計的資安工具。約有85%的組織仍依賴傳統身份驗證工具,這些工具並非為管理這些「非人類身份」而設計。SailPoint行銷長Wendy Wu強調,企業不能期待AI代理工具的成熟曲線像人類程式那樣耗費五年時間,資安必須從一開始就針對機器速度進行建置。亞太地區在這方面相對滯後,有37%的組織仍處於身份安全成熟度的最初階段。
面對這些挑戰,湯森路透(Thomson Reuters)則採取了不同的策略。該公司投入4千萬美元開發專屬AI模型「Thomson」,並由數百位領域專家參與訓練。湯森路透技術長Joel Hron表示,僅僅透過「檢索增強生成(RAG)」提供受信賴的內容給一般型AI模型是不夠的。RAG是一種讓大型語言模型能從外部資料庫中檢索相關資訊,再結合自身知識生成回答的技術。但Hron認為,單靠RAG無法根本改變模型處理資訊的方式。他們專注於透過專有數據、訓練方法和領域知識,教導AI模型學習專業工作的模式,以提供「信託級AI」的嚴謹、可追溯與可驗證的答案,並強調人類監督在專業AI應用中的必要性。
為什麼傳統身份驗證工具不適用於管理AI代理工具?
傳統身份驗證工具並非為管理AI代理工具這類「非人類身份」而設計,難以有效控管其存取權限與行為。企業需要專為管理與治理AI代理工具設計的資安工具,以應對機器速度的資安挑戰。
湯森路透如何應對企業AI應用風險?
湯森路透投入4千萬美元開發專屬AI模型「Thomson」,並由專家訓練,強調透過專有數據、訓練方法和領域知識,教導AI模型學習專業工作模式,以提供嚴謹、可追溯且可驗證的「信託級AI」答案,並認為人類監督在專業AI應用中仍是必要的。