ServiceNow:AI 代理緊急停止非按鈕,需考量業務情境
📋 重點摘要
●
ServiceNow 認為 AI 代理的「緊急停止開關」應考量業務情境,而非僅是單純按鈕。
●
決定是否暫停 AI 代理需理解其商業脈絡,例如提示注入導致的折扣異常。
●
ServiceNow 將自身定位為企業 AI 的「控制塔」,專注於 AI 代理部署後的治理。
●
ServiceNow 提出包含探索、觀察、治理、保護與衡量五個步驟的 AI 治理框架。
●
ServiceNow 與 Okta 和 Veza 合作,強化 AI 代理的身份安全與權限控管。
相關人物:
Bhakti Pitre
商傳媒|葉安庭/綜合外電報導
![]()
隨著企業陸續將人工智慧程式(AI Agent)導入實際運作,如何有效管理這些自動化工具的風險與治理問題日益受到關注。軟體公司 ServiceNow 認為,AI 代理的「緊急停止開關」(kill switch)不應僅是簡單的開關按鈕,而必須考量企業本身的業務情境,才能做出正確的決策。
ServiceNow 的人工智慧平台安全產品副總裁 Bhakti Pitre 於週一指出,雖然「緊急停止開關」這個詞很常見,但實際操作上並非單純的開或關。她強調,在決定是否要暫停或撤銷一個 AI 代理的權限時,充分理解其商業脈絡至關重要。例如,一個 AI 代理若只是停止運作,可能僅需暫停並調查原因;但若一個原本被允許提供 10% 折扣的 AI 代理,因「提示注入」(prompt injection,一種誘導 AI 產生非預期回應的技術)而開始提供 100% 折扣,這就構成嚴重問題,必須「拔掉插頭」。
ServiceNow 正將自身定位為企業 AI 的「控制塔」,主要專注於 AI 代理部署後的治理。該公司提出的 AI 治理框架包含五個步驟:探索、觀察、治理、保護與衡量。此框架的目標是根據風險程度調整控管措施。為強化安全防護,ServiceNow 與身份驗證服務公司 Okta 合作,確保 AI 代理的會話 Token(憑證)和身份安全,並利用 Veza 的身份安全技術來調整過高的權限。
Pitre 也呼籲,為了讓 AI 能普及化並大規模應用,產業內所有供應商都應互相合作,共同推動 AI 的發展。
🤔 讀到一半,先表個態?
🎯 搶頭香!這篇你的反應?