防堵自主 AI 誤發採購單 專家倡議導入行動就緒合約
自主人工智慧(AI)系統若在未嚴格驗證的情況下對外觸發動作,可能帶來難以挽回的系統風險。資深資料工程師 Aditya Ranjan 在美國電腦協會旗艦期刊《Communications of the ACM》撰文提出「行動就緒合約」(Action-Readiness Contract, ARC)概念,主張在自主 AI 系統對外部環境產生實質影響前,必須即時通過一組以機器自動評估的證據要求,確保系統決策合理且安全。
現行的資料合約標準,如 Open Data Contract Standard (ODCS),主要規範資料結構、語意與服務水準期望。Aditya Ranjan 指出:「現有的資料合約很有用,但它們處理的是不同層面的問題。那些協定本身並無法在 Agent 提出操作的當下,證明特定動作是否具備合理性,這正是我想解決的缺口。」他強調,即使每項技術檢查都順利通過,AI 產生的採購單依然可能是錯誤的。
ARC 架構沿襲了美國國家標準技術研究所(NIST)在零信任架構中提出的「策略決策與執行分離」原則,與既有的身分驗證、授權機制及安全策略並行運作。該合約由五大斷言(predicates)組成:資料新鮮度(Freshness)、資料溯源(Provenance)、授權狀態(Authorization)、可觀測性(Observability)以及運作安全性(Operational safety)。
在決策邏輯上,ARC 採取極為保守的防護設計:只有當五大斷言全部順利通過,系統才會發出許可(ALLOW);若授權或運作安全檢驗失敗,則直接拒絕(DENY);一旦出現證據遺失或有未解的檢查項目,系統便進入暫緩(HOLD)狀態,避免自主系統因資訊不全而盲目執行關鍵任務。
如何防止自主 AI 誤發採購單?
為防堵自主人工智慧(AI)系統在未嚴格驗證下誤發採購單等動作,資深資料工程師 Aditya Ranjan 在《Communications of the ACM》期刊提出「行動就緒合約」(Action-Readiness Contract, ARC)概念。此架構主張在自主 AI 系統對外部環境產生實質影響前,必須即時通過一組以機器自動評估的證據要求,以確保系統決策的合理性與安全性。ARC 沿襲零信任架構的「策略決策與執行分離」原則,並由資料新鮮度、資料溯源、授權狀態、可觀測性及運作安全性五大斷言組成,確保系統在所有條件皆滿足時才發出許可,避免因資訊不全而盲目執行關鍵任務。
行動就緒合約(ARC)包含哪些主要斷言?
ARC 架構包含五大斷言,分別是資料新鮮度(Freshness)、資料溯源(Provenance)、授權狀態(Authorization)、可觀測性(Observability)以及運作安全性(Operational safety)。這些斷言旨在確保 AI 系統在執行動作前的決策過程是安全且有依據的。
ARC 的決策邏輯如何運作?
ARC 採取保守的防護設計,只有當五大斷言全部順利通過時,系統才會發出許可(ALLOW)。若授權或運作安全檢驗失敗,則直接拒絕(DENY)。若出現證據遺失或有未解的檢查項目,系統會進入暫緩(HOLD)狀態,以防止自主系統因資訊不全而執行錯誤任務。