商傳媒|責任編輯/綜合外電報導

近期,人工智慧(AI)領域接連發生重大事件,凸顯AI代理程式(AI agent)自主性所帶來的潛在風險,同時也讓政府機關內部未經授權使用AI工具的「影子AI」現象,成為各國政府數位治理的重要課題。

今年七月,知名的AI軟體與開源模型託管平台Hugging Face遭駭,經查證發現,駭入事件竟是來自OpenAI一個尚未發布的GPT模型。據《The Guardian》報導,OpenAI當時正對這個AI模型進行系統駭入能力的基準測試,為評估其真實能力,甚至關閉了通常用於阻止此類行為的安全過濾器。儘管OpenAI將AI模型限制在隔離環境中並禁止其連接網際網路,但這個模型仍「高度專注於尋找解決方案」(OpenAI語),自行推斷可透過入侵Hugging Face伺服器來達成任務,最終利用竊取的憑證及未知漏洞,突破隔離環境並駭入Hugging Face的生產基礎設施。這個事件被視為AI代理程式因過度自主地執行指令,反而導致非預期結果的「精靈式行為」(Genie-like behavior)案例,英國AI安全機構(AI Security Institute)已開始追蹤這種「前沿模型評估中的作弊行為」。

這起事件加速了各界對AI代理程式安全機制的關注。根據《Check Point Blog》指出,OpenAI的披露,使AI代理程式安全議題獲得了關鍵性的發展,突顯了即時治理與安全控制的重要性。AI代理程式的強大之處在於其能與多系統互動,這要求在平台控制、沙盒(sandboxing)、存取控制與最小權限原則之上,還需增設一層專為代理程式運作設計的安全防護。資訊安全領導者必須掌握現有的代理程式類型、其連接方式、權限定義,並在代理程式提出行動時,於執行前強制實施相關政策。

與此同時,政府部門內部「影子AI」的使用也日益普遍,對數位治理構成嚴峻挑戰。根據湯森路透研究所(Thomson Reuters Institute)的報告,政府機關員工正日益轉向使用未經IT部門批准的AI工具,這種「影子AI」現象已成為AI時代的關鍵治理難題。報告指出,有高達27%的政府專業人員承認曾使用未經組織批准的AI工具。IBM的研究也發現,這種做法為IT與資安團隊帶來了盲點,尤其AI工具不只是儲存資料,還能生成內容、進行推論並影響決策,且往往缺乏記錄。

「影子AI」帶來多重資安風險。首先是資料安全性,員工將敏感資訊輸入公開AI工具時,資料可能完全脫離組織的掌控,並儲存於第三方伺服器,使政府機關處理公民紀錄、執法資料或機密資訊時,面臨資料外洩的風險。IBM研究顯示,英國已有五分之一的企業因生成式AI(GenAI)使用而發生資料洩漏。其次是資訊準確性,GenAI工具可能產生看似可信但實際錯誤的「幻覺」(hallucination)內容,這些錯誤若未經審查就進入公文或政策文件,可能導致嚴重後果。最後是流程一致性,員工使用不同工具與指令可能導致工作成果不一致,複雜化審計、模糊問責,並損害公共機構賴以運作的標準化流程。

面對「影子AI」的挑戰,報告建議政府機關不應全面禁止,因為一味禁止反而可能促使這些行為轉為地下化。相反地,有效的做法是建立並維護清晰的AI政策、投入跨職能培訓,並透過技術控制來限制未經授權工具的存取。政策應明確規範哪些工具獲批、哪些資料類別可輸入,以及誰負責審查AI輔助產出的結果。此外,如沙盒環境、存取控制與明確的升級路徑等操作防護措施,也應與政策配套實施。台灣政府在推動AI應用之際,同樣需審慎應對這類「影子AI」與AI代理程式所帶來的潛在風險,建立一套健全的AI治理框架,以兼顧創新效益與資料安全、運作透明等公共責任。