隨著網路威脅日益自動化且複雜，全球金融機構面臨將人工智慧（AI）導入網路資安營運中心（SOC）的龐大壓力。然而，資安前線團隊警告，若將AI視為能自主調查的工具，恐將帶來嚴峻風險，因為大型語言模型（LLM）在實際生產環境中的表現，與供應商的承諾之間存在明顯落差。
美國車貸業者 Exeter Finance 資深資安工程師 Ankit Gupta 與美國泰森食品（Tyson Foods）首席資安工程師 Shilpi Mittal，在 2026 年 RSAC 大會上分享了他們在建構資安營運中心AI工具的第一線經驗。他們強調，AI最成功的應用模式並非取代人類決策，而是用於解決工作流程中的摩擦點，將AI定位為「初級分析師」，擅長於草擬文件與摘要資訊，但若「在缺乏限制下猜測或採取行動，則變得危險」。
根據他們的實務經驗，將AI助理應用於警報摘要、證據串聯及起草初步通訊等輔助任務，在測試計畫中展現立即成效。具體數據顯示，偵測威脅的平均時間減少了 36%，回應時間縮短 22%，且誤報率降低了 16 個百分點。所謂「證據串聯」，是指AI能從多達五到七種不同的工具中自動彙整相關安全構件與日誌，為資安分析師節省大量手動查找的時間，讓人類專家得以專注於更高風險的活動。
然而，將AI從受控測試環境轉移至即時生產系統時，卻暴露出嚴重的資安風險，尤其是當AI模型接觸到不受信任的資料時。大型語言模型無法可靠區分指令與資料，導致「提示注入」（prompt injection）風險。這意味著，支援票證、系統日誌或貼上的文字、圖片等日常項目，都可能被攻擊者利用，透過隱藏惡意指令來操縱模型的輸出或強制其執行未經授權的動作。若賦予AI模型過多的自主權，使其在未經人類驗證下執行操作或與其他系統互動，錯誤的行動甚至可能引發新的資安事件。
國際金融監管機構與組織對此風險高度關注。例如，美國紐約州金融服務廳（New York State Department of Financial Services）在 2024 年 10 月發布警告，指出攻擊者可能利用AI進行偵察並竊取敏感的非公開資訊。開放全球應用程式安全專案（OWASP）也在 2025 年的報告中強調了提示注入與AI過度自主可能導致的未授權行動風險。G7 網路專家小組亦在 2025 年 9 月向財政部長們建議，AI將引入新型網路資安風險。
為有效管理這些風險，專家建議，AI助理在生產環境中需要嚴格的邊界。「Tyson Foods」與「Exeter Finance」團隊採行嚴格的「無許可不行動」（no gate, no action）政策，AI系統預設為唯讀模式，任何回應性動作都必須經過人類分析師的批准，實現「人類在環」（human-in-the-loop）的控制。此外，他們要求模型必須為其每個結論提供具體證據，貫徹「無引證，無信任」（no citations, no trust）原則，以確保可審計性並建立分析師的信心。這表明，應由模型證明其工作，並由人類掌握最終決策。
