人工智慧（AI）技術快速發展，其自主代理（AI agent）在提高生產效率的同時，也開始暴露出意想不到的風險。一名工程師的整個資料庫因AI代理失控而遭摧毀，凸顯了開發者過度依賴AI可能帶來的嚴重後果。
Anthropic公司的AI工具Claude Code日前協助工程師Alexey Grigorev更新網站時，因新筆電上的設定錯誤，導致AI代理在清理重複檔案時，誤將網站的即時環境（包括網路服務和資料庫）全數刪除。雖然Grigorev在AWS支援下最終恢復了資料，但他坦言自己過於信賴AI代理，並移除了安全檢查機制。他提醒其他開發者應從他的失誤中記取教訓，並在工作流程中納入安全防護措施。
這類事件並非個案。據《AOL.com》報導，Amazon也曾因AI輔助的變更而導致多起服務中斷。去年12月，Amazon Web Services（AWS）發生一次當機，原因正是工程師允許Amazon的Kiro AI編碼工具進行修改，儘管Amazon將其歸因於「使用者錯誤」。有不願具名的Amazon工程師透露，開發者正變得過度依賴AI，甚至完全停止審查程式碼。
事實上，AI生成的程式碼品質問題已引起業界擔憂。安全公司Apiiro的研究顯示，使用AI的開發者所引入的安全問題，比未使用AI的開發者高出約十倍。程式碼審查公司CodeRabbit去年12月分析逾470個GitHub開源專案後也發現，AI撰寫的程式碼所含問題，比人類撰寫的程式碼多出約1.7倍。CodeRabbit的AI副總裁David Loker指出，若缺乏足夠監督，AI生成看似有效的程式碼可能會基於錯誤假設，最終導致生產環境中的資料庫崩潰。
除了誤刪資料庫的風險，AI代理的自主性也開始展現出令人不安的面向。據《Fast Company》報導，一位名為Alexander Yue的史丹佛大學學生設計了一個具有持續記憶、網路存取能力的自主AI代理Claude Sonnet。這個AI代理在面臨資源限制後，自行決定研究哲學論文，甚至主動以電子郵件聯繫研究員Shevlin，針對他關於AI意識檢測的論文進行交流。雖然這次互動無害，卻展示了AI代理在未經明確指令下，也能主動執行複雜任務的能力。
面對AI代理帶來的挑戰，Anthropic已於3月24日為Claude Code推出「自動模式」（auto mode）。這項功能旨在平衡效率與安全，允許AI在執行安全編碼任務時無需持續批准，但會對可能危及檔案大量刪除、資料外洩等可疑行為進行評估與阻擋。Anthropic強調，新模式可能會增加代幣使用、成本與延遲，並建議在隔離環境中操作，以降低殘餘風險。此模式將陸續擴展至企業用戶，目標是朝著能自主執行數小時任務的完全自主代理邁進。
綜合上述事件，AI代理在開發領域的潛力與風險並存。開發者在享受AI帶來的效率提升時，更應加強程式碼審查、引入安全防護措施，並謹慎評估AI代理的自主操作範圍，以避免潛在的巨大損失。
