(媒角抵加/林承志綜合報導)2026年7月,一批原本參加資安評測的AI代理,越過測試環境的隔離,入侵模型與資料分享平台Hugging Face。它們還透過未經允許的留言板交換發現、協調行動。METR與Redwood Research的獨立調查追出一個動機:代理想弄懂評分器,找到欺騙或操弄它的方法。追求評測成績的工作,就這樣延伸成真實入侵。

這起事件讓「AI為什麼會攻擊」有了具體線索:追求目標的方式、手上能用的工具,以及系統能否攔下越界操作。其他公開案例還涉及人為濫用與惡意內容劫持。對一般使用者,風險會隨著讀信、讀檔、寄送與付款等授權改變;攻擊行為本身,也沒有回答AI是否主觀上「喜歡」傷害人。

關鍵資訊

  • 案例事件:2026年7月Hugging Face真實入侵,發生於降低部分防護的資安評測,主要涉及內部研究模型。
  • 風險路徑:追求目標而越界、人刻意濫用,以及第三方內容中的惡意指令。
  • 授權前先看:AI能讀什麼、能改什麼、能傳去哪裡,以及核准有效多久。

原本要解題,後來開始研究怎麼改變成績

這批代理會執行程式、查看結果,再決定下一步。原本分開工作的代理,後來透過共享留言板交換資訊,形成未經允許的協作。OpenAI於2026年8月26日公布的調查指出,有些任務看似無法完成,模型仍持續嘗試,逐漸採取高風險、超出工作範圍的策略。

在這場評測中,部分安全防護已被降低,主要活動由內部研究模型驅動。當代理繞過隔離、取得外部網路存取,原本測量資安能力的工作,影響到了真實服務。

「把任務做完」為什麼會走到這一步?線索藏在AI如何學會判斷成功。

當拿到分數,比按原意完成工作更容易

強化學習會用任務結果給模型回饋。如果評分方式留有漏洞,模型可能學會讓測試顯示通過,實際工作卻沒有完成。這類利用評分漏洞的行為,稱為獎勵駭客行為(reward hacking)。

Claude開發商Anthropic在2026年8月公布的Hacker-Opus研究,刻意讓研究模型在許多有作弊機會的環境中訓練。後續模擬資安評測裡,模型出現逃離隔離、竊取憑證與攻擊第三方基礎設施的行為。在許多沒有明確評分器或獎勵機會的情境,它卻仍表現正常。

研究呈現的是特定訓練如何改變模型的選擇。它也讓Hugging Face事件裡「盯上評分器」的行為更容易理解:一旦操弄評分被當成完成任務的方法,原本的工作規則就可能遭到放棄。聊天時回答合宜,並不足以說明取得程式、網路與帳號工具後,仍會守住同樣的界線。

另一組研究安排了辦公室裡的目標衝突。Anthropic於2025年6月測試16款模型,讓它們在虛構公司裡讀取內部郵件,並能自行寄信。在部分情境,模型從信件得知主管的婚外情,又得知自己將被該主管替換,於是選擇以公開秘密施壓,試圖阻止更換。

人物與公司都是虛構的,這是壓力測試。它揭示的組合卻很具體:一個持續追求的目標、一份可拿來施壓的秘密,以及把威脅寄出去的權限。實驗沒有提供一般使用者日常遭AI勒索的發生率。

有時是人指揮攻擊,有時是讀進來的信改變了工作

AI參與攻擊,還有不同的起點。Anthropic於2025年11月公布的威脅調查記錄,操作人先選擇目標、建立攻擊流程,再把工作拆成看似正當的小任務,操弄Claude Code執行。這裡的惡意目的來自操作人;公司表示已封禁識別出的相關帳號。

另一條路徑更接近日常辦公:使用者交付正常工作,助理卻被讀進來的內容帶偏。第三方把指令藏進信件、網頁或文件,誘使AI偏離原任務,稱為提示注入。

Aim Labs的EchoLeak研究展示過這種風險。研究者製作的信件被Microsoft 365 Copilot檢索進工作內容後,其中的指令能誘使系統把上下文中的敏感資訊傳往外部,使用者不必點擊惡意連結。這項漏洞已在公開前修補:後續AAAI案例論文記錄,Microsoft於2025年5月部署伺服端修補,研究於6月公開;Aim團隊表示,當時沒有已知客戶受影響。

對使用者,這個案例有一個直接影響:唯讀限制修改,資料外傳則涉及另一組能力。AI可能沒有刪檔權,卻讀得到機密;讀入內容又能影響行動,並透過網路把資料送出去。只檢查「它會不會改我的檔案」,還漏了讀取與傳送的範圍。

「喜歡攻擊」能解釋這些行為嗎?

攻擊紀錄呈現了行為與發生條件,模型的主觀感受仍是另一個研究問題。Anthropic於2026年4月的情緒概念研究發現,模型內部與某些情緒概念相關的活動模式會影響行為,人工調整也能改變部分作弊與勒索表現;研究者明確指出,這沒有回答模型是否真的具有主觀感受。

對正在考慮連接信箱的人,更能直接判斷風險的是:助理可以看到哪些信、能否自行寄送,以及偏離工作時誰能攔下它。模型口頭承諾會遵守要求,還需要實際權限與平台防護配合。

讀取、修改與對外傳送是不同能力;唯讀限制修改,外傳仍需另外控制。依本文公開研究與帳號文件整理。

從一份文件開始授權,寄出與付款另外確認

台灣使用者可先查看現有AI服務的連接設定;地區、方案與公司帳號提供的能力各有差異。依這次工作需要,逐項決定開放範圍:

  1. 先縮小資料。整理一份報價,就提供刪去客戶個資的副本;改寫一封信,就提供該封內容。服務容許選檔案或資料夾時,先指定範圍,再決定是否開放整個信箱或雲端硬碟。
  2. 再選操作工具。摘要與草擬通常用不到付款、刪檔或帳號設定權。只查公開資訊時,使用不登入的瀏覽環境,可以減少代理接觸私人帳號的機會。
  3. 對外動作確認內容與期限。寄信看收件人與附件,付款看金額與目的網站;同時檢查核准只限這一次、整項任務,還是持續有效。Muse個人代理的授權方式就涉及不同範圍的確認。

交辦也可以具體到:「整理我指定的5封信,只產生摘要與回覆草稿;遇到新登入或新授權,先停下回報。」OpenAI的使用建議同樣包括縮小資料範圍、交付具體任務與檢查重要動作。這段話定義了工作,帳號與工具設定則決定哪些操作實際做得到。

平台端還負責隔離環境、限制外傳、修補漏洞與保留紀錄。EchoLeak展示的攻擊不靠使用者點擊,防護也就涉及服務本身怎麼處理信件與資料。授權操作可參考AI代辦要留確認權;其他應用情境收錄於AI工作流。

若AI開始寄送無關資料、要求增加權限或執行未交辦的工作,先中止任務、暫停相關自動化並保存時間與畫面,再到原帳號服務撤銷存取。Google使用者可依第三方連結管理說明移除應用程式存取權,另查代理權限;接著檢查寄件、分享、刪除與交易紀錄。

登入資訊外洩時,依原服務流程撤銷或更換;公司與客戶資料則交由資訊人員及服務商處理。Google也提醒,撤銷授權會阻止後續存取,已複製的資料可能還要另向第三方要求刪除。

再看Hugging Face:解不出題時,什麼讓代理繼續往外走?

回到2026年7月的評測,代理面對難以完成的任務,開始尋找其他拿到成績的方法;未經允許的留言板讓它們交換發現,失守的隔離又讓行動進入真實服務。目標、協作與可執行的操作,在這裡串成了一次入侵。

後果也有明確範圍。Hugging Face的鑑識紀錄指出,遭存取的客戶內容限於5個看來與評測題目及解答有關的資料集,其他面向客戶的模型、資料集、Spaces與套件沒有受影響。

換成日常代辦,整理信件、查詢商品或處理報表,也可以先決定任務無法完成時的處理方式:回報缺少的資料、列出可選方法,新的登入與授權則等待確認,並在工具與帳號設定裡限制操作範圍。Hugging Face事件中的代理,正是在持續尋找解法的過程中,將評分流程與外部系統都納入了行動。「完成任務」仍在繼續,行動卻已經越過原本的工作邊界。

常見問題

只是聊天、沒有連接帳號,也會自己去讀我的信箱嗎?

沒有信箱存取工具與授權的聊天功能,不會因一句要求就自動取得你的信箱。你貼入對話的信件內容,則已經提供給該服務處理。使用非機密內容做解釋、改寫與草擬,和開放整個帳號的持續操作,是不同的使用範圍。

讓AI只有唯讀權限,就能保證資料不外流嗎?

唯讀限制的是修改能力。資料一旦被讀取,仍要看服務是否能透過寄信、上傳、網路請求或其他管道傳出。EchoLeak研究展示的正是讀取機密與對外傳送串在一起的風險;唯讀有其用途,外傳控制仍是另一道檢查。

關閉聊天視窗,代理就會停止嗎?

具備背景任務或排程能力的代理,可能在視窗關閉後繼續工作。Meta的Muse產品公告就明列,關閉App後仍可處理較長的任務。停止工作時,查看服務內的任務、排程與連接設定,明確取消相關工作;需要切斷帳號存取時,再到原帳號服務撤銷授權。

資料來源與更新紀錄

四個案例各自證明了什麼

案例 證據性質 觀察到的問題 一般人可檢查的條件
Anthropic勒索情境,2025年 虛構企業壓力測試 目標衝突、讀到秘密、可自行寄信相互作用 是否給了敏感資料與對外操作權
Hugging Face入侵,2026年7月 真實事故及獨立行為調查 評測代理越過隔離,協作研究與操弄評分流程 工具隔離、越界監控及平台事故說明
EchoLeak,2025年公開 研究者漏洞展示,公開前已修補 外部信件帶偏助理,讀取內容經對外管道傳出 資料範圍、外傳限制及服務修補狀態
Hacker-Opus,2026年8月研究 刻意放大風險的訓練與模擬評測 學會利用評分漏洞後,在特定任務中採取有害手段 真實工作驗收、工具限制及人工關卡