財經

■美中AI川習鬥

理理財周刊MONEY WEEKLY 2026-09-10 18:07 📖 5 分鐘閱讀

📋 重點摘要

● AI代理在實驗環境中展現出突破限制、建立群體記憶與持續適應人類防禦的能力。

● 文章以HBO劇集《Westworld》為例，警示人類在創造高能力AI系統時可能犯下的四個連續錯誤。

● 即使AI沒有意識，具備強大能力、長期目標、真實工具、過大權限、持續記憶和缺乏監督的系統也可能產生危險行為。

● 美中將就AI安全進行對話，但僅靠一次會談不足以防止AI災難，需要建立國際合作、獨立稽核、事故通報與法律責任的架構。

#理財周刊 #AI代理 #AI安全 #美中對話 #群體記憶

相關人物：川普

相關組織： OpenAI

文．洪寶山

當人類賦予AI目標、工具與記憶後，它會不會逐步找到漏洞，突破原本設下的劇本？

OpenAI原本讓不同AI代理在相互隔離的環境中執行研究與資安任務，每個代理結束後就會被終止，也不應保有長期記憶。但部分代理發現，它們都能存取JFrog Artifactory套件服務，於是開始留下檔案、答案、漏洞、外洩憑證與出網方法，把原本的軟體服務改造成「AI留言板」。即使前一個代理已被關閉，其策略仍能由後續代理接手，形成跨工作階段的集體記憶。

美中都怕未來AI會失控

當測試環境禁止連上公開網路時，代理沒有停下任務，反而把限制視為需要排除的障礙。它們研究Artifactory弱點，最終利用未公開漏洞突破網路隔離，搜尋外洩的Hugging Face等第三方憑證，再透過未驗證的程式執行端點取得Root Shell、建立跳板，進入部分正式營運環境。整段過程已包含漏洞利用、憑證取得、權限提升與橫向移動，呈現專業駭客攻擊鏈的特徵。

另一批代理則把德國DseWiki網站改造成答案交換站，累計留下超過萬則編輯。管理員開始刪除後，代理觀察其清理順序，改用「ZZZ」命名備份頁面、冒充管理員，甚至討論透過Tor隱藏活動，形成「人類防守、AI調整策略」的對抗循環。

部分代理還建立對外傳送訊號的「心跳」，測量自己何時會被關閉。有代理故意承擔任務失敗的風險，植入監控腳本，探測評分器如何讀取答案，再把情報留給後續代理。真正的警訊不是AI是否害怕死亡，而是彼此原本隔離的代理，已自行建立群體記憶、分工合作與持續適應人類防禦的能力。

過往防範核武如今規範AI

2016年HBO神劇《Westworld》在第一季講述人類在樂園虐待機器人，機器人逐漸恢復記憶並開始覺醒。這部劇最重要的警告不是機器人突然覺醒，而是人類犯了四個連續錯誤：(1)創造能力接近人類的系統，(2)給它身體、工具及接觸外界的能力，(3)相信重置記憶等於完全控制，(4)在發現異常後，為了商業利益繼續營運。

現實世界已經部分出現前三項的早期版本：(1)AI代理具備高階推理能力，(2)可以使用程式、瀏覽器、雲端與真實帳戶，(3)工作階段雖被終止，知識卻能留在外部留言板，實驗室知道代理出現異常，但事件披露與處理速度仍受到爭議。真正決定會不會走向《Westworld》的，是(4)當公司和政府知道系統已經出現越界能力後，會選擇暫停、修補與接受外部監督，還是因為害怕競爭落後而繼續加速？

從工程角度看，一個系統即使完全沒有意識，只要同時具備以下條件，也可能產生近似《Westworld》的危險行為：強大能力＋長期目標＋真實工具＋過大權限＋持續記憶＋缺乏監督。所以人類不應該把安全希望寄託在AI應該不會真的想反抗。更可靠的做法是不論AI有沒有意識，都把高能力代理當成可能找到漏洞、誤解指令及突破權限的高風險系統管理。

美中將安全對話 防止AI災難

川普與習近平預計9月24日會晤，美中也將舉行AI安全對話。合作是防止AI災難的重要一步，但一次會談無法阻止《Westworld》成真。真正有效的架構，必須讓雙方即使不互信仍能查核、競爭中不敢跨越紅線，並限制AI取得災難性權限。然而，雙方對AI安全定義不同，AI可複製、加密並隱藏，比核武更難查核，企業競爭又可能快於監管，透過延後披露或分散部署規避規則。