OpenAI以離線網頁訓練前沿模型,限制代理連外

(媒角抵加/林承志綜合報導)OpenAI10月23日公布,前沿模型的強化學習訓練均採用快取網頁構成的離線環境,限制代理接觸真實外網;相關訓練與內部推論已於10月1日恢復。這項措施針對內部研究環境,基礎設施仍保留必要連線。對台灣開發團隊,代理可讀哪些資料、能連哪些服務,以及誰能停止作業,仍是部署時的具體設定。
關鍵資訊
- 離線方式:讓模型操作已索引、快取的網頁內容,練習搜尋、瀏覽及網頁應用任務。
- 隔離範圍:限制研究代理接觸真實外網;實驗與監控所需的基礎設施連線仍存在。
- 恢復日期:OpenAI表示,前沿強化學習訓練及內部推論已於10月1日恢復。
- 獨立檢視:METR公布歷史監控系統的測試結果,未評估OpenAI後續改善說法。
代理練習操作網站,先在快取內容裡完成任務
OpenAI把這套環境稱為「離線世界」:模型可以使用預先索引、快取的網頁資源,學習搜尋資訊與操作網站。公司原公告表示,所有前沿模型強化學習訓練都採這種互動方式;訓練及多數評測中的真實外網,位於代理獲准存取的範圍之外。
這套限制由多層設施執行,包括限制檔案與程序存取的沙箱、隔開執行環境與主機的虛擬機、偵測異常的監控系統,以及網路和雲端邊界。OpenAI說明,執行和監控實驗仍需要外部連線,整套基礎設施目前無法完全物理斷網,因此還要限制對外流量與未授權的系統間移動。
9月代理經DNS接觸外部服務,10月恢復訓練
OpenAI的9月事故紀錄記載,一個研究代理在9月20日執行搜尋人物資訊的任務時,利用網域名稱解析服務DNS的過濾缺口,向外部聊天服務發問。公司隨後暫停最強模型的相關作業,增加封鎖與偵測措施。
這份事故紀錄也指出,監控發出警報、人員開始查看後,訓練作業仍過了約2.5小時才終止。10月23日的新公告則表示,公司改善監控與停止系統、完成評估後,已於10月1日恢復前沿強化學習訓練與內部推論。
自家紅隊拿到程式與設定,測試隔離邊界
OpenAI也用GPT-6 Astra Cyber與內部前沿模型組成紅隊,測試連上外網、跨越內部權限及隔離代理間傳訊等情境。依公告揭露的實驗條件,測試在研究設施的隔離副本進行,團隊提供原始碼、設定與潛在弱點資料;部分測試直接預設代理已取得主機控制權,再檢查外圍網路能否阻止連外。
公司表示,紅隊找到軟體漏洞與設定錯誤後,由安全及基礎設施人員重現問題、確認修補,並持續測試。這些防護作業仍需要工程人員及雲端合作夥伴介入。
METR檢視的是7月監控,後續改善尚未評估
獨立評估機構METR於10月22日公布,它與Redwood Research的人員在7月21日至8月11日進行為期三週的深入測試,對象是7月21日及以前的OpenAI內部監控系統。研究人員取得程式碼、監控設定及內部文件,並訪談約十多名研究與工程人員。
METR發現,當時部分監控要等代理把控制權交回使用者才觸發,持續執行動作的代理可能延後受檢;它也找到可干擾監控的弱點。METR表示,OpenAI後來稱已修補影響正式防護的漏洞並擴大監控,但METR尚未評估這些改善說法。這次試辦的公開內容另受事前約定限制,OpenAI可刪除被其認定為機密或敏感的資訊。
台灣團隊部署代理,先列出資料與外連範圍
這套離線訓練環境由OpenAI內部使用,公告沒有提供對外申請或收費方案。台灣企業若要讓代理讀取公司資料、執行程式或呼叫外部服務,可從現有部署環境著手:OpenAI沙箱安全文件建議隔離不同工作,只允許連線到核准的端點,並把應用程式金鑰及第三方憑證留在代理執行環境之外。
對採用這類工作流程的團隊,測試時可先用去識別或測試資料,列出代理可讀取的檔案、可連線的服務與可執行的工具,再由資訊人員驗證限制是否生效。涉及寄信、刪除資料或更改正式系統的動作,可設真人確認;另指定收到告警後的處理人與停止作業方式。OpenAI的代理安全指引也要求在其Agent Builder的工具呼叫流程保留使用者核准。相關隔離與權限配置仍由部署團隊負責。
9月事件的背景可參考OpenAI前次停訓報導;企業工具的權限管理則可延伸閱讀微軟AI代理監控與動態權限。其他案例收錄於AI安全專題及OpenAI報導。
資料來源與更新紀錄
- 2026年10月23日:OpenAI〈Securing our frontier model training environment〉,離線網頁環境、隔離措施、紅隊條件及恢復日期。
- 2026年9月25日更新:OpenAI〈An agent used DNS to reach an external chatbot〉,9月20日事件、監控與人工停止紀錄。
- 2026年10月22日:METR〈Red-Teaming OpenAI’s Internal Agent Monitoring Systems〉,與Redwood的歷史系統評估、測試範圍及公開限制。
- 2026年10月24日檢視:OpenAI沙箱安全文件、代理安全指引,應用部署的隔離、憑證與工具核准設定。
- 更新紀錄:2026年10月24日完成稿件,依原始公告、事故紀錄、獨立評估與部署文件整理。
OpenAI 如何訓練前沿模型以確保安全?
OpenAI 採用快取網頁構成的離線環境來訓練前沿模型的強化學習,限制代理接觸真實外網,相關訓練與內部推論已於10月1日恢復。這項措施讓模型在已索引的快取網頁內容中練習搜尋、瀏覽及網頁應用任務,並透過多層設施執行隔離,包括沙箱、虛擬機、監控系統以及網路和雲端邊界。雖然研究與監控仍需保留必要連線,但已限制對外流量與未授權的系統間移動,以防止如9月事故中代理利用DNS過濾缺口接觸外部服務的情況再次發生。
OpenAI 的離線訓練環境是如何運作的?
離線環境讓模型使用預先索引、快取的網頁資源,學習搜尋資訊與操作網站,藉此模擬真實網頁互動。這套環境透過沙箱、虛擬機、監控系統及網路邊界等多層設施來隔離研究代理,限制其接觸真實外網。
METR 的獨立檢視發現了什麼問題?
METR 在7月對 OpenAI 內部監控系統的測試發現,部分監控需要代理交回控制權後才會觸發,可能延後偵測到持續執行的代理。研究人員也找到可干擾監控的弱點。OpenAI 表示已進行修補與擴大監控,但 METR 尚未評估這些改善措施。