商傳媒|葉安庭/綜合外電報導

面對全球龐大流量,如何維持 ChatGPT 的回應速度成為嚴峻挑戰。根據科技媒體《VentureBeat》報導,OpenAI 內部打造了一套名為「Performance Factory」的自動化 AI 系統,由自家程式撰寫模型 Codex 驅動,專門負責調查並修正後端軟體效能下滑的問題。

軟體工程與編譯優化技術通常需要資深工程師耗費大量時間逐行檢查,也就是透過調整程式碼結構或改進指令執行邏輯,來降低系統運算負擔與延遲。OpenAI 則將這套流程全面自動化。Performance Factory 採用任務型架構,將系統偵測到的效能退化轉化為具體任務,依序通過調查、根本原因分析、程式碼修改、審查與驗證等階段。

整個系統運作由四大核心元件支撐:任務服務、負責排程調度的分派迴圈、在雲端執行 Codex 的內部 API,以及將任務連結至 Pull Request(拉取請求,即合併程式碼提案)的訂閱機制。為了避免 AI 提出錯誤的分析結論,OpenAI 還設計了「對抗性審查」機制,啟動另一個獨立的 Codex 會話來挑戰最初的診斷,藉此抓出盲點並測試替代解釋。目前約有 25% 的診斷會被對抗性審查退回重新分析。

在過去三個多月的運作中,該系統已追蹤超過 1,700 起效能調查,平均每天處理 17 起案件,並成功找出 600 多起效能退化的根本原因。在這些案件中,約有 400 起推進到提出修復方案階段,最終實際上線部署的修復方案中,有 50 項受到 AI Agent 建議的影響,更有 15 項完全採用 Codex 直接撰寫的程式碼。

值得注意的是,OpenAI 效能團隊特別訂定原則防範「AI 疲勞」,要求呈現在人類工程師面前的必須是關鍵重點,避免大量冗長資訊淹沒審查人員。OpenAI 未來計畫將 Performance Factory 從事後被動維護擴展至主動優化,包含跨版本比對效能數據以及自動調整服務規模,相關細節也可參考 OpenAI 官方效能報告。

OpenAI 打造 AI 修復系統 Codex 自動抓程式漏洞維持 ChatGPT 速度圖/商傳媒