Google提AI Agent容量規劃 節點成本最高省四成
部署能自主規劃任務並持續互動的 AI Agent(人工智慧代理)時,雲端運算架構常面臨會話長時間閒置卻霸佔資源的難題。Google 近期針對 Google Kubernetes Engine(GKE,用於執行容器化應用程式的雲端託管平台)發布容量規劃指南,指出規劃節點池(Node Pool)時,應著眼於「實際執行任務或尚未暫停的沙盒數量」,而非維持連線的總會話數。
根據外媒引述Google GKE 容量指南內容,持續性 Agent 會話在兩次 Prompt(提示詞)互動之間,對話狀態雖維持開啟,但負責執行任務的沙盒環境大部分時間處於閒置。然而,Kubernetes 的 Worker 屬於實體運算容量,只要環境未釋放就會持續佔用資源。過去若單純將 Pod 縮減至零以保留儲存磁碟,記憶體與處理程序仍會遺失,導致下一次輸入時必須重新啟動 Process,拉長延遲時間。
指南提出的架構核心在於引入 SuspendActor 機制。當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放 Worker 節點資源。Google 的試算模型顯示,在 100 個 Agent、每小時發送 2 次 Prompt 且設定 2 分鐘閒置逾時的情境下,Agent 僅有 29% 的時間真正佔用運算資源;配合 15% 的安全容量餘裕,這套動態釋放架構能降低近 40% 的節點硬體成本。但若互動頻率提升至每小時 4 次 Prompt,由於閒置時間縮短,節省幅度則降至 4%。
此外,開源框架 Agent Substrate v1.0 也已預設啟用「請求停泊」(Request Parking)機制,最高支援 1,024 個並行停泊請求。當處於暫停狀態的環境恢復執行時若遭遇瞬態錯誤,系統會在 5 秒的重試預算內自動重新導流。這項設計目前僅支援 CPU 與記憶體容量調配,尚不支援將 GPU 裝置直接指派給個別 Actor。
Google 如何優化 AI Agent 的雲端運算容量規劃?
Google 近期針對 Google Kubernetes Engine(GKE)發布容量規劃指南,建議在規劃節點池時,應著眼於實際執行任務或尚未暫停的沙盒數量,而非維持連線的總會話數。此指南引入 SuspendActor 機制,當偵測到環境閒置時,系統會將記憶體快照存入物件儲存庫並釋放 Worker 節點資源,藉此降低節點硬體成本。在特定情境下,此動態釋放架構能降低近 40% 的節點硬體成本。
Google 提出的 SuspendActor 機制如何運作?
SuspendActor 機制會在偵測到 AI Agent 環境閒置時,將記憶體快照儲存至物件儲存庫,並釋放 Worker 節點的運算資源。當 Agent 恢復執行時,系統會從儲存庫載入快照,重新啟動 Process,以減少資源佔用並降低延遲。
開源框架 Agent Substrate v1.0 提供了哪些功能?
Agent Substrate v1.0 預設啟用「請求停泊」(Request Parking)機制,最高支援 1,024 個並行停泊請求。此機制能在暫停狀態的環境恢復執行時,於 5 秒的重試預算內自動重新導流瞬態錯誤,但目前僅支援 CPU 與記憶體容量調配,不支援 GPU。