AI 發展新瓶頸:模型之外,上下文與控制架構成關鍵挑戰
隨著人工智慧(AI)技術持續進展,業界對於 AI 發展的關注焦點正從單純追求更大型、更強大的模型,轉向如何有效管理 AI 系統的「上下文」資訊與其運作的「控制架構」。專家指出,這兩項將是影響 AI 大規模應用與可靠性的關鍵新瓶頸。
資深科技編輯 James Alan Miller 透過《TechTarget》指出,企業在導入 AI 代理(AI agents)、模型及嵌入式 AI 功能時,逐漸累積多套用於控制 AI 行為的系統。這些控制系統負責編排(orchestration)、模型選擇、資料存取、身份驗證(identity)、權限管理(permissions)、可觀察性(observability)及部署等。當這些分散的控制層無法有效協同運作時,將形成碎片化的控制架構,導致各平台間權限管理不一、供應商眾多、責任歸屬模糊等問題。他強調,資訊長(CIO)需要了解各個 AI 控制層的功能、負責團隊、執行決策的方式以及如何處理衝突,以確保整體運作的透明與可控。
為解決這些挑戰,部分科技公司已提出相應方案。例如,Salesforce 正在整合圍繞多供應商代理的編排、身份驗證、權限、治理、可觀察性及成本可視性功能。GitHub 則測試執行時模型路由(runtime model routing),其實驗性專案 HydraFusion 能依據任務動態選擇模型。Alteryx 則將自身定位為企業 AI 與受控企業資料及業務邏輯之間的橋樑。Mistral 專注於部署彈性與基礎設施控制,以減少對單一供應商的依賴。Boomi 則將查詢路由至適當模型,並管理使用者權限,整合了身份驗證、權限、模型路由與代理行為。
《CIOReview》則指出,AI 的下一個瓶頸不是模型本身,而是「上下文」。報導分析,雖然大型上下文窗口(Context Window)的發展,讓 AI 系統能處理更多資訊,但這往往會加劇其在專注度、連貫性及可靠性方面的問題。真正的挑戰在於「上下文工程」(Context Engineering),這門學問探討如何在 AI 模型需要動作的精確時刻,決定哪些資訊應該存在、優先順序、過濾、壓縮、信任或移除。
當 AI 系統在實際應用中失靈時,多半並非模型出錯,而是上下文管理不當所致,導致 AI 的回應變得不夠聚焦、不夠一致,甚至錯誤。這種現象被稱為「上下文衰減」(Context Decay),即當上下文資訊量過大且缺乏結構時,模型會變得不穩定,重要指令與無關數據互相干擾。為此,「上下文塑形」(Context Shaping)至關重要,它是在模型動作前,預先編譯並結構化工作上下文,讓 AI 代理能準確判斷、檢索適當細節並保留追溯性。目前,Coreledger Technologies 正在開發 Contextus 平台,預計今年稍晚推出,旨在解決 AI 代理的工作上下文結構化與編譯問題。同時,模型上下文協議(Model Context Protocol, MCP)等標準的發展,也有望促進 AI 代理與工具及資料源的連結。業者認為,能有效解決上下文可靠性、編排與信任問題的組織,將定義下一代企業 AI 的面貌。