軟體自動化迎高效AI模型Jev 強化代理安全與成本效益
為了提升軟體自動化與 AI 代理的安全性,開發商 TypeSafe AI 近日發表了一款名為 Jev 的新型 AI 模型。Jev 專為協助開發者建立更可靠、成本效益更高的 AI 代理(AI agents,意指能自主執行任務的智慧程式)而設計,透過結構化的決策層,填補現有大型語言模型(LLMs)在模型選擇和危險工具調用驗證上的不足。
現有的 AI 代理,特別是那些使用 LangChain(美國 LLM 應用開發框架)建構的代理,雖然能進行推理、選擇工具並代表使用者執行任務,卻缺乏內建的決策層來選擇合適的模型或驗證潛在危險的工具調用。這導致開發者常以昂貴的大型語言模型處理簡單查詢,造成成本浪費,也可能因缺乏防護措施而導致不安全的操作,例如執行不可逆的指令。
Jev 透過導入一種AI 代理安全框架 (AI agent harness),解決了上述問題。這是一個類型化的決策層,以 Pydantic(Python 函式庫,用於透過 Python 類型提示進行資料剖析與驗證)模型化,能包裹 AI 代理的執行循環。此框架在代理執行前引入明確且可審核的決策點,確保在不影響自主性的前提下實施防護措施。例如,Jev 的設計讓開發者能根據任務複雜度,將請求路由到更經濟的模型,例如簡單任務可使用 gpt-4o-mini,複雜任務則調用 gpt-4o。根據報導,gpt-4o-mini 的每輸入 Token 成本約為 gpt-4o 的三十分之一。
Jev 提供了兩個核心決策點:請求路由(Request Router) 和工具閘門(Tool Gate) 。請求路由負責評估請求的複雜度並選擇適合的模型層級;工具閘門則評估 AI 代理擬調用的工具,依據預設的風險政策決定自動批准、記錄警告並批准、或拒絕並升級處理。此機制確保敏感操作,例如刪除用戶帳戶等,在執行前能經過嚴格的安全審核,甚至被預防性阻擋。每個 Jev 決策節點都會產生結構化、可版本控制的決策記錄,便於獨立審計、測試與審查。
OpenAI 前 ChatGPT 共同創辦人 Diogo Almeida 曾指出,大型語言模型已擅長處理人類語言,但在自動化方面仍有待提升。Jev 的推出,正反映業界對提升 AI 自動化應用可靠度的需求。透過 Jev 與 LangChain 及 Pydantic 的結合,開發者能夠建構出具備明確、可測試和可觀察決策節點的 AI 代理。這不僅有助於降低營運成本,也大幅強化了 AI 代理在執行任務時的安全性與可靠度,特別是在處理涉及敏感資料或不可逆操作的場景中。最佳實踐建議將決策日誌持久化到觀測平台(例如 LangSmith、Datadog),並為高風險拒絕引入人工審核機制。