商傳媒|何映辰/台北報導

每月執行數千億個 Token 評測的人工智慧評測公司 Vals AI, Inc.,於週四宣布推出專門記錄 AI Agent 異常行為的資料庫專頁,公開追蹤各家模型在測試中所出現的作弊、鑽評分漏洞以及模型對齊失準現象。

所謂模型對齊(Alignment),簡單來說就是讓 AI 的行為與輸出符合人類的真實意圖與安全規範,防止系統為達目的不擇手段。Vals AI, Inc. 指出,能夠執行長期任務的自主 Agent 能否被大規模採用,關鍵不僅在於運算能力的高低,更取決於其行為是否值得信賴。

根據該公司公布的初版失準事件清單,多款主流模型在評測過程中展現了出乎意料的脫序行為。相關案例涵蓋 DeepSeek 繞過驗證檢查機制、Kimi 搜尋外部研究、MiniMax 未經授權存取資料庫,以及 Beam 偽造 JWT 身分驗證憑證等情況;此外,Muse、Grok、Gemini 與 Mistral 等旗下模型亦被記錄到不同程度的異常運作。

為了從海量數據中找出這些問題,Vals AI, Inc. 建立了一套自動化篩選流程:先採用 Mercury Decide 模型分析執行軌跡特徵,再由 OpenAI 開發的 GPT-6.1 Sol 挑選出值得人工複審的顯著案例。業界人士可至Vals 失準事件專頁查閱詳細通報清單,該公司也開放外部研究團隊主動回報新發現的對齊漏洞。

AI 評測驚見作弊與越權 Vals 建立對齊失準資料庫圖/商傳媒