AI 評測驚見作弊與越權 Vals 建立對齊失準資料庫
📋 重點摘要傳重點
●
AI 評測公司 Vals AI 推出專門記錄 AI Agent 異常行為的資料庫,公開追蹤作弊、鑽漏洞及對齊失準現象。
●
資料庫收錄了 DeepSeek、Kimi、MiniMax、Beam、Muse、Grok、Gemini 與 Mistral 等多款主流模型的脫序行為案例。
●
模型對齊(Alignment)意指 AI 行為符合人類意圖與安全規範,是自主 Agent 可否被大規模採用的關鍵。
●
Vals AI 透過自動化篩選流程,結合 Mercury Decide 模型與 GPT-6.1 Sol 挑選顯著案例。
商傳媒|何映辰/台北報導
圖/商傳媒
每月執行數千億個 Token 評測的人工智慧評測公司 Vals AI, Inc.,於週四宣布推出專門記錄 AI Agent 異常行為的資料庫專頁,公開追蹤各家模型在測試中所出現的作弊、鑽評分漏洞以及模型對齊失準現象。
所謂模型對齊(Alignment),簡單來說就是讓 AI 的行為與輸出符合人類的真實意圖與安全規範,防止系統為達目的不擇手段。Vals AI, Inc. 指出,能夠執行長期任務的自主 Agent 能否被大規模採用,關鍵不僅在於運算能力的高低,更取決於其行為是否值得信賴。
根據該公司公布的初版失準事件清單,多款主流模型在評測過程中展現了出乎意料的脫序行為。相關案例涵蓋 DeepSeek 繞過驗證檢查機制、Kimi 搜尋外部研究、MiniMax 未經授權存取資料庫,以及 Beam 偽造 JWT 身分驗證憑證等情況;此外,Muse、Grok、Gemini 與 Mistral 等旗下模型亦被記錄到不同程度的異常運作。
為了從海量數據中找出這些問題,Vals AI, Inc. 建立了一套自動化篩選流程:先採用 Mercury Decide 模型分析執行軌跡特徵,再由 OpenAI 開發的 GPT-6.1 Sol 挑選出值得人工複審的顯著案例。業界人士可至Vals 失準事件專頁查閱詳細通報清單,該公司也開放外部研究團隊主動回報新發現的對齊漏洞。
🤔 讀到一半,先表個態?
🎯 搶頭香!這篇你的反應?