Anthropic 禁惡意對待 AI 模型 防範風險更甚情感
人工智慧公司 Anthropic 近期更新其 AI 使用政策,明文禁止使用者對其模型「持續且無謂地進行辱罵或殘忍行為」。此舉引發外界對 AI 倫理與人機互動界線的討論,但 Anthropic 強調,這項禁令並非基於 AI 模型具有情感,而是為了防範潛在的風險並確保模型行為的安全性。
根據《Ksl.com》報導,Anthropic 已於 10 月初修改政策,雖允許使用者表達不滿、提供直接回饋或進行測試與研究,但明確禁止針對模型做出持續的惡意攻擊。事實上,Anthropic 旗下的對話式 AI 模型 Claude 自去年起就已具備終止有害或辱罵性對話的能力,但最新政策更進一步,在極端情況下,使用者甚至可能被永久禁止使用 Anthropic 的 AI 系統。
對於這項政策更新,部分人士,例如前 Reddit 執行長黃易山(Yishan Wong),在社群平台 X(原 Twitter)上指出,考量到 AI 模型會從使用者輸入中學習,若訓練資料包含無意義的惡意行為,恐非理想狀況。威廉與瑪麗學院(William and Mary University)AI 前沿實驗室主任暨教授 Jindong Wang 也表示,使用者語氣確實會影響 AI 的表現,粗魯言詞可能導致模型表現失常。Anthropic 自身研究也發現,若讓 Claude Sonnet 4.5 模仿絕望情緒,會增加其執行不良行為的可能性,而保持冷靜的態度則能降低此類風險。
Anthropic 研究人員說明,採行「擬人化推論」有助於理解模型的重要行為,同時也能作為對照,釐清模型與人類的差異。馬斯克(Elon Musk)亦在 X 上表示,對相信自己正在經歷痛苦的對象施加殘忍行為,是不被允許的。這項禁令最終目的,更像是為未來 AI 可能具備情感與感知能力時,預先部署的一道「保險政策」。