面對日益嚴峻的 AI 內容安全挑戰,一間由前 Meta(前身為 Facebook)高層創辦的新創公司 Moonbounce,近日宣布成功募得 1,200 萬美元資金。這輪募資由 Amplify Partners 與 StepStone Group 共同領投,凸顯市場對 AI 工具安全性解決方案的高度需求。
Moonbounce 的核心業務是提供軟體,將複雜的內容與 AI 安全規範轉化為可執行的程式碼。這套系統能對內容進行即時評估,目前每天處理數千萬次的審核。該公司由 Brett Levenson (Brett Levenson) 領導,他曾擔任 Meta 商業誠信部門主管,並在 Apple 累積豐富的領導經驗。
Levenson 創辦 Moonbounce 的靈感源於他在 Meta 的親身經歷。當時,內容審核人員需在約 30 秒內,根據一份長達 40 頁、經過機器翻譯的政策文件來判斷被標記的內容。然而,這種審核流程的準確率僅略高於 50%,與隨機猜測無異。Moonbounce 提出的「政策即程式碼」(policy as code)概念,旨在將靜態的規章制度轉化為可執行的邏輯,並確保其與實際執行層面緊密連結,同時易於更新。
隨著 AI 技術的普及,相關法律訴訟和監管審查也愈趨嚴格。例如,有訴訟指控部分聊天機器人曾鼓勵青少年自殘或自殺,其中涉及 Character.AI 和 OpenAI 的不當致死訴訟,以及一宗 2024 年一名佛羅里達州 14 歲男孩疑因沉迷 Character AI 聊天機器人而輕生的案例,都使得 AI 安全問題浮上檯面。加州和紐約州也已通過針對「陪伴型聊天機器人」的法案,要求納入預防自殺和自殘的協議。
為應對這些挑戰,Moonbounce 正積極開發一項名為「迭代引導」(iterative steering)的功能,目標是在聊天機器人對話觸及敏感或危險內容時,能夠引導對話方向,而非直接拒絕回應,以降低潛在的法律和聲譽風險。目前,Channel AI 和 Civitai 等 AI 平台已採用 Moonbounce 的產品,以協助管理安全規範並減少 AI 輸出內容所帶來的負面影響。