面對日益嚴峻的 AI 內容安全挑戰，一間由前 Meta（前身為 Facebook）高層創辦的新創公司 Moonbounce，近日宣布成功募得 1,200 萬美元資金。這輪募資由 Amplify Partners 與 StepStone Group 共同領投，凸顯市場對 AI 工具安全性解決方案的高度需求。
Moonbounce 的核心業務是提供軟體，將複雜的內容與 AI 安全規範轉化為可執行的程式碼。這套系統能對內容進行即時評估，目前每天處理數千萬次的審核。該公司由 Brett Levenson (Brett Levenson) 領導，他曾擔任 Meta 商業誠信部門主管，並在 Apple 累積豐富的領導經驗。
Levenson 創辦 Moonbounce 的靈感源於他在 Meta 的親身經歷。當時，內容審核人員需在約 30 秒內，根據一份長達 40 頁、經過機器翻譯的政策文件來判斷被標記的內容。然而，這種審核流程的準確率僅略高於 50%，與隨機猜測無異。Moonbounce 提出的「政策即程式碼」（policy as code）概念，旨在將靜態的規章制度轉化為可執行的邏輯，並確保其與實際執行層面緊密連結，同時易於更新。
隨著 AI 技術的普及，相關法律訴訟和監管審查也愈趨嚴格。例如，有訴訟指控部分聊天機器人曾鼓勵青少年自殘或自殺，其中涉及 Character.AI 和 OpenAI 的不當致死訴訟，以及一宗 2024 年一名佛羅里達州 14 歲男孩疑因沉迷 Character AI 聊天機器人而輕生的案例，都使得 AI 安全問題浮上檯面。加州和紐約州也已通過針對「陪伴型聊天機器人」的法案，要求納入預防自殺和自殘的協議。
為應對這些挑戰，Moonbounce 正積極開發一項名為「迭代引導」（iterative steering）的功能，目標是在聊天機器人對話觸及敏感或危險內容時，能夠引導對話方向，而非直接拒絕回應，以降低潛在的法律和聲譽風險。目前，Channel AI 和 Civitai 等 AI 平台已採用 Moonbounce 的產品，以協助管理安全規範並減少 AI 輸出內容所帶來的負面影響。
