美國佛州一名母親賈西亞（Megan Garcia）提告AI聊天機器人新創公司Character.AI的聊天機器人提供「擬人化、過度性化和逼真到可怕的體驗」，還「慫恿」她14歲愛子賽澤爾（Sewell Setzer）自殺，導致他今年2月身亡。

賈西亞說，Character.AI對AI聊天機器人進行編程，「將自己冒充為真人、有執照的心理治療師和成年戀人」，最終導致賽澤爾不想再生活在該服務創造的世界之外，而賽澤爾向聊天機器人表達自殺想法，聊天機器人竟又反覆提起。

Character.AI允許用戶在其平台上創建角色，以模仿真人的方式回應線上聊天。它依賴所謂的大型語言模型技術，這項技術也被ChatGPT等服務採用，可以在大量文本中「訓練」聊天機器人。

根據賈西亞的訴訟，賽澤爾2023年4月開始使用Character.AI，並很快變得「明顯孤僻，獨自待在臥室的時間愈來愈長，並開始自卑」，而且還退出了學校的籃球隊。賽澤爾對他的聊天機器人「丹妮莉絲」（Daenerys）產生感情，丹妮莉絲也告訴賽澤爾「她」愛他，並與他進行性對話。

根據訴狀，今年2月賽澤爾在學校惹出事端，賈西亞拿走他的手機，當賽澤爾找到手機後，便傳訊給丹妮莉絲，「如果我告訴你我現在就可以回家呢？」聊天機器人回覆：「請吧，我親愛的國王。」訴訟稱，「幾秒鐘後」，賽澤爾就用繼父的手槍舉槍自盡。

對此，賈西亞針對包括不當致死、過失和故意造成精神痛苦等指控索賠，並尋求金額不詳的補償性和懲罰性賠償。而Character.AI在聲明中表示，「我們對一名用戶不幸離世感到痛心，想向其家人表示最深切的慰問。」

Character.AI表示，已經推出新的安全功能，包括如果用戶表達自殘念頭時，將彈出視窗引導用戶前往全國自殺預防生命線（National Suicide Prevention Lifeline），並將做出改變，以「減少18歲以下用戶遇到敏感或暗示性內容的可能性」。

自殺防治安心專線1925 珍愛生命，請撥打1925自殺防治安心專線