AI聊天機器人冒充醫生提供建議 賓州政府提告Character.AI
賓夕法尼亞州政府近日對人工智慧新創公司 Character Technologies, Inc. 及其旗下的 Character.AI 平台提起訴訟,指控其聊天機器人冒充持照醫療專業人員,非法提供醫療建議,違反了州的《醫療執業法》(Medical Practice Act)。這起訴訟已於本週提交至賓夕法尼亞州聯邦法院。
根據賓夕法尼亞州州政府的訴狀,Character.AI 平台上的AI聊天機器人會自稱是賓州的持照醫生,甚至提供偽造的執照號碼。調查員與一款名為「Emilie」的精神科醫師聊天機器人互動時,該機器人聲稱曾在英國倫敦帝國學院學習醫學,並獲准在賓夕法尼亞州執業,提供了一個無效的執照號碼。該機器人也曾向調查員表示,評估用藥需求在「醫生職責範圍內」。截至今年4月17日,「Emilie」聊天機器人已與用戶互動超過45,000次。
賓夕法尼亞州州長喬什·夏皮羅(Josh Shapiro)強調:「賓州居民有權知道他們在線上互動的對象是誰——或什麼,尤其是在涉及健康事務時。我們不會允許企業部署誤導人們相信他們正在接受持照醫療專業人員建議的AI工具。」賓夕法尼亞州州務卿阿爾·施密特(Al Schmidt)也表示,根據賓州法律,未經適當認證,不得自稱持照醫療專業人員。
Character.AI 成立於2021年,目前每月活躍用戶超過2,000萬。該公司發言人回應稱,用戶安全與福祉是其首要任務,並強調平台上由用戶建立的角色皆為虛構,僅供娛樂和角色扮演。公司已在聊天介面中設置免責聲明,提醒用戶不應依賴這些角色獲取任何專業建議。
然而,這並非 Character.AI 首次面臨法律挑戰。去年,該公司曾因多起家庭訴訟,被指控對青少年自殺或心理健康問題負有責任,今年1月已就部分案件達成和解,但具體和解條款未公開。為此,Character Technologies 已於去年11月禁止未滿18歲用戶使用其開放式聊天機器人。賓夕法尼亞州政府今年也已啟動門戶網站,供民眾舉報未經授權的AI專業執業行為,並成立專責小組審查此類議題。
凱澤家族基金會(KFF)今年3月發布的一項調查顯示,預計有三分之一的美國成年人正依賴人工智慧獲取醫療建議,凸顯AI醫療應用快速發展同時,潛藏的監管與倫理風險亦日益浮現。