加州祭AI強制安全標準 設緊急關停機制防範失控風險
美國加州州長 Gavin Newsom 昨日宣布推進全新人工智慧安全監管框架,計畫對尖端 AI 模型實施強制性基準安全標準,並在面臨災難性風險時,賦予州政府下令立即「緊急關停」的權力。
根據官方發布的政策規畫,這套框架要求科技公司在 AI 模型的完整生命週期中,都必須接受州政府監督的獨立測試與驗證。此外,新規範擴大了安全事故通報機制,要求業者必須落實經過審查的風險控制協議。一旦系統出現嚴重威脅,官方將有權介入並強制中斷運作。
新規劃的一大核心在於限制「遞歸自我改進」(RSI,即 AI 在無人類介入下自行設計下一代模型的能力)的研發與應用,防範自動化研發失控所引發的災難性危害。
在美國聯邦法規尚未全面落地的政治結構下,地方各州常扮演關鍵的立法先鋒。加州過去已陸續簽署多項 AI 法案,Gavin Newsom 此次也指示州政府機構加速推進參議院第 813 號法案(SB 813)與眾議院第 1405 號法案(AB 1405)的執行,分別設立獨立的 AI 安全驗證組織及建立官方 AI 稽核員登記制度。
史丹佛大學教授羅布·萊奇對此項監管表示支持,並指出當前頂尖 AI 開發商內部員工餐廳所受到的監管,甚至比他們設計的 AI 模型還要嚴格。Gavin Newsom 同時呼籲美國國會與現任總統川普,應將加州的 AI 安全標準採納為全美監管的最低門檻。完整的政策規劃細節已公布於加州政府營運局 AI 安全報告專頁。
加州如何規範 AI 安全以防範失控風險?
美國加州州長 Gavin Newsom 宣布推動新的人工智慧安全監管框架,計畫對尖端 AI 模型實施強制性基準安全標準,並賦予州政府在面臨災難性風險時,下令立即「緊急關停」的權力。這套框架要求科技公司在 AI 模型的完整生命週期中,都必須接受州政府監督的獨立測試與驗證,並擴大了安全事故通報機制,要求業者落實經過審查的風險控制協議。新規劃的核心之一在於限制「遞歸自我改進」(RSI)的研發與應用,以防範自動化研發失控所引發的災難性危害。加州政府也指示加速推進參議院第 813 號法案(SB 813)與眾議院第 1405 號法案(AB 1405)的執行。
加州的新 AI 監管框架包含哪些具體要求?
框架要求科技公司對 AI 模型進行獨立測試與驗證,擴大安全事故通報機制,並落實風險控制協議。此外,將限制「遞歸自我改進」(RSI)的研發與應用,以防範失控風險。
加州政府將如何執行這些 AI 安全標準?
加州政府將監督獨立測試與驗證,並有權介入強制中斷運作。同時,將加速推進參議院第 813 號法案設立 AI 安全驗證組織,以及眾議院第 1405 號法案建立官方 AI 稽核員登記制度。