(媒角抵加/李豔萍綜合報導)Google於11月4日公開健康AI評估框架,從準確、安全與實用三面向,結合測驗、自動評分及專家審查,供開發者、研究者與臨床人員參考。Google表示已用於模型評估;原白皮書作者則將建立獨立驗證機制列為後續工作。對台灣醫療院所而言,導入還涉及本地工作情境測試、病人資料保護與醫事人員確認。

關鍵資訊

  • 發布內容:Google公開健康生成式AI評估方法與白皮書。
  • 評估重點:知識與內容準確性、安全性,以及對使用者任務的實用性。
  • 方法組合:測驗、AI自動評分及專家人工審查。
  • 目前證據:Google自家模型測試包含靜態題目與模擬對話;白皮書提出後續獨立驗證工作。
  • 台灣情境:衛福部指引涵蓋醫院、診所導入前後的評估、資料保護與監測。

從具體任務判斷健康AI是否有幫助

Google健康臨床評估負責人Sarah Montgomery-Taylor在11月4日公告中表示,公司將多種方法結合,用來評估常見及高風險健康情境,並公開做法供開發者、研究者與臨床人員參考。

原白皮書以使用者的具體任務為評估起點。例如整理臨床紀錄時,除了資訊正確,也涉及重要內容遺漏、過敏資訊與時間順序等風險。

這讓「實用」有了更明確的查問方式:同樣是一段病歷摘要,院所關心的可能是醫事人員能否找到重要資訊、需要修正哪些內容,以及覆核工作由誰負責。評估的對象也隨之從一段流暢文字,延伸到整個工作步驟。

測驗、自動評分與專家審查各負責一部分

依Google公告,框架結合有明確答案的基準測驗、由AI執行的自動評分,以及專家人工審查。這些方法共同檢查準確、安全與實用三面向。

白皮書指出,自動評分工具也有偏差,需以專家建立的參考判斷驗證;作者並將建立獨立驗證機制列入後續工作。該文目前為arXiv預印本,共同作者包括Google人員及兩位外部健康專家Dana Gelb Safran、Elizabeth McGlynn。

AI生成概念圖。依Google公開框架整理測驗、AI評分與專家審查三種方法,以及準確、安全、實用三個評估面向;非官方圖表或臨床驗證結果。

Google既有測試包含模擬使用者

公告連結的Gemini 4安全報告健康章,列出Google對健康問題、在地化回答、高風險情境及多輪互動的模型評估。其中部分對話由模擬使用者進行:情境細節起初保留,藉此測試模型會不會追問必要資訊。

報告也採用HealthBench Hard的1,000道測試案例,並列出模型評分。這些數字描述測試題與模型表現;報告健康章呈現的結果,衡量單位並非病人治療後的健康變化。

既有研究指出,人工評估方法仍不一致

健康AI評分方法的差異,早已有研究關注。2025年3月刊於《BMC Medical Informatics and Decision Making》的系統性回顧,納入761篇臨床醫學大型語言模型研究,涵蓋同儕審查論文及預印本。

該回顧指出,研究使用的人工評估方法多樣,標準化評分規準有限,可能影響結果的一致性與可靠度。這項早於Google本次框架的研究,呈現的是整個領域的評估問題。

台灣院所導入,另有情境測試與資料保護工作

衛福部2026年5月29日函頒的醫療機構應用生成式人工智慧指引,建議院所用具代表性的案例與工作流程,測試系統輸出品質及臨床安全,並記錄驗收標準與結果;導入前也進行資訊安全與資料保護評估。

這份指引屬行政指導,適用預備或已導入生成式AI的醫院、診所。涉及臨床判斷、病人溝通或醫療紀錄等情境,指引建議由具相應資格的醫事人員負責最終確認與審核。

對院所評估人員而言,可先選定一項任務,向供應商索取對應模型版本、測試情境、評分標準與結果,再以本地工作材料核對重要資訊的遺漏及修正情形。繁體中文表達、院內紀錄格式與服務族群,都是安排測試時的具體條件。

醫療人員學習AI操作,可延伸閱讀本站Google醫療人員AI課程報導;院內流程的責任與紀錄問題,另見醫療多代理協作研究。更多相關消息收錄於AI工作流及Google報導。

資料來源與更新紀錄