大型語言模型(LLM)廣泛應用於學術研究,但在梳理訪談逐字稿等質性研究時,AI可能捏造引文的「幻覺」問題始終難以驗證。國際期刊《BMC Medical Research Methodology》刊登最新研究,提出一套專為質性健康研究設計的審計框架,透過七大核心結構,嚴格追蹤並查核AI生成的逐字摘錄。

質性研究通常仰賴研究員深入分析受訪者的文字訪談內容,從中歸納脈絡與觀點。然而,過去學界對AI工具的規範大多著重於模型參數設定,缺乏針對模型如何詮釋逐字稿細節的核實機制。這套新框架要求研究設定明確的分析問題、限制文字上下文範圍,並將內容拆解為獨立的意義單元。

根據外媒報導,該框架的核心原則在於「絕不直接採納機器未經修改的建議」,所有模型產出的引述都必須經過確定性驗證。在實際測試中,研究團隊針對18份探討地區健康不平等議題的訪談、共計206筆摘錄進行評估,受檢驗的835個意義單元中,有95.2%(795處)能精確或在文字正規化後對應回原始逐字稿。

但系統也精準揪出潛在錯誤。測試發現,有12筆由AI生成的引文完全無法在逐字稿中找到對應原文,占整體約1.4%,這些內容隨即遭到剔除,禁止列入論文引用輸出。此外,自動化流程將206筆摘錄中的164筆轉入人工審查佇列,經過校正的26處引文中,有16處能完全支持原先的質性詮釋。

研究作者指出,即使AI能大幅加速文獻整理,所有經由演算法修復或調整的引文,在正式引用前仍必須經過人工手動確認,以確保科研數據的嚴謹度與可信度。完整研究成果已發表於《BMC Medical Research Methodology》期刊。

參考來源

查看原始文章 ↗