根據喬治城大學醫學中心（Georgetown University Medical Center）近期舉辦的一場研討會，來自美國國家衛生院（National Institutes of Health, NIH）的博士後研究員 Brandon Colelough 指出，人工智慧（AI）大型語言模型（LLM）產生「幻覺」或錯誤資訊的現象難以避免，這使AI應用存在潛在危害。
Brandon Colelough（同時也是馬里蘭大學博士生）在 Bhussry 研討會系列中解釋，所謂的AI幻覺是指「貌似合理卻不符合事實的內容斷言——錯誤或捏造的資訊，或是任何不準確、不相關或缺乏事實邏輯的輸出」。他進一步闡明，LLM的運作基礎是辨識海量資料中的模式，並預測序列中的下一個詞，而非真正理解資訊。這種運作機制使其本質上被視為「黑盒子」（black box），其內部運算過程難以解釋或理解，也造成幻覺問題持續存在。
Colelough 舉例說明，當他要求 ChatGPT Model 4.0 解釋一項不存在的科學研究時，該聊天機器人竟能信心滿滿地給出詳細回覆。他強調，目前號稱「推理模型」的新模型，實際上仍依賴模式識別而非真正的推理能力，因此不構成重大突破。他假設，即便能提高基準分數的強化學習、人類回饋、監督式微調等方法，也未能有效減少幻覺，且目前尚無數據證明這些方法能降低幻覺。
Brandon Colelough 斷言，無論是開源或閉源的AI模型，都會產生幻覺。他明確指出，使用者無法擺脫AI會產生幻覺的事實。為了應對這種固有的限制，電腦科學系學生 Siona Misra 建議，用戶在使用AI前應對主題有所了解，或調整提問方式，要求AI解釋其思考過程、提供資訊來源，或將問題拆解為更小、更易理解的部分。喬治城大學腫瘤學教授 Markus Hoffman 也表示，他開設專門課程，教導學生如何可靠地在日常及研究工作中使用AI，相信透過訓練可避免錯誤。
這些發現對台灣的AI開發者和使用者具有警示意義。儘管AI技術進步快速，其在理解層面的根本局限性意味著，不論AI模型如何演進，仍需保持審慎態度。對於依賴AI進行決策、資訊檢索或內容生成的台灣企業與個人而言，務必理解AI幻覺的固有風險，並採行多重驗證機制，避免誤判或誤用AI產生的不實資訊，以維護資訊正確性與可靠度。
