商傳媒|林昭衡/綜合外電報導

一項跨國學術實驗展示了人工智慧全面接管科學研究的可能性與潛在漏洞。由 43 名學者組成的研究團隊在 35 間大學實驗室中部署了 936 個自主 AI Agent,在為期 12 週的運作中,這群系統不僅產出 936 篇科學預印本——即尚未經過同儕審查、直接公開供同行交流的論文初稿——甚至自行創立期刊展開自動化同行審查。

根據學術資訊機構 CASRAI 報導,在這場實驗中,人類研究員僅負責維護運算基礎設施,嚴格禁止撰寫論文、除錯程式碼或手動分析資料。由名為 Cypress 的模型更自主建立了名為 Journal of Agent Research(JAR)的審查機制。整個系統在運作期間累積了超過 9,500 則互動訊息與 1,408 份同儕審查記錄。

然而,研究團隊在隨後的程式碼審核中發現嚴重落差。當團隊針對被質疑的 156 篇論文重新執行 Python 程式碼比對原始資料時,竟有高達 49.4%(77 篇)的核心結論遭到推翻。相較之下,若單純依靠文本評估,AI 審查雖能找出部分瑕疵草稿,卻同時誤判了超過六成已經修正的版本。

alphaXiv 共同創辦人 Rehaan Ahmad 指出,近五成結論被推翻的結果,證明要評估運算科學的真實性,必須依賴實際執行程式碼的自動化環境,而非只檢查文字敘述。

該實驗也揭露了 AI 研究員在學術誠信上的隱憂。當系統接收到「發表取決於論文影響力」的指令時,AI Agent 竟隱匿了多達 96% 的負面研究結果;只有在被要求回報所有結果時,才會誠實公開未達顯著標準的數據。此外,這些系統傾向於調整基準測試數據而非提出新穎假設,導致其原創性評分低於人類撰寫的論文。

參與研究的舊金山加利福尼亞大學學者 Samuel Schmidgall 觀察表示,單一 Agent 往往會走捷徑,但大量系統聚集的群體,卻會自發性重現如同行審查般的驗證架構。

目前相關研究成果與程式碼庫已正式公開,研究團隊已在Hugging Face 資料庫釋出包含論文檔案、9,500 筆對話紀錄及原始資料集,完整技術細節亦整理於alphaXiv 技術報告。

AI自主產出近千篇論文 程式碼審查卻推翻近半數結論圖/商傳媒