AI生成情境示意,工程師指向螢幕上的程式修改區,旁邊顯示示意審查意見。圖/媒角抵加

(媒角抵加/林承志綜合報導)研究者Yining Hua於台灣時間11月18日向arXiv提交預印本,追蹤297名Claude使用者換模型前後的程式修改,未見高分模型顯著提高七天內合併率。程式修改合併代表改動被納入專案,研究尚未直接量測省下多少工時。對準備換用AI程式工具的台灣團隊,測試通過後的審查、返工與實際採用,都會影響一張工單何時完成。論文摘要與發布紀錄。

關鍵資訊

  • 研究對象:297名Claude Fable 5使用者,以及8,908名持續使用Opus 4.8的開發者。
  • 觀察結果:Fable 5可用期間,七天內合併率的估計差異為增加1.4個百分點,未達統計顯著。
  • 資料狀態:研究為預印本。作者列出的GitHub資料與程式庫於11月19日回傳404。

一次19天停用,讓開發者換了模型

Anthropic於6月30日說明,Claude Fable 5與Mythos 5自6月12日起因美國出口管制暫停對外服務,並預告7月1日恢復。這段中斷提供了一個觀察機會,同一批開發者在相近專案上工作,手邊可用的模型變了。Anthropic恢復服務公告。

Hua追蹤GitHub的程式修改請求(Pull Request,PR),並對照持續使用Opus 4.8者同時期的變化。按論文採用的SWE-bench Pro成績,Fable 5分數較高。它可用時,七天內合併率的估計差異為增加1.4個百分點,95%信賴區間介於減少1.4至增加4.3個百分點。區間涵蓋零,尚無法確認提升。另五次模型升級的平均差異同樣未達統計顯著。論文方法與結果。

合併紀錄留下了什麼,又漏了什麼

研究透過PR說明裡的模型署名辨識工具。這種選樣集中於會把模型名稱寫進公開紀錄的工作。作者抽查的2,019筆PR中,多數由提交者自己合併;合併率提供了程式被保留的訊號,人工審查品質與省下的工時仍需另外量測。論文討論與限制。

論文列出供重算結果的GitHub資料與程式庫,該公開頁及GitHub API於11月19日均回傳404,資料尚無法由這兩個入口取得。

AI生成概念圖,測試結果連到人工審查,列出核對需求、檢查影響與評估品質三項工作。
METR的維護者審查研究列出需求完成度、對其他程式的影響及程式碼品質等考量。

維護者審查會看測試以外的問題

AI評估機構METR在3月10日公布另一組研究,請三個開源專案的四位維護者審查296筆AI產生的修改。在調整維護者判斷本身的差異後,約半數通過SWE-bench Verified自動測試的修改,仍會被維護者要求調整。原因包括程式風格不合專案規範、影響其他功能,以及原問題未完整解決。METR研究說明。

METR這次只讓模型提交一次解法,缺少收到審查意見後再修改的回合。團隊若把真人回饋接進AI工作流程,還有調整解法的機會。這組研究觀察的是維護者審查,Hua新論文則追蹤公開PR的合併紀錄,兩者各自呈現工作流程中的一個關卡。METR實驗條件。

台灣團隊換模型,可記下一張工單的全程

台灣軟體團隊若要比較兩個模型,媒角抵加建議先選同一專案、難度相近的修錯工單,記下模型與工具版本、第一次修改提出時間、測試結果、人工審查時間、返工回合及完成日期。把等待模型、檢查輸出和修正錯誤的時間一起算入,才有資料判斷新工具改變了哪一步。私有專案的結果可由團隊內部保存。

交件時要留下哪些設計與測試資料,可延伸閱讀Rust專案的AI程式碼審查做法。

資料來源與更新紀錄