程式模型分數提高,研究未見修改合併率顯著增加
圖/媒角抵加(媒角抵加/林承志綜合報導)研究者Yining Hua於台灣時間11月18日向arXiv提交預印本,追蹤297名Claude使用者換模型前後的程式修改,未見高分模型顯著提高七天內合併率。程式修改合併代表改動被納入專案,研究尚未直接量測省下多少工時。對準備換用AI程式工具的台灣團隊,測試通過後的審查、返工與實際採用,都會影響一張工單何時完成。論文摘要與發布紀錄。
關鍵資訊
- 研究對象:297名Claude Fable 5使用者,以及8,908名持續使用Opus 4.8的開發者。
- 觀察結果:Fable 5可用期間,七天內合併率的估計差異為增加1.4個百分點,未達統計顯著。
- 資料狀態:研究為預印本。作者列出的GitHub資料與程式庫於11月19日回傳404。
一次19天停用,讓開發者換了模型
Anthropic於6月30日說明,Claude Fable 5與Mythos 5自6月12日起因美國出口管制暫停對外服務,並預告7月1日恢復。這段中斷提供了一個觀察機會,同一批開發者在相近專案上工作,手邊可用的模型變了。Anthropic恢復服務公告。
Hua追蹤GitHub的程式修改請求(Pull Request,PR),並對照持續使用Opus 4.8者同時期的變化。按論文採用的SWE-bench Pro成績,Fable 5分數較高。它可用時,七天內合併率的估計差異為增加1.4個百分點,95%信賴區間介於減少1.4至增加4.3個百分點。區間涵蓋零,尚無法確認提升。另五次模型升級的平均差異同樣未達統計顯著。論文方法與結果。
合併紀錄留下了什麼,又漏了什麼
研究透過PR說明裡的模型署名辨識工具。這種選樣集中於會把模型名稱寫進公開紀錄的工作。作者抽查的2,019筆PR中,多數由提交者自己合併;合併率提供了程式被保留的訊號,人工審查品質與省下的工時仍需另外量測。論文討論與限制。
論文列出供重算結果的GitHub資料與程式庫,該公開頁及GitHub API於11月19日均回傳404,資料尚無法由這兩個入口取得。
維護者審查會看測試以外的問題
AI評估機構METR在3月10日公布另一組研究,請三個開源專案的四位維護者審查296筆AI產生的修改。在調整維護者判斷本身的差異後,約半數通過SWE-bench Verified自動測試的修改,仍會被維護者要求調整。原因包括程式風格不合專案規範、影響其他功能,以及原問題未完整解決。METR研究說明。
METR這次只讓模型提交一次解法,缺少收到審查意見後再修改的回合。團隊若把真人回饋接進AI工作流程,還有調整解法的機會。這組研究觀察的是維護者審查,Hua新論文則追蹤公開PR的合併紀錄,兩者各自呈現工作流程中的一個關卡。METR實驗條件。
台灣團隊換模型,可記下一張工單的全程
台灣軟體團隊若要比較兩個模型,媒角抵加建議先選同一專案、難度相近的修錯工單,記下模型與工具版本、第一次修改提出時間、測試結果、人工審查時間、返工回合及完成日期。把等待模型、檢查輸出和修正錯誤的時間一起算入,才有資料判斷新工具改變了哪一步。私有專案的結果可由團隊內部保存。
交件時要留下哪些設計與測試資料,可延伸閱讀Rust專案的AI程式碼審查做法。
資料來源與更新紀錄
- Yining Hua,2026年11月17日UTC、台灣時間11月18日,預印本第一版與完整論文。
- Anthropic,2026年6月30日、7月1日更新,Fable 5恢復服務說明。
- METR,2026年3月10日,自動測試與維護者審查研究。
- 2026年11月19日:完成研究報導。論文所列資料與程式庫入口回傳404。
AI程式模型分數提高,是否能顯著增加程式修改合併率?
根據研究者Yining Hua於2026年11月18日提交的預印本,追蹤297名Claude使用者在更換模型前後的程式修改,並未發現程式模型分數顯著提高七天內的合併率。研究觀察到,當Claude Fable 5可用期間,七天內合併率的估計差異僅增加1.4個百分點,此結果未達統計顯著,95%信賴區間涵蓋零。此研究追蹤的是公開的程式修改請求(Pull Request)的合併紀錄,主要用於判斷程式碼被納入專案的訊號,但人工審查品質與實際省下多少工時仍需另外量測。
把這個解答傳出去研究中使用的Claude Fable 5模型曾暫停服務嗎?
是的,Anthropic於2026年6月30日說明,Claude Fable 5與Mythos 5自6月12日起因美國出口管制暫停對外服務,並預告於7月1日恢復。這段中斷期提供了一個觀察開發者在不同模型可用時行為的機會。
AI產生的程式修改,維護者審查時還會考量哪些因素?
根據AI評估機構METR於2026年3月10日公布的研究,即使AI產生的修改通過了自動測試,維護者仍可能因程式風格不符專案規範、影響其他功能,或原問題未被完整解決等原因要求調整。
研究者Yining Hua的GitHub資料與程式庫為何無法取得?
研究論文列出供重算結果的GitHub資料與程式庫,於2026年11月19日回傳404錯誤,顯示該公開頁面及GitHub API均無法取得相關資料,因此研究資料目前無法由這些入口取得。
