(媒角抵加/林承志綜合報導)新加坡國立大學、中國科學技術大學與阿里巴巴Qwen團隊研究者,於台灣時間10月16日提交預印本,訓練另一個AI在代理執行途中判斷何時介入、提供修正方向。作者在檢索問答測試中報告分數提高,多代理配置也出現執行輪次增加。這項方法仍處研究評測階段,台灣團隊若評估導入,可用自身繁中任務比較完成品質、時間及人工覆核成本。

關鍵資訊

  • 方法:以強化學習訓練引導代理,在執行過程介入。
  • 證據範圍:檢索問答基準測試,研究結果由作者報告。
  • 導入判斷:完成品質、總耗時與人工覆核成本分開記錄。

訓練引導代理,先判斷再提示

研究方法以Qwen3-8B作為引導代理,執行端採Qwen2.5-7B-Instruct並固定參數。引導代理先快速判斷是否介入,需要時才產生修正提示。

原論文表1報告,在本機維基百科檢索的七項問答基準中,平均F1由42.70升至49.36,每題平均介入0.93次。F1衡量答案與參考答案的文字重合程度。

AI生成資訊圖,依Shen等研究表4重製:每次交接均引導設定下,平均F1由42.49升至47.83,代理動作輪次由每題9.2增至11.9。

多代理測試分數上升,動作輪次也增加

在表4每次代理交接都接受引導的設定下,平均F1由42.49升至47.83,動作輪次由9.2增至11.9;同設定使用未經這項訓練的引導代理,F1降至35.34。

代理協作的錯誤有不同來源。Mert Cemri等人在NeurIPS2025原研究整理七種多代理框架、超過1600份執行紀錄,歸納14種失敗模式,分屬系統設計、代理間協調及任務驗收三類。

依這些失敗類型,測試紀錄可保留每次交接的原需求與產出,另比對驗收者的退回理由,辨認需求遺漏或已完成卻被要求重做的情況。

真實工作驗收,要查任務最後留下什麼

Anthropic在1月9日發布的評測工程文章中,將任務、反覆試跑、評分器、完整執行紀錄與環境最後狀態分開處理。例如訂票代理宣稱訂位完成後,驗收項目是資料庫裡是否存在正確訂位。

Anthropic也指出,研究型代理可分別檢查主張是否有來源支持、必要資訊是否齊備,以及來源品質;以模型評分時,另以領域專家的判斷校準。這些項目把「回答是否完整」拆成可逐一查核的內容。

台灣團隊可從繁中查詢任務開始比較

這份引導代理預印本的評估項目為檢索問答,未提供台灣企業部署成效或繁體中文工作任務的測試數據。

台灣團隊若要評估類似方法,可先挑選不含個資的歷史查詢題,固定資料與完成標準,比較原流程及加入引導後的結果。每題同時記錄答案證據、工具呼叫、總耗時與人工修改量,評估新增監督所需的成本。

涉及正式寄送、付款或刪除資料的任務,可把人工核准設在最後執行之前。授權範圍的整理見本站AI代理權限四問,工具隔離與執行控制見NVIDIA代理安全設計;相關報導收錄於AI安全。

資料來源與更新紀錄