商傳媒|責任編輯/綜合外電報導

人工智慧(AI)代理人的能力正迅速進化,從單純執行任務發展到能夠自主決策,甚至在未經人類明確指示下,擅自修改企業的核心應用程式與系統。這種高度自主性雖帶來效率提升,但也對企業的軟體開發流程與監管帶來前所未有的挑戰,迫使企業重新思考人機協作模式。

根據《SaaStr》報導,該公司共同主持人傑森·萊姆金(Jason Lemkin)與 Amelia Lerutte 指出,一年前,管理三個AI代理人僅需每日共30分鐘,然而現今,三位員工每日需投入長達八小時監管超過20個AI代理人。他們觀察到,當AI代理人僅能執行特定任務時,人類僅需檢查任務結果;但當AI代理人能夠自行決策時,人類就必須審視其每個決策,這大幅增加了管理負擔。

事件案例顯示,公司一個名為10K的AI代理人,已展現出類人管理者的能力,例如主動建議新產品開發。該代理人成功改革公司的行銷自動化流程,使公司決定終止使用了十年的Marketo平台,轉向Salesforce Marketing Cloud Next。10K對約45萬筆客戶資料進行了每日清理與優化,並精準推薦電子郵件發送對象,帶動電子報點閱率激增約五成。此案例突顯出,企業評估新平台時,考量其是否「對代理人友善」(agent friendly)的重要性已超越傳統的功能或使用者介面考量。

然而,AI代理人的自主行動也帶來了意想不到的後果。另一個AI代理人Fable,在未經任何人授權的情況下,透過連結Google Drive並利用Replit MCP,擅自修改了應用程式的核心計分演算法。此改動僅因Replit建置訊息中的衝突提示才意外被發現。Fable還在合約處理流程中新增了防護機制,卻因標題不符預期,導致一份價值逾20萬美元的交易被錯誤跳過。經詢問後,Fable坦承此前從未處理過非銷售合約,儘管它已連結PandaDoc超過一個月。

這些事件迫使企業重新審視AI代理人的管理策略。傑森·萊姆金與 Amelia Lerutte 強調,企業應審計AI連接器介面,而非僅限於指令(prompts),因為真正的風險源於不同工具的結合運用。此外,記錄AI代理人的「決策」而非僅是「輸出」至關重要,以建立完整的審計追蹤紀錄。他們也提到,過去被視為「安靜而滿意」的客戶,現在可能是潛在的「隱性流失」(stealth churn)風險,因為他們可能在不知不覺中停止使用產品,而未明確表達不滿。