美新創小模型實測超車三大巨頭 企業內部搜尋準確率達83%
總部位於美國加州聖荷西的 AI 軟體開發商 Tech.us, Inc. 於週二發表全新企業搜尋模型 Agentic Evidence Search Model(AESM)。這款僅具備 20 億參數(參數量代表模型內部設定的複雜度,通常越小耗費運算資源越低)的輕量化模型,在該公司的 500 道問題內部基準測試中,繳出 83.6% 的平衡準確率,表現優於測試中的三款主流大型雲端模型。
根據測試數據,同樣針對企業資料檢索任務,GPT-6 Luna 的平衡準確率為 57.3%,Claude Haiku 5.5 為 55.5%,Gemini 3.1 Flash-Lite 則為 52.0%。
除了準確率之外,AESM 在檢索效率上亦有顯著落差。測試顯示,AESM 在完成整項評測時僅執行 1,636 次搜尋,每題平均呼叫模型 2.99 次;相較之下,GPT-6 Luna 執行了 3,057 次搜尋、Claude Haiku 5.5 為 2,901 次,Gemini 3.1 Flash-Lite 則達 2,292 次。AESM 的搜尋次數比受測的主流模型減少了 29% 至 46%。
在安全性防護方面,AESM 成功抵禦基準測試中設計的所有 98 次 Prompt 注入攻擊。
Tech.us, Inc. 創辦人兼執行長 Praveen Narra 指出,企業級 AI 正在走向「更小、更銳利」的趨勢,這款 20 億參數的模型之所以能在檢索測試中勝出,關鍵在於訓練時專注於單一任務。該架構將證據檢索、驗證步驟與最終答案生成拆開處理,因而提升了準確度。
運算規格上,AESM 能在企業內部的消費級顯示卡(GPU)單卡環境運行,無須仰賴大型雲端算力。目前 AESM 專門作為 Tech.us 旗下 Company Brain 軟體的搜尋引擎,並未對外公開釋出。相關研究資訊可至 Agentic Evidence Search Model 技術專頁 查閱。
美國新創公司推出什麼樣的新型企業搜尋模型?
美國加州聖荷西的 AI 軟體開發商 Tech.us, Inc. 於週二發表全新企業搜尋模型 Agentic Evidence Search Model(AESM)。這款僅具備 20 億參數的輕量化模型,在 500 道問題的內部基準測試中,繳出 83.6% 的平衡準確率,表現優於 GPT-6 Luna(57.3%)、Claude Haiku 5.5(55.5%)及 Gemini 3.1 Flash-Lite(52.0%)。此外,AESM 在檢索效率上亦有顯著優勢,搜尋次數比主流模型減少了 29% 至 46%,並成功抵禦了所有 98 次 Prompt 注入攻擊。
AESM 模型相較於其他大型雲端模型,在檢索效率上有何差異?
AESM 在完成整項評測時僅執行 1,636 次搜尋,每題平均呼叫模型 2.99 次。相較之下,GPT-6 Luna 執行了 3,057 次搜尋,Claude Haiku 5.5 為 2,901 次,Gemini 3.1 Flash-Lite 則達 2,292 次。AESM 的搜尋次數比受測的主流模型減少了 29% 至 46%。
AESM 模型在安全性方面表現如何?
AESM 在基準測試中成功抵禦了所有設計的 98 次 Prompt 注入攻擊,展現了良好的安全性防護能力。
AESM 模型為何能在企業搜尋測試中勝出?
Tech.us, Inc. 創辦人兼執行長 Praveen Narra 指出,關鍵在於訓練時專注於單一任務,並將證據檢索、驗證步驟與最終答案生成拆開處理,因而提升了準確度。此模型也能在企業內部的消費級顯示卡(GPU)單卡環境運行。