商傳媒|何映辰/台北報導

Liquid AI 於本週三宣布釋出 LFM2.5-24B-A2B,這是一款專為在筆記型電腦及其他支援硬體上執行 AI 代理所設計的開源推論模型,旨在建立本地 AI 工作流程。本地 AI 工作流程 意指讓人工智慧模型直接在用戶自身的裝置上運作,而非依賴雲端伺服器,有助於企業將數據輸入與輸出保留在內部硬體中,提高數據隱私。

LFM2.5-24B-A2B 這款開源人工智慧模型擁有 240 億個參數,但在處理每個 Token(處理語言的最小單位)時,僅啟動約 24.5 億個參數。這種設計能有效減少生成回應所需的運算量,同時相較於一般 20 億參數的模型,對記憶體的需求也更低。此模型的釋出也讓 LFM2.5 系列模型家族更加完整,該系列規模從 2.3 億參數涵蓋至 240 億參數。

Liquid AI 已在 Hugging Face 平台上提供 LFM2.5 基礎版與後續訓練版本,供開發者下載、客製化與部署。新模型將上下文視窗從 32,768 個 Token 擴展至 131,072 個 Token,詞彙表也擴大至 128,000 個 Token,特別針對非拉丁語系的 Token 化處理進行了優化。在預訓練階段,模型訓練資料量從約 17 兆 Token 大幅提升至 33 兆 Token,並針對推論、數學、編碼、指令遵循與多語言文本進行額外訓練。最終訓練階段更整合了 OpenClaw、Hermes Agent、Pi 和 OpenCode 等代理框架的強化學習。該模型在給出最終答案前會生成明確的推論過程,這對多步驟任務有幫助,但會增加 Token 的生成量。

根據《TechRepublic》報導,Liquid AI 在多項基準測試中評估了 LFM2.5-24B-A2B。在 LiveClaw 測試中,Liquid AI 獲得 48.09 分,表現優於通義千問(Qwen)的 Qwen3.6-35B-A3B 模型(38.19 分)。在 AutomationBench 測試中,Liquid AI 取得 27.69 分,遠高於通義千問的 8.72 分。不過,在 SWE-Bench Verified 測試中,通義千問以 66.20 分領先 Liquid AI 的 51.00 分。

在硬體效能方面,Liquid AI 報告 LFM2.5-24B-A2B 在蘋果(Apple)的 M5 Max 晶片上能達到每秒 184 個 Token 的生成速度,而在超微半導體(AMD)的 Ryzen AI Max+ 395 上則為每秒 114 個 Token。此外,單一輝達(NVIDIA)B300 GPU 在多個併發請求下,總輸出吞吐量可超過每秒 21,000 個 Token。該模型也支援 llama.cpp、MLX、vLLM、SGLang 及 ONNX 等多種軟體框架。

對企業而言,於本地執行 AI 代理能有效協助自動化研究、編碼與文件處理等任務,同時將模型輸入與輸出數據保留在公司內部硬體,解決了雲端 AI 服務可能引發的數據隱私疑慮。開發者也能透過開源模型進行實驗,而非完全依賴託管式 AI 服務。然而,實際硬體容量是本地 AI 的一大限制,團隊在部署前應在目標裝置上測試模型格式與上下文長度,並測量記憶體使用量與回應時間。此外,本地推論並非自動確保整個工作流程的隱私,因為連結外部工具的 AI 代理仍可能將數據傳輸至裝置外。因此,企業的 IT 團隊應限制工具存取、保護憑證,並在關鍵行動前取得批准。

Liquid AI 也強調,年營收超過 1000 萬美元的公司必須取得單獨的商業授權,因此企業在假設可下載的模型權重代表不受限制的商業用途前,應仔細審閱授權條款。