裝置端AI效能戰升溫 Underdog Fantasy Apple晶片速度領先蘋果MLX
裝置端AI助理Underdog Fantasy在蘋果晶片上表現如何？
裝置端人工智慧助理Underdog Fantasy在蘋果晶片上展現出優異效能。該助理搭載40億參數模型Woof，並使用專為Apple晶片設計的推論引擎Husky。根據Conway Research的基準測試報告，在蘋果M5 Max晶片上，針對特定函式編輯任務並啟用Flash功能時，Underdog Fantasy達到了每秒730個Token的峰值速度，此速度比蘋果自家的MLX framework快上4.5倍。裝置端AI的運算直接在個人裝置上執行，無需依賴雲端伺服器，能提升隱私保護並在無Wi-Fi連線下使用。
根據《TokenPost》報導，專注於裝置端人工智慧（on-device AI）的 Conway Research，近日推出其首款產品 Underdog Fantasy。這款人工智慧助理專為在支援的裝置上直接執行運算任務而設計，其在蘋果 Apple晶片上的基準測試結果顯示出令人矚目的效能。
Underdog Fantasy 搭載了 40 億參數模型 Woof，並採用專為 Apple晶片打造的推論引擎 Husky。裝置端人工智慧（on-device AI）指的是將人工智慧運算直接在個人裝置（如智慧型手機、電腦）上執行，無需依賴雲端伺服器，因此 Underdog Fantasy 能在 Mac 和 iPhone 上運行，即使沒有 Wi-Fi 連線也能使用，並能將使用者資料保留在裝置上，提升隱私保護。
Conway Research 公布的基準測試報告指出，在蘋果 M5 Max 晶片上，針對一項特定的函式編輯任務並啟用 Flash 功能時，Underdog Fantasy 達到了每秒 730 個 Token 的峰值速度。更值得注意的是，在相同的測試任務與配置下，Underdog Fantasy 的速度比蘋果自家的 MLX framework 快上 4.5 倍。然而，該報告也提及，此數據為峰值表現，且測試結果在 16 項任務中有所差異，因此不能完全代表所有使用情境或硬體上的普遍性能。
目前，Underdog Fantasy 的設計主要針對 Apple晶片進行優化，其在其他消費性硬體上的表現則未被提及。此次測試結果突顯了 on-device AI 在個人裝置上的潛力，也預示著未來個人運算裝置在人工智慧應用方面將有更獨立且高效的發展。
Underdog Fantasy的效能測試結果有何限制？
該測試數據為峰值表現，且在16項任務中的測試結果有所差異，因此不能完全代表所有使用情境或硬體上的普遍性能。此外，Underdog Fantasy目前主要針對Apple晶片進行優化，在其他消費性硬體上的表現未被提及。
什麼是裝置端人工智慧（on-device AI）？
裝置端人工智慧指的是將人工智慧運算直接在個人裝置（如智慧型手機、電腦）上執行，無需依賴雲端伺服器。這能讓應用程式在Mac和iPhone上運行，即使沒有Wi-Fi連線也能使用，並能將使用者資料保留在裝置上，提升隱私保護。
