選本地AI模型別只看速度 四關鍵指標遠比每秒Token數重要
商傳媒|責任編輯/綜合外電報導對於有意在個人電腦上運行本地AI模型(localAImodel)的使用者與開發者而言,選擇合適的模型規格至關重要。資深作者諾倫·瓊格爾(NolenJonker)指出,判斷本地AI模型效能的關鍵指標,除了常見的「每秒處理Token數量」(toke
商傳媒|責任編輯/綜合外電報導對於有意在個人電腦上運行本地AI模型(localAImodel)的使用者與開發者而言,選擇合適的模型規格至關重要。資深作者諾倫·瓊格爾(NolenJonker)指出,判斷本地AI模型效能的關鍵指標,除了常見的「每秒處理Token數量」(toke
商傳媒|林昭衡/綜合外電報導電腦硬體公司OtherWorldComputing(OWC)近日發表OWCStackAI,這是一款支援Thunderbolt5的人工智慧加速器兼儲存集線器,旨在協助企業、開發者、研究人員及進階使用者,於精選的Windows和Linux系統
商傳媒|何映辰/台北報導日常電腦維護往往繁瑣又耗時,外媒《XDA》近日刊登一項實測,展示如何將系統更新、定時備份及網路診斷等日常雜務,完全交由在個人電腦端獨立執行的AI模型接手,大幅降低手動操作的時間成本。實測作者採用開源框架搭配中階電競顯示卡,在本地端執行開源大語言模型Qwen3.6-3
商傳媒|林昭衡/綜合外電報導根據《Wccftech》報導,一名硬體愛好者(俗稱Homelabber)近日達成一項壯舉,在僅靠中央處理器(CPU)運作的伺服器上,成功驅動月之暗面(MoonshotAI)高達2.8兆參數的KimiK3大型AI模型,且全程未使用圖形處理器(GPU)。這
商傳媒|林昭衡/綜合外電報導開源Python程式庫LiteLLM已全面整合至甲骨文雲(OCI)生成式AI平台,其AIGateway(人工智慧閘道)現在能夠透過訓練過的分類器,智慧地將用戶請求導向最適合的OCIGenerativeAI模型。這項技術更新旨在為甲骨文雲生成式A
商傳媒|責任編輯/綜合外電報導隨著人工智慧(AI)程式碼工具日益普及,其可靠性問題逐漸受到AI研究人員和模型開發商的質疑。傳統的AI基準測試方法,有時會掩蓋不同模型之間的顯著性能差異,使得開發者難以評估這些工具在實際軟體工程工作中的表現。為了解決這項問題,新開發的ExpertCrowd