AI 模型參數減半更智慧 Multiverse Computing 新技術提升效能
📋 重點摘要
●
美國 AI 公司 Multiverse Computing 開發出「Quantization-Aware Healing」新技術。
●
新技術成功將 GPT-OSS 大型語言模型參數減半,記憶體壓縮至 4 位元,效能卻不減反增。
●
縮小後的模型在九項評估測試中有七項超越原始模型,記憶體需求約為四分之一。
●
此技術讓 AI 模型能在更便宜、記憶體更小的邊緣運算設備上運行,擴大應用範圍。
商傳媒|林昭衡/綜合外電報導
![]()
根據《Decrypt》報導,人工智慧(AI)領域近日出現一項突破性進展。位於美國的 AI 公司 Multiverse Computing 研究團隊於 8 月 25 日在 Hugging Face 部落格上發表了一種名為「Quantization-Aware Healing」的新方法,成功將 OpenAI 開源的 GPT-OSS 大型語言模型(LLM)從 1,200 億個參數(parameters)縮小至 600 億個,同時將模型記憶體壓縮至 4 位元,但效能卻不減反增。
一般而言,AI 模型參數越多、記憶體需求越大,效能通常也越強。但這項新技術顛覆了傳統認知,經測試發現,這款縮小後的 GPT-OSS 模型在九項評估測試中,有七項超越了原始的全參數模型。研究人員解釋,「Quantization-Aware Healing」方法並非簡單地壓縮,而是讓縮小的模型回頭向未壓縮的原始模型學習,確保在壓縮過程中能「修復」因資料量減少可能造成的智慧損失。
此技術的實用價值在於,量化(Quantization)步驟不再僅是降低成本的手段,更成為提升模型品質的機會。透過這種方式,模型在經過「治療」後,所需的記憶體約為原始模型的四分之一,參數數量減半,卻能提供同等或更高的準確度。這意味著 AI 模型未來可在更便宜、記憶體更小的邊緣運算設備上運行,大幅降低服務成本並擴大應用範圍。
Multiverse Computing 已將這款經過改良、名為 Hypernova-60B 的模型以開放權重(open weights)的形式釋出在 Hugging Face 平台上。
🤔 讀到一半,先表個態?
🎯 搶頭香!這篇你的反應?