強化系統整合的能力 陽明交大引進高性能AI設備
記者季大仁/新竹報導
設備導入後,可將AI教學與研究從模型訓練延伸至實際部署與系統整合。
陽明交大與耐能智慧(Kneron)30日共同宣布,由耐能智慧捐贈三臺 KNEO 300高性能AI設備,共同推動生成式人工智慧、大型語言模型與邊緣智慧運算相關教學與研究,強化實際部署與系統整合的能力,並共同推動低功耗AI系統於實際場域的落地應用。
陽明交大副校長唐震寰表示,人工智慧的發展正從單純追求算力規模,邁向兼顧能效、延遲與部署彈性的系統架構競爭。對大學而言,關鍵不僅在於擁有高性能運算資源,也須具備能支援新世代AI應用的基礎設施。此次耐能智慧為校內引入低功耗、可邊緣部署的AI平臺,象徵在既有現有運算基礎上,進一步導入邊緣運算能力,朝向「雲邊協同」的新型AI基礎架構發展。
耐能智慧創辦人暨執行長劉峻誠則指出,隨著生成式 AI 與大型模型快速發展,產業對算力的需求已從單純追求規模,轉向效率、能耗與實際部署能力的平衡。未來AI將不再僅存在於雲端,而是逐步進入各類終端與邊緣設備。KNEO 300 正是在此趨勢下設計,期望用比傳統 GPU更低的功耗,提供可支援大型語言模型與生成式 AI 的實用平臺,並讓學界能更早接觸實際部署環境,培養具備系統整合能力的人才。
電機系方凱田主任表示,設備將導入現有「人工智慧導論」、「大型語言模型」與「生成式人工智慧」課程,讓學生實際參與模型優化與部署流程,培養跨越軟硬體的系統整合能力。對研究團隊而言,該平臺可用於驗證生成式AI、個人化模型及體現智慧(Embodied AI)等前瞻技術在推論效率、能耗與部署成本上的可行性,成為研究成果從理論走向應用的關鍵基礎。
此次設備導入後,陽明交大可將AI教學與研究從模型訓練延伸至實際部署與系統整合。學生可在校內進行大型語言模型推論與優化、生成式AI應用開發,以及模型量化、知識蒸餾等關鍵技術實作,並進一步將模型部署至終端設備,驗證即時運算與實際應用情境。
更多新聞推薦