商傳媒｜葉安庭／綜合外電報導

在人工智慧（AI）技術快速發展的浪潮下，提升AI推理（Inference，指AI模型根據訓練好的資料做出判斷或生成內容的速度）效率已成為科技巨頭們競逐的焦點。近日，OpenAI、輝達（Nvidia）和蘋果（Apple）等業界領袖紛紛發表最新進展，顯示一場加速AI運算的硬體與軟體競賽正白熱化。

OpenAI在Hot Chips大會上首次公開其自主設計的AI推理晶片Jalapeño。根據AI基礎設施諮詢公司SemiAnalysis的報導，Jalapeño在多項開源模型上的表現，已超越輝達的Blackwell晶片，尤其在每百萬瓦特Token（AI處理的最小資訊單位，通常代表單詞或字符）處理量這一關鍵指標上，展現出驚人效率。OpenAI聲稱，Jalapeño在每瓦特AI工作量上比輝達GB200級系統高出1.5至1.9倍，延遲更低1.7至3.6倍。OpenAI硬體副總裁Richard Ho表示，這款晶片同時兼顧低延遲與高吞吐量，是兩者兼得的成果。這款晶片團隊於2024年中成立，僅用約16個月就完成「流片」（tape-out，晶片設計定稿送交製造），並在三個月內收到實體晶片，其製程採用領先業界的HBM4記憶體，功耗為700瓦，低於輝達Rubin晶片的900多瓦。值得注意的是，Jalapeño晶片的大部分核心程式碼是由OpenAI自家的Codex模型撰寫完成。不過，Jalapeño的量產預計要到2027年才會全面提升，OpenAI也強調這款晶片是輔助而非取代輝達產品。

除了自研晶片，OpenAI與Anthropic這兩家前沿AI實驗室，預計將在明年瓜分全球約45%的新增運算能力，並在2027年底前佔據半數。同時，AI模型服務平台OpenRouter今年五月擁有800萬用戶與400個模型，已獲Stripe以超過80億美元收購，顯示AI模型的流通與部署也備受重視。Meta也正開發代號為Switchboard的類似產品，而OpenRouter上最受歡迎的五個模型均為開源或開放權重模型，進一步降低了Token使用成本，意味著AI應用的成本效益正持續改善。

在地AI運算的需求也日益增加。輝達與AI搜尋引擎公司Perplexity昨日共同發表Portable Computer平台，讓使用者可在個人裝置上執行Perplexity的AI服務，實現零Token成本。這款平台可運行於輝達的DGX Spark桌面級超級電腦、搭載24GB視訊記憶體的Linux系統RTX繪圖卡，或是其他輝達與微軟（Microsoft）合作推出的AI個人電腦。Portable Computer的一大特色是預設在裝置端處理任務，僅在必要時才經使用者同意，將部分任務提交給雲端的前沿模型，同時保護用戶隱私。測試顯示，單靠在地模型即可在程式開發基準測試中取得約60%的成績，若輔以雲端模型諮詢，則能以約三分之二的成本達到接近雲端模型的整體效能。

另一方面，蘋果也於昨日更新了Mac mini和Mac Studio產品線，搭載最新的M5與M6系列晶片，正式加入AI硬體競賽。新款Mac mini搭載M6晶片售價899美元，M5 Pro版本為1,699美元，較前代機型各漲100美元。Mac Studio則升級至M5 Max與M5 Ultra晶片，價格分別為2,499美元與5,499美元，各漲200美元。蘋果宣稱，新晶片的AI性能相較前一代提升至少四倍。其中，M6晶片是蘋果首款採用2奈米製程的晶片，內建雙16核心神經網路引擎（Neural Engine）並在每個GPU核心中嵌入神經加速器，強化AI運算能力。M5 Ultra則透過四顆晶粒融合，成為蘋果迄今最強大的晶片，支援高達512GB的統一記憶體，有助於處理大型AI模型。這些新產品已開放預購，預計9月22日出貨。在蘋果現任執行長約翰·特努斯（John Ternus）於9月1日接任前，以及新版Siri AI與更新版iPhone於9月9日發表前夕推出新晶片，足見蘋果佈局AI的決心。