全球繪圖處理器大廠輝達（Nvidia）繼去年底斥資200億美元現金收購人工智慧（AI）晶片新創公司Groq的AI推理部門後，其整合成果近日正式揭曉。輝達執行長黃仁勳（Jensen Huang）今日發表全新的Groq 3 LPX推理加速器，此晶片被預期將在2026年對AI推理市場帶來顛覆性影響。
AI推理是指經過訓練的AI模型根據新數據或輸入做出決策的過程，例如ChatGPT生成獨特回應，或自駕車分析感測器數據。此過程通常包含兩階段：預填充（處理查詢）與解碼（形成回應）。推理晶片正是為此優化，旨在以更具成本效益的方式加速AI推理任務。
Groq的核心技術是其語言處理單元（LPU），專精於低延遲的自然語言處理。Groq的LPU採用靜態隨機存取記憶體（SRAM），大幅提升AI模型的互動性。相較之下，輝達自家的Rubin繪圖處理器（GPU）則運用高頻寬記憶體（HBM），以更快速度處理更多數據，從而提高整體吞吐量。
黃仁勳曾表示，收購Groq的目的是將其低延遲處理器整合到輝達的AI工廠架構中。新推出的Groq 3 LPX推理加速器，正是結合了Groq LPU的互動性與Rubin平台的吞吐量及效能，專為代理式AI系統設計。輝達宣稱，Groq 3針對兆級參數AI模型，每百萬瓦可提供比其Blackwell NVL72平台高出35倍的吞吐量。這種顯著的效能優勢對於市場推廣至關重要，因為用戶會尋求更快的聊天機器人回應速度。預期投資代理式AI聊天機器人技術的企業，將會積極採購這款新硬體。
