新 AI 模型挑戰 GPT-6 曝缺陷:高速背後犧牲穩定性
AI 新創 Inception Labs 於 10 月 19 日推出其最新的擴散式語言模型 Mercury 3,並大膽宣稱該模型在基準測試中擊敗了 OpenAI 的 GPT-6 Luna(OpenAI 開發的大型語言模型,是目前領先的 AI 模型之一)及 Anthropic 的 Claude Haiku 5.5,同時運行速度快上 4 到 8 倍。然而,最新的性能測試卻揭露了 Mercury 3 在追求高速背後的潛在弱點。
Mercury 3 採用了不同於傳統 AI 模型的「擴散式」架構。傳統的自迴歸模型生成文字時,會像打字員一樣一次吐出一個 Token(最小的文字單位);而擴散式語言模型則像是雕塑家,先從粗略的文字塊開始,然後在多輪平行處理中精煉多個 Token,直到答案「逐漸清晰」為止。
根據《hackernoon》於昨日(23日)發布的測試報告,Mercury 3 在原始生成速度上表現出色,每秒可生成約 850 至 900 個 Token,比 Google 的 Gemini 3.5 Flash-Lite 快約 2 倍,比 Claude Haiku 5.5 快 2.8 倍,更是 GPT-6 Luna 的 6 倍。在程式碼生成測試中,Mercury 3 在低設定下通過了 86.0% 的問題,平均回應時間為 0.83 秒,略優於 Claude Haiku 5.5 (86.1% 準確度,0.97 秒) 和 GPT-6 Luna (83.2% 準確度,1.28 秒)。在 SQL 代理任務中,Mercury 3 也以 2.06 秒的中位數完成時間領先其他模型。
然而,當 Mercury 3 提高推論設定(中或高)時,其程式碼生成準確度卻會下降。更嚴重的是,它有時會因超出 32,768 個 Token 的輸出上限而無法返回答案,這種情況在 7.5% 至 8.6% 的呼叫中發生。在高設定下,這些失控的呼叫消耗了程式碼測試中 61% 的所有輸出 Token,並將最慢的 5% 回應時間推至 50 秒以上。此外,在要求嚴格的 JSON 輸出模式下,Mercury 3 在 150 項任務中有 6 項破壞了格式,會將內部工具呼叫標記的片段附加在有效 JSON 之後,顯示其穩定性有待提升。
儘管 Inception Labs 聲稱擴散式架構是 Mercury 3 速度的唯一原因,但測試指出,在 Cerebras 硬體上運行的自迴歸模型 gpt-oss-120b 則展現了更高的原始生成速度,每秒可達 2,400 至 2,500 個 Token,且程式碼生成平均回應時間僅 0.34 秒,顯示模型架構與硬體優化同樣重要。報告作者表示,Mercury 3 確實快速且表現良好,但它並非最快,也不是每答對一個問題成本最低的,且其在處理某些任務時有著「非常奇特的習慣」。