傑克·多西的 Block 推出語音 AI Dessa 主打本地化與情感表達
由傑克·多西（Jack Dorsey）共同創立的 Block, Inc.（美國金融服務與數位支付集團）旗下研究實驗室近期推出一款名為 Dessa 的語音人工智慧模型。Dessa 的最大特色在於其能夠本地化AI模型 （能直接在裝置上運作，而非透過雲端伺服器），並且能夠產生人類情感表達，例如笑聲、停頓甚至哭泣。
傳統的語音 AI 系統通常會將語音轉換為文字，再進行處理，這過程中往往會流失情感資訊，導致語音聽起來不自然。Block 指出，Dessa 採用獨特的語音對語音架構，使其能夠同時進行說話與聆聽，並直接處理音訊，對語氣、停頓、笑聲和諷刺等對話線索做出反應。Block 形容 Dessa 是全球首個完全以人類語音互動訓練，並能進行即時、擬真對話的 AI 系統。
根據《BW Businessworld》報導，Dessa 的訓練過程僅使用人類語音，透過單一的輝達（NVIDIA）GB200 NVL72 系統進行。這顯示其訓練效率極高，學習語言所需的詞彙量遠少於大型語言模型。這款情緒化AI （人工智慧具備理解與表達人類情感的能力）模型，更可以直接在消費級硬體上運作，例如 MacBook M4 Max，展現其本地運算的潛力。
《AI Insider》報導提到，目前 Dessa 尚未對外開放，Block 正在邀請少數 AI 安全研究人員進行測試。Block 預計，這種能夠在裝置上運行的模型能以較低成本提供更多應用體驗，例如其旗下的 Square 支付服務已在點餐系統中使用語音 AI 技術。Block 也表示，Dessa 的情感是內建於模型之中，不同於 ElevenLabs v4 和 Fish Audio Drama 3 等模型透過語音標籤引導情緒。不過，Block 也坦承 Dessa 在辨識說話者等功能上仍可能發生錯誤。
Block 旗下的研究實驗室推出了什麼樣的語音 AI 模型？
Block, Inc. 旗下的研究實驗室近期推出了一款名為 Dessa 的語音人工智慧模型。Dessa 的主要特色是能夠在裝置本地端運作，而非依賴雲端伺服器，並且能產生人類的情感表達，如笑聲、停頓甚至哭泣。與傳統語音 AI 系統不同，Dessa 採用獨特的語音對語音架構，能直接處理音訊並對話中的語氣、停頓和諷刺等線索做出反應，是全球首個完全以人類語音互動訓練並能進行即時、擬真對話的 AI 系統。
Dessa 語音 AI 模型是如何訓練的？
Dessa 的訓練過程僅使用人類語音，並透過單一的輝達（NVIDIA）GB200 NVL72 系統進行。Block 指出，這種訓練方式學習語言所需的詞彙量遠少於大型語言模型，且其情感是內建於模型之中。
Dessa 語音 AI 模型目前是否已對外開放？
目前 Dessa 尚未對外開放，Block 正在邀請少數 AI 安全研究人員進行測試。Block 預計，這種能在裝置上運行的模型能以較低成本提供更多應用體驗。
Dessa 的本地化運算有什麼潛力？
Dessa 的本地化運算潛力體現在其能夠直接在消費級硬體上運作，例如 MacBook M4 Max。這意味著語音 AI 應用能以較低成本提供更多體驗，例如 Block 旗下的 Square 支付服務已在點餐系統中使用語音 AI 技術。
