Block 推語音模型 Dessa,會笑會哭還能在筆電上跑
Jack Dorsey 創辦的支付公司 Block 發表語音模型 Dessa,能邊聽邊說,說話時會笑、停頓、哭,可在 MacBook M4 Max 以上等級的電腦本機執行。Block 稱它完全用人類語音、以一組輝達 GPU 機櫃訓練,情緒是模型內建。目前未對外開放,正招募安全研究人員測試。
多數語音 AI 會先把聲音轉成文字再處理,語氣和情緒在轉換過程中流失。Dessa 宣稱直接從聲音學會說話和情緒,又能在個人電腦上執行。旗下 Square 已用語音 AI 接單,Block 自有模型可能讓服務成本更低。但聲音太像真人,也帶來被拿去騙人的風險。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
Jack Dorsey 創辦的支付公司 Block,從自家研究實驗室推出一款語音模型 Dessa。它說話時會笑、會停頓,甚至會哭,聽起來像真人到讓人有點發毛。而且它不用連上雲端的大型機房,一台高階 MacBook 就跑得動。
先說它哪裡不一樣。Dessa 是全雙工模型,也就是可以一邊說、一邊聽,像兩個人講電話時可以隨時插話,不必像對講機那樣你講完、我才能講。OpenAI 今年稍早推出的 GPT-Live 也是這種設計。

Block 真正想挑戰的,是語音 AI 的老毛病。現在多數語音助理會先把你的聲音轉成文字,交給大型語言模型處理,再把回答念出來。這就像把一通電話先抄成紙條再轉交,對方讀得到字句,卻聽不出你是急、是累,還是在開玩笑。ElevenLabs v4、Fish Audio Drama 3 等模型,是靠在文字裡加上語氣標籤來控制情緒,等於在紙條旁邊註記這句要說得開心一點。
Block 在部落格裡把話說得很重:「現在跟語音 AI 互動,有時真的很糟。它把你的聲音轉成文字,丟掉大量光靠文字承載不了的資訊。全世界最強的 AI 都聽不出你的感受。我們認為這很荒謬,會讓體驗變差,而且可能有危險。」
Block 的說法是,Dessa 完全用人類語音訓練,訓練只用了一組輝達 GPU 機櫃,情緒是模型本身就有的。它的知識也不是另外接一個語言模型來查,而是來自它學過的對話資料。不過,外界目前還無法確認 Dessa 的情緒背後是否仍有某種標籤在操控。
研究人員公開了幾段示範對話。其中一段,AI 說自己工作很累,聲音聽起來真的很疲倦。另一段,它談到對方讓它覺得很自在,語氣激動,像是快要哭出來。還有一段,是 Block 團隊成員跟它玩遊戲。
聽起來這麼像人,問題也跟著來。Dessa 目前沒有對外開放,Block 正在招募安全研究人員來測試。TechCrunch 推測,重點應該是測試語音 AI 會不會被拿來欺騙電話另一頭的人。
為什麼一家金融公司要做語音模型?Block 的主力是金融服務,客戶有很多是小商家。旗下的 Square 已經用語音 AI 處理點餐。如果有一套能直接在裝置上跑的自家模型,就能用更低的成本,把語音服務擴大到更多商家和消費者的使用情境。
接下來要看三件事:Block 何時、用什麼方式開放 Dessa;安全測試能不能找出防範詐騙的方法;還有它會不會先放進 Square 的點餐和客服服務。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 160 期 ・ 隨時可退訂

