99re9免费视频,热国产热久久

阿里通義發(fā)布趣味音頻聊天模型 Fun-Audio-Chat：可以讀懂你的情緒

2025-12-25 18:13

來源： OFweek人工智能網(wǎng)

剛剛，阿里通義發(fā)布了一款專為自然、低延遲語音交互而構(gòu)建的大型音頻語言模型 Fun-Audio-Chat。

它引入了雙分辨率語音表示，在保持高語音質(zhì)量的同時(shí)降低計(jì)算量；并采用 Core-Cocktail 訓(xùn)練方法，以保留強(qiáng)大的文本語言模型能力。

該模型在語音問答、音頻理解、語音函數(shù)調(diào)用、語音指令跟隨和語音共情等基準(zhǔn)測(cè)試中均取得了頂尖水平的成績(jī)。

Fun-Audio-Chat 的主要特點(diǎn)包括：

雙分辨率語音表示：高效的 5Hz 幀速率，在保持高語音質(zhì)量的同時(shí)可減少近 50% 的 GPU 運(yùn)行時(shí)間。
卓越的性能：在各大基準(zhǔn)測(cè)試?yán)�，在同等�?guī)模（約 80 億參數(shù)）的模型中名列前茅。
全面功能：支持語音問答、音頻理解、語音功能調(diào)用、語音指令跟隨、語音共情

趣味音頻聊天架構(gòu)

Fun-Audio-Chat 框架包含三個(gè)主要模塊：

對(duì)于音頻輸入，語音編碼器和語音分詞器將原始音頻波形轉(zhuǎn)換為用戶端和助手端的結(jié)構(gòu)化表示；
多模態(tài)大型語言模型 (MLLM) 集成了共享 LLM 主干網(wǎng)絡(luò)以及用于生成詞元的專用文本頭和語音精化頭 (SRH) 組件；
語音反分詞器從生成的語音詞元中重構(gòu)音頻波形。

Fun-Audio-Chat 利用現(xiàn)有的預(yù)訓(xùn)練模型，并采用多階段后訓(xùn)練流程進(jìn)行訓(xùn)練，使用了數(shù)百萬小時(shí)涵蓋不同領(lǐng)域和任務(wù)的多樣化語音數(shù)據(jù)，包括對(duì)話和多語言語音、用于理解任務(wù)的音頻，從而確保全面覆蓋各種場(chǎng)景和用例。

訓(xùn)練過程包括：

預(yù)對(duì)齊：使用大規(guī)模語音-文本配對(duì)數(shù)據(jù)對(duì)語音編碼器、適配器和語音精化頭進(jìn)行對(duì)齊；
核心混合訓(xùn)練：用于監(jiān)督式全面微調(diào)，采用由數(shù)十億文本標(biāo)記合成的高質(zhì)量語音數(shù)據(jù)；
多任務(wù) DPO 訓(xùn)練：采用多樣化的真實(shí)語音數(shù)據(jù)以增強(qiáng)魯棒性，音頻理解和 ASR 數(shù)據(jù)以增強(qiáng)理解能力，指令跟隨數(shù)據(jù)（包括情感、風(fēng)格和韻律控制）以增強(qiáng)語音指令跟隨能力，以及語音共情數(shù)據(jù)以增強(qiáng)情感理解和共情反應(yīng)生成能力。

核心評(píng)估

研究團(tuán)隊(duì)在廣泛使用的基準(zhǔn)數(shù)據(jù)集上對(duì) Fun-Audio-Chat 的性能進(jìn)行了語音轉(zhuǎn)文本、語音到語音、音頻理解、語音識(shí)別等全面評(píng)估。

在準(zhǔn)確率方面，約 80 億規(guī)模的模型中，F(xiàn)un-Audio-Chat-8B 在 OpenAudioBench (76.61%) 和 VoiceBench (83.21%) 上取得了最佳的整體性能。

在語音質(zhì)量評(píng)估中，F(xiàn)un-Audio-Chat-8B 的 UTMOS 得分為 4.37，表明其整體語音質(zhì)量?jī)?yōu)異。

Fun-Audio-Chat 在包括 MMAU、MMAU-Pro 和 MMSU 在內(nèi)的綜合音頻理解基準(zhǔn)測(cè)試中表現(xiàn)最佳，優(yōu)于包括 Kimi-Audio。

Fun-Audio-Chat-30B-A3B 和 Fun-AudioChat-8B 在語音指令跟隨任務(wù)中表現(xiàn)出良好的競(jìng)爭(zhēng)力，涵蓋了聲學(xué)屬性、指令跟隨、角色扮演和共情能力等多個(gè)維度。

Fun-Audio-Chat-8B 在英語和中文兩種語言中均表現(xiàn)出色，顯著優(yōu)于包括 Baichuan-Audio 和 Kimi-Audio 在內(nèi)的開源模型，同時(shí)與商業(yè)模型保持競(jìng)爭(zhēng)力。

盡管 Fun-Audio-Chat 在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，但仍有一些局限性需要在未來的工作中加以解決。首先，在多輪對(duì)話中回答復(fù)雜問題時(shí)，該模型偶爾會(huì)出現(xiàn)上下文記憶丟失的情況，即無法始終如一地保留先前輪次的信息。在需要理解長上下文并進(jìn)行跨多輪復(fù)雜推理的場(chǎng)景中，這種局限性尤為明顯。

其次，語音指令執(zhí)行能力在表達(dá)力方面存在一定的不穩(wěn)定性。雖然該模型在語音指令任務(wù)中通常表現(xiàn)良好，但在某些情況下，生成的語音可能無法完全捕捉指令中指定的細(xì)微情感、說話風(fēng)格或韻律變化。這種表達(dá)力上的差異會(huì)影響語音反應(yīng)在某些語境下的自然度和恰當(dāng)性。

第三，語音共情能力在性能上表現(xiàn)出一定的不穩(wěn)定性。該模型在不同的場(chǎng)景和情感背景下，持續(xù)識(shí)別并做出恰當(dāng)情感共情反應(yīng)的能力可能會(huì)有所不同。這種不一致性可能會(huì)影響在實(shí)際應(yīng)用中生成共情反應(yīng)的可靠性，尤其是在情感理解至關(guān)重要的場(chǎng)景中。

研究人員表示，這些局限性凸顯了未來研究的重要方向，包括改進(jìn)多輪對(duì)話中的長期語境管理、增強(qiáng)語音指令跟隨的穩(wěn)定性和表現(xiàn)力，以及在各種情感場(chǎng)景中開發(fā)更強(qiáng)大、更一致的語音共情能力。

參考資料：

https://arxiv.org/pdf/2512.20156

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B

阿里通義