超碰97久久观看,AV成人国产,精品无码内射

小米又有新動作：開源首個原生端到端語音大模型

2025-11-17 15:54

剛剛，小米音頻隆重推出 Xiaomi-MiMo-Audio 模型。

這是首個原生端到端語音大模型，小米團隊將預(yù)訓(xùn)練時間擴展至超過 1 億小時，在各種音頻任務(wù)中實現(xiàn)了小樣本泛化。

MiMo-Audio-7B-Base 在語音智能和音頻理解基準測試中均達到了開源模型中的 SOTA 性能。除了標準指標之外，MiMo-Audio-7B-Base 還可以泛化到其訓(xùn)練數(shù)據(jù)中缺失的任務(wù)，例如語音轉(zhuǎn)換、風(fēng)格遷移和語音編輯。

MiMo-Audio-7B-Base 還展示了強大的語音延續(xù)能力，能夠生成高度逼真的脫口秀、朗誦、直播和辯論。在訓(xùn)練后階段，我們構(gòu)建了豐富的指令調(diào)整語料庫，并將思維機制引入音頻理解和生成。MiMo-Audio-7B-Instruct 在音頻理解基準、口語對話基準和指令-TTS 評測中均取得了開源 SOTA 的成績，接近甚至超越了閉源模型。

評估顯示，MiMo-Audio 在音頻理解方面優(yōu)于 Gemini-2.5-Flash，在復(fù)雜推理方面已擊敗 GPT-4o-Audio。

擁有 12 億參數(shù)的標記器

為了讓生成的分詞應(yīng)該能夠適應(yīng)下游的語言建模，小米團隊還推出了 MiMo-Audio-Tokenizer。這個擁有 12 億參數(shù)的模型采用基于 Transformer 的架構(gòu)，包含一個編碼器、一個離散化層和一個解碼器，以 25Hz 的幀率運行，并通過 8 層殘差矢量量化 (RVQ) 每秒生成 200 個分詞。

通過整合語義和重構(gòu)目標，團隊基于一個 1000 萬小時的語料庫從零開始訓(xùn)練該模型，在重構(gòu)質(zhì)量方面取得了卓越的性能，并促進了下游語言建模。

聯(lián)合建模提高速率

MiMo-Audio 是一個統(tǒng)一的生成式音頻語言模型，可對文本和音頻 token 序列進行聯(lián)合建模。該模型接受文本和音頻 token 作為輸入，并自回歸預(yù)測文本或音頻 token，從而支持涉及任意文本和音頻模態(tài)組合的廣泛任務(wù)。

為了提高 token 速率，達到類似每秒 200 個 token 序列的建模效率，并緩解語音和文本模態(tài)之間的長度差異，團隊采用了一種結(jié)合塊編碼器、LLM 和塊解碼器的全新架構(gòu)。塊編碼器將四個連續(xù)時間步長的 RVQ token 聚合成單個塊，并將序列下采樣為 LLM 的 6.25Hz 表示。隨后，塊解碼器自回歸生成完整的 25Hz RVQ token 序列。

模型表現(xiàn)

通過將 MiMo-Audio 的預(yù)訓(xùn)練數(shù)據(jù)擴展到超過一億小時，團隊觀察到在各種音頻任務(wù)中出現(xiàn)的少量學(xué)習(xí)能力。

在訓(xùn)練后階段，團隊使用了豐富的指令調(diào)整語料庫，并將思維機制引入音頻理解和生成。MiMo-Audio 在音頻理解基準（MMSU、MMAU、MMAR、MMAU-Pro）、口語對話基準（Big Bench Audio、MultiChallenge Audio）以及指令-TTS 評測中均取得了開源 SOTA 的成績，接近甚至超越了閉源模型

表現(xiàn)結(jié)果如下。可以看出，MiMo-Audio 在 MMAU（語音、聲音、音樂）的測試中以 82.58 第一名的成績超越了 Gemini-2.5 Flash、Kimi-Audio-Instruct 等一系列模型。

MiMo-Audio 還展示了跨多個領(lǐng)域的全面口語對話能力，能夠通過深入理解和適當回應(yīng)進行自然對話。

以下地址可觀看 MiMo-Audio 的對話：

情商與安全：圖靈測試

情報與指令遵循：雞兔同籠問題

漢語水平與方言：解釋'意思意思'

外語能力：三種語言的問候和告別