精品久久久久久无码,亚洲特色伊人,lutube91视频

英偉達(dá)推出 OmniVinci 全模態(tài)大模型：增強(qiáng)架構(gòu)和數(shù)據(jù)

2025-11-06 17:24

近日，英偉達(dá)推出研究項(xiàng)目 OmniVinci，專注于探索全模態(tài) LLM，不僅可以看和讀，還可以聽、說和推理。

在模型架構(gòu)方面，英偉達(dá)團(tuán)隊(duì)提出了三項(xiàng)關(guān)鍵創(chuàng)新：

OmniAlignNet：用于在共享的全模態(tài)潛在空間中增強(qiáng)視覺和音頻嵌入之間的對(duì)齊；
時(shí)間嵌入分組：用于捕捉視覺和音頻信號(hào)之間的相對(duì)時(shí)間對(duì)齊；
約束旋轉(zhuǎn)時(shí)間嵌入：用于在全模態(tài)嵌入中編碼絕對(duì)時(shí)間信息。

研究發(fā)現(xiàn)，在感知和推理過程中，不同模態(tài)之間相互促進(jìn)。

OmniVinci 在 DailyOmni（跨模態(tài)理解）上的性能優(yōu)于 Qwen2.5-Omni，并在機(jī)器人、醫(yī)療人工智能和智能工廠等下游應(yīng)用中展示了全模態(tài)優(yōu)勢(shì)。

三大創(chuàng)新架構(gòu)

對(duì)于給定的輸入視頻，音頻和視覺流具有內(nèi)在的語義聯(lián)系，彼此提供互補(bǔ)信息。這種相關(guān)性可以更有效地在統(tǒng)一的潛在空間中學(xué)習(xí)和對(duì)齊視覺和音頻嵌入。

為此，團(tuán)隊(duì)提出了 OmniAlignNet，通過利用視覺和音頻的互補(bǔ)信息來增強(qiáng)視覺和音頻嵌入的學(xué)習(xí)。

首先根據(jù)時(shí)間戳將視聽嵌入分組，從而賦予它們時(shí)間順序。然后，相對(duì)時(shí)間順序信息被編碼到輸入序列中視聽嵌入的位置上。

然后，根據(jù)時(shí)間順序?qū)⒁曈X組和音頻組結(jié)合起來，得到全模態(tài)嵌入序列。

研究人員還引入了一種約束時(shí)間戳嵌入策略，從而實(shí)現(xiàn)了更平衡的時(shí)間敏感性。該方法包括三個(gè)階段：基頻構(gòu)建、頻率調(diào)制和逐元素旋轉(zhuǎn)嵌入。

為了逐步實(shí)現(xiàn)對(duì)預(yù)訓(xùn)練 LLM 的全面全模態(tài)理解，我們采用兩階段方法：首先進(jìn)行模態(tài)特定訓(xùn)練，以發(fā)展每種模態(tài)的個(gè)體能力，然后進(jìn)行全模態(tài)聯(lián)合訓(xùn)練，以整合這些能力。

全模態(tài)聯(lián)合訓(xùn)練階段采用了兩種類型的數(shù)據(jù)：

模態(tài)特定數(shù)據(jù)，從先前僅視覺和僅音頻訓(xùn)練所用的數(shù)據(jù)集中隨機(jī)抽��；
全模態(tài)數(shù)據(jù)，包含視覺和音頻輸入。分為隱式全模態(tài)學(xué)習(xí)數(shù)據(jù)和顯式全模態(tài)學(xué)習(xí)數(shù)據(jù)。

多項(xiàng)評(píng)估中均取得優(yōu)秀成績(jī)

在全模態(tài)對(duì)齊的消融試驗(yàn)中，所提出的時(shí)間嵌入分組 (TEG)、約束旋轉(zhuǎn)時(shí)間嵌入 (CRTE) 和 OmniAlignNet 在所有模態(tài)上均持續(xù)取得更優(yōu)的平均性能。

在所有基準(zhǔn)測(cè)試中，OmniAlignNet 均取得了顯著的性能提升。平均得分從 50.25 提高到 52.59（+2.34），并且在 Omnibench（+6.1）、Worldsense（+0.75）和 Dailyomni（+1.17）測(cè)試中均取得了顯著的性能提升。

全模態(tài)測(cè)試中，OmniVinci 的平均得分達(dá)到 53.73，創(chuàng)下新的最佳水平，相比排名第二的模型 Qwen2.5-Omni，顯著提升了 4.07 分。

在 Worldsense 基準(zhǔn)測(cè)試中，模型取得了 48.23 分的最高分，比 Qwen2.5-Omni 高出 2.83 分。

在 Dailyomni 數(shù)據(jù)集上，OmniVinci 優(yōu)勢(shì)更加顯著，模型得分達(dá)到 66.50 分，比 Qwen2.5-Omni 高出 19.05 分，比 Gemini-2.0Flash-Lite 高出 5.18 分。

在 Omnibench 基準(zhǔn)測(cè)試中，我們的模型也取得了 46.47 分的優(yōu)異成績(jī)，高于 Gemini 1.5 Pro。

在視頻基準(zhǔn)測(cè)試中，OmniVinci 的性能也要優(yōu)于 NVILA 基準(zhǔn)測(cè)試。

研究人員表示，OmniVinci 展現(xiàn)了前沿的全模態(tài)性能，降低了訓(xùn)練和推理成本，并提升了下游智能體應(yīng)用的性能。

參考資料：

https://arxiv.org/pdf/2510.15870

https://huggingface.co/nvidia/omnivinci

英偉達(dá)