激情性爰五月天,欧美日韩综合一区二区,国产亚洲一区天堂综合

DeepMind 發(fā)表 Veo 3 論文：視覺(jué)推理領(lǐng)域的 GPT-3 時(shí)刻來(lái)臨！

2025-11-17 15:36

“
逐幀視頻生成與語(yǔ)言模型中的思維鏈相似。正如思維鏈（CoT）使語(yǔ)言模型能夠用符號(hào)進(jìn)行推理一樣，“幀鏈”（CoF）使視頻模型能夠跨越時(shí)間和空間進(jìn)行推理。

DeepMind 最新發(fā)表的 Veo 3 論文首次提出了 Chain of Frames（CoF）的概念。

Veo 3 新興的零樣本能力表明，視頻模型正在走向統(tǒng)一的通用視覺(jué)基礎(chǔ)模型。

大型語(yǔ)言模型 (LLM) 的零樣本能力推動(dòng)了自然語(yǔ)言處理從特定任務(wù)模型向統(tǒng)一的通用基礎(chǔ)模型的演進(jìn)。

這種轉(zhuǎn)變?cè)从诤?jiǎn)單的基元：在網(wǎng)絡(luò)規(guī)模數(shù)據(jù)上訓(xùn)練的大型生成模型。

有趣的是，同樣的基元也適用于當(dāng)今的生成視頻模型。Google DeepMind 團(tuán)隊(duì)證明 Veo 3 可以解決各種未經(jīng)明確訓(xùn)練的任務(wù)：分割物體、檢測(cè)邊緣、編輯圖像、理解物理屬性、識(shí)別物體可供性、模擬工具使用等等。這些感知、建模和操縱視覺(jué)世界的能力，使早期的視覺(jué)推理形式（如迷宮和對(duì)稱性求解）成為可能。

研究方法

視頻模型是否能夠開發(fā)通用的視覺(jué)理解，就像 LLM 開發(fā)通用的語(yǔ)言理解一樣？

DeepMind 的回答是肯定。

他們采用了一種很簡(jiǎn)單的方法：使用初始輸入圖像和文本指令來(lái)提示 Veo 3。

在自然語(yǔ)言處理 (NLP) 領(lǐng)域，提示取代了針對(duì)特定任務(wù)的訓(xùn)練或適應(yīng)。在視頻模型的推動(dòng)下，機(jī)器視覺(jué)領(lǐng)域也即將出現(xiàn)類似的范式轉(zhuǎn)變。

團(tuán)隊(duì)首先對(duì)視覺(jué)任務(wù)進(jìn)行定性研究，以評(píng)估視頻模型作為視覺(jué)基礎(chǔ)模型的潛力。研究結(jié)果分為四個(gè)層次，每個(gè)層次都建立在最后一個(gè)層次之上。

四個(gè)層次分別為：感知、建模、操作、推理。這種層次結(jié)構(gòu)提供了一個(gè)框架，用于理解視頻模型的新興能力。

結(jié)果顯示，Veo 3 展現(xiàn)出了超越訓(xùn)練任務(wù)的新興零樣本感知能力，很可能會(huì)取代計(jì)算機(jī)視覺(jué)領(lǐng)域中的大多數(shù)定制模型。

感知、操作、推理

DeepMind 團(tuán)隊(duì)針對(duì)不同任務(wù)對(duì) Veo 進(jìn)行定量評(píng)估。包括感知（評(píng)估 Veo 的邊緣檢測(cè)、分割和目標(biāo)提�。�、操作（圖像編輯性能）、迷宮求解、視覺(jué)對(duì)稱性和視覺(jué)類比。

據(jù)觀察數(shù)據(jù)顯示，Veo 2 到 Veo 3 的性能大幅提升，可以匹敵甚至超過(guò) Nano Banana 的性能。

感知

盡管沒(méi)有經(jīng)過(guò)專門訓(xùn)練，Veo 3 也可以被提示檢測(cè)并感知邊緣，邊緣圖比真實(shí)值更詳細(xì)。

操作

通過(guò)實(shí)驗(yàn)，團(tuán)隊(duì)發(fā)現(xiàn) Veo 3 在編輯過(guò)程中尤其擅長(zhǎng)保留細(xì)節(jié)和紋理。如果能夠更好地控制攝像機(jī)移動(dòng)或人物動(dòng)畫等因素，視頻模型就可以成為功能強(qiáng)大的 3D 感知圖像和視頻編輯器。