久久久久毛,日韩一级AV一二区

雙語理解視覺模型 360 FG-CLIP2：登頂全球最強圖文跨模態(tài)模型

2025-11-06 17:32

來源： OFweek人工智能網(wǎng)

現(xiàn)有的模型在精確對齊視覺內(nèi)容與語言描述方面的能力仍然有限，尤其是在非英語環(huán)境下。模型往往難以捕捉物體屬性、空間關系和語言表達中的精細細節(jié)，并且對雙語理解的支持也有限。

近日，360 發(fā)布了 FG-CLIP 2，這是一款英語和漢語細粒度視覺語言理解的基礎模型。

在 29 個數(shù)據(jù)集和 8 項不同的任務中，它超越了 SigLIP 2 和 MetaCLIP 2，在兩種語言中都取得了迄今為止報道的最佳性能。

FG-CLIP 2 由 4 個關鍵部分組成：

豐富的細粒度監(jiān)管：該方法包含區(qū)域-文本匹配和長標題建模，以及多種判別性目標。此外，我們還引入了文本內(nèi)模態(tài)對比（TIC）損失函數(shù)，以更好地區(qū)分語義相似的標題。
雙語多模態(tài)數(shù)據(jù)：FG-CLIP 2 使用精心挑選的大規(guī)模英語和漢語混合數(shù)據(jù)進行訓練，實現(xiàn)了強大的雙語性能。
表現(xiàn)：在 8 項任務的 29 個數(shù)據(jù)集上進行的大量實驗表明，F(xiàn)G-CLIP 2 的性能優(yōu)于現(xiàn)有方法，在兩種語言中均取得了最先進的結果。
中國多模態(tài)基準測試：為了進行嚴格的評估，我們提出了一個新的中文多模態(tài)理解基準，其特點是長標題檢索和邊界框分類。

框架與數(shù)據(jù)

360 團隊采用兩階段分層學習框架，從全局語義到細粒度細節(jié)逐步增強視覺語言的一致性。

第一階段：全局語義對齊。首先使用大規(guī)模的圖像-文本對，每個圖像-文本對都標注了簡短的場景描述和詳細的上下文信息�；诖穗p語語料庫的訓練能夠實現(xiàn)強大的全局對齊，為英語和漢語的跨模態(tài)理解奠定堅實的基礎。
第二階段：精細視覺語言學習。在全局對齊表示的基礎上添加了區(qū)域級監(jiān)督和多個細粒度的旨在加強本地溝通。此階段包括：

細粒度視覺學習：通過 RoIAlign 提取的區(qū)域特征和短語級描述進行區(qū)域-標題對齊。
細粒度文本學習：使用具有擾動屬性的硬否定詞來區(qū)分細微的文本差異。
全局閾值同步的跨模態(tài)排名損失：具有全局同步閾值的動態(tài)間隔排名，用于穩(wěn)定地挖掘困難的負樣本。
文本內(nèi)模態(tài)對比損失：語言內(nèi)對比學習，用于區(qū)分語義相似但不同的區(qū)域標題。

數(shù)據(jù)方面，第一階段使用來自不同來源的圖像-文本對進行訓練。英文部分使用線性混合模型 (LMM) 生成的詳細長文本對來增強原始的簡短圖像描述。中文則結合了三個數(shù)據(jù)集：Wukong（1 億個圖像-文本對）、Zero（2.5 億個圖像-文本對）以及一個大規(guī)模的內(nèi)部數(shù)據(jù)集（5 億個圖像-文本對）。

第二階段使用細粒度的區(qū)域-文本對擴展訓練。英文使用 FineHARD 數(shù)據(jù)集，該數(shù)據(jù)集包含 1200 萬張圖像、4000 萬個帶有細粒度區(qū)域描述的邊界框以及 1000 萬個難負樣本。中文則使用一個包含 1200 萬張圖像的內(nèi)部數(shù)據(jù)集。

雙語的強大泛化能力

FG-CLIP 2 在 29 個數(shù)據(jù)集和 8 項任務中均取得了優(yōu)異的性能，包括細粒度理解、邊界框分類、開放詞匯目標檢測、長短描述圖像文本檢索、零樣本圖像分類、開放詞匯分割以及大型多模態(tài)模型 (LMM) 任務，展現(xiàn)了其在英語和漢語雙語中的強大泛化能力。

如下圖所示，暖色調(diào)表示圖像區(qū)域與匹配文本的相似度更高。與前代版本相比，F(xiàn)G-CLIP 2 支持更密集的視覺特征輸出，并實現(xiàn)了更強的雙語語義對齊和更細粒度的感知能力。

360 現(xiàn)已發(fā)布了模型、代碼和基準測試。官方稱在未來的工作中將致力于擴展模型以處理更長的文本輸入，并顯式地對對象之間的關系結構進行建模，從而實現(xiàn)更豐富的細粒度多模態(tài)理解。

參考資料：

https://360cvgroup.github.io/FG-CLIP/

https://arxiv.org/pdf/2510.10921

360