精品一区二区妓女,91久久久久精

Meta 開源首個世界代碼模型：徹底改變代碼生成！

2025-11-17 15:43

就在剛剛，Meta FAIR 推出代碼世界模型（CWM）。這是一個 32B 參數(shù)、上下文大小達 131k token 的研究模型，旨在探索世界模型如何改變代碼生成和代碼推理。

這是全球首個將世界模型系統(tǒng)性引入代碼生成的語言模型。與現(xiàn)有代碼大模型相比，CWM 的根本性突破在于其超越了代碼生成與語義理解。它的核心優(yōu)勢在于能夠模擬代碼的執(zhí)行過程，動態(tài)追蹤變量狀態(tài)的變化并預(yù)判環(huán)境反饋。這種“執(zhí)行感知”能力使其在代碼理解、調(diào)試與復(fù)雜任務(wù)規(guī)劃方面實現(xiàn)了質(zhì)的飛躍。

在多個代碼與推理任務(wù)上，CWM 表現(xiàn)出色，在 SWE-bench Verified 得分 65.8%，接近GPT-4 的水平。

Meta FAIR 這次還開源了模型代碼、訓(xùn)練細節(jié)以及多個階段的權(quán)重檢查點。

為什么需要 “世界模型” ？

先來討論我們?yōu)槭裁葱枰?“世界模型” 這個問題。

傳統(tǒng)代碼 AI 的局限性在于“從未運行過自己寫的代碼”。一些代碼 AI 能根據(jù)注釋或上下文快速生成代碼片段，然而，這類模型的核心工作機制是：基于海量代碼數(shù)據(jù)學(xué)習(xí)統(tǒng)計規(guī)律，預(yù)測下一個最可能的 token。這會導(dǎo)致幾個關(guān)鍵問題：

“看起來正確”的代碼：生成的代碼在語法和結(jié)構(gòu)上無懈可擊，邏輯也看似合理，但一旦投入運行，便會暴露隱藏的錯誤。
缺乏狀態(tài)感知能力：模型難以動態(tài)追蹤代碼執(zhí)行過程中變量、內(nèi)存、文件系統(tǒng)或數(shù)據(jù)庫狀態(tài)的實際變化，其理解停留在靜態(tài)文本層面。
多步任務(wù)規(guī)劃困難：面對需要連續(xù)操作的任務(wù)（例如“先修復(fù)這個Bug，再為其添加測試”），模型容易在后續(xù)步驟中遺忘之前操作對整體狀態(tài)造成的影響，從而導(dǎo)致前后邏輯斷裂。

這些問題的根源，在于模型缺乏對代碼動態(tài)執(zhí)行過程的深層理解。

CWM 的創(chuàng)新在于將代碼的執(zhí)行軌跡和交互歷史作為核心訓(xùn)練數(shù)據(jù)，不僅在學(xué)“怎么寫代碼”，更在學(xué)“怎么跑代碼”。

在 FAIR 團隊看來，如果想讓模型擁有程序員的思維模式，就必須教會它代碼執(zhí)行的“世界狀態(tài)”變化。

因此，CWM 在訓(xùn)練過程中引入代碼世界建模（code world modeling）的概念，明確讓模型學(xué)習(xí)程序狀態(tài)是如何在代碼運行過程中演變的。

大規(guī)模數(shù)據(jù)集增強建模能力

FAIR 重點介紹了兩項增強 CWM 世界建模能力的大規(guī)模數(shù)據(jù)收集工作：Python 執(zhí)行軌跡和 ForagerAgent。

Python 執(zhí)行軌跡會給定一個 Python 代碼上下文和一個追蹤起始點的標記，該模型會定源代碼上下文和跟蹤起點標記，并預(yù)測一系列表示程序狀態(tài)和操作（已執(zhí)行代碼）的堆棧幀。

團隊對超過 2.1 萬個可用且可追蹤的倉庫鏡像的 token 測試執(zhí)行了 Python 執(zhí)行跟蹤。并生成一個以自然語言逐步描述 Python 代碼執(zhí)行的數(shù)據(jù)集。

ForagerAgent 通過向 LLM 發(fā)出軟件工程任務(wù)的提示，使其在特定代碼庫的上下文中求解，從而收集多步軌跡。

團隊從 10.2 萬張圖片和 3.15 萬個底層存儲庫中收集了 300 萬條軌跡。這些軌跡在問題修復(fù)任務(wù)和變異修復(fù)任務(wù)中的比例分別為 55% 和 45%。

預(yù)訓(xùn)練和后訓(xùn)練

架構(gòu)上，F(xiàn)AIR 選擇了密集架構(gòu)而非稀疏架構(gòu)。CWM 使用局部和全局注意力模塊交替排列的模式，以 3:1 的比例交錯，滑動窗口大小分別為 8192 個和 131072 個 token。

CWM 預(yù)訓(xùn)練由兩個階段組成：

通用預(yù)訓(xùn)練：首先使用來自各種來源的 8 個 T token進行初始預(yù)訓(xùn)練，重點關(guān)注編碼數(shù)據(jù)以及 STEM 和常識。使用全局批量大小為 8.4 M 的 token 和上下文長度為 8192 的 token 對模型進行預(yù)訓(xùn)練。
代碼世界模型中期訓(xùn)練：利用額外的 5 T 個 token 對模型進行中期訓(xùn)練，引入了一些數(shù)據(jù)集來支持代碼世界建模目標。全局批次大小為 33 M 個 token，最大上下文長度為 131 k 個 token。

后訓(xùn)練階段基于早期訓(xùn)練階段學(xué)習(xí)到的內(nèi)部代碼世界模型，提升了 CWM 通過推理解決復(fù)雜編程相關(guān)問題的能力。

首先是進行監(jiān)督微調(diào) (SFT），以提升推理能力和通用指令遵循能力。團隊對 100 B 個 token 執(zhí)行 SFT，全局批次大小為 2 M 個 token。

除此之外，還使用了 GRPO 的變體來訓(xùn)練 CWM。與原始 GRPO 不同，團隊采用了多輪變體和異步 RL，從而實現(xiàn)更高的吞吐量。

實驗結(jié)果

消融研究表明，在訓(xùn)練中期引入 GitHub PR 軌跡、Python 執(zhí)行跟蹤和 ForagerAgent 數(shù)據(jù)對性能有積極影響。

CWM 在 SWE-bench Verified 中解析率達到 65.8%，表現(xiàn)優(yōu)于類似規(guī)模的開放權(quán)重模型，接近 GPT-oss120B、Qwen3-Coder 和 Kimi K2 等規(guī)模更大的模型水平。

在 LiveCodeBench v5 的基準測試中，CWM 也取得了 68.6% 的分數(shù)，展示高復(fù)雜度編程任務(wù)上的準確性。

結(jié)語

Meta FAIR 的愿景是讓代碼世界模型彌補語言級推理與可執(zhí)行語義之間的鴻溝。實驗表明，世界建模數(shù)據(jù)、Python 執(zhí)行軌跡和可執(zhí)行的 Docker 環(huán)境可以直接提升下游任務(wù)的性能。Python 跟蹤世界模型能夠支持對代碼生成、執(zhí)行、正確性和驗證的推理研究。世界模型還專注于學(xué)習(xí)哪些動作會帶來獎勵，能夠改進強化學(xué)習(xí)。

參考資料：

https://www.xugj520.cn/archives/meta-cwm-code-world-model.html
https://ai.meta.com/research/publications/cwm-an-open-weights-llm-for-research-on-code-generation-with-world-models/