国产日韩在线二区,后入在线播放

DeepSeek登上《自然》封面：披露 R1 更多訓(xùn)練細節(jié)

2025-11-17 16:09

9月18日，美國知名學(xué)術(shù)期刊《自然》雜志封面出現(xiàn)了DeepSeek R1的身影。

這是中國大模型第一次登上《自然》封面。封面的推薦介紹中這樣寫道：

“
DeepSeek R1 模型采用強化學(xué)習(xí)進行訓(xùn)練。在這種學(xué)習(xí)中，模型正確解答數(shù)學(xué)問題時會獲得高分獎勵，答錯則會受到懲罰。結(jié)果，它學(xué)會了推理——逐步解決問題并揭示這些步驟——更有可能得出正確答案。這使得 DeepSeek R1 能夠自我驗證和自我反思，在給出新問題的答案之前檢查其性能，從而提高其在編程和研究生水平科學(xué)問題上的表現(xiàn)。

這是今年 1 月份 DeepSeek 公布的論文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，通訊作者正是創(chuàng)始人梁文鋒。

該論文更新了 1 月份發(fā)布的預(yù)印本，其中描述了 DeepSeek 如何增強標準大型語言模型 (LLM) 以處理推理任務(wù)。補充材料首次披露了 R1 的訓(xùn)練成本——僅需 29.4萬 美元。

Hugging Face 機器學(xué)習(xí)工程師 Lewis Tunstall 表示，R1 是首個經(jīng)歷同行評審的大型語言模型，是一個非常值得歡迎的先例。“如果我們沒有公開分享這一流程大部分內(nèi)容的規(guī)范，就很難評估這些系統(tǒng)是否存在風(fēng)險�！�

R1 在人工智能社區(qū)平臺 Hugging Face 上的下載量已達 1090 萬次，是最受歡迎的同類模型。

R1 的多階段 pipeline

面對 DeepSeek R1 Zero 可讀性差和語言混合等挑戰(zhàn)，DeepSeek 團隊開發(fā)了 DeepSeek R1。在初始階段收集了數(shù)千個冷啟動數(shù)據(jù)，這些數(shù)據(jù)表現(xiàn)出對話式、與人類一致的思維過程。

隨后，他們將推理和非推理數(shù)據(jù)集納入監(jiān)督微調(diào) （SFT）流程，使模型不僅能夠在推理任務(wù)中表現(xiàn)出色，還能展示出高級寫作的能力。

為了進一步使模型與人類偏好保持一致，R1 實現(xiàn)了第二個 RL 階段，旨在增強模型的有用性和無害性，同時改進其推理能力。

獎勵設(shè)計

DeepSeek R1 采用 GRPO 強化學(xué)習(xí)算法，將基于規(guī)則的獎勵與基于模型的獎勵相結(jié)合，分別用于面向推理的數(shù)據(jù)和通用數(shù)據(jù)，從而增強了學(xué)習(xí)過程在不同領(lǐng)域的適應(yīng)性。

團隊采用準確性獎勵和格式獎勵。準確性獎勵評估答案是否正確，格式獎勵則通過強制執(zhí)行特定的格式要求來補充準確性獎勵模型。

為了評估和提升模型安全性，他們還整理了一個包含 106,000 條提示的數(shù)據(jù)集，其中模型生成的響應(yīng)根據(jù)預(yù)定義的安全準則標注為“安全”或“不安全”。

訓(xùn)練細節(jié)

在 RL 的第一階段，R1 采樣 16 個輸出，最大長度為 32,768。為了加速訓(xùn)練，每次推出都會生成 8,192 個輸出，這些輸出被隨機分成 16 個小批次，并且只進行一個內(nèi)部 epoch 的訓(xùn)練。為了緩解語言混合的問題，R1 還引入了語言一致性獎勵，該獎勵計算為 CoT 中目標語言單詞的比例。

在第二階段，R1 使用獎勵信號和多樣化的提示分布的組合來訓(xùn)練模型。對于一般數(shù)據(jù)，使用獎勵模型來指導(dǎo)訓(xùn)練。最終，將獎勵信號與多樣化的數(shù)據(jù)分布相結(jié)合，使模型能夠在推理方面表現(xiàn)出色，而且還優(yōu)先考慮有用性和無害性。