日韩精品黄色一区二区,我要你舔我的小穴

成本僅 100 美元！大神 Andrej Karpathy 不到 100 美元克隆 ChatGPT

2025-11-14 18:18

特斯拉前AI總監(jiān)、OpenAI創(chuàng)始成員、AI大神 Andrej Karpathy 帶來(lái)新作 nanochat。

與 Karpathy 之前類似的代碼庫(kù) nanoGPT 不同，nanochat 是一個(gè)極簡(jiǎn)的、從零開始的全棧訓(xùn)練/推理流程。僅僅基于一個(gè)單一且依賴性極低的代碼庫(kù)，即可克隆出簡(jiǎn)單的 ChatGPT。

Karpathy 表示，“你只需啟動(dòng)一個(gè)云 GPU 設(shè)備，運(yùn)行一個(gè)腳本，只需 4 小時(shí)，就可以在類似 ChatGPT 的 Web UI 中與你的 LLM 進(jìn)行交流。”

Karpathy 稱，這是他寫過(guò)最瘋狂的文章之一。

nanochat 具備以下特征：

使用新的 Rust 實(shí)現(xiàn)來(lái)訓(xùn)練標(biāo)記器
在 FineWeb 上預(yù)訓(xùn)練 Transformer LLM，通過(guò)多項(xiàng)指標(biāo)評(píng)估 CORE 得分
對(duì) SmolTalk 的用戶助理對(duì)話、多項(xiàng)選擇題、工具使用進(jìn)行中期訓(xùn)練
SFT，在世界知識(shí)多項(xiàng)選擇題（ARC-E/C、MMLU）、數(shù)學(xué)（GSM8K）、代碼（HumanEval）上評(píng)估聊天模型
RL 模型可選地在 GSM8K 上使用“GRPO”
在具有 KV 緩存的引擎中高效推理模型，簡(jiǎn)單的預(yù)填充/解碼，工具使用（輕量級(jí)沙箱中的 Python 解釋器），通過(guò) CLI 或類似 ChatGPT 的 WebUI 與其對(duì)話。
寫一份 markdown 報(bào)告卡，總結(jié)并游戲化整個(gè)事情。

大約 12 小時(shí)的訓(xùn)練時(shí)間超過(guò)了 GPT-2 的核心指標(biāo)。當(dāng)成本增加到 1000 美元左右時(shí)，Nanochat 會(huì)變得更加連貫，可以解決簡(jiǎn)單的數(shù)學(xué)/代碼問(wèn)題并進(jìn)行多項(xiàng)選擇題測(cè)試。

一個(gè)深度為 30 的模型訓(xùn)練了 24 小時(shí)，在 MMLU 上可以達(dá)到 40 秒，在 ARC-Easy 上可以達(dá)到 70 秒，在 GSM8K 上可以達(dá)到 20 秒。

Karpathy 的目標(biāo)是將完整的“強(qiáng)基線”堆棧整合到一個(gè)內(nèi)聚、精簡(jiǎn)、可讀、可修改且最大程度可分叉的倉(cāng)庫(kù)中。nanochat 將成為 LLM101n 的頂點(diǎn)項(xiàng)目。Karpathy 認(rèn)為，它有潛力發(fā)展成為一個(gè)研究工具或基準(zhǔn)，類似于之前的 nanoGPT。

目前，nanochat 的整體框架已經(jīng)足夠完善，Karpathy 已將其上傳到 GitHub 上。

訓(xùn)練過(guò)程

Karpathy 使用了 FineWeb-EDU 數(shù)據(jù)集，這是一組簡(jiǎn)單的、完全混洗過(guò)的數(shù)據(jù)集。

評(píng)估結(jié)果表明，平均 4.8 個(gè)原文字符就能變成 1 個(gè) token。與 GPT-2（擁有 50257 個(gè) token）相比，nanochat 的 token 生成器在文本壓縮方面全面優(yōu)于 GPT-2，但數(shù)學(xué)部分稍差一點(diǎn)。圖源：Karpathy GitHub

他訓(xùn)練 LLM 通過(guò)預(yù)測(cè)序列中的下一個(gè) token 來(lái)壓縮網(wǎng)絡(luò)文本，同時(shí) LLM 也從中獲得了大量關(guān)于世界的知識(shí)。

首先，訓(xùn)練一個(gè) 20 層的 Transformer，需要對(duì) 112 億個(gè)標(biāo)記進(jìn)行訓(xùn)練。隨著時(shí)間推移，模型對(duì)下一個(gè) token 的預(yù)測(cè)更加準(zhǔn)確。此外，CORE 得分也在上升。

訓(xùn)練/驗(yàn)證的每字節(jié)比特?cái)?shù) (bpb) 達(dá)到了約 0.81，核心指標(biāo)也上升到了 0.22，略高于 GPT-2 Large（0.21）。

下一步是中期訓(xùn)練，Karpathy 將進(jìn)一步在 smol-SmolTalk 上對(duì)模型進(jìn)行微調(diào)。結(jié)果顯示：

模型在各個(gè)知識(shí)領(lǐng)域的多項(xiàng)選擇題中表現(xiàn)得更好。
數(shù)學(xué)性能仍然不太強(qiáng)，只能解決 2% 的問(wèn)題。

訓(xùn)練中期之后是監(jiān)督微調(diào) (SFT) 階段。SFT 會(huì)拉伸數(shù)據(jù)行并進(jìn)行填充，完全模仿測(cè)試時(shí)格式。

這是微調(diào)后的效果：

僅花費(fèi)不到 100 美元。

團(tuán)隊(duì)使用高度簡(jiǎn)化的 GRPO 訓(xùn)練循環(huán)，其優(yōu)勢(shì)在于簡(jiǎn)單的均值獎(jiǎng)勵(lì)轉(zhuǎn)移。訓(xùn)練保留了 GR（“群體相關(guān)”）部分來(lái)計(jì)算獎(jiǎng)勵(lì)的優(yōu)勢(shì)。

可以看到，獎(jiǎng)勵(lì)增加了，這代表模型正在學(xué)習(xí)。準(zhǔn)確率也在上升。模型規(guī)模越大，改進(jìn)效果越顯著。

最終結(jié)果顯示：

包括 SFT 在內(nèi)的整個(gè)過(guò)程耗時(shí) 3 小時(shí) 51 分鐘，總成本為 92.4 美元。

Karpathy 表示，nanochat 可以調(diào)整任何內(nèi)容，包括更改標(biāo)記器、更改任何數(shù)據(jù)、調(diào)整超參數(shù)、改進(jìn)優(yōu)化等等。代碼庫(kù)設(shè)置得非常容易，只需使用 --depth 更改層數(shù)，其他所有內(nèi)容都基于此。

更多技術(shù)細(xì)節(jié)請(qǐng)關(guān)注：https://github.com/karpathy/nanochat/discussions/1

參考資料：

https://github.com/karpathy/nanochat/discussions/1

ChatGPT