2017人人操夜夜操,又黄又猛一区,超碰99在线

MIT 最新論文：這十年我們高估了算法的進(jìn)步

2025-12-11 17:45

據(jù)估計(jì)，2012 年至 2023 年間，算法將人工智能訓(xùn)練的浮點(diǎn)運(yùn)算效率提升了 22,000 倍。

MIT 最新的一篇論文則對(duì)這一時(shí)期內(nèi)的關(guān)鍵創(chuàng)新進(jìn)行了小規(guī)模消融實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)這些提升僅占其中不到 10 倍。據(jù)學(xué)者估計(jì)，未包含在消融實(shí)驗(yàn)中的其他創(chuàng)新帶來的提升也不到 10 倍，總提升幅度不到 100 倍。

他們對(duì) LSTM 和 Transformer 進(jìn)行了擴(kuò)展性實(shí)驗(yàn)，發(fā)現(xiàn)它們的計(jì)算最優(yōu)擴(kuò)展規(guī)律存在指數(shù)級(jí)差異；而對(duì)于許多其他創(chuàng)新，擴(kuò)展性差異則很小。

這些實(shí)驗(yàn)表明，與通常的假設(shè)相反，算法的效率提升與計(jì)算規(guī)模密切相關(guān)。小型模型的算法進(jìn)步遠(yuǎn)比之前假設(shè)的要慢，并且算法效率的衡量指標(biāo)與此密切相關(guān)。

兩種算法

過去十年人工智能的進(jìn)步主要由計(jì)算資源的快速增長(zhǎng)以及架構(gòu)、優(yōu)化和其他訓(xùn)練實(shí)踐中算法效率的不斷創(chuàng)新所驅(qū)動(dòng)。但是，我們?nèi)匀蝗狈?duì)算法進(jìn)步的清晰評(píng)估。

為了回答這些問題，研究人員采用了三種互補(bǔ)的方法：

對(duì)語言模型中重要的算法改進(jìn)進(jìn)行了消融實(shí)驗(yàn)；
進(jìn)行了擴(kuò)展性實(shí)驗(yàn)，以衡量不同架構(gòu)間最優(yōu)擴(kuò)展性的差異；
我們對(duì)數(shù)據(jù)和參數(shù)擴(kuò)展性的轉(zhuǎn)變進(jìn)行了理論分析。

在尺度不變的算法中，研究團(tuán)隊(duì)引入了標(biāo)準(zhǔn)計(jì)算等效增益（CEG）框架的廣義概念，并允許算法創(chuàng)新在不同的計(jì)算規(guī)模下具有不同的效率增益。

團(tuán)隊(duì)使用消融實(shí)驗(yàn)，在 360 萬參數(shù)變換器模型上計(jì)算算法的等效增益乘數(shù)。通過分別使用較舊的激活函數(shù)和較新的激活函數(shù)運(yùn)行 Transformer 模型，可以達(dá)到固定性能水平所需的計(jì)算量差異來量化效率提升。

發(fā)現(xiàn)表明，位置編碼可能對(duì)訓(xùn)練計(jì)算效率產(chǎn)生一定影響。與正弦編碼相比，旋轉(zhuǎn)編碼的訓(xùn)練效率提高了 44%。

在三種歸一方法的測(cè)試中，團(tuán)隊(duì)發(fā)現(xiàn)從后 RMSNorm 過渡到預(yù) RMSNorm 可顯著提升 87%，而從預(yù)層歸一化模型過渡到預(yù) RMSNorm 模型的提升僅為 9%。

實(shí)驗(yàn)結(jié)果表明，從 LSTM 切換到 Modern Transformer 的總效率提升為 6.28 倍，而從 LSTM 切換到 Retro Transformer 的效率提升為 4.69 倍。

在尺度相關(guān)的算法中，研究人員選擇了一個(gè)標(biāo)準(zhǔn)的 LSTM 模型。在測(cè)量的最小尺度下，LSTM 模型的計(jì)算效率僅比 Transformer 模型低 6.28 倍。

算法進(jìn)展很大程度上取決于計(jì)算和參考點(diǎn)

研究發(fā)現(xiàn)，隨著計(jì)算預(yù)算的指數(shù)級(jí)增長(zhǎng)，算法進(jìn)步速度實(shí)際上可能更多地是由計(jì)算規(guī)模的規(guī)律性增長(zhǎng)驅(qū)動(dòng)，而非新技術(shù)的發(fā)現(xiàn)。

在 2017 年至 2025 年間，絕大多數(shù)算法進(jìn)步可歸因于兩項(xiàng)與規(guī)模相關(guān)的創(chuàng)新：從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變以及從 Chinchilla 擴(kuò)展到重新平衡。

在總共測(cè)得的 21,400 倍的進(jìn)步中，846 倍的進(jìn)步是通過從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變實(shí)現(xiàn)的，而近 10 倍的進(jìn)步則歸功于 Chinchilla 重新平衡。

基于 LSTM 的模型 Myields 的計(jì)算效率隨時(shí)間 t 呈指數(shù)增長(zhǎng)，年增長(zhǎng)率約為 63%。然而，若以密集 Transformer 為基準(zhǔn)進(jìn)行衡量，則倍數(shù)為 2，因此增長(zhǎng)率為 0%。

由此可見，選擇一個(gè)參考點(diǎn)會(huì)導(dǎo)致算法效率呈指數(shù)增長(zhǎng)，而選擇另一個(gè)參考點(diǎn)則會(huì)導(dǎo)致零增長(zhǎng)。

Kaplan-Chinchilla 過渡后 CEG 倍數(shù)會(huì)明顯增長(zhǎng)，表明這些創(chuàng)新甚至可能在不同的計(jì)算規(guī)模上表現(xiàn)出可變的增長(zhǎng)率。

研究人員表明，目前實(shí)驗(yàn)還存在以下幾個(gè)局限性：