九九九影院精品久久久,青青草久久,久久久在线精品

阿里云表示：通過新的池化系統(tǒng)，Nvidia AI GPU 的使用量減少了 82%

2025-11-14 18:09

阿里云聲稱，在其 Model Studio 市場內(nèi)進行的為期數(shù)月的 Beta 測試中，其全新 Aegaeon 池化系統(tǒng)將服務(wù)大型語言模型所需的 Nvidia GPU 數(shù)量減少了 82%。

該結(jié)果發(fā)表在首爾舉行的 2025 年 ACM 操作系統(tǒng)研討會 (SOSP) 上的一篇同行評議論文中，表明云提供商或許能夠從現(xiàn)有芯片中提取出更強大的推理能力，尤其是在中國等 Nvidia 最新 H20 芯片供應(yīng)仍然有限的市場。

減少對 GPU 的依賴

與追求模型質(zhì)量或速度的訓(xùn)練時間突破不同，Aegaeon 是一個推理時間調(diào)度器，旨在最大限度地提高 GPU 在眾多具有突發(fā)性或不可預(yù)測需求的模型中的利用率。

Aegaeon 并非將一個加速器綁定到一個模型，而是在令牌級別虛擬化 GPU 訪問，從而允許其在共享池中調(diào)度微小的工作片段。

這意味著一臺 H20 可以同時服務(wù)于多個不同的模型，系統(tǒng)范圍的“有效吞吐量”（衡量有效輸出的指標(biāo)）與舊版無服務(wù)器系統(tǒng)相比，最高可提升 9 倍。

論文指出，該系統(tǒng)已在生產(chǎn)環(huán)境中測試了數(shù)月。論文作者來自北京大學(xué)和阿里巴巴基礎(chǔ)設(shè)施部門，其中包括首席技術(shù)官周靖人。系統(tǒng)支持?jǐn)?shù)十種不同 LLM（參數(shù)規(guī)模高達 720 億）所需的 GPU 數(shù)量從 1192 個減少到僅 213 個。

雖然該報沒有具體說明哪些型號對節(jié)省的貢獻最大，但《南華早報》報道稱，測試是使用 Nvidia 的 H20 進行的，這是根據(jù)現(xiàn)行美國出口管制規(guī)定，中國買家仍可合法購買的少數(shù)加速器之一。

阿里巴巴表示，這些優(yōu)勢主要源于兩項技術(shù)：

在每個 GPU 上打包多個模型；
使用令牌級自動縮放器在輸出生成時動態(tài)分配計算資源，而不是在請求級別預(yù)留資源。

模型性能優(yōu)化

阿里云發(fā)現(xiàn)，在實際的 AI 任務(wù)中，只有少數(shù)模型被頻繁使用。然而，大量的 GPU 資源卻被分配給了很少被調(diào)用的模型，導(dǎo)致資源利用率低下。數(shù)據(jù)顯示，17.7%的 GPU 資源僅承載了總推理請求的 1.35%。

借助 Aegaeon，阿里巴巴通過池化和智能擴展策略解決了這種不平衡問題。該系統(tǒng)確保了 GPU 的持續(xù)使用，并避免了不常用模型的閑置處理。阿里巴巴實現(xiàn)了更高的吞吐量，并提升了企業(yè)部署的硬件效率。

在基準(zhǔn)測試中，Aegaeon 的實際吞吐量是 ServerlessLLM 和 MuxServe 的 1.5 倍到 9 倍不等。

戰(zhàn)略轉(zhuǎn)變

華為和寒武紀(jì)等中國企業(yè)正在加速研發(fā)國產(chǎn) GPU，以減少對外國的依賴。英偉達首席執(zhí)行官表示，該公司在中國先進 AI 芯片市場的份額已降至零。這一趨勢促使本土企業(yè)進行創(chuàng)新，并實現(xiàn) AI 硬件供應(yīng)鏈的本地化。

阿里巴巴的新策略鞏固了其市場地位，同時也與國家科技自給自足戰(zhàn)略相契合。通過減少對美國芯片的依賴，阿里巴巴在中國不斷發(fā)展的人工智能生態(tài)系統(tǒng)中獲得了更穩(wěn)固的立足點。

這些節(jié)省能否在阿里巴巴堆棧之外發(fā)揮作用還有待觀察。阿里云的論文并未具體說明 Beta 測試中使用的具體網(wǎng)絡(luò)結(jié)構(gòu)，但該公司提供自己的 eRDMA 彈性 RDMA 網(wǎng)絡(luò)，并且擁有構(gòu)建高度集成的 GPU 服務(wù)堆棧的記錄，這表明結(jié)果可能取決于優(yōu)化的垂直集成環(huán)境。

無論如何，隨著推理需求持續(xù)飆升，這一結(jié)果可能會吸引其他超大規(guī)模企業(yè)的興趣，他們希望擴大稀缺的加速器規(guī)模。

參考資料：

https://www.tomshardware.com/tech-industry/semiconductors/alibaba-says-new-pooling-system-cut-nvidia-gpu-use-by-82-percent

https://coincentral.com/alibaba-group-holding-limited-baba-stock-soars-as-new-ai-pooling-tech-slashes-nvidia-gpu-use-by-82/

阿里云