快科技9月3日消息，DRAM供應持續緊張，已將AI巨頭逼到拆舊服務器回收內存的地步。

谷歌供應鏈基礎設施高級總監Nikhil Cherian近日透露，AI行業已從算力受限快速轉向內存受限，高性能內存目前佔單台AI服務器物料成本的約75%。

據Cherian介紹，為突破內存瓶頸，谷歌在軟硬件兩端同時發力，硬件層面甚至建立了內部回收供應鏈，將退役服務器拆解後回收可用的DDR4內存模塊。

Cherian坦言，谷歌專門設計了硬件轉接器，使上一代DDR4內存能夠連接到新一代AI服務器上，並且正在專門重新導入退役服務器以拆取其中的DDR4模組。

這意味着原本應使用DDR5的新AI服務器，在部分情況下不得不降級使用回收的DDR4。

軟件層面，谷歌持續優化底層函數庫、模型架構和KV Cache壓縮技術，試圖降低單位算力的內存消耗。

今年穀歌推出了兩款TPU ASIC，分別是面向訓練的TPU8t和麪向推理的TPU8i，其中TPU8i每顆芯片配備288GB HBM3e，提供8.6 TB/s內存帶寬，並集成384MB片上SRAM用於存儲活躍的KV緩存，減少對外部系統內存的查詢需求。

TPU8i服務器採用谷歌自研基於Arm架構的Axion處理器替代傳統x86主機CPU，依賴高速DDR5內存架構處理數據預處理等主機級任務。

然而即便如此，谷歌仍被迫在部分場景中以回收的DDR4替代DDR5，足見當前DRAM供應緊張程度之深。

【本文結束】如需轉載請務必註明出處：快科技

責任編輯：黑白