ChainCatcher 消息,谷歌供應鏈基礎設施高級總監 Nikhil Cherian 透露,為突破內存瓶頸,谷歌正在開發軟件和硬件解決方案,並拆解退役服務器回收 DDR4 組件以建立內部回收供應鏈。谷歌已設計特殊硬件適配器,可將上一代 DDR4 連接到新一代人工智能服務器,同時進口退役服務器拆除其 DDR4 模塊進行回收利用。
Cherian 表示,人工智能行業已迅速從計算受限轉向內存受限,高性能內存約佔給定人工智能服務器物料清單成本的 75%。高盛報告指出,第三季度內存價格將繼續增長,預計個人電腦 DRAM 價格上漲 18% 至 23%,服務器 DRAM 價格上漲 13% 至 18%。Trendforce 數據顯示,8 月現貨市場上 DDR4 8GB 和 DDR5 8GB 價格分別上漲至 142 美元和 133 美元。
谷歌今年推出的兩種 TPU ASIC 對內存進行了優化設計,稱有望將內存需求降低至原來的六分之一。TPU8i 芯片採用專用分層內存設計,依靠高速 DDR5 內存架構執行主機級任務,每顆芯片搭載 288GB 的 HBM3e 高帶寬內存。