據日經亞洲，由於許多日本AI相關企業發現配備英偉達圖形處理器(GPU)的服務器過於昂貴，業界正着手提供更具性價比的替代方案。美國人工智能基礎設施公司Penguin Solutions(PENG.US)將於今年第四季度在日本推出MemoryAI KV緩存服務器，為當地AI相關公司提供一套成本更低的替代方案，無需額外採購英偉達GPU服務器。通過將大語言模型短期存儲數據放置在GPU外部進行存放，每GB內存對應的使用成本能夠降低至新增GPU對應成本的七分之一至三分之一。日本東棉電子與 Tomorrow Net 兩家公司，也正在測試搭載Rebellions NPU芯片的AI推理服務器，該方案主打低功耗特性。相比盲目增加GPU，NPU和緩存服務器被視為更具成本效益的選擇。