Micron назвала память главным ограничением для развития ИИ

HBM становится узким местом для обучения больших ИИ-моделей

На конференции Hot Chips 2026 компания Micron предупредила о растущей проблеме с памятью в ИИ. Разрыв между вычислительной мощностью ускорителей и возможностями памяти продолжает увеличиваться, создавая всё большие ограничения для самих нейросетей.

Вычислительная мощность графических процессоров в среднем утраивается каждые два года, тогда как пропускная способность HBM за тот же срок растёт менее чем вдвое. При этом HBM остаётся главным типом DRAM для ИИ-ускорителей, предоставляя терабайтные скорости передачи данных против гигабайтных у DDR5.

За производительность приходится платить сложностью. В системе с четырьмя 12-слойными стеками HBM память занимает до 90% площади кремния.

Кроме того, сбои HBM стали причиной 17% незапланированных остановок обучения Llama 3. Теперь Micron делает ставку на HBM4 с пропускной способностью до 2800 ГБ/с.