Инженеры уложили HBM на бок — память стала быстрее, холоднее и вместительнее
Инженеры предложили новый способ наращивания памяти для ускорителей ИИ и графических процессоров: вместо укладки кристаллов DRAM привычной «башней», как в HBM, их предлагается устанавливать на ребро, превращая массив памяти в объёмный блок из кремниевых пластин. Это сразу решает несколько проблем масштабирования памяти: увеличивает пропускную способность и ёмкость, а также позволяет избежать роста тепловыделения.
Вертикальное, но не стековое размещение кристаллов памяти улучшит её характеристики. Источник изображения: University of Tokyo
Проблема наращивания памяти типа HBM приобретает всё большую актуальность из-за роста больших языковых моделей: современные GPU уже окружены несколькими стеками HBM, но дальнейшее увеличение числа слоёв в каждом стеке грозит перегревом и потерей эффективности. В обычной HBM кристаллы DRAM располагаются друг над другом на базовом кристалле и соединяются сквозными TSV-соединениями. Такая структура плохо отводит тепло к радиатору, поскольку кристаллы разделены слоем диэлектрика с низкой теплопроводностью.
Для решения проблемы теплоотвода от памяти ускорителей на июньском симпозиуме IEEE VLSI были представлены два варианта, оба из которых предлагают поставить условный куб HBM на ребро. По большому счёту это будет уже не память HBM, поскольку у неё не будет базовой подложки, к которой подключаются все кристаллы. Вместо этого каждый кристалл в 3D-сборке DRAM на нижнем ребре будет нести группу интерфейсных и силовых контактов для подключения к подложке с ускорителем или графическим процессором.
Более того, в концепции памяти V-Die, разработанной при участии южнокорейских университетов UNIST и Hanbat National University, между кристаллами также предполагается размещать микрофлюидные каналы для циркуляции хладагента. Кроме того, отказ от достаточно толстых TSV дополнительно освобождает площадь под ячейки памяти, а собственные блоки ввода-вывода (I/O) на каждом кристалле позволяют отказаться от отдельного базового кристалла. Контакты для подключения к подложке предлагается размещать вдоль нижней кромки кристалла с шагом около 20 мкм.
Расчёты показывают, что V-Die может обеспечить примерно в четыре раза больше соединений, чем HBM4, и сократить время чтения из памяти на 37 %. При моделировании системы на GPU уровня Nvidia H100 с нагрузкой, похожей на большую языковую модель масштаба GPT-3, вариант V-Die обеспечивал производительность памяти на уровне 540 токенов в секунду против 296 токенов в секунду у HBM4 при той же ёмкости памяти. Задержка до выдачи первого токена снижалась на 32 % (примерно на 24 мс), а температура за счёт микрофлюидного охлаждения удерживалась на уровне около 45 °C — заметно ниже типичных пиков HBM, которые могут превышать 80 °C.
Впрочем, технология V-Die подверглась критике со стороны специалистов. По их словам, почти невозможно обеспечить такую точность производства, чтобы все контакты на рёбрах куба памяти совпали с контактами для пайки на подложке ускорителя. Однако об этой проблеме позаботилась другая группа исследователей — из Японии.
Японская группа из University of Tokyo, Tohoku University и RIKEN предложила подход к монтажу «кубической» памяти, названный ими MOSAIC («мозаика»). Жёсткие контакты, по их мнению, следует оставить только для питания сборки DRAM, поскольку они крупнее и менее требовательны к точности совмещения, тогда как данные и управляющие сигналы предлагается передавать с подложки на «куб» памяти индуктивным бесконтактным способом.
В частности, исследователи предложили формировать на кристаллах памяти вытянутые катушки размером около 80 × 240 мкм, а на подложке размещать ответные катушки под прямым углом. Передача данных будет осуществляться посредством магнитного поля, поэтому элементы не обязаны совпадать с микронной точностью. В одном кубе MOSAIC можно разместить 98 кристаллов и получить 294 Гбайт памяти, а при уменьшении толщины кристалла DRAM до 100 мкм авторы оценивают потенциал в 294 кристалла и 882 Гбайт памяти в том же объёме при расчётной пиковой температуре около 81,3 °C.