Nvidia назвала пять способов выжать больше из каждого байта памяти HBM

Объём HBM, быстрой памяти рядом с GPU, при переходе Nvidia к новому поколению не вырос: у GB300 и Vera Rubin по 288 ГБ на GPU.

Инженеры Nvidia Эдуардо Альварес, Джейми Ли и Ронил Прасад в техническом блоге 5 ноября объяснили, что главный вопрос теперь другой. «Вопрос уже не в том, сколько памяти у GPU, а в том, сколько полезной работы даёт каждый байт», написали они.

Nvidia утверждает, что Vera Rubin NVL72 даёт до 30 раз больше пропускной способности на мегаватт, чем GB300 NVL72.

Компания измеряла это на SemiAnalysis AgentX: бенчмарк воспроизводит записанные сессии агентов для программирования при скорости 160 токенов в секунду на пользователя.

Пропускная способность HBM за тот же шаг удвоилась до 19,2 ТБ/с. Остальной прирост компания объясняет пятью изменениями, которые загружают память HBM полезными данными.

NVFP4: четыре бита на значение

NVFP4 хранит числа в 4 битах с двумя уровнями масштабных коэффициентов. Для весов модели экономия такая:

• примерно в 3,5 раза меньше места, чем в FP16, и в 1,8 раза меньше, чем в FP8;
• в 4 раза больше пропускной способности на мегаватт, чем у FP8, для DeepSeek R1 на GB300.

Для KV-кеша, то есть памяти модели о текущем разговоре, NVFP4 сокращает объём до 50% по сравнению с FP8.

При этом точность сохраняется на уровне выше 99% от BF16 на 10 бенчмарках DeepSeek-V4-Pro.

Эксперты на разных GPU

Модели со смесью экспертов, например DeepSeek-R1, делят каждый слой на много небольших сетей-экспертов.

TensorRT-LLM от Nvidia распределяет этих экспертов по восьми и более GPU, связанным через NVLink. Каждому GPU достаётся меньше весов, и больше HBM остаётся под кеш.

По данным Nvidia, GB300 NVL72 даёт в 10 раз больше пропускной способности на мегаватт, чем H200 NVL8, при 100 токенах в секунду на пользователя.

В Vera Rubin у каждого GPU пропускная способность NVLink 6 составляет 3,0 ТБ/с, а в одной стойке около 20,7 ТБ HBM4.

Dynamo двигает KV-кеш

Серверное ПО Nvidia Dynamo управляет KV-кешем как ресурсом всего парка машин. Оно отправляет запрос на GPU, где уже лежит подходящий префикс, разносит этапы prefill и decode по разным пулам GPU и переносит блоки кеша между памятью GPU, памятью CPU и хранилищем.

В тестах партнёров VAST Data получила 35 ГБ/с на один H100.

WEKA достигла до 270 ГБ/с на восьми H100.

Память Vera для простаивающих агентов

ИИ-агент делает паузу, пока работает инструмент, и всё это время его кеш простаивает в HBM.

У процессора Vera 88 ядер и до 1,5 ТБ памяти LPDDR5X, это в пять с лишним раз больше, чем HBM4 у одного GPU Rubin.

С GPU процессор связан через NVLink-C2C на скорости 1,8 ТБ/с. Dynamo может переложить туда простаивающую сессию на время вызова инструмента и вернуть её, когда агент продолжит, и GPU не придётся заново считать контекст.

«Поэтому медленный CPU обходится HBM дважды: сначала простоем, потом повторным вычислением», написали авторы.

CMX: общая память пода

CMX добавляет уровень флеш-хранилища с подключением по Ethernet, общий для целого пода. Он построен на процессорах хранения BlueField-4 и сети Spectrum-X.

Префикс, который посчитал один узел, могут использовать совместимые экземпляры модели на других узлах.

Для инференса с длинным контекстом Nvidia обещает до 5 раз больше токенов в секунду и до 5 раз лучшую энергоэффективность, чем у обычного хранилища.

Что это значит для вас

Если вы строите или арендуете ИИ-инфраструктуру, пост показывает, как Nvidia собирается снижать стоимость каждого токена: меньше бит на значение, меньше копий весов, меньше повторных вычислений.

Большая часть этих выигрышей предполагает, что вы покупаете весь стек Nvidia, от процессора до процессоров хранения. Все цифры получены Nvidia и её партнёрами, независимых измерений в посте нет.

Производители памяти и накопителей понесли одни из самых больших потерь во время распродажи чипмейкеров на этой неделе, а Nvidia убеждает, что её системы выжимают больше из каждого гигабайта, который покупают клиенты.

По посту в техническом блоге Nvidia от 5 ноября 2026 года, авторы Эдуардо Альварес, Джейми Ли и Ронил Прасад. Все показатели производительности приведены по данным Nvidia и её партнёров.