Восемь DGX Spark тянут модель на 753 млрд параметров

Nvidia соединила восемь настольных DGX Spark в одну машину и запустила на ней модель на 753 млрд параметров. В материале, опубликованном 22 октября четырьмя инженерами компании, на кластер положили GLM 5.3 от Z.ai в точности NVFP4 и намерили около 80 токенов в секунду на генерации. Восемь узлов по 128 ГБ единой памяти дают 1 ТБ; сама модель занимает из них около 470 ГБ, то есть чуть меньше половины кластера — это лежащие без движения веса.

Узлы общаются через сетевые карты ConnectX-7 по RoCE: кольцом, когда их четыре, и через коммутатор, когда восемь. Сверху стоят vLLM, FlashInfer и NCCL плюс собственный коллективный бэкенд под Spark, который команда назвала RoCEnante: он срезает задержку all-reduce при тензорно-параллельном декодировании и добавляет от 18 до 21% пропускной способности на масштабе.

Обучение масштабируется, декодирование нет

Вытаскивать из этой публикации стоит не 753 миллиарда, а разрыв между двумя кривыми масштабирования на одном и том же железе.

“Пропускная способность декодирования выросла с 11,86 токена в секунду на одном узле до 52,58 токена в секунду на восьми узлах: ускорение в 4,43 раза с бэкендом RoCEnante против 3,05 раза без него.”

— Технический блог Nvidia, 22 октября 2026 года, https://developer.nvidia.com/blog/running-frontier-class-ai-models-across-8-nvidia-dgx-spark-nodes/

Предобучение небольшой модели Nanochat на восьми узлах дало ускорение в 7,79 раза — Nvidia называет это эффективностью масштабирования 97,4%. С выводом так не вышло. Пропускная способность декодирования на Qwen3.8-27B выросла с 11,86 токена в секунду на одном узле до 52,58 на восьми, и это в 4,43 раза больше при восьмикратном железе. Посчитайте эффективность — выйдет 55% против 97% на обучении. Без RoCEnante тот же тест даёт 3,05 раза, то есть 38%. Обучение забивает провод целиком, а инференс токен за токеном проводит жизнь в ожидании этого провода.

Сколько стоят восемь штук

Цена изменилась не меньше инженерии. DGX Spark на 128 ГБ вышел в октябре 2025 года по $3999, в феврале подорожал до $4699 из-за поставок памяти, а сейчас стоит $6950. Восемь штук — это $55 600 и около 1920 Вт из розетки, то есть примерно $695 за каждый токен в секунду генерации на той самой модели в 753 млрд параметров. На фоне стойки с H100 это дёшево, на фоне счёта за API — долгая окупаемость, а покупают на самом деле то, что веса не уезжают с вашего стола. Второй результат из публикации смотрит туда же, куда и наша прежняя заметка о том, как модель на 30 млрд обошла флагман Nvidia на её же тесте: маршрутизация 75% запросов на модель поменьше через NeMo Switchyard утроила суммарную пропускную способность, не потеряв в качестве на тестовых задачах. Две заявки на уровень передового края в одном тексте, и больше столов изменит скучная — та, что про отправку основной массы работы туда, где поменьше.

Ничего из перечисленного не стоит воспринимать как персональную инвестиционную рекомендацию. Все цифры пропускной способности — замер Nvidia на своём же железе, проценты эффективности посчитаны нами по этим цифрам, цена $6950 сверена 24 октября 2026 года.