Чип Jalapeño от OpenAI обходит Nvidia Blackwell в инференсе

OpenAI показала первые результаты бенчмарков своего чипа для инференса Jalapeño на конференции Hot Chips во вторник, сообщил TechCrunch.

В тесте Semianalysis InferenceX Jalapeño показал больше токенов на пользователя и больше пропускной способности на киловатт, чем доступные сейчас лучшие процессоры для инференса. Сравнение проводилось с системой на базе Nvidia Blackwell, хотя к моменту полноценного развёртывания Jalapeño линейка Nvidia может уйти вперёд.

Эти две метрики измеряют разные вещи, которые компании, работающей с инференсом в промышленном масштабе, нужны одновременно. Токены на пользователя показывают, как быстро один ответ приходит конкретному человеку, а пропускная способность на киловатт показывает, скольких клиентов дата-центр может обслужить при заданном расходе энергии. Чип, выигрывающий только по одному из этих параметров, обычно вынуждает выбирать между скоростью и стоимостью; заявка Jalapeño касается сразу обоих.

“Суть в том, что результаты показывают очень, очень значительный прирост производительности по сравнению с текущим уровнем технологий. Jalapeño способен обслуживать больше ИИ-нагрузки на единицу энергии, при этом возвращая ответы быстрее. Он очень эффективен для обслуживания большого числа клиентов, но при этом может обеспечивать очень низкую задержку.”

— Ричард Хо, глава направления hardware в OpenAI

Хо изложил осторожный график по чипу на пресс-звонке. Jalapeño должен выйти в очень небольших объёмах к концу 2026 года, а по-настоящему заметное развёртывание начнётся в 2027 году.

OpenAI впервые анонсировала Jalapeño в октябре прошлого года, разрабатывая его в тесном сотрудничестве с Broadcom, а собственные модели компании участвовали в процессе проектирования. Компания рассматривает Jalapeño как начало многопоколенческой платформы, где ИИ-продукты, модели, чипы и память разрабатываются согласованно, а не как отдельные слои.

Такой подход "полного стека" нацелен на конкретные узкие места в работе инференса. OpenAI выделила фазы предзаполнения (prefill) и коммуникации как регулярные узкие места. Компания написала в блог-посте с результатами: "Мы спроектировали Jalapeño так, чтобы минимизировать перемещение данных и задержки коммуникации. Это означает, что состояние модели, включая KV-кэш, используемый при генерации ответа, может быть явно размещено и удерживаться локально, пока система задействует нужное сочетание вычислений, памяти и сети для каждой фазы инференса".

Этот чип укладывается в отраслевую тенденцию: у Google есть собственные TPU, у Amazon — Trainium, Microsoft строит Maia, и каждая компания стремится снизить зависимость от Nvidia в тех нагрузках, которые важны именно ей. Для OpenAI эта зависимость глубока и дорога. Одна только аренда дата-центра OpenAI в Огайо обязывает Nvidia предоставить гарантии на сумму до $105 млрд, масштаб обязательств, который делает собственную альтернативу хотя бы для части инференс-нагрузки оправданной даже при медленном развёртывании.

• Чип: Jalapeño, собственный процессор OpenAI для инференса
• Бенчмарк: результаты InferenceX превзошли лучшую Nvidia Blackwell по токенам на пользователя и пропускной способности на киловатт
• Разработка: анонсирован в октябре 2025, создан вместе с Broadcom, собственные модели OpenAI участвовали в проектировании
• График: небольшие объёмы к концу 2026 года, заметное развёртывание в 2027
• Фокус дизайна: минимизация перемещения данных и задержек коммуникации на фазе предзаполнения

Пока Jalapeño остаётся доказательством концепции с небольшими объёмами поставок. Результаты бенчмарков дают OpenAI конкретный аргумент, но реальный вес чипа в инфраструктуре компании станет заметен только после развёртывания в 2027 году, о котором говорил Хо.

Это не финансовый совет — только информация к размышлению.