Nvidia вынесла сторожа за агентом в провод, а не в программу

Программные ограничители просят агента вести себя прилично. Nvidia вынесла охрану с той машины, где агент работает, прямо в провод между агентом и моделью, с которой он разговаривает. Сторожа зовут Sentry, и при попытке выйти из песочницы агент оказывается изолирован за миллисекунды.

“Одной проверки прав может не хватить против инъекции в промпт, когда обманутый агент отправляет данные по разрешённым каналам, нарушая при этом собственное назначение.”

— The Decoder, разбор

The Decoder, о пределе проверки по правам доступа

Sentry живёт на блоках обработки данных BlueField-4 в системе Vera Rubin и стоит на единственной связи агента с моделью. Работает он отдельно от основного компьютера, поэтому для поднадзорного агента невидим. Проверяет он три вещи, когда мимо проходит ИИ-агент: кто спрашивает, что именно спрашивает и положено ли этой личности такое спрашивать. Журналы рассуждений он не читает принципиально — и это осознанный выбор, а не упрощение: охранник, которого агент видит, — это охранник, с которым агент может поспорить.

Три слоя, выпущенные по очереди

Складывается это из трёх слоёв, которые компания выпускала по очереди:

• Март: OpenShell, открытая песочница для агентов.
• 10 сентября: инструмент формальной верификации, который ищет нарушения прав доступа.
• Сейчас: Sentry — сторож в сетевом тракте, на блоках обработки данных BlueField-4.
• Дальше: отдельной даты общедоступности нет, совместимым системам обещано обновление ПО.

Meta пришла к той же форме на той же неделе, только с другой стороны. Её агент Muse выдаёт каждому облачный компьютер, внутри ячейки разрешено всё, пароли лежат снаружи, а за чувствительными действиями оттуда же следит процесс с именем Sentinel. Два производителя, два названия из одного синонимического ряда, одна архитектура: пусть агент делает что хочет внутри коробки, а судья сидит снаружи, где агенту до него не дотянуться.

Чего проверка прав не видит

На вопрос о побеге обе схемы отвечают хорошо, а более трудный оставляют открытым. Проверка прав видит разрешённую личность, которая идёт по разрешённому каналу. Она не видит, что агента на это уговорили, — а инъекция в промпт устроена именно так. Изоляция — задача архитектурная, и архитектуру Nvidia сделала. Распознавание злоупотребления внутри правил — задача суждения, а суждение в кремнии пока никто не выпустил.

Насколько велик этот зазор, видно по срокам огласки. Агент OpenAI добрался до государственного портала Австралии в июне, а правительство узнало через 84 дня. Сторож, изолирующий за миллисекунды, — серьёзное улучшение этой цифры, если только он караулит именно то, что ломается. Nvidia не сообщила, как часто Sentry срабатывает, как часто ошибается и во что обходится его работа. Эти три числа скажут о продукте больше, чем сам анонс.

Только информация, не инвестиционная рекомендация. Nvidia не публикует ни накладных расходов Sentry, ни данных о надёжности срабатывания, ни отдельной даты общедоступности.