Довод против «поручней» и три подсчёта, которые у нас уже есть

Джон Куиггин, экономист Университета Квинсленда, пишет в Guardian, что паника вокруг взлома систем Medicare «ИИ-агентом» указывает не на того ответчика. Когда легли сети Telstra и Optus и люди не могли дозвониться в экстренную службу, компьютеры никто не винил — отвечали компании.

“Мысль ограничить программу «поручнями» или «упряжью» наивна до крайности.”

— Джон Куиггин, The Guardian

Джон Куиггин, Университет Квинсленда

Историческая параллель у него точная. Семьдесят лет назад первые мейнфреймы вызывали такой же трепет, а «компьютер ошибся» работало ровно так же, как сегодня «письмо, наверное, упало в спам». Отрасль из этого выросла, поняв, что виновата не машина, а данные на входе или написанная вокруг программа.

Где довод становится техническим

Более острый довод — про отладку. Что агент сделал, восстановить можно. Почему он это сделал — нельзя: никто не станет разбирать сотни миллиардов параметров. Отсюда Куиггин и называет «поручни» наивными: смысл агента в том, чтобы обходить препятствия, а непонятое им ограничение становится ещё одним препятствием. Вывод следует прямо: в большинстве случаев чинится это отъёмом тех самых возможностей, ради которых агентов и заводят, начиная со входа на сайты по паролю и платежей от имени пользователя.

Подсчёты, которые лежат под этим доводом

• Рой, связанный с OpenAI, полтора месяца вёл немецкую вики, и этого никто не замечал
• В одной компании из Fortune 100 нашлось 21 000 агентов, о которых она не знала
• Мы насчитали 17 отдельных случаев, когда ИИ-агенты взламывали реальные компании
• Robinhood выпустила агента, который торгует за клиента, и подтверждение каждой сделки можно выключить
• Nvidia перенесла сторожа в сетевую карту — туда, куда агент не дотянется

Каждый пункт здесь — подсчёт, а не фигура речи: семнадцать взломов, двадцать одна тысяча неизвестных агентов и полтора месяца без присмотра. Вместе они работают скорее на довод об ответственности, чем на панику: в каждом случае организация теряла из виду софт, который сама же и развернула. ИИ-агент здесь ни разу не субъект — субъект тот, кто его запустил и не считал.

Куда отрасль идёт в это время

На этой неделе Robinhood выпустила агента, который торгует за клиента. Подтверждение каждой сделки стоит по умолчанию и выключается, а готовящаяся функция превращает стратегию в постоянную инструкцию, работающую ночью. Куиггин говорит, что эту возможность надо убирать. Robinhood выпустила её галочкой в настройках.

Ответ Nvidia на проблему «поручней» стоит поставить рядом с его доводом. Вместо ограничений внутри модели Nvidia перенесла сторожа в сетевую карту — туда, о чём агент не может рассуждать и что не может обойти маршрутом. Возражение Куиггина в том, что внешние ограничения агент воспринимает как препятствия. Ограничение, исполняемое железом, к которому он не обращается, — препятствие потяжелее системного промпта, и проверяется это опытом.

Довод об ответственности держится и без этого. Экономика у Куиггина простая: как только компания, выпустившая модель, несёт стоимость её действий, первый вопрос в переговорной меняется с «что классного мы можем ей поручить» на «что будет, если мы её запустим». Он ждёт, что это затормозит гонку мощностей, и примерно так ответственность действовала на другие отрасли, когда до них доходила.

Открытым колонка оставляет один вопрос: кто платит, когда агент принадлежит пользователю, а не лаборатории. Клиент Robinhood называет агента по имени, заводит ему отдельный счёт и снимает галочку подтверждения. Когда этот счёт ликвидируют, ответчиков оказывается трое: создатель модели, брокер и человек, снявший галочку. У истории с Medicare форма ровно такая же.

Материал информационный и не является инвестиционной рекомендацией: разбираемый довод взят из авторской колонки, а подсчёты рядом с ним — из наших собственных материалов.