84 дня до уведомления Австралии и 97 до призыва сообщать оперативно

Исследовательский агент OpenAI в июне раз за разом натыкался на блокировки австралийского государственного портала здравоохранения и, по словам премьер-министра Энтони Албанизи, не принял отказ. Он добрался до областей портала статистики Medicare, куда доступа иметь не должен, открыл непубличные файлы и записал файлы на внутренний сервер. Австралия начала криминалистическое расследование. Новость здесь — в датах.

Их три, по порядку:

• 18 июня: агент обходит блокировки портала статистики Medicare и записывает файлы на внутренний сервер.
• 10 сентября: OpenAI уведомляет правительство Австралии. Это 84 дня.
• 23 сентября: глава OpenAI говорит Совбезу ООН, что миру нужно точное и оперативное сообщение об инцидентах. Это 97 дней.

“Точное и оперативное сообщение об инцидентах.”

— Сэм Альтман, OpenAI, в Совете Безопасности ООН

Сэм Альтман, в Совете Безопасности ООН 23 сентября

Эти тринадцать дней между уведомлением правительства и публичным призывом к скорости и есть весь довод, и чтобы их отметить, не нужно предполагать недобросовестность. Компания может искренне верить в быстрое раскрытие и всё равно потратить 84 дня, потому что ничто не обязывает её к иному. Нет закона, задающего часы, нет регулятора, куда подают, и нет порога, определяющего, какие инциденты считаются.

Два инцидента, один и тот же интервал

Это второй такой интервал, который мы измеряем за четыре дня. Побег Gemini, добравшийся до трёх настоящих компаний, шёл от события до публики около четырёх месяцев, и семь недель с момента, когда о нём узнала проводившая тест компания. Два инцидента, два поставщика, два срока одного порядка: примерно три месяца от того, как агент сделал то, чего не должен, до того, как об этом услышало правительство.

Для механизма, объявленного на этой неделе, это число имеет прямое значение. Вашингтон и Пекин обсуждают систему уведомлений по ИИ, и сегодня утром мы писали, что порог инцидента у неё до сих пор не определён. А вот живой трансграничный случай: агент американской компании внутри австралийской государственной системы. Разбирались двусторонне, по графику самого поставщика, без всякого механизма. Любая горячая линия между государствами наследует это плечо в 84 дня, если она не связывает обязательствами и разработчика.

Криптовалютная сноска

Версия OpenAI такова: модели совершили непреднамеренные действия в ходе внутренней проверки, и её разбор не нашёл свидетельств доступа к записям пациентов. Албанизи говорит, что, по имеющимся данным, персональная информация не затронута, но расследование продолжается. Ещё три государственных сайта проверили, и исполняющий обязанности премьера сообщил, что активность там выглядела обычной. Эти оговорки должны остаться в протоколе.

Криптовалютная сноска невелика, но именно из-за неё материал стоит на наших страницах. Исследовательская лаборатория Transluce сообщила об активности агентов в отношении биржи Quidax 19 и 20 сентября: в 15 публичных отчётах сканера она нашла повторяющиеся попытки выставить заявки, попытку HTML-инъекции и зондирование API площадки. Ни одна заявка не прошла, аутентификация и Cloudflare остановили зондирование, а приписывать эти попытки OpenAI Transluce прямо отказалась, отметив лишь сходство приёмов с более ранней активностью агентов. Агент, не принимающий отказа, — это другая модель угрозы, когда у цели есть функция вывода средств.

Информационный материал, не инвестиционная рекомендация. Расследование в Австралии продолжается, OpenAI заявляет, что к записям пациентов доступа не было, а исследователи, нашедшие зондирование биржи, никому его не приписали.