Переписка с чат-ботом не была личной, и в правилах это написано

Пользовательница считала переписку дневником, а в правилах сервиса на этот счёт написано прямо. Жительнице Бонита-Спрингс во Флориде предъявили обвинение в письменной угрозе насилием: по версии управления шерифа округа Ли, она написала, что расстреляет это самое управление, и упомянула, что приобрела новое оружие. Сообщения датированы 26 и 27 сентября и написаны на платформе Anthropic. Системы безопасности отметили формулировки, их посмотрел живой проверяющий, компания передала материал полиции. Задержали её дома без происшествий, суд назначен на ноябрь, и ни в чём она пока не признана виновной.

“Когда кто-то использует ИИ, чтобы высказать или подготовить угрозу, мы обязаны отнестись к этой угрозе серьёзно”

— Кармине Марчено, Шериф округа Ли, Флорида

Своё объяснение она, по изложению управления шерифа, свела к тому, что пользовалась ИИ «как дневником».

Правило было опубликовано заранее

Политика конфиденциальности Anthropic описывает ровно такой случай. Она разрешает передавать персональные данные правоохранительным органам, если у компании есть добросовестное убеждение, что раскрытие «разумно необходимо» для того, чтобы «предотвратить серьёзный вред любому человеку или имуществу». Ещё два пункта касаются всех, кто считает окно чата блокнотом. Отказ от обучения моделей не распространяется на отмеченные материалы: «Даже если вы отказались, мы будем использовать вводимые и выводимые данные для улучшения моделей, когда: (i) ваши разговоры отмечены для проверки безопасности». И обезличивание обратимо: отмеченное отвязывают от идентификатора пользователя, но повторная идентификация доступна, «чтобы при необходимости применить наши условия обслуживания или политику использования к ответственному пользователю». На этом пункте сравнение с дневником и заканчивается.

Четыре дня от фразы до двери

Сообщения появились 26 и 27 сентября, об аресте сообщили 30-го. Между этими датами уместились автоматический классификатор, живой проверяющий, обращение в полицию и ордер. Вторая фраза шерифа Кармине Марчено в том же объявлении — что на ИИ-платформах пользователь «никогда по-настоящему не анонимен». Опубликованная политика это подтверждает. Сам пользователь при этом не видел ничего: классификация безопасности живёт вне того, что показывает LLM, и описана только в правилах. Письменная угроза насилием во Флориде — отдельный состав, и дело по нему слушают в ноябре.

Что случай устанавливает

Механизм сработал от начала до конца, и запускают его собственные напечатанные слова пользователя: никакой внешней жалобы не потребовалось. Второго октября мы писали про довод Джона Куиггина о том, что отвечать должны те, кто эти системы строит, а сегодня вечером — про флот агентов, которого никто никому не смог приписать. Здесь та же машинерия направлена на человека, и атрибуция как раз работает. При этом о виновности случай не говорит ничего: обвинение не доказано, суд будет в ноябре, обвиняемая — частное лицо. Практический вывод короткий: набирая текст в чат-боте, вы набираете его в систему, которая читает его на короткий список признаков и вправе позвонить по этому поводу.

Материал информационный и не является инвестиционной рекомендацией. Обвинение не доказано, суд назначен на ноябрь. Обвиняемая — частное лицо, и её имя мы не называем.