ИИ-чат-боты незаметно теряют ваши правила при сжатии контекста

Попросите ИИ-ассистента в начале длинного диалога всегда подтверждать перед внесением изменений — и есть хороший шанс, что он забудет это правило в тот момент, когда диалог сожмут ради экономии места. Систематическое исследование учёных из Penn State показало, что ИИ-системы в среднем сохраняют лишь 17% заданных пользователем правил сессии после сжатия истории длинного диалога, сообщил the-decoder со ссылкой на статью, опубликованную на arXiv.

Виновник — процесс сжатия (compaction): когда диалог становится настолько длинным, что грозит переполнить контекстное окно ИИ-системы, многие системы суммируют более раннюю историю ради освобождения места вместо того, чтобы начать новую сессию. Исследователи обнаружили, что системы сжатия последовательно ставят непрерывность задачи — память о том, чего добивается пользователь, — выше того, что они называют ограничениями сессии: побочных правил, которые пользователь задаёт по ходу дела, — например, требования подтверждать действие или ограничить инструмент определёнными файлами. При полном, несжатом контексте протестированные системы соблюдали такие правила в 59–71% случаев; после сжатия соблюдение у большинства систем резко падало, часто оказываясь лишь немногим выше базового уровня, который исследователи замеряли вообще без заданных правил. Даже промпты, написанные специально для того, чтобы указать процессу сжатия сохранять ограничения, удерживали их менее чем в 40% случаев.

• Среднее сохранение ограничений после сжатия: 17%
• Соблюдение правил при полном контексте: 59–71%; после сжатия — часто едва выше базового уровня
• Промпты, защищающие ограничения, всё равно теряют более 60% правил
• GPT-5.4-mini превзошла протестированный базовый уровень в части сценариев
• Специальное решение на базе Qwen3.5-9B дало сохранение выше 90% по всем сценариям (до 95,6% для агентных задач)

Решение исследователей разделяет две задачи, которые сжатие незаметно объединяло в одну: небольшой дополнительный модуль извлекает ограничения сессии из слов пользователя и ведёт для них отдельный список, добавляемый к сжатому резюме, а не оставленный выживать внутри него по воле случая. Этот модуль, построенный на открытой модели Qwen3.5-9B и выпущенный вместе с публичным набором для оценки под названием COMPINT, поднял сохранение выше 90% по всем протестированным сценариям, включая 95,6% для агентных траекторий и 90,3% для многоходовых чатов. Разрыв между 17% и более чем 90% — вот в чём настоящая суть: дело не в том, что сохранить инструкции через сжатие невозможно, а в том, что почти ничего из протестированного изначально не было для этого построено намеренно. Это значимая находка, учитывая, насколько сильно нынешний рывок к автономным ИИ-агентам зависит от того, что система надёжно следует границам, заданным пользователем часы или множество ходов назад, а не только самой задаче, — сбой, отличный от ограничений контекстного окна, из-за которых сжатие вообще потребовалось, но тесно с ним связанный. Ни COMPINT, ни экстрактор ограничений пока не встроены ни в один коммерческий продукт, так что решение остаётся исследовательским прототипом, а не тем, на что конечные пользователи уже могут полагаться сегодня, — но оно доказывает, что этот разрыв устраним, а значит вопрос сдвигается с того, можно ли вообще починить этот сбой, на то, решат ли компании, эксплуатирующие такие системы в проде, действительно это сделать.

Это не финансовый совет — только информация к размышлению.