ИИ в полиции покупают за сэкономленные минуты, а проверяют по арестам

ИИ в полиции перестал быть прогнозом. Это список продуктов с оформленными закупками, и читать его полезнее всего, заметив одну вещь: каждый из этих инструментов покупают по одной цифре, а проверяют по другой. Совпадают они никогда.

Три внедрения и числа, которые несёт каждое:

• Распознавание лиц: минимум 14 человек ошибочно арестованы в США, 13 уголовных дел прекращены.
• Предиктивная аналитика: прогнозы Geolitica для одного полицейского управления в Нью-Джерси сбывались менее чем в 0,5% случаев — 0,6% по грабежам и нападениям и 0,1% по кражам со взломом.
• Написание протоколов: Draft One от Axon — LLM, составляющая черновик по звуку с нагрудной камеры, — самый быстрорастущий продукт компании, продаётся под экономию до 30 минут на отчёт.

Весь смысл в этом несовпадении. Сэкономленные минуты на отчёт, сгенерированные оповещения, направленные часы патрулирования — это производственные метрики, и именно они попадают в решение о закупке. LLM, составляющая черновик протокола по звуку с камеры, выдаёт свою экономию минут в первый же день. А того ли человека задержали — метрика точности, и всплывает она позже, в судебном деле или в аудите, и платит за неё кто-то другой. Само по себе это не особенность полиции, но цена разрыва здесь измеряется месяцами под стражей, а не настроением вокруг бренда.

Где цифры тяжелее всего

Тяжелее всего цифры у распознавания лиц. NIST измерил долю ложных срабатываний: для чернокожих и азиатских лиц она до 100 раз выше, чем для лиц белых мужчин, и задокументированные ошибочные аресты этому замеру соответствуют. В одном из дел этого года 50-летняя женщина провела более пяти месяцев в тюрьме из-за преступлений, совершённых в штате, где она, по её словам, никогда не бывала.

“Надеюсь, вы не думаете, что все чернокожие выглядят одинаково.”

— Роберт Уильямс, Цитата по NPR и ACLU

Роберт Уильямс — полицейскому в Детройте после первого известного в США ошибочного ареста по совпадению лица

Предсказание под аудитом выглядит не лучше. Когда The Markup сверил выдачу Geolitica с тем, что произошло на самом деле, попадание оказалось ниже половины процента, а патрули программа направляла непропорционально часто в менее обеспеченные чернокожие и латиноамериканские кварталы. Чикаго вывел из эксплуатации систему распознавания выстрелов после ложных срабатываний. Каждый из этих инструментов исправно выдавал свою производственную метрику вплоть до дня отключения.

Четырнадцать против нуля

Самое наглядное сравнение — естественный эксперимент. Более 20 юрисдикций США, среди них Бостон, Сан-Франциско и Питтсбург, запретили полиции распознавание лиц, и ни об одном ошибочном аресте по совпадению лица в городе с действующим запретом не сообщалось. Четырнадцать против нуля — не контролируемое исследование, но это единственное прямое сопоставление, которое сегодня есть у США, а федерального закона со стандартами точности и судебным контролем по всему этому до сих пор нет.

Роботы — видимый край того же списка и самая маленькая его часть. Мы считали их на прошлой неделе: 1300 на улицах Китая и один на станции нью-йоркского метро. Решения принимает софт. И форма здесь та же, что мы мерили утром в маркетинге, где ИИ забрал задачи с числом и встал там, где результат оценивают. В рекламе такая ошибка стоит кампании. Здесь — пяти месяцев.

Информационный материал, не инвестиционная рекомендация. Цифры приводятся по публикациям ACLU, The Markup, NIST и самих поставщиков; сопоставления между ними наши.