Двенадцать лет предупреждений об ИИ дали две лаборатории и ни одной паузы

Двенадцать лет отделяют предупреждение Стивена Хокинга о том, что искусственный интеллект может положить конец человеческой расе, от записи Джейкоба Коксона об увольнении на прошлой неделе. За это время предупреждения дали две передовые лаборатории и ни одной паузы, пишет Guardian.

“Много думал о том, можно ли остановить человечество в разработке ИИ. Думаю, ответ почти наверняка нет.”

— Сэм Альтман, Письмо Илону Маску, 2015 год, раскрыто в суде в 2024-м

Сэм Альтман — Илону Маску, 2015 год, письмо, раскрытое в ходе иска Маска к OpenAI в 2024 году

Предупреждения об ИИ по порядку

Выложите эти моменты в ряд, и форму трудно не заметить:

• 2014 год: Стивен Хокинг говорит BBC, что ИИ может означать конец человеческой расы. Google только что купила DeepMind за $650 млн.
• 2015 год: Илон Маск и Сэм Альтман основывают OpenAI — некоммерческую организацию, чтобы строить опасную вещь ответственно.
• 2021 год: Дарио Амодеи уходит из OpenAI и основывает Anthropic, лабораторию с безопасностью во главе угла.
• 2023 год: совет директоров OpenAI увольняет Альтмана из-за опасений по безопасности. Через считаные дни он возвращается.
• 2026 год: Джейкоб Коксон уходит из Anthropic, а Амодеи называет подход отрасли безрассудным.

Каждый пункт этого списка — ответ на один и тот же страх, и каждый ответ добавляет конкурента. За двенадцать лет никто не ответил на опасность тем, что стал строить меньше. Рефлекс отрасли, которой говорят, что технология может убить всех, — основать компанию, которая построит её аккуратнее предыдущей, а предыдущая продолжает строить.

Альтман сказал это ещё в начале, и его фраза — честная версия всего десятилетия. Если остановить нельзя, рассуждение идёт так, пусть лучше это сделаем мы. Тот же довод оправдывает основание OpenAI в 2015 году и отказ замедляться в 2026-м, а это признак того, что он доказывает слишком много.

9 сентября Коксон написал, что Anthropic и OpenAI мчатся прямо к самоулучшающемуся сверхинтеллекту и играют нашими жизнями. Десятки сотрудников обеих компаний и их конкурентов его поддержали. Через несколько дней главы ведущих американских лабораторий откликнулись на призыв Амодеи замедлить то, что он назвал безрассудным подходом, — а Амодеи руководит одной из двух компаний, которые назвал Коксон.

Что предупреждения на самом деле купили

Предупреждения купили регулирование с задержкой. Хокинг высказался в 2014 году, европейский закон об ИИ пришёл десятилетием позже. Джеффри Хинтон уволился в 2023-м, и указ США о проверках безопасности вышел в течение нескольких месяцев, хотя Конгресс после него дал немного. В этом месяце Трамп и спикер Майк Джонсон отвергли замедление на доводе, что пауза отдаёт лидерство Китаю. Через неделю после самого просматриваемого предупреждения в истории отрасли законопроекта нет.

Та же форма на другом рынке

Читатели этого сайта видели такую схему на другом рынке. Каждый серьёзный спор о том, как управлять блокчейном, заканчивался форком, то есть второй сетью, а не остановкой. Ethereum Classic и Bitcoin Cash существуют потому, что несогласные насчёт рисков построили свою версию, а не прекратили. Утешает ли эта аналогия, зависит от того, каким вы считаете риск падения, и один исследователь DeepMind оценивает его как один к трём.

Деньги идут по той же логике. Вчера мы разбирали, как институт, давший самое цитируемое объяснение этого момента, был профинансирован мемкоином в двадцать раз щедрее, чем задумывал жертвователь. Предупреждения стали отраслью с выручкой, штатом и бюджетами на лоббизм, а отрасль редко уговаривает себя исчезнуть.

Информационный материал, не инвестиционная рекомендация. Сравнение в конце — наша трактовка, а не утверждение о чьих-либо намерениях.