Anthropic оценила риск выше 10% и не отдала новую модель британцам

На этой неделе про Anthropic всплыли две вещи. Руководитель направления элайнмента публично заявил, что вероятность гибели всех людей от ИИ в этом десятилетии выше 10%. А Financial Times сообщила, что компания не отдала свою новейшую модель Mythos 5.1 британскому Институту безопасности ИИ на предрелизное тестирование — об этом пишет The Guardian.

Кабинет министров подтвердил, что Mythos 5.1 видели лишь несколько американских организаций, и добавил, что институт продолжает работать с отраслевыми партнёрами, включая Anthropic.

Зал, в котором об этом спорили

В понедельник Control AI собрала депутатов и лордов в Вестминстере и положила на каждое кресло книгу «Если это построят, умрут все». Лоббистскую группу финансирует Яан Таллинн, основатель Skype, называющий себя антиэкстинкционистом.

Депутат-лейборист Алекс Собел на этой неделе внёс законопроект о запрете создания искусственного сверхразума. Искусственный сверхразум — это ступень за AGI, и прогнозы о сроках расходятся от нескольких лет до более чем десятилетия. Даррен Джонс написал премьер-министру и главам ООН и ОЭСР с просьбой о многостороннем договоре.

Дес Браун, министр обороны тех времён, когда сильнее всего он опасался ядерной войны, сказал залу, что сверхразумный ИИ теперь стоит на той же шкале, а может быть и выше. Беатрис Фин, получившая Нобелевскую премию мира 2017 года за кампанию против ядерного оружия, сказала короче.

“Мы не впервые сталкиваемся со способностями, которые в итоге могут убить нас всех.”

— Беатрис Фин, The Guardian, 9 сентября 2026 года

Беатрис Фин, выступление перед парламентариями в Вестминстере. Источник: The Guardian, 9 сентября 2026 года

Сторона, которая считает это отвлечением

Сандра Вахтер из Оксфордского интернет-института считает саму рамку неверной. Она перечисляет нагрузку на среду, дезинформацию и потерю рабочих мест как угрозы, существующие уже сейчас, а сценарии в духе «Терминатора» называет отвлечением от них.

Эндрю Рогойски из Суррейского института ИИ ждёт противоположного финала. Он считает, что эти системы и близко не так универсальны, как человек, и предсказывает большое разочарование: продвинутый ИИ окажется слишком дорогим и слишком жидким, чтобы продолжаться в нынешнем виде.

Дэвид Барбер, который руководит государственной лабораторией на базе Оксфорда, Кембриджа, Эдинбурга и UCL, предостерегает от того, чтобы выплеснуть вместе с водой полезное. Проблему он формулирует как уязвимости в программных каркасах, которые надо латать, и считает это выполнимым.

Что говорят опросы и что говорят сотрудники

Берни Сандерс сослался на опрос, по которому 81% американцев хотят действий от своих политиков, и сказал им, что горстка людей не должна играть в бога без участия общества.

Таллинн вместо этого предлагает цифру изнутри лабораторий. По его оценке, от 10% до 15% сотрудников отрасли считают, что технология станет достойным преемником человечества. Он приводит слова одного исследователя о том, что люди — расходный вид, и говорит, что тот был вполне этим доволен.

Где спор стоит сейчас

Про цифру Хубингера и уход Коксона мы писали сегодня утром, а часом позже — про то, как Дженсен Хуанг объявил о наступлении AGI. На этой неделе политики добавили к обоим сюжетам свой слой.

OpenAI ответила The Guardian ссылкой на своего научного директора Якуба Пахоцкого, который назвал международную координацию приоритетом для правительств. Коксон, говоривший, что лаборатории заперты в гонке за первенство, сказал газете, что настроен оптимистично насчёт согласования темпа между американскими лабораториями.

Обе стороны спора хотят участия государства. Расходятся они в том, что именно государству мерить, и Mythos 5.1 показывает практическую форму этого расхождения: модель, которую британским тестировщикам не дали, от компании, чей счёт за вычисления мы оценили в $517 млрд.

Это не финансовый совет — только информация к размышлению.