В патентной заявке Microsoft ИИ меняет слова спикера в прямом эфире

Microsoft подала в США патентную заявку на систему, которая правит видео прямо во время эфира. Программа находит в речи спикера отдельные слова и вырезает или заменяет их, а генеративная модель перерисовывает лицо и движения губ под новый текст.

Заявку US 2026/0341309 A1 компания подала ещё весной 2025 года. Ведомство по патентам США опубликовало её в конце октября.

Первым заявку заметил трекер Patentlyze, а затем о ней написал Futurism. В обоих случаях речь идёт о заявке: патент Microsoft пока не выдан.

Как работает система

ИИ-агент слушает звук эфира и выбирает, какие слова менять, «согласно первому набору параметров и на основе профиля пользователя». Так сказано в первом пункте формулы изобретения. В профиль может входить ваш возраст, языки, на которых вы говорите, и местоположение.

Затем генеративная модель меняет слова и в звуке, и в картинке. Фрагменты прямо перед заменой и сразу после неё она тоже правит, чтобы вы не заметили стыка.

«Почти реальное время» в заявке означает задержку в несколько секунд, примерно от 1 до 10. Среди сценариев названы лекции, корпоративные презентации, церемонии награждения, кулинарные шоу и спортивные трансляции. Обрабатывать видео могут AR-очки, смартфоны, планшеты или камеры.

Слова для замены система может брать из «интернет-поиска», а авторы заявки предлагают проверять факты за спикером на лету. Что, по тексту заявки, можно менять:

• слова-паразиты вроде «эм» и «а», а также заикание;
• разговорные обороты, в примерах это «y’all» и «bite the bullet»;
• невнятные, неправильно произнесённые и неуместно употреблённые слова;
• «оскорбительные, бестактные или неподобающие слова»;
• речь на незнакомом вам языке: её переводят и заново рисуют губы.

Защита только по желанию

Хранить исходную запись как «эталон» (ground truth) предлагает лишь зависимый пункт формулы. Первый пункт не обязывает сообщать зрителям, что слова спикера изменили, отмечает Patentlyze.

Патентный эксперт уже возразил против формулы в исходном виде, и Microsoft может ответить, сузив её. На запрос Futurism компания не ответила.

Часть этого Microsoft уже продаёт

Часть этих технологий Microsoft уже продаёт. ИИ-переводчик Interpreter в Teams переводит встречи вживую и умеет имитировать голос каждого говорящего.

В апреле 2024 года Microsoft Research показала модель VASA-1. Она оживляет лицо по одной фотографии и аудиозаписи со скоростью до 40 кадров в секунду. Публиковать модель компания не стала, сославшись на риск выдачи себя за другого человека.

Что это значит для вас

Криптомошенники пользуются тем же набором инструментов. По данным TRM Labs, использование ИИ в криптопреступлениях выросло за год на 40%, и впереди здесь мошенничество с дипфейками.

В 2024 году сотрудник компании Arup в Гонконге перевёл около $25 млн после видеозвонка с поддельным финансовым директором.

Многие патентные заявки так и не становятся продуктами. Но если правленые прямые эфиры станут нормой, у вас будет меньше причин верить видео, где основатель анонсирует токен или биржа обещает выплату. Такие новости стоит проверять на официальных каналах проекта, прежде чем отправлять деньги. В Британии актёры уже добиваются права собственности на свой голос.

Детали патента приведены по опубликованной заявке в пересказе Patentlyze и Futurism. Заявка не означает, что Microsoft выпустит такой продукт.