Deepfake по умолчанию? Microsoft запатентовала ИИ для живых трансляций

Microsoft подала заявку на патент на технологию, которая умеет в прямом эфире менять слова говорящего. Это не всё, потому что ИИ одновременно умеет перерисовывать губы, чтобы слова синхронизировались с речью.

Заявку подали ещё 29 апреля 2025 года, но впервые опубликовали её 29 октября 2026-го. Это ещё не выданный патент, но сама идея хорошо показывает, куда движется генеративный ИИ в видео.

Как вообще это работает

1. ИИ слушает и смотрит живую речь и находит слова, которые нужно заменить. Критерии (например, возраст, знакомые языки или место проживания) он берёт в том числе из профиля зрителя.
2. Генеративный ИИ подставляет новые слова и в звук, и в картинку. Он же обрабатывает куски до и после замены, чтобы стыки выглядели естественно.
3. Человек видит результат с небольшой задержкой. В заявке указывается диапазон от 1 до 10 секунд.

Менять можно почти всё. К примеру, ИИ может вырезать слова-паразиты вроде «э-э» и «ну», ненужный сленг. Можно убрать невнятно сказанные слова, мат и даже фоновый шум. Замена словам подбирается через поиск в интернете. ИИ может в фактчекинг, чтобы всё было более достоверно.

В одном из пунктов даже есть понятие синхронного перевода. Когда человек говорит, зритель слышит его речь на своём языке и видит губы, которые двигаются ровно под эти слова. Работать это может на AR-очках, смартфоне, планшете или прямо на камере.

В каких сценариях это можно использовать? Сразу на ум приходят какие-нибудь лекции, концерты и совещания на иностранном языке без ощущения плохого дубляжа. Или чтобы вычленить чистую запись выступления без монтажа.

Новая волна дипфейков?

Самое очевидное, что приходит в голову — это подмена смысла. Технология, которая меняет слова и подстраивает под них мимику, по сути может заставить человека «сказать» то, чего он вообще не говорил. Проблема дипфейков сегодня итак стоит довольно остро, а такая технология может это только усугубить.

В заявке прямо упоминаются замена фактов по результатам поиска и удаление нежелательных слов. То есть система способна не только полировать речь, но и менять её содержание. Но есть и ещё кое-что, а именно отсутствие прозрачности.

В том виде, в котором существует концепт, вообще ничего не сказано об уведомлении зрителя, что запись была изменена. Выходит, без обязательной пометки зритель просто не отличит правку от настоящей речи.

Можно пойти ещё дальше и создавать цензуру по профилю. Например, делать фильтры на основе возраста, места жительства. Разные люди увидят разные версии одного и того же выступления и вообще не узнают об этом.

А как спикер будет контролировать, если его речь и лицо будут переделывать? А как же авторские права на образ? Как брать ответственность за слова, которых человек на самом деле не произносил? Слишком много нюансов.

В сухом остатке мы видим полезную идею, но какие за этим следуют риски? Возможность со стороны буквально вмешаться в то, что человек говорит — слишком серьёзный инструмент, особенно в эпоху пропаганды.

У сторонников теорий заговора существует поверье, что ИИ создали для того, чтобы людям как можно сложнее было отличить правду от лжи. Не похож ли новый патент на то, чтобы ещё на один шаг приблизить это?