Сбер запатентовал систему распознавания дипфейков на видео с несколькими людьми
🎭 Развлекаться с нейросетями может быть очень весело. Сколько мы уже увидели смешных трейлеров, где лица актёров заменили физиономией Николаса Кейджа? Но многие недооценивают опасность дипфейков.
Ведь эту технологию легко использовать во вред. Страшно представить, что будет, если журналисты поведутся на дипфейк с главой какого-нибудь государства.
👆 Я уже как-то писала, что Google Colab даже ввёл ограничения на создание дипфейков. Тогда поддельное видео с Бараком Обамой репостнули в соцсетях больше 2 млн раз. И с тех пор проблема стала ещё актуальнее — мошенники всё чаще используют дипфейк для обмана и наживы.
Потенциальную проблему видят и в Сбере. Там уже запатентовали систему, которая помогает определять, меняли ли лицо на видео. В основе технологии — нейросетевые модели класса EfficientNet и метод амплификации и анализа микроизменений в цветах объектов на кадрах.
Если объяснять на пальцах, то первый метод выглядит так: ИИ определяет лица на видео и рассчитывает векторное представление их геометрических характеристик. Потом алгоритм анализирует разные вероятности того, что лицо синтетически изменили. В конце он выдаёт оценку. Подробнее можно почитать здесь.
🎨 Второй способ работает с цветом. Здесь алгоритмы разбивают видео на множество фреймов и сравнивают, как в них менялись значения красного спектра для каждого пикселя. Если интересно — вот описание технологии в патенте.
Для максимальной точности оба метода объединили в одну систему. Так шанс определить фейковое видео сильно выше.
Вообще, уже есть похожие технологии, которые распознают дипфейки. Но в основном они хорошо справляются с видео, на которых есть только один человек.
👥 Алгоритм Сбера показывает хорошие результаты, даже если в кадре несколько людей. Замеры на независимых тестовых выборках показали, что система работает с точностью 98%, — это намного выше, чем у других аналогов в открытом доступе.
Новую технологию можно будет использовать для защиты от кибератак на системы Face Recognition и Liveness Detection. Она же позволит спастись от информационных дипфейк-атак и от злоумышленников, которые притворяются другими людьми во время конференц-колов.
🎭 Развлекаться с нейросетями может быть очень весело. Сколько мы уже увидели смешных трейлеров, где лица актёров заменили физиономией Николаса Кейджа? Но многие недооценивают опасность дипфейков.
Ведь эту технологию легко использовать во вред. Страшно представить, что будет, если журналисты поведутся на дипфейк с главой какого-нибудь государства.
👆 Я уже как-то писала, что Google Colab даже ввёл ограничения на создание дипфейков. Тогда поддельное видео с Бараком Обамой репостнули в соцсетях больше 2 млн раз. И с тех пор проблема стала ещё актуальнее — мошенники всё чаще используют дипфейк для обмана и наживы.
Потенциальную проблему видят и в Сбере. Там уже запатентовали систему, которая помогает определять, меняли ли лицо на видео. В основе технологии — нейросетевые модели класса EfficientNet и метод амплификации и анализа микроизменений в цветах объектов на кадрах.
Если объяснять на пальцах, то первый метод выглядит так: ИИ определяет лица на видео и рассчитывает векторное представление их геометрических характеристик. Потом алгоритм анализирует разные вероятности того, что лицо синтетически изменили. В конце он выдаёт оценку. Подробнее можно почитать здесь.
🎨 Второй способ работает с цветом. Здесь алгоритмы разбивают видео на множество фреймов и сравнивают, как в них менялись значения красного спектра для каждого пикселя. Если интересно — вот описание технологии в патенте.
Для максимальной точности оба метода объединили в одну систему. Так шанс определить фейковое видео сильно выше.
Вообще, уже есть похожие технологии, которые распознают дипфейки. Но в основном они хорошо справляются с видео, на которых есть только один человек.
👥 Алгоритм Сбера показывает хорошие результаты, даже если в кадре несколько людей. Замеры на независимых тестовых выборках показали, что система работает с точностью 98%, — это намного выше, чем у других аналогов в открытом доступе.
Новую технологию можно будет использовать для защиты от кибератак на системы Face Recognition и Liveness Detection. Она же позволит спастись от информационных дипфейк-атак и от злоумышленников, которые притворяются другими людьми во время конференц-колов.