Створений фахівцями з Південної Кореї MarioNETte виводить технологію перетворення зображень у відео на новий рівень. Про це повідомляє “24 техно” з посиланням на VentureBeat.
Нейромережі для роботи достатньо однієї нерозміченої фотографії та будь-якої вебкамери. Передрук роботи, підсумком якої стало створення MarioNETte, розмістили на сайті ArXiv.
Саме такого алгоритму побоювалися противники цієї технології: вони вважають, що тепер маніпулювати зображенням будь-якого політика, знаменитості або бізнесмена зможе будь-який охочий.
Раніше для навчання моделі потрібні були або технології захоплення руху для особи-мети, або хоча б кілька хвилин зйомки з різних ракурсів. Альтернатива – розмічене зображення особи-драйвера.
MarioNETte обходиться без цього. Просто дайте нейромережі фотографію, почніть кривлятися перед веб-камерою – і дипфейк готовий.
Водночас алгоритм успішно перевершує конкурентів, цілком правдоподібно перетворюючи зображення, які сильно відрізняються.
MarioNETte складається з трьох функціональних частин: розпізнавач образу, алгоритм прив’язки і алгоритм перетворення.
Творці стверджують, що в дослідженні за участю 100 волонтерів майже всі вони назвали створені MarioNETte образи більш правдоподібними і з менш помітними артефактами.
