О том, как The Mill готовил дипфейки для Nike.

Ага, ага, у нас в шанхайском The Mill потихоньку осваивают работу с нейросетями и это меня просто безумно вдохновляет. Я очень рад наблюдать за тем, насколько открыто здесь относятся к новым страшным технологиям, уже как без малого пол века терроризирующим творчество бедных беззащитных людей.

Заказчиком данного проекта выступило известное рекламное агентство Wieden+Kennedy Shanghai. Если вдруг не знакомы с ним, то обязательно загляните на страничку, очень креативные ребята.

А вот и сам ролик:

Идея в том, что за одним праздничным столом собираются мини-версии четверых известнейших спортсменов Китая и рассуждают о том как они повлияют на следующее поколение своим личным успехом.

И пусть они еще не заслужили сидеть за столом для взрослых, однако уже не прекращают мечтать о чем-то большем. Гораздо большем, чем просто купить квартиромашину и регулярно гонять в отпуск. Посыл для поколения Z предельно ясен и понятен. Never Done Dreaming Big (никогда не прекращай мечтать о большом) основан на понимании Nike того, что нынешнее молодое поколение ценит рациональность и практичность, сохраняя при этом большие устремления в будущее.

Удостоенными дипфейка спортсменами оказались такие известные личности как двукратная чемпионка турниров Большого шлема Li Na,

олимпийский чемпион по легкой атлетике Liu Xiang,

футболистка Wang Shuang,

и баскетболист Yi Jianlian.

Там еще были две девочки: теннисистки Jie Zheng и Emma Raducanu, но это не так важно, лишь пара шотов.)

К дипфейкам на этом проекте я не прикасался, у нас есть ребята более раскаченные в этой теме. Мой вклад был в качестве грум-артиста в одном из эпизодов. Однако, понаблюдав за процессом, скажу, что в рекламе использование этой технологии представляется очень сложным.

Все дело в пресловутых сроках и зачастую в наличии довольно ограниченного фейс сета для требуемых звезд (не берем примеры с Киану Ривз, Брюсом Уиллисом или Томом Крузом, чьи обученные на сотне тысяч часов модели давно доступны в оупенсорсе).

Даже при наличии современного оборудования с кучей видеопамяти быстро с нуля качественно обучить модель очень и очень сложно. Идеальным вариантом для сборки тренеровочного сета в работе с постановочным видео всегда является съемка актеров-заменителей непосредственно на площадке. Так можно получить фотографии максимально упрощающие последующий тренинг, поскольку будут иметь референсный свет, его температуру, дисторсию линзы и другую полезную информацию. Но, как мы знаем, дипфейки не для того создаются, чтобы платить много денег звездам.)

Кроме этого, на данном уровне развития технологий замены лиц нейросетями, еще присутствует отдельная задача по восстановлению деталей кожи и работе с микромимикой, особенно в области глаз и рта. Мы все помним как ILM погрузила нас по пояс в «зловещую долину», показав Люка Скайуокера в последней серии второго сезона «Мандалорца». Получилось неплохо, но не достаточно хорошо. Позже в одном из интервью об «Аватар 2» Джеймс Кэмерон сказал, что Weta создает людей очень хорошо, а вот у ILM с этим пока проблемы.)

Конечно же он не учел тот факт, что Weta не занимается дипфейками «в открытую». ILM же, как и Pixar, всегда были в первых рядах по внедрению новых технологий и стандартов, принятых впоследствии в индустрии. Так что, еще раз повторюсь, я очень рад, что в The Mill серьезно относятся к использованию нейросетей на проектах. И вместо лозунгов «за этим будущее», уже создают наше с вами общее настоящее.

UPD [23.03.2023]: А здесь у меня фото с выступления одного из наших евангелистов использования нейросетей и Head of Color Grading по совместительству Николы Стефановича (Nikola Stefanovic) на крупнейшем в Азии креативном фестивале Adfest 2023. Просто стоит и рассказывает о нашем настоящем в рамках неизбежного будущего.)