Крістен Стюарт. Фото: twitter.com/_krisjstewart
Американська кіноактриса і режисер Крістен Стюарт стала співавтором публікації , в якій описується перенесення художнього стилю за допомогою нейромереж . Препринт доступний на arXiv.org , – передає N+1.
Останнім часом нейромережі активно використовуються в області обробки і розпізнавання зображень , в тому числі вже і в комерційних продуктах – наприклад , додаток Prisma для смартфонів вміє перемальовувати задане зображення відповідно до вибраного стилю . Детальніше про те , як працює перенесення стилю за допомогою нейромереж , можна прочитати в матеріалі N + 1 " На виставці Ван Гога " .
У самій публікації описується обробка деяких сцен фільму Come Swim , який зняла Крістен Стюарт . Для перенесення стилю використовувалася картина , яка спочатку надихнула режисера на створення фільму про людину під водою , яка прокидається від сну .
Кілька різних по " інтенсивності стилю " варіантів обробки кадру
1/2 Спочатку для обробки кадрів автори публікації розглядали нейромережі googlenet або VGG c 19 шарами , проте в першому випадку їх не влаштував результат обробки , а в другому випадку час обробки виявився занадто довгим . В результаті для отримання потрібного ефекту використовувалася підготовлена точна нейромережа VGG з 16 шарами .
Всі попередні роботи проводилися над превью низького дозволу , а для обробки кадрів в повному розмірі використовувався сервіс хмарних обчислень Amazon EC2 . Після цього кадри додатково збільшили до підсумкової роздільної здатності 2048 пікселів і відфільтрували від шуму – сумарно на весь процес обробки одного кадру у авторів пішло близько 40 хвилин .
Раніше нейромережі вже застосовували для обробки кадрів відео – наприклад , німецькі вчені перенесли художній стиль Вінсента Ван Гога , Едварда Мунка та інших художників на мультфільми і кіно . Крім того , існують програми , здатні змішувати відразу кілька стилів для обробки зображень і відео .