Adobe’s NVIDIA powered Creative Editing

На саммите Adobe в Лас-Вегасе в прошлую среду перед аудиторией более 10 000 специалистов и учёных данных генеральный директор Adobe Шантану Нарайен и генеральный директор NVIDIA Дженсен Хуанг рассказали о том, как AI и машинное обучение добавляют возможности Photoshop и другим приложениям Adobe, таким как Premiere и аниматор персонажей.

В преддверии NAB в Вегасе Adobe выпустила сегодня обновления для многих приложений Creative Cloud. К ним относятся еще больше примеров использования Adobe для машинного обучения и подходов AI к их инструментам создания.

На саммите Adobe оба лидера компании также рассказали о новейших инструментах отслеживания лучей NVIDIA. Эти инструменты используют машинное обучение при подавлении шума для получения более быстрых конечных результатов. Полный 3D-рендеринг остается недостающей частью набора Adobe. Столь же странно, что такая компания, основанная на графике, как Adobe, уже не имеет набора профессиональных 3D-рендеринга и анимационных приложений.

В насыщенную новостную неделю для Adobe они также выпустили исследовательскую работу, используя глубокое обучение для производства качественных матовых каналов. Очевидно, что обе компании теперь используют преимущества огромного выигрыша в распознавании изображений и обработке изображений, происходящих в ИИ. Эта область исследований остается одним из наиболее успешных применений глубоких подходов к обучению в ландшафте искусственного интеллекта.

Adobe и NVIDIA объявили о стратегическом партнерстве для повышения их ИИ и технологий глубокого обучения. Компании будут работать над оптимизацией платформы Adobe Sensei AI и машинного обучения (ML) для графических процессоров NVIDIA. Сотрудничество ускорит время выхода на рынок и улучшит производительность новых сервисов Sensei для Adobe Creative Cloud.

Adobe Sensei – это основа и набор интеллектуальных сервисов, встроенных в платформу Adobe Cloud Platform. Adobe Sensei использует огромный объем ресурсов контента и данных компании, а также глубокую компетенцию в области креативных инструментов.
Adobe и NVIDIA уже более десяти лет сотрудничают с широким набором творческих и цифровых продуктов Adobe. Это включает в себя функции, поддерживаемые Sensei, такие как автоматическая синхронизация губ в Adobe Character Animator CC и редактирование лица в Photoshop CC, а также облачный AI / ML для анализа и улучшения изображения с использованием библиотеки изображений Adobe.

Как уже упоминалось, Adobe заинтересована в трассировке лучей NVIDIA, показанной недавно в GDC в Сан-Франциско. Хуан на конференции GTC NVIDIA (сразу после GDC) продемонстрировал Quadro GV100 с технологией Nvidia RTX. Это состоит из четырех наборов микросхем Volta или компьютера стоимостью 68 000 долларов США, предназначенных для замены текущих компьютеров для рендеринга графических изображений и сложного затенения в режиме реального времени. Хуан сказал, что традиционная «ферма-рендер», как и те, которые используются голливудскими студиями для сцен компьютерной графики, использует около 280 двухпроцессорных серверов и около 168 киловатт энергии. Хуан сказал, что это может быть заменено 14 серверами Quadro GPU, которые используют только около 24 киловатт электроэнергии. Значимостью является не только снижение мощности, но и связанные с этим расходы на кондиционирование воздуха для охлаждения больших (и, следовательно, более горячих) компьютеров. Именно этот Quadro GV100 включил демоверсию EPIC в режиме реального времени в GDC

Хотя рендеринг графического процессора является чрезмерно тяжелым, так же, как и эти новые приложения AI, которые поддерживает Adobe. Huang также представила «самый большой в мире GPU», DGX-2, массивный чипсет, продаваемый как суперкомпьютер, который весит 350 фунтов. Он предназначен для глубокого обучения и применения ИИ. Чипсет в 10 раз быстрее, чем DGX-1 компании, и будет доступен в третьем квартале с огромным 399 000 долларов. «Мы все вникаем в глубокое обучение», – сказал Хуан, добавив, что, хотя вычислительная мощность растет экспоненциально, растущая вычислительная мощность, необходимая для глубокого обучения, растет с удвоенной скоростью. «Это какой-то новый тип вычислений».

Matte generation

Исследователи Adobe уже давно работают над способами выделения и маскировки частей изображений. Большинство профессиональных подходов опирались на зеленый или синий экран, но это постоянно способствовало увеличению использования полуавтоматических инструментов для ротоскопирования. Хотя такие инструменты становятся более умными и внедряют такие инновации, как модели IK и сложные новые деформации формы, команда Adobe по-прежнему ищет обобщенный инструмент изоляции объектов. Они считают, что для того, чтобы обобщать автоматическое извлечение на естественные изображения, алгоритмы матирования должны выходить за рамки использования цвета в качестве основной метки и использовать более структурные и семантические функции. В этом новом опубликованном исследовательском документе они показывают, что нейронная сеть способна захватывать такие функции высокого порядка и применять их для вычисления улучшенных результатов матирования. Их эксперименты, похоже, показывают, что они могут не только выполнять предыдущие методы, но и обобщать подход к большинству реальных изображений.

Однако бумага сильно искажает неподвижные изображения. Движущееся поколение матов требует временной сплоченности, чтобы избежать отвлекающего мерцания и блеска, которые побеждают эффект (хотя он сделал выборку кадров из видеороликов).

Test images and their Deep learning matte. (Note: the original test source images are objects held in front of a monitor)
The new research paper uses a set of test images from alphamatting.com which were set up as part of a 2009 paper at the Conference on Computer Vision and Pattern Recognition (CVPR), called  A Perceptually Motivated Online Benchmark for Image Matting. These test images are very high resolution ‘difficult’ images with fine detail and transparency. The publicly available16bit linear RGB images contain such complex artifacts as plastic bags, fur and hair.

В новом исследовательском документе используется набор тестовых изображений с сайта alphamatting.com, которые были созданы в рамках документа 2009 года на конференции по компьютерному видению и распознаванию образов (CVPR), которая называется «Перцептивно мотивированный онлайн-тест для матирования изображений». Эти тестовые изображения представляют собой «сложные» изображения с высоким разрешением с тонкой детализацией и прозрачностью. Публично доступные 16-битные линейные изображения RGB содержат такие сложные артефакты, как пластиковые пакеты, мех и волосы.

Тримап – общий подход к сегментации, который разбивает изображение на три зоны, определенно на переднем плане, определенно фон и смешанную область, где пиксели рассматриваются как смесь цветов переднего плана и фона. В некотором смысле, для высококачественного матового поколения это легко сделать «pre-stage».
Новая исследовательская работа – продукт исследования Adobe, Института передовых наук и технологий Бекмана и Университета штата Иллинойс. Подход работает в двух частях. Во-первых, существует глубокая сеть сверточного декодера-декодера, которая принимает изображение и соответствующий тримап в качестве входных данных и предсказывает альфа-матовый образ.

Вторая часть представляет собой небольшую сверточную сеть, которая уточняет, что предсказания альфа-мата первой сети более точны и имеют более острые края. Кроме того, команда также создала крупномасштабную базу данных изображений, включающую 49 300 учебных образов и 1000 тестовых изображений. Это было сделано, поскольку глубокие знания нуждаются в данных обучения, а набор данных альфа-данных, полезный для тестирования, составляет всего 27 учебных изображений и 8 тестовых изображений. Большинство тестовых изображений являются реальными объектами перед другим изображением на мониторе, а не естественными сценами. Следовательно, большинство изображений – это внутренние лабораторные сцены, с освещением в помещении и без людей или реальных животных. Поскольку глубокое обучение ограничено его данными обучения, этот предвзятый набор стимулирует решение, соответствующее этому конкретному набору данных (а не изображениям реального мира из производства).

Большинство современных алгоритмов подходят к генерации матов как к значительной проблеме цвета. Стандартные подходы включают выборку цветов переднего плана и фона и решение между ними, которое определяется выбором цвета матирования (разлива). Это часто приводит к низкочастотному «размазыванию» или высокочастотным «коротким» артефактам, даже когда этот цветовой подход был испытан с добавлением глубоких методов обучения. Метод Adobe не работает с «матовым цветом».

Вместо того, чтобы полагаться на информацию о цвете, новый подход может изучить естественную структуру, которая присутствует в альфа-матах. Например, волосы и мех обладают сильными структурными и текстурными узорами. Другие вещи, требующие матирования (например, краев объектов, областей оптического или размытия движения или полупрозрачных областей), почти всегда имеют общую структуру или альфа-профиль, которые можно ожидать. Хотя низкоуровневые нормальные подходы не будут фиксировать эту структуру, глубокие сети идеально подходят для ее поиска. Среди многих технических заявок на alphamatting.com с момента его создания это новое решение Adobe достигает наивысшего балла в системе показателей alphamatting.com.

Стадия уточнения Matte необходима, так как на первом этапе получается хорошая матовая, но команда обнаружила, что альфа может быть иногда чересчур гладкой. Поэтому они расширяют свою сеть для дальнейшего уточнения результатов с первого этапа. Эта расширенная вторая сеть обычно предсказывает более точные альфа-маты и более острые края.

Ключевой причиной успеха метода Adobe является способность сети изучать структуру и семантику, что важно для точной оценки альфа-мата, когда фоновая сцена сложна, а фон и цвет переднего плана аналогичны.

Например, над изображением «Тролль» очень похожие цвета волос и моста. Пока ниже, пример «Кукла» имеет сильный текстурированный фон. Наилучшие результаты предыдущих методов, как правило, терпят неудачу в этих примерах и имеют очень очевидные ошибки в этих жестких регионах. Напротив, новый метод Adobe напрямую изучает структуру объектов и контекст изображения. В результате их метод не только избегает подобных ошибок, допущенных другими методами, но также обеспечивает более подробные сведения о матах.

Чтобы убедиться, что это не просто результаты тестов в лаборатории, Adobe использовала реальные изображения, а затем нормальные люди (пользователи) заявили о своем предпочтении результатам. В этом опросе пользователей более 4 из 5 пользователей предпочли новый метод Adobe по сравнению с другими предыдущими подходами.

Неизвестно, когда эта технология действительно будет отправлена ​​в Photoshop, но с такими сильными результатами как этот статический ключ, так и движущийся ключ для Adobe Premiere / AfterEffects, безусловно, должны быть запланированы для выпуска в предстоящей версии приложений Creative Cloud.

Paper by Ning Xu, Brian Price , Scott Cohen , and Thomas Huang.

Photoshop

Недавно выпущенный Adobe обратил внимание на инструменты Face aware в Photoshop как пример глубокого изучения компьютерного зрения, уже работающего в Photoshop. Эти инструменты не новы, но они показывают, как Adobe Sensei может обнаруживать лица и части лиц для компьютерного редактирования лица.

Premiere Pro

В программном обеспечении Premiere Pro CC Adobe представила функцию Color Match, оснащённую движком искусственного интеллекта Adobe Sensei. Color Match может принимать значения цвета и света из эталонного изображения, а затем применять их как редактируемые корректировки цвета к текущему снимку, при этом разумно настраивая оттенки кожи. По умолчанию программа также использует распознавание лица с помощью сенсей, чтобы помочь в согласовании и сортировке.

С помощью Color Match требуется всего несколько щелчков мышью и регулировки, чтобы они соответствовали цветам различных видеороликов. Для контента, поддерживающего качество вещания, Video Limiter обеспечивает корректировку цветовой градации, отвечающую стандартам вещания.

Согласно Adobe, из голливудских фильмов в Sundance Indies и премиальных телевизионных программ, все большее число профессиональных редакторов использует Adobe Premiere Pro CC, чтобы оживить их истории. Проекты, которые премьера в этом году включают проект «Флорида», «Площадь», «Только храбрый» и «Ниже»; инди-хиты RBG, Призрак Клары и поиск; и наградами серии MINDHUNTER и Атланты.

Also new in AE…

Сложные поведения и эффекты в сочетании с анимацией на основе временной шкалы теперь легче использовать повторно. Это позволяет использовать несколько вариантов одной композиции с помощью новых основных свойств. Художники могут применять изменения к отдельным эффектам в нескольких версиях композиции с помощью одной настройки с использованием новых свойств мастера.

Постоянно растущее приложение Anim Animator улучшило его. Теперь легче создать персонажей с новой опцией, чтобы перетаскивать слои с панели «Кукольный» на панель «Триггеры», чтобы улучшить существующие поведения или создать новые. Эта программа, которая началась в качестве эксперимента, превращается в очень реальный инструмент для 2D-стилизованной анимации.

В то время как исследования изоляции Matte / Alpha, приведенные выше, еще не включены в продукт, все остальные инструменты теперь выпущены и могут быть немедленно загружены из Adobe.

CGTelegram
3djobs.ru