Институт искусственного интеллекта (ИИ) AIRI на основе исследований специалистов команды «Вероятностных методов машинного обучения» создал генеративную сеть «Портретиист». Сеть генерирует на основе фотографии человека портрет в стиле разных художников. По словам исследователей, новый метод ускоряет возможность преобразования фото в картину в несколько тысяч раз.
Современные генеративные модели умеют генерировать человеческие лица на картинке, неотличимые от фотографий настоящих людей. Исследователи из AIRI решили заняться другой задачей, когда готовую фотографию человека хочется преобразовать в картину конкретного художника. Качество такой генерации будет зависеть от количества примеров работ мастера, собранных и обработанных для обучения нейросети учёными. Процесс переноса стиля с одного изображения на другое в науке называется доменной адаптацией. Кроме проблемы, когда исходных данных для обучения ИИ не так много, есть и другие. Одна из проблем — это настройка «весов».
«Веса» — это связи между нейронами, передающие сигналы между друг другом в нейронной сети для обработки информации. Они представляют собой один из ключевых этапов обучения модели. Для превращения фото в картинку определённого стиля требуется 30 млн весов.
Специалисты из AIRI заявили, что создали новый метод, позволяющий делать стилизацию в 5 тысяч раз быстрее. Он позволяет обучать вектор размерности 6 тысячами весов генератора вместо 30 млн для адаптации по конкретному домену. Этот метод позволяет обучить ИИ 5 тысячам новых стилей, а ресурсов будет потрачено как на знакомство модели только с одним типом картинок. Доказательство эффективности метода с помощью экспериментов учёные изложили в статье, представленной на конференции NeurIPS 2022. Метод должен способствовать снижению энергопотребления и экологической нагрузки в производстве медиа‑контента.
До конца ноября 2023 года создание разных портретов в «Портретиисте» доступно бесплатно, заявили создатели нейросети. Сейчас там есть стили 23 художников.
