В НИУ ВШЭ заставили нейросети-генераторы картинок учиться более эффективно

Эффективность обучения нейросети StyleGAN2 для генерации картинок удалось повысить на четыре порядке. Об этом сообщает пресс-служба НИУ ВШЭ.

Современные нейросети умеют генерировать фальшивые изображения, практически неотличимые от настоящих. В том числе, удается генерировать лица никогда не живших людей.

Одним из наиболее успешных типов нейросетей для этих задач являются генеративно-состязательные сети - в которых один алгоритм генерирует изображение, а другой пытается отличить его от настоящего. В итоге постепенном методом перебора картинка приобретает такой вид, чтоб различия стали минимальными. При этом существенной сложностью при эксплуатации подобной схемы является необходимость сбора большого количества качественных изображений для обучения. Например, для корректной генерации случайных лиц требуется база данных из не менее чем 100 тыс. реальных фотографий. Однако существуют способы частично обойти это ограничение: например, если требуемых изображений доступно очень мало (фотографий в определенном стиле или людей с определенным типом лица), то можно обучить сеть на обычных снимках, после чего "дообучить" ее, модифицировав десятки миллионов параметров.

Специалисты Центра глубинного обучения и байесовских методов НИУ ВШЭ описали новый подход к дообучению генеративной модели StyleGAN2. Это генеративная нейросеть, которая преобразует случайный шум в реалистичную картинку. Исследователям удалось оптимизировать ее обучение, сократив число обучаемых параметров (весов) на четыре порядка за счет обучения дополнительного доменного вектора.

В архитектуре сети StyleGAN2 есть специальные трансформации (модуляции), с помощью которых входной случайный вектор контролирует семантические признаки выходного изображения, такие как пол, возраст и т.д. Ученые предложили обучать дополнительный вектор, который определяет домен выходных изображений через аналогичные модуляции.

"Если дополнительно обучать только такой доменный вектор, то домен генерируемых картинок меняется так же хорошо, как если бы мы дообучали все параметры нейронной сети. Это кардинально снижает число оптимизируемых параметров, так как размерность такого доменного вектора всего 6000, что на порядки меньше, чем 30 млн весов нашего генератора", — пояснил Айбек Аланов, один из создателей нового алгоритма.

В итоге авторы надеются, что их изобретение позволит значительно ускорить обучение генеративных нейросетей и упростить их эксплуатацию.

Ранее российские ученые создали покрытие для защиты от разрушения имплантов на основе магния.