В Netflix научили нейросеть определять поцелуи в кино

Сотрудник Стэнфордского университета и стримингового сервиса Netflix Амир Зиай разработал алгоритм, который сможет находить целующихся людей на видео.

Как сообщает Planet Today, система на основе нейросетей состоит из двух модулей — сегментатора и бинарного классификатора.

Один модуль определяет вероятность поцелуя на отрезке видео и готовит данные к анализу.

Бинарный классификатор проверяет секундные отрывки, на которые разбивается входной видеопоток, и анализирует видео и аудио при помощи сверточных нейронных сетей ResNet и VGG.

Алгоритм работает с точностью 95%. Нейросети обучили распознавать поцелуи на примере нескольких сотен характерных эпизодов из 100 голливудских картин. Программу можно использовать для озвучивания фильмов, предназначенных для слабовидящих.