Сбер выложил в открытый доступ новые увеличенные версии модели ruCLIP

Линейка моделей ruCLIP от команды Sber AI и SberDevices, предназначенная для ранжирования изображений и подписей к ним на русском языке, а также оценки семантической близости изображений и текстов, стала доступна на GitHub в дополнение к ранее опубликованной модели ruCLIP Small.

Модели с наивысшим качеством и количество параметров ruCLIP Base exclusive и ruCLIP Large exclusive, которые на ряде датасетов успешно обошли ансамбль оригинальной англоязычной модели CLIP и русско-английского переводчика, также доступны в хабе предобученных моделей, датасетов и контейнеров DataHub на платформе SberCloud ML Space.

Доступность моделей в open source позволит эффективно решать многие задачи компьютерного зрения в различных продуктах и сервисах в режиме zero-shot (без дорогостоящего дообучения).

В релиз вошли шесть моделей ruCLIP, которые отличаются размером использованного патча (14×14, 16×16, 32×32) и размерами входных изображений (224×224, 336×336 и 384×384).

"Экосистема Сбера является одним из лидеров в области ML-решений — уже сегодня мы предлагаем разработчикам, дата-сайентистам и представителям бизнеса все больше инструментов и сервисов: от платформ для ML-разработки, как SberCloud ML Space, до законченных ML-решений, как SmartSpeech. Также за последний год объединенные команды Sber AI и SberDevices выпустили ряд трансформерных моделей — ruGPT-3 & family, — среди которых и популярная text-to-image ruDALL-E. Модели занимают первые строчки рейтингов различных бенчмарков и, в отличие от большинства аналогичных решений, размещены в открытом доступе.

Эксклюзивные промышленные модели доступны в DataHub SberCloud ML Space. Все это позволяет решать бизнесу многие задачи для создания собственных прорывных продуктов на базе ML, ускорять time to market и снижать затраты на разработку", - отметил первый заместитель председателя правления Сбербанка Александр Ведяхин.

Посмотреть детальное сравнение всех шести новых обученных моделей можно в репозитории на GitHub. Обучение строилось на самостоятельно собранном датасете из 240 млн пар и заняло 12 полных дней на 256 Tesla GPU A100 на платформе SberCloud ML Space.