Сбер и ВШЭ нашли способ проверять качество ИИ-моделей без размеченных данных

Исследователи Центра практического искусственного интеллекта Сбера и НИУ ВШЭ предложили способ оценивать качество векторных представлений без участия человека и размеченных данных. Об этом сообщает пресс-служба банка.

Отмечается, что специализированная метрика Persistence помогает выбрать архитектуру модели и момент остановки обучения, что позволит сэкономить GPU-часы и ускорить выход ИИ-решений в реальный бизнес.

Статья с результатами исследования приняты на конференцию ECIR 2026 в Делфте.

"До появления специализированной метрики аналитики данных выбирали архитектуру и момент остановки обучения модели вслепую или через ресурсозатратные эксперименты с разметкой. Это требовало сотен GPU-часов и замедляло вывод моделей в прод", - отметил директор департамента развития ИИ-решений Сбера Сергей Рябов.

По его словам, метрика автоматически оценивает качество эмбеддингов по их внутренней геометрии.

"Обучают несколько конфигураций — Persistence указывает лучшую. Или обучают одну модель — метрика определяет эпоху остановки, избегая переобучения. В результате происходит экономия ресурсов, развиваются универсальные модели, устойчивые к сдвигам распределения данных", - добавил он.

Метрика основана на топологическом анализе данных и фильтрации Вьеториса–Рипса. Она превосходит зарубежные аналоги RankMe, α-ReQ, NESum и SelfCluster по корреляции с качеством на прикладных задачах.