Команда Yandex Research опубликовала новые методы сжатия больших языковых моделей

Команда Yandex Research совместно с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST) разработала и опубликовала новые методы сжатия больших языковых моделей, сообщает пресс-служба Яндекса.

Благодаря разработке бизнес сможет получить уменьшенную до 8 раз нейросеть, при максимально возможном сохранении качества ответов.

Также новый инструмент исправляет ошибки, которые возникают во время сжатия большой языковой модели.

Новые методы проверяли на моделях с открытым кодом, среди которых Llama 2, Llama 3, Mistral и другие.

По результатам тестов новый метод сжатия сохранил в среднем 95% качества ответов нейросети, в то время как другие не превысили 90%.

Код новых методов сжатия опубликовали на GitHub. Также для специалистов доступны популярные модели в сжатом с помощью новых методов исходным кодом.