НИУ ВШЭ: разработан способ сжатия больших языковых моделей без потерь в качестве

Исследователи из Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ разработали новый метод сжатия больших языковых моделей — таких как GPT и LLaMA, — который позволяет уменьшить их объем на 25–36% без дополнительного обучения и заметной потери качества. Об этом "Газете.

Ru" сообщили в пресс-службе университета.

Большие языковые модели требуют значительных вычислительных ресурсов и памяти. Традиционные методы сжатия — квантование, прореживание связей или структурная оптимизация — часто требуют длительного дообучения и могут ухудшать точность. Команда НУЛ матричных и тензорных методов в машинном обучении предложила иной подход — ProcrustesGPT.

Метод основан на использовании ортогональных преобразований весов модели — своеобразных "поворотов" в математическом пространстве. Такие преобразования меняют представление весов, но не искажают их смысл и не влияют на выход модели. После этого веса можно эффективно представить в виде структурированных матриц, которые занимают меньше памяти.

"В основе нашей работы лежит изящная математическая концепция — задача Прокруста. Как и мифический герой, подгонявший путников под свое ложе, этот метод помогает найти идеальное ортогональное преобразование, которое подгоняет веса модели под простую структуру без искажения ее сути. Именно эта идея дала имя нашему методу — ProcrustesGPT — и стала ключом к сжатию без значительной потери качества", — рассказала Екатерина Гришина, стажер-исследователь НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ.

В работе использовались два типа структур — суммы кронекеровских произведений и GS-матрицы. Метод не требует дообучения и может применяться к уже готовым моделям. Эксперименты проводились на открытых моделях OPT и LLaMA2.

В результате удалось уменьшить размер моделей на 25–36% при сохранении 90–95% их исходной эффективности на задачах генерации текста и логического вывода. По сравнению с другими методами, например SliceGPT, ProcrustesGPT в большинстве тестов показал более высокую точность. Особенно заметное преимущество наблюдалось на моделях семейства LLaMA2 — разница достигала 9–10%.

"Методы сжатия помогают ускорять внедрение больших языковых моделей в устройства с ограниченными ресурсами, такие как мобильные устройства и IoT-гаджеты, что делает ИИ более доступным и распространенным в повседневной жизни", — отметил Максим Рахуба, заведующий НУЛ матричных и тензорных методов в машинном обучении Института ИИиЦН НИУ ВШЭ.

Разработчики подчеркивают, что математический характер метода позволяет быстро применять его к разным архитектурам без сложной перенастройки. Это открывает возможности для более широкого использования языковых моделей в средах с ограниченными ресурсами — от мобильных приложений до встроенных систем.