Разработчик смог запустить на iPhone 17 Pro языковую модель с 400 млрд параметров без подключения к интернету – прямо на устройстве в режиме авиарежима. На историю автора проекта обратила внимание редакция DEV Community.
Запущенная модель генерирует текст со скоростью около 0,6 токена в секунду, что значительно медленнее облачных сервисов, однако сам факт работы такой системы на смартфоне с 12 ГБ оперативной памяти называют инженерным прорывом.
Для функционирования используется подход, при котором данные модели не загружаются целиком, а подгружаются по мере необходимости из встроенного накопителя.Ключевую роль играет архитектура Mixture of Experts, при которой задействуется лишь небольшая часть параметров – от 4 до 10 "экспертов" на каждый токен. Это позволяет обойти ограничения по памяти, несмотря на то что сжатая модель требует около 200 ГБ.
Разработка вызвала обсуждение в сообществе разработчиков, в том числе о том, можно ли считать такую работу полноценным запуском ИИ на устройстве. Тем не менее демонстрация показала, что даже крайне крупные модели потенциально могут работать локально, пусть и с низкой скоростью.
Отмечается, что подобные технологии открывают перспективы для развития оффлайн-ИИ с повышенной приватностью, когда пользовательские данные не покидают устройство, а также для создания автономных ассистентов, способных работать без подключения к облаку.
Свежие комментарии