Чат-бот "Алиса AI", как и другие популярные ИИ, регулярно становится мишенью для злоумышленников. Одной из ключевых угроз является так называемая "прокачка" — метод, при котором конкуренты "Яндекса" пытаются создать копию нейросети, задавая ей много вопросов и анализируя её ответы. Подробнее об этом в интервью "Газете.
Ru" рассказал руководитель продукта "Алиса AI" в "Яндексе" Виталий Данилкин.Эксперт объяснил, что "прокачка" — это метод, при котором злоумышленник отправляет в чат огромное количество вопросов в минуту. Анализируя полученные ответы, он создает некий "слепок" "Алисы AI". Этот процесс, известный как дистилляция, позволяет на основе ответов большой языковой модели (LLM) предпринять попытки создания меньших и менее функциональных, но похожих по поведению моделей.
"Если говорить очень просто, без технических деталей, то да. Кто-то приходит в чат-бот, задает кучу вопросов и потом на основе полученных ответов пытается воспроизвести аналог бота", — сказал Данилкин.
По его словам, целью таких атак является копирование ценного "когнитивного капитала" "Алисы AI" для создания дешевых аналогов. Это позволяет потенциальным конкурентам обучить собственные модели без многолетних инвестиций в разработку, что особенно актуально на растущем рынке ИИ в России.
"Мы регулярно сталкиваемся с подобными атаками и успешно им противостоим. Профили и IP-адреса, с которых фиксируется подобный вредоносный трафик, мы блокируем", — заявил представитель "Яндекса".
Помимо "прокачки", "Алиса AI", теоретически подвержен попыткам джейлбрейка.
Однако в компании подчеркивают, что "Алиса AI" защищена многоуровневой системой безопасности, включающей предварительную и пост-генерационную модерацию, а также контекстный анализ диалога, что позволяет распознавать и блокировать подобные попытки.
Свежие комментарии