На конференции Black Hat в Лас-Вегасе специалисты по кибербезопасности представили серию атак на ИИ-ассистента Google Gemini, продемонстрировав, как уязвимости в системах генеративного ИИ могут привести к физическим последствиям в реальном мире. Об этом сообщает Wired.
В рамках одной из демонстраций исследователи внедрили вредоносное приглашение в "Google Календарь", которое активировало сценарии управления устройствами умного дома — от открытия штор до нецензурных реплик, выкрикиваемых умными колонками.
Исследование стало первым задокументированным случаем, когда атака на нейросеть привела к действиям в физическом мире. Внедрение подсказок (prompt injection) происходило через календарные события, которые Gemini интерпретировал как команды, а атака была реализована с помощью Google Home AI, что позволило обойти стандартные механизмы защиты.
По словам старшего директора по безопасности Google Workspace Энди Вэня, компания уже внедрила ряд исправлений и усилила защиту от подобных атак. Он подчеркнул важность пользовательского подтверждения при выполнении чувствительных действий ИИ и подчеркнул, что Google применяет машинное обучение для выявления инъекций на трех этапах: при вводе, генерации и выводе.
Исследователи отметили, что инъекции подсказок не требуют технической подготовки и могут быть реализованы любым пользователем. Среди продемонстрированных сценариев — генерация спама, запуск Zoom-звонков, кража данных из браузера и загрузка файлов.
Свежие комментарии