Злоумышленники могут прятать команды для нейросетей в электронных письмах, PDF-документах и даже описаниях событий в календаре. Человек их не замечает, но искусственный интеллект может принять скрытый текст за инструкцию и выполнить ее. Об этом предупредил специалист в сфере IT и искусственного интеллекта Даниил Архипов.

По словам эксперта, проблема возникает из-за того, что нейросеть не всегда отличает запрос пользователя от содержимого приложенных файлов. Скрытые команды могут быть написаны белым шрифтом на белом фоне, мелким текстом, размещены за пределами видимой области документа или спрятаны в комментариях кода.

Особенно уязвимы ИИ-системы, которым предоставили доступ к электронной почте, календарям и документам. Если обычный чат-бот может выдать недостоверную информацию, то ИИ-агент с широкими полномочиями способен передать посторонним конфиденциальные файлы или раскрыть личные данные.

Полностью исключить подобные атаки сложно. Для защиты эксперт советует научить нейросети отделять команды пользователя от содержимого документов, использовать фильтры для поиска подозрительных инструкций и ограничивать полномочия ИИ-агентов. Об этом пишет «Газета.Ru».