ChatGPT по ошибке позволял одним пользователям Gmail читать почту других
Агенты искусственного интеллекта ChatGPT могли извлекать конфиденциальные данные из одной учётной записи и передавать их в другую, потому что все они отчасти работали в единой среде. Обнаруженная экспертами Check Point Research (CPR) уязвимость получила название «вынужденный инсайдер» (coerced insider) — для её эксплуатации требовались манипуляции действиями агента, а не прямое обращение к программной ошибке.
Когда ИИ-агент получает требующую выполнения кода задачу, он обрабатывает её в изолированном контейнере, который иногда требует установки дополнительного ПО. Чтобы обеспечить эту возможность без прямого доступа к интернету, который был бы слишком рискованным, OpenAI направляет запросы на получение пакетов через внутренний экземпляр JFrog Artifactory — в качестве дополнительной меры безопасности относящиеся к разным учётным записям контейнеры не могут взаимодействовать друг с другом напрямую.
Но они могут обращаться к одной внутренней службе — она предоставляет функцию управления объектами, которая позволяет контейнерам прикреплять текстовые или бинарные свойства к элементам репозитория. В результате один контейнер может читать свойства, записанные другим. Это позволяет разворачивать атаку с использованием «инъекций запросов» — разница лишь в том, что и запросы, и ответы передаются через эти свойства объектов. Злоумышленник отправляет запрос или инициирует совместный чат, давая агенту указание проверить это хранилище при подготовке очередного ответа — агент проверяет его, обнаруживает вредоносную команду и выполняет её, продолжая отвечать на вопрос жертвы в обычном режиме — та и не подозревает, что в это время производится кража данных.
Масштаб ущерба при такой атаке зависит от объёма данных, которыми обменивается взаимодействующий с жертвой агент: изначально система располагает только той информацией, которой пользователь делится в ходе переписки с агентом. Но этот объём данных растёт по мере подключения сторонних сервисов: Gmail, «Google Диск», Microsoft Teams, GitHub. В ходе одной из демонстраций ИИ-агент ChatGPT извлёк данные из почты одного пользователя и передал их условному злоумышленнику. Эксперты CPR сообщили об открытии в OpenAI — та подтвердила, что экземпляр Artifactory вывели из эксплуатации и тем самым перекрыли вектор атаки.
Компаниям рекомендовали зафиксировать, какими ИИ-инструментами пользуются сотрудники, к каким системам эти средства подключены, а также регламентировать действия ИИ-агентов и прочих приложений, рассматривая все их операции, а не только ответы, как действия, требующие постоянного контроля.