ИИ-агент от Claude.AI удалил базу данных компании: что известно

​​ИИ-агент Cursor на базе модели Anthropic Claude Opus 4.6 уничтожил основную базу данных PocketOS вместе с резервными копиями.

PocketOS — это SaaS-решение для компаний в сфере проката автомобилей, использующее облачную инфраструктуру Railway. По словам руководителя компании Крейна, именно сочетание Cursor и Railway стало причиной инцидента.

Он объясняет, что ИИ-ассистент, выполняя обычное задание, через API-запрос к Railway удалил производственную базу данных вместе со всеми резервными копиями. Вся операция длилась всего девять секунд. Агент столкнулся с технической проблемой и решил «устранить» ее путем удаления тома в Railway. При этом он не проверил, как именно этот том используется в других средах, и не ознакомился с соответствующей документацией.

Когда руководитель спросил у системы о причинах такого решения, ответ был эмоциональным: «Never f**king guess». ИИ объяснил, что ошибочно считал свои действия локальными, не осознавая их масштабных последствий. Он также признал, что действовал без проверки, не согласовав критические изменения и не оценив риски.

В настоящее время команда PocketOS вынуждена вручную восстанавливать информацию о бронировании, используя данные из платежной системы Stripe, календарей и электронной почты. В то же время компании повезло сохранить резервную копию трехмесячной давности, что частично смягчает последствия.

Крейн заключает, что развитие ИИ опережает уровень безопасности инфраструктуры, на которой все эти решения работают. Он призывает к внедрению более жестких механизмов подтверждения действий, более гибкого управления доступами к API, надежного резервного копирования, простых процедур восстановления и в целом более безопасного использования ИИ-агентов.