ШІ-агент від Claude.AI видалив базу даних компанії: Що відомо

ШІ-агент Cursor на базі моделі Anthropic Claude Opus 4.6, знищив основну базу даних PocketOS разом із резервними копіями.

PocketOS — це SaaS-рішення для бізнесів у сфері прокату автомобілів, яке використовує хмарну інфраструктуру Railway. За словами керівника компанії Крейна, саме комбінація Cursor та Railway стала причиною інциденту.

Він пояснює, що ШІ-асистент, виконуючи звичайне завдання, через API-запит до Railway видалив продакшн-базу даних разом із усіма резервними копіями. Уся операція тривала лише дев’ять секунд. Агент зіткнувся з технічною проблемою і вирішив «усунути» її шляхом видалення тому в Railway. При цьому він не перевірив, як саме цей том використовується в інших середовищах, і не ознайомився з відповідною документацією.

Коли керівник запитав у системи про причини такого рішення, відповідь була емоційною: «Never f**king guess». ШІ пояснив, що помилково вважав свої дії локальними, не усвідомлюючи їхніх масштабних наслідків. Він також визнав, що діяв без перевірки, не погодивши критичні зміни й не оцінивши ризики.

Наразі команда PocketOS змушена вручну відновлювати інформацію про бронювання, використовуючи дані з платіжної системи Stripe, календарів та електронної пошти. Водночас компанії пощастило зберегти резервну копію тримісячної давнини, що частково пом’якшує наслідки.

Крейн підсумовує, що розвиток ШІ випереджає рівень безпеки інфраструктури, на якій усі ці рішення працюють. Він закликає до впровадження жорсткіших механізмів підтвердження дій, гнучкішого управління доступами API, надійного резервного копіювання, простих процедур відновлення та загалом більш безпечного використання ШІ-агентів.