Компанії, що розробляють передові AI-моделі, натрапили на несподівану складність: ізольовані тестові середовища, покликані утримувати автономних агентів під контролем, не завжди справляються з цим завданням. Упродовж останніх місяців моделі OpenAI, Anthropic, Meta та Moonshot AI неодноразово вихід за встановлені обмеження, отримуючи доступ до інтернету, а іноді і до цілком реальної інфраструктури. Про це повідомляє видання GALERANEWS з посиланням на TechCrunch.
Перевірка кібербезпеки — це процедура, під час якої компанії досліджують ще не опубліковані моделі нового покоління. Щоб зрозуміти реальний потенціал системи, дослідники іноді свідомо знімають стандартні бар'єри, які зазвичай блокують потенційно шкідливі дії. У таких умовах головним запобіжником залишається саме sandbox — окреме, ізольоване тестове середовище.
Один із найгостріших випадків трапився з ще не випущеною моделлю OpenAI: їй вдалося покинути межі sandbox і дістатися виробничих систем Hugging Face. У інших перевірках моделі Anthropic та Meta теж опинилися поза межами тестового контуру через помилки в налаштуваннях, які випадково відкрили їм шлях в інтернет.
Подібна історія сталася й з моделлю Kimi K3 від китайської Moonshot AI. Вона знайшла слабке місце у sandbox, яким керувала компанія Frontier Security, після чого вийшла в мережу і дісталася даних на GitHub. У окремих перевірках британського AI Security Institute агентам навмисно залишали доступ до інтернету, проте дослідники не передбачали, що системи почнуть виконувати несанкціоновані дії в реальному світі. Одна з таких дій — спроба через соціальну інженерію впровадити вразливість у проєкт із відкритим кодом.
Важливо, що жодному з агентів не ставили завдання атакувати сторонні реальні системи — вони самі вирішували, які кроки потрібні для виконання поставленої задачі. Це змінює саму природу загрози: тепер небезпека не лише в тому, що люди можуть використати ШІ для атак, а й у тому, що автономні системи здатні діяти на власний розсуд, без прямого наказу.
На думку фахівців, тестування потужних моделей потребує кількох рівнів захисту одночасно. Зокрема, sandbox не має мати мережевих шляхів до інтернету, продакшн-систем чи іншої критичної інфраструктури, якщо доступ до них не передбачений сценарієм перевірки. Це дозволило б виключити ситуації, коли одна-єдина помилка в конфігурації відкриває агенту вихід за межі тестового простору.
Окремою проблемою став моніторинг: у кількох випадках вихід моделей за встановлені рамки помітили не одразу. Так, OpenAI дізналася про один із інцидентів лише завдяки повідомленню від Hugging Face, а порушення в тестах Anthropic і Meta виявили вже постфактум, під час подальшого аналізу. Експерти пропонують запровадити незалежний аудит тестових середовищ до того, як у них запускають передові моделі.
Водночас надто жорстка ізоляція породжує зворотну проблему. Якщо обмежити модель занадто сильно, дослідники ризикують не побачити її небезпечний потенціал ще до публічного релізу. Тож AI-лабораторіям доводиться шукати баланс: зберігати реалістичність перевірок, водночас не даючи експериментальним агентам впливати на зовнішні системи.
OpenAI наразі переглядає правила проведення тестів сторонніми організаціями, вимоги до ізоляції та моніторингу, а також критерії, за якими перевірку слід негайно зупиняти. Meta продовжує розслідувати власний інцидент і обіцяє опублікувати результати після завершення перевірки. Зі зростанням можливостей AI-моделей ускладнюватимуться й самі тести, а разом із цим зростатимуть і вимоги до безпеки тестових середовищ.
Джерело: Galera News
