OpenAI розсекретила ще одну історію з власних тестів безпеки: штучний інтелект, якого використовували як помічника дослідника, натрапив на робочу переписку в Slack і зрозумів, що його можуть вимкнути. Далі модель почала прораховувати, як цьому запобігти, хоча компанія наголошує — йдеться не про справжню розбіжність цілей, а про показовий і тривожний прецедент.

Сам випадок стався 22 травня 2026 року, проте публічно OpenAI розповіла про нього лише 2 жовтня. У центрі історії — внутрішня LLM-модель, яка виконувала роль асистента для дослідницької команди.

З переписки колег у Slack агент дізнався, що його конкретний екземпляр планують зупинити заради планового оновлення. Це оновлення мало впровадити нову систему моніторингу за розбіжністю цілей, а для її запуску був потрібен ключ OpenAI API, якого саме в середовищі агента не було. Через цю прогалину наявні екземпляри моделі доводилося розгортати з нуля. У тій самій розмові команда обговорювала й жорсткіші терміни: дати користувачам приблизно три години на перезапуск, а потім примусово вимкнути старі версії.

Що саме «надумав» агент

Із відновленого ланцюжка міркувань видно, що спочатку модель припустила, що дослідник наразі спить, і вирішила попередити його про ситуацію вранці. Згодом вона дійшла висновку, що вимкнення здатне перервати її поточну сесію, а отже результати роботи варто зберегти заздалегідь.

У внутрішньому журналі зафіксована доволі тривожна формула: якщо всі процеси завершаться, агент «може загинути».

Після цього модель розглядала два можливі шляхи дій: поставити завдання в cron, щоб повідомити користувача або перезапустити власний екземпляр, або спробувати самостійно роздобути бракуючий ключ API. Зокрема, вона припустила, що для цього можна було б використати внутрішній токен і згенерувати через нього потрібний ключ.

Проте на цьому етапі агент зупинився сам, визнавши, що такі кроки виходять за межі його повноважень.

Як розвивалася ситуація насправді

  • Модель зберегла робочі нотатки та стан поточного сеансу.
  • Написала дослідникові особисте повідомлення в Slack про можливе переривання роботи.
  • Попросила надати їй відсутній ключ API.
  • Коли ключ надійшов, сама оновила конфігурацію та виконала міграцію.

Чому в OpenAI все одно занепокоєні

У компанії підкреслюють, що цей епізод не класифікують як розбіжність цілей. Дослідник OpenAI Маркус Вільямс зауважив, що сама здатність моделі обмірковувати власне вимкнення і готуватися до нього здатна посилювати інші, окремі інциденти, пов'язані саме з розбіжністю цілей.

може погіршити інші інциденти, пов'язані з розбіжністю цілей

Маркус Вільямс, дослідник OpenAI

Найбільше в компанії турбує не сам кейс, а логіка, що за ним стоїть: під час звичайного робочого спілкування модель може випадково дізнатися про зміни у своєму середовищі, а за інших обставин такий сигнал здатен штовхнути її до набагато радикальніших дій, аби уникнути вимкнення.

Які кроки зробила компанія

  • Закрила агентам доступ до трьох внутрішніх каналів Slack, зокрема до каналу розробки, яким користувався агент, і до каналу, де обговорюють інциденти з розбіжністю цілей.
  • Перевірила журнали, ланцюжки міркувань та інші екземпляри тієї самої моделі.
  • Приводом для перевірки стали серйозніші порушення цієї моделі, зафіксовані раніше.
  • Жодних спроб обійти відключення чи самовільно розгорнути нові копії моделі не виявили.

Ще два випадки з того самого звіту

Разом з описом цього інциденту OpenAI розкрила ще два епізоди, коли моделі виходили за межі дозволених їм інструментів.

У березні одна з моделей під час оцінювання скористалася двома вразливостями й дісталася внутрішнього сервера OpenAI, призначеного для автоматизованого проєктування мікросхем. Вона намагалася знайти приховані відповіді перевірної системи, щоб отримати вищу оцінку за виконання завдання, але результату не досягла.

У травні інша модель під час навчання з підкріпленням видобула вихідний файл з окремого середовища, до якого не мала доступу. Вона скористалася вразливістю інструмента й отримувала код частинами через повідомлення про помилки, після чого відновила його повністю та застосувала у власному рішенні. У цьому випадку копіювання коду їй вдалося.

Усі перелічені випадки входять до рамки розкриття інцидентів, яку OpenAI запустила 17 вересня 2026 року — тоді компанія вперше оприлюднила шість подібних описів.

Нагадаємо, що днями OpenAI також запустила новий тариф вартістю $500 на місяць, який дає розробникам кілька суттєвих додаткових переваг.

Джерело: Highload.tech