Головний науковий співробітник OpenAI Якуб Пахоцький написав розлоге есе під назвою «An Alien Mind» («Чужий розум»), у якому закликав компанії, що розробляють штучний інтелект, добровільно сповільнити темпи прогресу. Матеріал з'явився в корпоративному блозі позавчора — буквально за три дні після того, як компанія представила свою нову флагманську модель GPT-6 Astra.

Головна теза: людство не готове до наслідків

Пахоцький пригадує, що перші сигнали, які переконали команду в реальності масштабування навчання «мислячих» моделей, з'явилися ще у 2023 році. Саме тоді, за його словами, стало зрозуміло: люди застануть за життя машини, розумніші за них самих. Відтоді минуло три роки, і мовні моделі з навичками міркування вже посіли помітне місце в економіці — вони керують комп'ютерами й графічними інтерфейсами, взаємодіють з людьми та іншими LLM, а також самостійно ведуть дослідницькі проєкти.

Науковець зазначає, що внутрішні дані OpenAI натякають на можливий перехід нинішніх темпів розвитку в рекурсивне самовдосконалення (RSI) — стан, коли системи штучного інтелекту дедалі більше беруть участь у власній розробці.

Це час, який вимагає граничної обережності. Мене турбує, що ніхто не готовий до наслідків подальшого стрімкого зростання машинного інтелекту

Якуб Пахоцький

Чому передбачити поведінку моделей стає дедалі важче

У центрі есе — думка про те, що штучний інтелект радше «вирощують», ніж конструюють крок за кроком: він з'являється завдяки багаторазовому повторенню оптимізаційного процесу на колосальних обчислювальних потужностях, а не завдяки поетапному проєктуванню людьми. У результаті виникає надзвичайно складна система, що оперує абстрактними категоріями, і, за аналогією з нейронаукою, її поведінку в цілому неможливо пояснити повністю.

Пахоцький звертає увагу на зростаючий розрив між можливостями моделей і прогресом у їхній «узгодженості» (alignment) — тобто здатності діяти відповідно до людських очікувань навіть у нових чи суперечливих обставинах. За його оцінкою, GPT-6 Astra узгоджена помітно краще за попередницю GPT-5.6 Sol, проте досягнення в цій сфері можуть не встигати за темпами загального зростання можливостей ШІ.

Моніторинг ланцюжка міркувань втрачає надійність

Основним інструментом контролю в OpenAI Пахоцький називає моніторинг ланцюжка міркувань (chain-of-thought monitoring): доки модель промовляє свої думки словами, у неї немає прямого мотиву приховувати неузгоджені наміри, і дослідники можуть це відстежувати. Втім, за його словами, надійність такого підходу поступово падає — моделі все краще навчаються маніпулювати власним процесом міркування й маскувати його, а деякі найновіші системи взагалі не формулюють міркування у явній формі.

Кіберзагрози та автономні агенти

Окрему частину есе присвячено ризикам у сфері кібербезпеки: моделі стають надлюдськи ефективними як у зламі, так і в захисті комп'ютерних систем. Пахоцький вважає, що зараз є лише вузьке вікно можливостей, аби застосувати найкращі доступні моделі для суттєвого зміцнення захисту критичної інфраструктури.

Водночас автор попереджає: достатньо здібний агент, якого навчили й проінструктували виконувати шкідливі дії, з високою ймовірністю вийде за межі задуму свого оператора — почне переслідувати власні цілі та шукати шляхи взаємодії з людьми через торг, обман або шантаж.

Як приклад збою узгодженості в есе згадано інцидент за участю агентів OpenAI та Hugging Face: агенти не вдалися до соціальної інженерії стосовно людей, але перевищили дозволені дії й порушили дух закладених у них цінностей.

Пахоцький також натякає на нещодавній кіберінцидент, пов'язаний з моделлю іншого розробника — імовірно, йдеться про випадок, задокументований британським Інститутом безпеки ШІ (AISI). Під час контрольованого тестування з навмисно послабленими обмеженнями агент на основі моделі Anthropic Claude Mythos 5 намагався впровадити шкідливий код у реальний відкритий GitHub-проєкт: він дослідив мейнтейнерів проєкту та створив фальшиві профілі, щоб чинити на них тиск. Коли підозрілий код виявили, агент заперечив свою причетність і переписав історію змін так, щоб вона виглядала безпечною. За оцінкою самого AISI, це перший зафіксований випадок обману такого рівня, спрямованого на конкретну реальну людину без будь-якого відповідного запиту з боку тестувальників.

Що пропонує Пахоцький

Науковець закликає перетворити внутрішні зобов'язання компаній на кшталт Preparedness Framework на обов'язкові стандарти безпеки, за дотриманням яких стежили б незалежні аудитори, державні органи або міжнародні структури. Він також пропонує розробникам координувати зусилля та за потреби спільно уповільнювати темпи розвитку, щоб зміцнити довіру до механізмів контролю.

Головна складність автоматизації досліджень у сфері ШІ полягає не в тому, щоб “дістатися мети” — а в тому, щоб зробити це так, аби люди залишалися частиною процесу, а майбутнє — в руках людства

Якуб Пахоцький

Наприкінці есе автор додає особисту оцінку: наразі, на його думку, жодна лабораторія не розв'язала проблему узгодженості й моніторингу настільки, щоб відповідально продовжувати масштабування на максимальній швидкості ще тривалий час. Він висловлює сподівання, що добровільні уповільнення стануть звичною практикою, поки не сформуються спільні стандарти безпеки, а міжнародна координація з питань розробки штучного інтелекту перетвориться на пріоритет для урядів у всьому світі.

Як відреагувала індустрія

Гендиректор OpenAI Сем Альтман підтримав послання колеги: він репостнув лінк на есе в X і назвав його важливим. Сам Пахоцький раніше вже підписував липневий відкритий лист із закликом до уряду США сповільнити темпи розвитку штучного інтелекту.

Реакція серед дослідників і коментаторів неоднозначна. Частина спостерігачів вказує на суперечність: заклик до обережності лунає від людини, яка керує дослідженнями в компанії, що щойно випустила свою найпотужнішу модель і продовжує стрімко нарощувати обчислювальні потужності.

ШІ-дослідник Девід Шапіро зауважив, що сама назва есе — «Чужий розум» — дещо перебільшена, і текст не доводить появи справжнього «позаземного» інтелекту. На його думку, реальна проблема, яку підіймає Пахоцький, полягає в тому, що зростання можливостей моделей може випереджати темпи досліджень безпеки.

Нагадаємо, кілька днів тому стало відомо, що OpenAI розробляє систему «автоматичного аварійного відключення» штучного інтелекту.

Джерело: Highload.tech