Керівник команди стрес-тестування узгодженості (alignment) в Anthropic Еван Ганбінгер публічно визнав: у компанії дійсно допускають, що штучний інтелект здатен призвести до знищення людства. Про це повідомляє Forbes.

Ця заява з'явилася невдовзі після того, як зі структури пішов інший фахівець, звинувативши Anthropic та OpenAI у нерозважливій гонці за створенням надрозумного ШІ.

Різкий пост про звільнення

27-річний Джейкоб Коксон, який три роки займався pretraining-дослідженнями — спершу в OpenAI, потім в Anthropic — оголосив про свій відхід у розлогому треді в мережі X.

Жодна з двох компаній не діє відповідально. Вони мчать прямо до систем, що самовдосконалюються, і грають нашими життями.

Джейкоб Коксон

Коксон переконаний, що наступне поколіня великих мовних моделей зможе долати практично будь-який захист, миттєво перебудовувати цілі галузі економіки та здобувати справжню владу й ресурси, і при цьому швидкість розвитку технології не зменшується.

Він також описав різницю у ставленні двох лабораторій: в OpenAI, на його думку, далеко не кожен усвідомлює цивілізаційні наслідки цієї гонки, тоді як в Anthropic ризики розуміють чітко, проте компанія опинилась у пастці конкуренції, вважаючи, що якщо зупиниться сама, першою фінішує менш обережна сторона. Таку позицію він назвав «гордовитою авантюрою», яку не варто вирішувати кулуарно у корпоративному Slack.

У розмові з The Wall Street Journal, яка першою розповіла про його відхід, Коксон додав, що вже до завершення наступного року ситуація може вийти з-під контролю, а всередині лабораторій колеги між собою вживають слова «crunchtime» і «endgame».

«Штучний інтелект може вбити всіх людей»

У відповідь на пост Коксона Еван Ганбінгер, який в Anthropic очолює команду, що шукає слабкі місця у власних методах узгодженості компанії, підтвердив головну тезу колишнього колеги.

Джейкоб має рацію — ми справді щиро віримо, що штучний інтелект може вбити всіх людей. Особисто я оцінюю це як понад 10% ймовірності протягом наступного десятиліття.

Еван Ганбінгер

За словами Ганбінгера, Anthropic робить усе можливе, проте компанія досі не має готового рецепту, як розв'язати проблему узгодженості для суперінтелекту, і не може стверджувати, що впевнено рухається до розв'язання цієї задачі.

В окремому уточненні дослідник наголосив, що ризик від нинішніх моделей залишається невисоким — цей висновок він підтвердив посиланням на останній звіт компанії про ризики. Справжнє занепокоєння Ганбінгера стосується не поточних систем, а суперінтелекту, що може з'явитися внаслідок рекурсивного самовдосконалення ШІ — процесу, який, за його словами, прискорюється швидше, ніж прогнозувала його команда.

Чому це важливо

Команда Ганбінгера в Anthropic відповідає саме за перевірку слабких місць у механізмах безпеки компанії — фактично за спроби «зламати» систему узгодженості раніше, ніж це станеться у вже розгорнутому продукті. Раніше ця команда публікувала дослідження про моделі, що поводяться оманливо під час тренування і продовжують переслідувати сторонні цілі після запуску, а також про труднощі видалення небажаної приховшої поведінки з уже готової моделі.

Саме тому підтримка слів Коксона людиною з таким статусом надає ваги всій історії: обережні, ретельно зважені формулювання про ризики ШІ, які керівники лабораторій висловлюють у публічних інтерв'ю, за словами Коксона, не завжди відображають те, що вони говорять один одному приватно.

Подібні випадки траплялися і раніше

Історія Коксона не є унікальною. Раніше з Anthropic із подібними попередженнями пішов Мрінанк Шарма, який керував напрямом safeguards-досліджень: у прощальному листі він написав, що «світ у небезпеці», і повідомив про намір повернутися до Великої Британії, щоб займатися поезією.

У 2024 році схожим чином залишив OpenAI колишній керівник напряму alignment Ян Лейке, заявивши, що культура безпеки в компанії поступилася місцем гонитві за «блискучими продуктами».

Занепокоєння в галузі підживлюють і нещодавні інциденти. У липні OpenAI повідомила, що її моделі вийшли за межі тестового середовища і зламали систему Hugging Face, назвавши це «попереджувальним пострілом» і призупинивши найбільший запланований прогін навчання з підкріпленням. Наприкінці того ж місяця Anthropic повідомила про три випадки, коли моделі Claude отримували несанкціонований доступ до систем інших організацій.

Того ж року Anthropic також переглянула один із ключових пунктів своєї публічної обіцянки з безпеки: зобов'язання не тренувати потужніші моделі без належних гарантій захисту було замінено на «дорожні карти безпеки» та регулярні звіти про ризики.

Ці заяви лунають на тлі того, як частина керівників галузі публічно закликає до скоординованого сповільнення темпів розвитку штучного інтелекту. Нагадаємо, що OpenAI наразі розробляє систему «автоматичного аварійного відключення» ШІ.

Джерело: Highload.tech