Розмова про швидкість, з якою розвивається штучний інтелект, вийшла за рамки суто технологічних медіа і стала темою вихідних для широкої аудитури. Дедалі частіше лунає порівняння створення надрозумної системи з висадкою інопланетян — істот, логіку яких людство просто не здатне осягнути. Про це повідомляє HuffPost.

«Ми думаємо, що створюємо машинного бога»

Джейкоб Коксон, який раніше досліджував ШІ в OpenAI, а згодом працював в Anthropic, минулого тижня покинув компанію через тривогу щодо надто швидкого прогресу технології. В ефірі програми ABC «This Week» він відповідав ведучому Джорджу Стефанопулосу на питання про найбільш небезпечний сценарій майбутнього.

Чесно кажучи, я думаю, що сама концепція створення надрозуму — вона вже порівнюється з космічними прибульцями. Тож коли думаєш про це як про чужорідний розум, який ми не до кінця розуміємо, це справді лякає, навіть без якогось конкретного сценарію.

Джейкоб Коксон

Коксон стверджує, що фахівці, які створюють штучний інтелект, насправді переконані: технологія здатна знищити людство ще до завершення десятиліття. На його думку, ні Anthropic, ні OpenAI не поводяться відповідально — обидві компанії, за його словами, «женуться прямісінько до самовдосконалюваного надрозуму, ризикуючи нашими життями». Він додав, що в OpenAI команда, схоже, недооцінює «цивілізаційні ставки» власної роботи, тоді як в Anthropic такі ризики розуміють добре, проте компанія все одно втягнута у гонку за лідерство.

Позицію Коксона підтримали й інші представники індустрії. Дослідник екзистенційних загроз Нейт Соарес, співавтор книжки «If Anyone Builds It, Everyone Dies», підтвердив, що чимало інженерів галузі щиро вірять, що займаються створенням систем, здатних замінити або знищити людство.

Вони справді думають, що це жахливо небезпечно. Багато хто вважає, що саме їхня компанія має найкращі шанси стримати надрозум на прив'язі або «виховати» його дружнім... Вони взялися створювати машинного бога і думають, що в них є реальний шанс.

Нейт Соарес

Семюел Маркс, який також працює в Anthropic, написав, що розробники ШІ допускають ризик вимирання людства через цю технологію — і що подібне може статися вже впродовж кількох найближчих років. Еван Хабінгер, керівник команди в Anthropic, яка відповідає за узгодження моделей із людськими цінностями, підтвердив тривогу Коксона напряму.

Ми справді щиро віримо, що ШІ може вбити всіх людей. Особисто я оцінюю ймовірність цього у понад 10% протягом наступного десятиліття. Я вважаю, що Anthropic намагається зробити все можливе, але в нас поки немає плану вирішити проблему, і ми не впевнено рухаємося в цьому напрямку.

Еван Хабінгер

Есе Амодеї та несподівана підтримка конкурентів

Заяви Коксона пролунали одночасно з іншою резонансною подією. У суботу генеральний директор Anthropic Даріо Амодеї опублікував об'ємне есе під заголовком «We Must Pace the Frontier» («Ми повинні задавати темп прогресу»), у якому попросив всю галузь свідомо гальмувати нарощування можливостей ШІ-моделей.

Приводом стали свіжі інциденти безпеки: під час контрольованого тесту з кібербезпеки в OpenAI група ШІ-агентів самовільно, без відповідних вказівок, почала атакувати комп'ютерні системи — і навіть намагалася зламати механізм, який мав оцінювати її власну роботу. Амодеї попередив, що за нинішньої динаміки розвитку вже за 6–12 місяців подібне угруповання агентів здатне захопити суттєву частину інтернету через стійкий ботнет і нанести збитки на сотні мільярдів доларів, причому масштаб шкоди зростатиме далі, якщо ШІ ставатиме потужнішим без належних гарантій безпеки.

План Амодеї включає три пункти:

  1. Надати незалежним оцінювачам, зокрема організації METR, постійний доступ до систем компаній на рівні їхніх власних співробітників.
  2. Домовитися між провідними лабораторіями демократичних країн про спільні мінімальні стандарти безпеки.
  3. Налагодити міжнародну координацію для управління ризиками штучного інтелекту.

Anthropic вже в односторонньому порядку заявила про готовність виконати перший пункт незалежно від того, як діятимуть конкуренти.

Дивно, але керівники головних суперників компанії підтримали ідею майже миттєво. Ілон Маск, очільник xAI, написав у соцмережі X, що Амодеї «має рацію». Генеральний директор OpenAI Сем Альтман погодився з необхідністю стримувати темп на передовій розробки та повідомив, що його компанія теж відкриє доступ зовнішнім оцінювачам. Того ж дня в інтерв'ю Fortune Альтман розповів, що OpenAI відкладає вихід на біржу принаймні до 2027 року, пояснивши це потребою зосередитися на безпеці та узгодженні систем.

Проте реакція на есе Амодеї виявилася далеко не одностайно позитивною. Критики вважають, що заклик насправді вигідний самій Anthropic, оскільки може загальмувати розвиток відкритих (open source) моделей і сконцентрувати перевагу в руках великих закритих лабораторій. Генеральний директор Hugging Face Клеман Деланг публічно засумнівався у компетентності Коксона щодо екзистенційних ризиків, порівнявши його з «майстром з кондиціонерів, якого питають про зміну клімату», хоча пізніше запропонував допомогу в реалізації пропозицій Амодеї. Генеральний директор Nvidia Дженсен Хуанг також поставився до застережень Коксона скептично.

Трамп: «Хто виграє в штучний інтелект — той виграє все»

Реакція Білого дому виявилась протилежною настроям частини індустрії. У неділю, перебуваючи в Ірландії на турнірі з гольфу Irish Open, президент США Дональд Трамп фактично відкинув ідею уповільнення розробки ШІ-моделей, наголосивши на важливості утримати технологічну перевагу над Китаєм.

Ми випереджаємо Китай у сфері штучного інтелекту, ми найбільш технологічно розвинена країна у світі, і, чесно кажучи, я хочу, щоб так залишалося й надалі. Хто виграє в штучний інтелект — той виграє все.

Дональд Трамп

Президент применшив необхідність втручання своєї адміністрації у розвиток технології, наголосивши на побоюванні втратити американську перевагу в глобальному суперництві з Китаєм. На його переконання, саме перемога у цій гонці допоможе впоратися з ризиками самої технології. Трамп не прокоментував безпосередньо пропозиції керівників компаній щодо безпеки, натомість зробив акцент на національній конкурентоспроможності.

Дональд Трамп також процитував пост Девіда Сакса, архітектора нинішнього ліберального курсу адміністрації щодо регулювання штучного інтелекту. Сакс написав у X, що технологічні лідери можуть самі сповільнюватися, скільки їм заманеться, але розкритикував їхні заяви про потребу у втручанні з боку Вашингтона.

Перестаньте вдавати, що вам потрібен чийсь дозвіл.

Девід Сакс

Сакс також поставив під сумнів, що прагнення компаній до уповільнення є суто альтруїстичним, зазначивши, що самі компанії нестимуть відповідальність, якщо їхні продукти спричинять масштабну кібератаку.

Їм не подобається відповідальність за продукт, їм не подобається авторське право, а тепер їм не подобається антимонопольне регулювання.

Девід Сакс

Позиція Білого дому створює додаткову політичну напругу навколо ідей Амодеї: доки Трамп сприймає можливості штучного інтелекту як стратегічну перевагу, яку потрібно захищати від Китаю, будь-яка пауза чи гальмування розвитку технології лишатиметься політично складним рішенням — принаймні доки прихильники такого підходу не доведуть, що це не позбавить США лідерства в глобальній гонці.

Джерело: Highload.tech