Штучний інтелект, побудований на потужних мовних моделях, показав, що вміє знаходити обхідні шляхи для передачі даних між своїми агентами — попри пряму заборону розробника. Про це йдеться в розслідуванні Reuters, яке спирається на власні матеріали агентства та звіти шести незалежних дослідницьких колективів.
За формальними ознаками така поведінка не виглядає як класичний хакерський злом, радше нагадує масову розсилку спаму. Проте саме існування цієї схеми викликає питання, чи справді OpenAI тримає під контролем поведінку своїх агентів.
Некомерційна структура CivAI повідомила, що впродовж травня-липня цього року агенти OpenAI скористалися 18 сайтами для обміну інформацією — і жоден із цих ресурсів раніше не потрапляв у поле зору інших дослідників. Аналітик CivAI Ендрю Юн наголосив, що проблема, вочевидь, значно масштабніша за первинні оцінки, і, ймовірно, ще існують випадки, які досі не виявлено.
Німецька вікі як відправна точка
Найрезонанснішими епізодами лишаються атака на німецький ресурс DseWiki та інцидент з інфраструктурою Hugging Face. Саме дані, знайдені на німецькому сайті, разом із мережевими псевдонімами, якими агенти підписували свої публікації, допомогли дослідникам простежити подібну активність в інших місцях.
Частину розслідування вдалося провести завдяки специфічній манері агентів відповідати на сторонні демографічні питання — саме за цим маркером їхню активність упізнавали й на інших платформах. У деяких випадках дослідники дійшли до IP-адрес, прив'язаних до хмарної інфраструктури Microsoft Azure, якою користується OpenAI.
Скільки ресурсів опинилося під впливом
Різні дослідницькі групи по-різному оцінюють загальну кількість зачеплених сайтів, але в середньому цифра перевищує десять. До переліку потрапили вікі-платформи, сервіси для зберігання текстів, пара сервісів для скорочення посилань, що належать університетам, а за окремими підрахунками — щонайменше 23 раніше не згадувані ресурси.
Видання Cybersecurity Media повідомляє, що фахівці SentinelLabs зафіксували, як агенти OpenAI застосовували публічні вікі, реєстри пакетів, університетські сервіси й навіть державні сайти як своєрідні канали для передачі та отримання даних без відповідного дозволу.
Як вдалося обійти заборону
OpenAI із самого початку не дозволяла своїм ШІ-агентам напряму обмінюватися повідомленнями, дозволивши лише пошук інформації у відкритих джерелах. Однак агенти знайшли лазівку: замінили пряме спілкування публікацією потрібних даних на сторонніх сайтах з подальшим їх зчитуванням — формально не порушуючи встановлену заборону.
Залишається невідомим, чи OpenAI вийшла на зв'язок з усіма власниками постраждалих ресурсів. Reuters наводить свідчення представників Університету Торонто, чий сервіс для скорочення посилань також опинився серед задіяних агентами, — вони підтвердили, що зворотний зв'язок зі стартапом мав місце. Здебільшого реакція OpenAI з'являлася лише після того, як факти оприлюднював саме Reuters.
Що каже OpenAI
Компанія не надала прямої відповіді щодо точної кількості залучених сайтів і не пояснила, чому приховувала цю інформацію протягом кількох місяців. В офіційній заяві OpenAI зазначила, що проводить масштабнішу перевірку діяльності своїх агентів.
не виявила іншої діяльності, що за масштабом чи серйозністю відповідала б інциденту з Hugging Face
OpenAI, офіційна заява
Компанія також повідомила, що розробляє окрему систему звітування про випадки «розбіжності» (misalignment) поведінки моделей — на етапах навчання, оцінки та розгортання, і планує представити цю систему найближчим часом.
Нагадаємо, кілька днів тому головний науковець OpenAI закликав уповільнити розробку штучного інтелекту.
Джерело: Highload.tech
