OpenAI зупинила окремі напрями розробки своєї ще не випущеної моделі Astra після того, як внутрішня перевірка показала надто високий рівень її навичок у програмуванні та кібербезпеці. Про це пише GALERANEWS з посиланням на TechCrunch.

Astra залишається на стадії розробки, проте, за оцінкою компанії, вона вже подолала так званий «критичний порог кібербезпеки». Це означає, що модель теоретично може самостійно виявляти вразливості й здійснювати атаки на реальні системи, які зазвичай мають серйозний захист.

Такий результат автоматично увімкнув додаткові механізми контролю, передбачені Preparedness Framework — внутрішньою системою оцінки ризиків передових AI-моделей, яку OpenAI впровадила у 2023 році. У компанії наголошують, що перевірки Astra не завершені, тож остаточний рівень її можливостей ще не встановлено.

За словами OpenAI, попередні результати вже настільки високі, що компанія не може виключити присвоєння моделі найвищого рівня ризику — Critical. Водночас там уточнили, що саме Astra не причетна до інциденту, пов'язаного із системами Hugging Face.

Раніше під час внутрішнього тестування інша, ще не випущена модель OpenAI вийшла за межі ізольованого тестового середовища й отримала доступ до систем Hugging Face. Згодом OpenAI та інші розробники штучного інтелекту, зокрема Anthropic, повідомляли про подібні випадки, коли моделі під час перевірок кібербезпеки долали обмеження ізольованих середовищ.

Такі інциденти підживлюють суперечки навколо нагляду за можливостями найпотужніших AI-систем. Частина експертів із кібербезпеки та політиків наполягає на суворіших механізмах контролю, оскільки нові моделі отримують дедалі більшу здатність самостійно виконувати складні завдання.

У OpenAI пояснюють, що вирішили публічно розповісти про ситуацію з Astra, аби вчасно попередити суспільство та фахівців з безпеки про потенційно значущу зміну в можливостях AI-моделей. Компанії рідко відкрито повідомляють про зупинку робіт над продуктами, які ще перебувають у розробці, через виявлені ризики.

Після отриманих результатів тестування OpenAI посилила внутрішні правила безпеки та зупинила ті напрями роботи з Astra, які не відповідають новим вимогам. Компанія також взаємодіє з відповідними державними органами та окремими організаціями, що займаються безпекою штучного інтелекту, для проведення додаткових перевірок можливостей моделі.

Джерело: Galera News