Компанія Microsoft відкрила розробникам доступ до автономної версії своєї мовної моделі для програмування MAI-Code-1.1-Flash. Тепер кодових ШІ-агентів можна запускати прямо на власній машині — без звернень до хмарних серверів і навіть без доступу до інтернету. Але є суттєвий нюанс: щоб модель працювала комфортно, знадобиться обсяг пам'яті, якого немає в переважної більшості звичайних комп'ютерів.

Що відомо про автономну версію

До цього моменту MAI-Code-1.1-Flash функціонувала виключно на серверних потужностях Microsoft. Тепер модель дозволено завантажити й запустити локально, на власному обладнанні. Аби знизити вимоги до пам'яті, інженери компанії стиснули модель за допомогою 3-бітного квантування. При цьому розробники не чіпали вікно контексту — воно, як і раніше, становить 256 тисяч токенів.

Microsoft стверджує, що якість кодингу у квантованої версії практично не відрізняється від повної. На підтвердження компанія наводить результати тестів SWE-Bench Verified та Terminal-Bench 2.1, де показники обох варіантів виявилися зіставними.

Апаратні вимоги

Головна складність — у залізі. Навіть після стискання модель залишається доволі важкою, тож Microsoft рекомендує мати понад 120 ГБ оперативної пам'яті для нормальної роботи. На звичайному домашньому чи офісному ПК з типовими 16–32 ГБ запустити її просто не вийде. Тож локальна версія орієнтована передусім на власників потужних робочих станцій або спеціально зібраних машин.

Surface Laptop Ultra: збіг чи точний розрахунок

У той самий день Microsoft презентувала ноутбук Surface Laptop Ultra, старша конфігурація якого отримала 128 ГБ уніфікованої пам'яті — тобто більше за поріг, рекомендований для MAI-Code-1.1-Flash. Виходить, що разом із новим пристроєм компанія одразу продемонструвала завдання, під яке він ідеально підходить. Схоже на цілком свідомий збіг.

Що це означає для GitHub Copilot

Завдяки локальному запуску GitHub Copilot зможе виконувати сумісні задачі з програмування безпосередньо на пристрої користувача. На презентації Microsoft навіть активувала на ноутбуці режим польоту, щоб наочно показати: активне підключення до мережі моделі не потрібне. При цьому для складніших завдань розробники й надалі зможуть звертатися до хмарних моделей.

Саму модель уже можна завантажити. Експериментальну підтримку в GitHub Copilot компанія обіцяє додати до кінця місяця — вона з'явиться в застосунку GitHub Copilot, у GitHub Copilot CLI та у Visual Studio Code.

Чим нова версія відрізняється від попередньої

За словами Microsoft, MAI-Code-1.1-Flash уже працює в продакшн-середовищі GitHub Copilot і показує кращі результати, ніж модель, яку компанія демонструвала на конференції Build. Порівняно з MAI-Code-1.0 нова версія генерує токени на 25% швидше, а для виконання тієї самої задачі їй потрібно на 25% менше токенів.

Таким чином, запускати кодового ШІ-агента локально вже можна — але лише за умови наявності 128 ГБ пам'яті. Тож зацікавленим або доведеться вже володіти такою машиною, або витратити близько $5899 на топову комплектацію Surface Laptop Ultra.

Нагадаємо, кількома днями раніше Microsoft і Meta різко скоротили витрати на токени Claude для своїх співробітників — із $100 000 до $10 000 на місяць.

Джерело: Highload.tech