Завдання, яке розробник виконує не задумуючись, іноді перетворюється для ШІ-агента на нерозв'язну задачу. Саме для виявлення таких проблем Microsoft створила Scope і виклала його вихідний код у відкритий доступ, пише It's FOSS.

Коди-агенти все частіше самостійно вирішують, який SDK підключати і які інструменти викликати під час роботи. Через це командам, що супроводжують документацію, SDK або MCP-сервери, доводиться зважати не лише на зручність для людей, а й на те, чи зможе з їхніми матеріалами впоратися агент.

Scope прожонює те саме завдання через кількох різних агентів і порівнює, наскільки добре кожен із них упорався. Проєкт розповсюджується за ліцензією MIT, а сама компанія зараховує його до напряму Developer Agent Experience (DevAx) — досвіду розробки з погляду агента. Варто зазначити: Scope не створює нових агентів, а лише перевіряє тих, що вже існують.

Принцип роботи Scope

Користувачеві потрібно задати три елементи: саме завдання, стартову кодову базу (якщо вона потрібна) та конфігурацію агента. Після цього Scope самостійно запускає наявних агентів — наприклад, GitHub Copilot чи Claude Code — і проводить їх через поставлене завдання.

Критерії успішного виконання формують граф залежностей: проходження однієї перевірки здатне відкривати наступну. Приклад такого сценарію — агенту доручають написати сервер на Node.js, а потім перевіряють наявність маршруту GET /health, який повертає JSON.

За оцінку результатів відповідає LLM-сервіс Judge. Оскільки він теж не застрахований від помилок, у Microsoft радять перевіряти ключові висновки вручну.

Кожен запуск Scope залишає по собі набір артефактів:

  • живі логи
  • згенеровані файли
  • знімки робочого простору
  • історію викликів інструментів

Якщо якийсь критерій провалено, причину можна відстежити покроково. Усі налаштування — агент, модель, навички (skills), MCP-сервери та розширення — зберігаються у версійованих профілях. Це дозволяє замінити один компонент, повторно запустити те саме завдання й порівняти отримані результати.

Оскільки результати можуть відрізнятися від спроби до спроби, повторні запуски допомагають відокремити системну проблему від випадкового збою. Окремо передбачені налаштовувані персони, які визначають точку зору та тон змодельованого користувача. Переглядати результати можна через вебпортал або інтегрувати їх у власні скрипти й пайплайни за допомогою CLI та REST API.

Кому стане в пригоді Scope

Командам, що відповідають за документацію, інструмент покаже, яку саме інструкцію агенти систематично ігнорують. Після правок сторінки достатньо повторити сценарій і перевірити, чи змінився результат.

Мейнтейнери SDK зможуть з'ясувати, чи взагалі обирає агент їхній SDK, і чи впливають на цей вибір нові приклади коду або навички.

Авторам CLI та MCP-серверів траси виконання покажуть, на якому етапі агент застряг. Причиною може бути нечіткий опис інструмента або повідомлення про помилку, яке залишає агента здогадуватися про подальші дії.

Обмеження сервісу

Скористатися Scope одразу «з порога» не вийде: готової хостингової версії немає, розгортати систему доведеться самостійно. Для локального запуску знадобляться Docker із Compose v2, Node 22, pnpm, mkcert та GitHub CLI. Детальна покрокова інструкція наведена в посібнику з локальної розробки.

Існують і додаткові умови використання. Для типового воркера потрібна активна підписка GitHub Copilot, а для роботи Judge необхідні облікові дані провайдера моделі. Командам, яким потрібне спільне середовище, пропонують розгортання в Kubernetes за допомогою Helm-чарту.

Код проєкту доступний на GitHub, а на сторінці Scope розміщена документація. Щоб долучитися до розробки, найімовірніше, доведеться погодитися з умовами Microsoft Contributor License Agreement.

Нагадаємо, що експерти прогнозують зниження попиту на розробників штучного інтелекту, оскільки агенти дедалі краще пишуть код самостійно.

Джерело: Highload.tech