Ідея доручити завдання не одному агенту штучного інтелекту, а цілій команді з них, видається привабливою, адже кілька голів мали б працювати краще за одну. Проте на практиці, за даними компанії Vals AI, такий підхід часто лише роздуває витрати без суттєвого покращення результату.

Як влаштували перевірку

У межах дослідження порівняли дві моделі — GPT-6 Sol та Claude Opus 5.5 — у двох форматах роботи: самостійно та в складі команди. У командному режимі головний агент розподіляв завдання між підлеглими агентами, яких могло бути до п'яти одночасно. Кожну конфігурацію перевіряли на середньому та максимальному рівнях міркування.

Тестування проходило на бенчмарку Vibe Code Bench, який оцінює створення повноцінних вебзастосунків за технічним завданням. Готові застосунки розгортали через Docker Compose, а перевіряли їх браузерні агенти, що відтворювали всі сценарії користування. Загалом дослідники запустили 50 застосунків, кожну конфігурацію — по одному разу.

У скільки обходиться командна робота

Витрати на командний режим виявилися у 1,8–5,1 раза вищими, ніж на одного агента. При цьому статистично значуще покращення якості зафіксували лише в одному випадку з чотирьох: GPT-6 Sol із середнім рівнем міркування в командному режимі набрав на 7,3 бала більше, ніж працюючи наодинці.

  • GPT-6 Sol, середній рівень: один агент — 77,6% за $1,22, команда — 84,9% за $3,07
  • GPT-6 Sol, максимальний рівень: один агент — 89% за $4,82, команда — 90,4% за $8,54
  • Claude Opus 5.5, середній рівень: один агент — 91,5% за $4,08, команда — 91,2% за $9,10
  • Claude Opus 5.5, максимальний рівень: один агент — 89,8% за $23,77, команда — 93,2% за $122

Найпоказовішим став випадок із Claude Opus 5.5 на максимальному рівні міркувань: команда показала найвищий результат усього дослідження — 93,2%, але коштувала приблизно у 30 разів більше за одиночного агента на середньому рівні міркувань. При цьому перевага становила лише 1,6 бала і не мала статистичної значущості.

Швидкість не завжди означає економію

Із часом виконання ситуація виявилася неоднозначною. Команда на основі Sol працювала швидше за одиночного агента: на максимальному рівні міркувань вона витрачала 28 хвилин замість 38. А от команди на базі Opus, навпаки, виконували завдання повільніше. Спершу головний агент готував спільний документ з архітектурою проєкту, а потім розподіляв роботу хвилями, кожна з яких чекала на найповільнішого виконавця. Унаслідок цього загальний час зріс із 75 до 174 хвилин.

Головна причина подорожчання — обсяг контексту. Кожен підлеглий агент зберігає власну копію завдання та проміжного стану роботи, і цю інформацію доводиться надсилати моделі щоразу при зверненні. На максимальному рівні міркувань підлеглі агенти Opus у медіані опрацьовували 224 млн кешованих токенів на один застосунок, тоді як одиночний агент — лише 55 млн.

Vals AI окремо звертає увагу, що для моделі Sol збільшення рівня міркувань дало більший приріст якості, ніж перехід до командної роботи: +11,4 бала проти +7,3.

Позиція Anthropic та OpenAI

Подібних висновків дійшла й компанія Anthropic у власних випробуваннях Claude Opus 5.5. Збільшення команди з 10 до 100 агентів під час створення бази знань підвищило оцінку лише з 0,70 до 0,74, а під час доведення математичних теорем — з 0,66 до 0,68. Великі команди досягали потрібного рівня якості швидше, проте витрачали значно більше токенів.

Дослідник OpenAI Ноам Браун переконаний, що головна перевага мультиагентних систем — у швидкості, а не в якості результату.

Четверо агентів виконують завдання вдвічі швидше за одного, але й коштують приблизно вдвічі дорожче, а на команді з 16 агентів ефективність знижується ще більше.

Ноам Браун, дослідник OpenAI

За його словами, усе залежить від типу завдання: вебдослідження чи обчислення добре піддаються розпаралелюванню, а от написання роману — ні, адже доручати його 10 тисячам агентів настільки ж безглуздо, як доручати його 10 тисячам людей.

Розробник OpenAI Ерік Провенчер раніше попереджав про так званий «податок на координацію»: що більше агентів задіяно, то більше ресурсів іде не на саму роботу, а на узгодження їхніх дій між собою.

Застереження щодо результатів

Автори дослідження Vals AI наголошують, що отримані дані стосуються лише одного бенчмарка — створення повноцінних вебзастосунків — і не обов'язково справедливі для інших типів завдань. До того ж моделі працювали через різні програмні обв'язки, тож пряме порівняння Sol і Opus поєднує в собі вплив як самої моделі, так і середовища виконання.

На думку дослідників, командна робота агентів може дати більше користі там, де завдання реально розбити на незалежні частини: у великих кодових базах, масштабних дослідженнях чи аналізі великих масивів документів.

Джерело: Highload.tech