Anthropic випустила Claude Sonnet 5.5, і модель одразу опинилася на другому щаблі Intelligence Index від Artificial Analysis, поступившись лише Opus 5.5. Водночас із фінансового погляду новинка не завжди перемагає рішення OpenAI, тож варто розібратися, у яких сценаріях вона справді сильна, а де програє.

Друге місце в рейтингу і зростання вартості завдання

У режимі max модель здобула на 18 балів більше, ніж її попередниця Sonnet 5, і в підсумку зайняла другу позицію Intelligence Index — вище лише Opus 5.5 (max). Ціни на токени Anthropic залишила без змін порівняно з Sonnet 5: кешований вхід коштує $0,2 за мільйон токенів, звичайний вхід — $2, а вихід — $10 за мільйон. Однак модель генерує помітно більше вихідних токенів на кожне завдання, тому середня вартість виконання зросла до $7,60 — приблизно на 50% більше, ніж у попередньої версії.

В агентних завданнях Sonnet 5.5 обходить навіть флагманів

Найкраще нова модель почувається в задачах з терміналом і завданнях на перевірку знань. У бенчмарку Terminal-Bench 4.0 вона набрала 64%, тоді як Opus 5.5 і GPT-6 Astra (xhigh) показали по 60%. Стара Sonnet 5 (max) відстає від новачка одразу на 50 пунктів. У тесті Terminal-Bench-Science, що оцінює самостійну роботу моделі в терміналі над реалістичними науковими задачами, Sonnet 5.5 отримала 53%, поступившись лише GPT-6 Astra та Opus 5.5; цей бенчмарк наразі не входить до загального індексу інтелекту. В офісних і автоматизаційних задачах результати нової моделі практично зрівнялися з показниками Opus 5.5.

  • Terminal-Bench 4.0: Sonnet 5.5 — 64%, Opus 5.5 — 60%, GPT-6 Astra (xhigh) — 60%
  • Terminal-Bench-Science: Sonnet 5.5 — 53%, в Opus 5.5 та GPT-6 Astra показники вищі, точних цифр немає
  • AA-Briefcase (Elo): Sonnet 5.5 — 1811, Opus 5.5 — 1822
  • GDPval-AA (Elo): Sonnet 5.5 — 1844, Opus 5.5 — 1846
  • AutomationBench-AA: Sonnet 5.5 — 71%, Opus 5.5 — 70%

Для Opus 5.5 і GPT-6 Astra в Terminal-Bench-Science джерело не наводить точних цифр — відомо лише, що ці моделі випереджають Sonnet 5.5. Головне застереження полягає в тому, що майже паритетний результат з Opus 5.5 Sonnet 5.5 отримує ціною значно вищих витрат токенів.

У сім разів більше токенів, ніж у GPT-6 Astra

У режимі max, де показники моделі наближаються до рівня Opus 5.5, Sonnet 5.5 витрачає близько 193 тисяч вихідних токенів на одне завдання індексу — це найвищий показник серед усіх моделей, які досліджувала Artificial Analysis.

  • Порівняно з Opus 5.5 (max): Sonnet витрачає приблизно на 60% більше токенів
  • Порівняно з Sonnet 5 (max): приблизно на 60% більше токенів
  • Порівняно з GPT-6 Astra (max): приблизно в 7 разів більше токенів

Іншими словами, GPT-6 Astra досягає порівнянних результатів в агентних задачах, витрачаючи в рази менше обчислювальних ресурсів.

Однакова ціна з GPT-6 Sol, але різна ефективність

Тарифи Sonnet 5.5 повністю збігаються з тарифами GPT-6 Sol: $2 за мільйон вхідних токенів і $10 за мільйон вихідних. Попри це, модель Anthropic не потрапляє на парето-фронт співвідношення інтелекту й вартості завдання. Причин декілька: у режимах з високим рівнем зусиль Sonnet 5.5 програє Opus 5.5; у нижчих режимах аналогічну якість забезпечують конфігурації GPT-6 Astra або Sol, і коштують вони дешевше. Найвигіднішим варіантом виявився режим high — за інтелектом він лише трохи відстає від GPT-6 Sol, а вартість завдання практично збігається.

Якщо ж дивитися на співвідношення інтелекту й кількості витрачених токенів, картина складається ще менш вигідна для Anthropic: режими low, medium і high у Sonnet 5.5 поступаються режимам high, xhigh і max у GPT-6 Sol, оскільки Sol видає вищу продуктивність, витрачаючи менше вихідних токенів. Тож для типових завдань, де важлива ціна й ефективність, Sonnet 5.5 не завжди є оптимальним вибором — її сила проявляється саме в агентних сценаріях, де модель реально дорівнює флагманським рішенням.

У чому Opus 5.5 усе ще випереджає новинку

Через менший розмір Sonnet 5.5 поступається Opus 5.5 у фактичних знаннях і науковому мисленні. У тесті AA-Omniscience точність фактичних відповідей становить 54% проти 66% в Opus 5.5. Втім, частка галюцинацій у Sonnet нижча — 47% проти 59%. У бенчмарках Humanity's Last Exam та SciCode нова модель відстає від Opus приблизно на 6 балів.

Технічні характеристики

  • Контекстне вікно: 1 млн токенів, підтримуються текст і зображення — так само, як у Sonnet 5
  • Тарифи: $2 / $10 за мільйон вхідних і вихідних токенів відповідно, запис у кеш — $2,5, читання з кешу — $0,2
  • Режими зусиль: п'ять варіантів — low, medium, high, xhigh, max; усі пройшли через індекс інтелекту з увімкненим резервним переходом за замовчуванням
  • Fallback: приблизно в 0,1% завдань індексу, переважно у Terminal-Bench 4.0, модель автоматично перемикалася на Sonnet 5

Застереження щодо результатів тестів

Для тестування використовували пре-релізну версію Sonnet 5.5, у якій Anthropic знайшла помилку: через неї відповіді на запити зі структурованим виводом могли погіршуватися. У публічній версії цей дефект вже виправлено, і компанія очікує, що фінальні результати або залишаться такими самими, або виявляться дещо заниженими порівняно з наведеними. Повне порівняння з іншими провідними моделями доступне на сторінці релізу Sonnet 5.5.

Раніше Anthropic також випустила набір шаблонів для створення торгових агентів на базі Claude.

Джерело: Highload.tech