Фінтех-компанія Revolut, одним із засновників якої є українець Влад Яценко, менш ніж за рік зменшила витрати на ШІ-інструменти для програмування приблизно на 90%. Компанія відмовилася від комерційних сервісів штибу Claude Code на користь моделі з відкритими вагами, розгорнутої на власній інфраструктурі. Про це повідомляє The Register.

Власний GLM-5.3 замість хмарних сервісів

Подробиці на конференції AI Engineer у Нью-Йорку розкрив Девід Абітболь, керівник операцій та інфраструктури Revolut. За його словами, після впровадження локальних ШІ-інструментів для приблизно 2000 програмістів час написання коду скоротився на 60%, а lead time — проміжок від появи ідеї до готового результату — покращився на 70%.

Спочатку команда обрала модель GLM-5.1, а згодом перейшла на GLM-5.3. Наразі вона працює на 56 відеокартах Nvidia B200 — це еквівалент семи систем DGX B200, кожна з яких містить по вісім чипів. Саму модель розробила китайська компанія Z.ai.

Чому в Revolut відмовилися від Claude Code та Codex

До переходу на GLM Revolut уже тестувала інші рішення: на початку 2025 року запустила Gemini, а на початку 2026-го — Claude Code. Проблемою стала вартість.

Ми дуже скептично ставилися до вартості ШІ. Ми бачили, як інженери витрачають по $1000, по $10 000 на місяць, а віддача невелика, тому запускали все з жорсткими бюджетними лімітами.

Девід Абітболь, керівник операцій та інфраструктури Revolut

Через обмеження розробники мали доступ лише до фіксованої кількості токенів, тож у компанії вирішили розглянути варіант із власним хостингом. Використання GLM-5.1 коштувало приблизно $0,30 за мільйон вхідних і вихідних токенів — приблизно вдесятеро дешевше, ніж OpenAI Codex чи Anthropic Claude Code. А коли ціна токена падає, думати про їхню кількість більше не доводиться.

Де насправді ховався виграш у продуктивності

Найбільший приріст продуктивності дало не пришвидшення самого кодингу — це, за словами Абітболя, виявилося несподіваним. Вузьким місцем була не генерація коду як така. Найбільше часу вдалося зекономити, доручивши моделям налагодження помилок та обробку завдань у Jira і Confluence.

Коли токени необмежені, ви вільні це робити. Вам більше не треба берегти токени до кінця кварталу або для найскладнішого завдання.

Девід Абітболь

Скільки заліза потребує GLM і як Revolut прискорила інференс

GLM — модель чималого масштабу: близько 754 мільярдів параметрів загалом, із яких для генерації кожного токена активується 40 мільярдів. Самі лише ваги потребують приблизно 380 ГБ відеопам'яті, а підтримка контексту додає ще 6–26 ГБ на одного користувача залежно від обраної точності обчислень.

Утім, головний приріст швидкості забезпечило не нарощування кількості GPU. У Revolut налаштували гіперпараметри моделі, перейшли на квантизацію NVFP4, впровадили розділення етапів префілу та декоду (disaggregated prefill and decode) і підібрали оптимальну довжину контекстного вікна.

Чому мільйон токенів контексту — це пастка

Один із висновків команди: можливість підтримувати контекст у мільйон токенів не означає, що це реально корисно чи ефективно.

Довгий контекст — це пастка. Про це треба пам'ятати. Можна обслуговувати і мільйон токенів, але насправді вам потрібно 256 тисяч.

Девід Абітболь

При цьому GLM не витіснив повністю ні GPT, ні Claude. Китайська модель працює лише з текстом, тож не годиться, наприклад, для задач, пов'язаних з інтерфейсами. Тому в Revolut використовують маршрутизатор моделей: візуальні запити спрямовуються до Gemini або GPT Luna, а генерація коду залишається за GLM.

Open source тепер пріоритет у Revolut, а економіка на нашому боці. Оплата фіксована, у кінці місяця немає шоку від рахунків, а фронтирні моделі стали винятком.

Девід Абітболь

Абітболь визнає, що китайські моделі з відкритими вагами можуть викликати занепокоєння щодо приватності та безпеки. Проте головна небезпека, на його думку, пов'язана саме з доступом до них через API, розташовані в Китаї. Якщо ж запускати модель локально або в регіональній хмарі, підстав для турботи, за його словами, немає.

Раніше ми писали, що мільярдний стартап з українським корінням Revolut планує перевести 40% персоналу в Індію.

Джерело: Highload.tech