Компанія ByteDance, відома передусім як власник TikTok, будує штучний інтелект власними силами, не покладаючись на дистиляцію готових рішень конкурентів — практику, яку часто застосовують інші гравці ринку. Reuters повідомляє, що інженери компанії розробляють велику мовну модель обсягом у 10 трильйонів параметрів. Якщо проєкт вдасться реалізувати, ByteDance зможе впритул наблизитися до найсильніших моделей родини Claude.

За інформацією джерела, Anthropic офіційно не публікує технічні характеристики своїх моделей, проте, за неофіційними оцінками, флагманська Claude Mythos 5 налічує близько 8 трильйонів параметрів, а простіша Fable 5 — приблизно 5 трильйонів. Водночас кількість параметрів лише вказує на обсяг інформації, яку модель може «утримувати», але не є прямим показником якості чи швидкості роботи — тут вирішальними факторами лишаються методики навчання та якість датасетів. Для порівняння, китайська Kimi 3 від компанії Moonshot має трохи менше за 3 трильйони параметрів, хоча ще нещодавно саме вона вважалася найбільшою розробкою в Китаї.

Терміни розробки

Джерела, обізнані із ситуацією, кажуть, що наразі команда ByteDance проходить етап претренінгу — попереднього навчання моделі, який зазвичай триває від трьох до шести місяців. Реліз стане можливим лише після завершення фінального доналаштування.

Над проєктом працює масштабна команда чисельністю близько 2000 фахівців, розкиданих як усередині Китаю, так і за його кордонами. До процесу залучені програмісти, дослідники, спеціалісти з розмітки даних і перекладачі, які разом працюють над створенням якісної моделі.

Засновник ByteDance Чжан Іміньг постійно наголошує підлеглим, що тимчасове відставання від конкурентів не критичне, адже головна мета — довгострокова перспектива створення потужного власного ШІ. У компанії розраховують, що ця модель дозволить не лише конкурувати з провідними західними розробками, а згодом і перевершити їх.

Нагадаємо, кілька тижнів тому ByteDance представила відеомодель Seedance 2.5, здатну генерувати 30-секундні ролики у роздільній здатності 4K.

Джерело: Highload.tech