Група українських дослідників-волонтерів під назвою LapaLLM продовжує адаптувати великі мовні моделі до потреб української мови. Про поточні напрацювання, труднощі та пріоритети розвитку такою в галузі обробки природної мови розповів керівник ініціативи Юрій Панів, аспірант Українського католицького університету, в інтерв'ю виданню dou.

Що вже зроблено

До проєкту LapaLLM, який тримається виключно на волонтерських засадах, зараз долучені 13 фахівців. Команда вже завершила додаткове тренування моделі на 12 мільярдів параметрів, побудованої на архітектурі Gemma, з прицілом на українську мову. Наступний крок — випробування значно більшої моделі Mistral Small, яка має 120 мільярдів параметрів і побудована за принципом Mixture of Experts.

Для експериментів з такою масштабною моделлю дослідники здобули доступ до суперкомп'ютера JUPITER у рамках європейської програми EuroHPC. Йдеться про 5000 нод-годин на вузлах, оснащених чотирма відеокартами GH200 кожен.

Серед вагомих досягнень команди — відкритий лідерборд, що дозволяє оцінювати якість роботи мовних моделей саме з українською мовою. Крім того, дослідники опублікували переважну частину тренувальних датасетів і програмного коду, завдяки чому інші фахівці можуть відтворити результати та будувати на їхній основі власні напрацювання.

Наразі в лідерборді немає закритих комерційних моделей, зокрема продуктів Anthropic. Причина проста — дороге тестування: один повний прогін через API коштує від 400 до 500 доларів. Команда обіцяє додати більше моделей, включно з тими, що мають до трьох трильйонів параметрів, щойно отримає грантове фінансування.

Навіщо Україні власні мовні моделі

Панів пояснює, що потреба в якісних українськомовних рішеннях складається з кількох аспектів. Перший — якість роботи: популярні міжнародні моделі часто гірше впораються з українською, ніж з англійською, через кальковані терміни та слабке розуміння контексту. Другий — приватність: локальне розгортання моделей у закритому середовищі критично важливе для роботи з чутливими даними в державному секторі, бізнесі та обороні. Третій — розбудова власної національної експертизи в обробці природної мови.

Серед моделей з кількістю параметрів до 30 мільярдів найкращі показники з українською мовою, за вимірюваннями LapaLLM, демонструє Gemma 4. Таку перевагу пояснюють мультилінгвальним фокусом розробника та розширеним словником токенізатора, який охоплює приблизно 200 тисяч токенів.

Погляд на державні проєкти

Коментуючи державний проєкт «Сяйво», який реалізують Міністерство цифрової трансформації та «Київстар», Панів зазначив, що Мінцифри виступає замовником і одночасно опрацьовує законодавче регулювання авторських прав на дані. Серед технічних результатів відомства — ШІ-асистент у застосунку «Дія» та інструменти автоматичного маскування персональних даних.

Разом з тим керівник LapaLLM звертає увагу на те, що розробка «Сяйва» триває вже приблизно півтора року, а строки релізу неодноразово переносили. На його думку, ефективнішим був би шлях створення вузьких спеціалізованих рішень під конкретні задачі, наприклад RAG-систем, з подальшим демонструванням вимірюваних результатів.

Куди рухається галузь

Оцінюючи ринок великих мовних моделей загалом, Панів припускає, що в середньостроковій перспективі можливе «лускання бульбашки», якщо не відбудеться суттєвого технологічного прориву. Ознаки напруги вже помітні: цього року навесні провайдери підвищували ціни на API та скорочували ліміти використання.

Попри це попит на спеціалістів з навчання й адаптації мовних моделей нікуди не зникне, оскільки залишаються нерозв'язані задачі в робототехніці, автономних системах та інших напрямах.

Для України пріоритетом лишається розвиток власної експертизи. Панів закликає дослідників і розробників не боятися самостійно експериментувати з тренуванням моделей, бо саме практичний досвід дає глибше розуміння того, як вони працюють і де їхні межі.

Видання GALERANEWS підсумовує: проєкт LapaLLM показує, що навіть з обмеженими ресурсами українська спільнота здатна створювати конкурентоспроможні інструменти для роботи з рідною мовою та робити їх відкритими для подальшого розвитку.

Джерело: Galera News