Ендрю Хо, що колись працював в OpenAI, стверджує: великі мовні моделі досі не вміють по-справжньому узагальнювати знання. Навіть у програмуванні, де здавалося б моделі мають почуватися впевнено, результати залишаються нестабільними.

На думку Хо, справа не у браку обчислювальних ресурсів, а у якості тренувальних даних — саме цього не вистачає, щоб наступне поління LLM показало відчутний стрибок продуктивності. За його прогнозом, у найближчі роки лабораторії штучного інтелекту витратять понад $100 млрд додатково лише на пошук та збір даних. Про це повідомляє The Decoder.

Хо також не вірить у справедливість надзвичайно високих оцінок вартості таких лідерів галузі, як OpenAI чи Anthropic. Причина — хронічна збитковість цих компаній: вони мусять вкладати дедалі більші суми у розробку нових моделей, аби залишатися попереду дешевших конкурентів, зокрема Qwen та Kimi.

Моделі звужуються до нішевих спеціалізацій

Погляд Хо поділяє дослідник Кембриджського університету Адам Хант, який зізнається, що з часом переоцінив своє ставлення до LLM — від оптимізму перейшов до дедалі більшого скепсису. Його теза проста: сучасні моделі не рухаються у бік універсальності, а навпаки — стають усе вужче спеціалізованими.

За словами Ханта, здатність вирішувати складні математичні задачі та писати код у моделей постійно зростає, натомість якість мовлення та проста логіка залишаються на місці або навіть деградують. Це підтверджує спостереження Хо про непослідовну продуктивність систем.

Пояснення Хант бачить у тому, що навчання з підкріпленням дає хороший результат саме там, де існують зрозумілі сигнали винагороди й повноцінні дані для тренування — наприклад у програмуванні. В інших галузях подібних масивів даних просто немає.

Ранні успіхи великих мовних моделей та враження, що вони здатні узагальнювати знання завдяки самому масштабу й механізмам міркування, найімовірніше, були лише побічним наслідком навчання на величезному текстовому корпусі — а не доказом справжнього розуміння.

Чи здатні LLM насправді узагальнювати

Дискусія навколо теми знову і знову зводиться до одного: можуть ЛLM виробляти нові здібності, які виходять за рамки простого відтворення й перестановки тренувальних даних, особливо у випадках, де результат неможливо автоматично перевірити. Наукова спільнота досі не має остаточної відповіді.

Сам Хант оцінює власну впевненість у своїй тезі приблизно на рівні 40% і не виключає, що технологічний прогрес може довести його неправоту — наприклад, якщо вузькоспеціалізовані LLM вдасться поєднати у систему, що наближатиметься до загального інтелекту.

У своїй недавній статті під назвою «LLMs can't jump» дослідник Google DeepMind Том Захаві пропонує структурне пояснення нерівномірної роботи моделей: вони добре справляються з дедукцією та індукцією, але не здатні до творчої абдукції — тобто не можуть вигадати причину явища, для якого ще немає мовного прецеденту.

Як можливий вихід Захаві пропонує керовані світові моделі (world models), які дозволяють проводити контрфактичні експерименти. За його словами, LLM усе ще можуть відігравати важливу роль у складніших системах такого типу, навіть якщо самі по собі вони наштовхуються на власні обмеження.

Раніше стало відомо, що OpenAI надасть 100 000 науковцям безкоштовний доступ до GPT-5.6 Sol Pro.

Джерело: Highload.tech