Розробник з Одеси, відомий на GitHub під ніком slvDev, реалізував велику мовну модель прямо на мікроконтролері ESP32-S3 вартістю менше $10. Проєкт отримав назву ESP32-AI, а деталі про нього наводить highload.tech.

Що під капотом

У моделі 28,9 мільйона параметрів. Плата має вкрай скромні ресурси — лише 512 КБ оперативної SRAM, 8 МБ додаткової PSRAM та 16 МБ флеш-пам'яті, тож автору довелося застосувати агресивне 4-бітне квантування. Завдяки цьому модель стиснулася до 14,9 МБ і повністю вміщується у вбудованій флеш-пам'яті контролера.

Головним технічним ходом стала адаптація методу Per-Layer Embeddings (PLE), який раніше розробила Google. Автор проєкту стверджує, що це перший відомий випадок використання цієї техніки на настільки обмеженому апаратному забезпеченні. До цього мовні моделі на мікроконтролерах не перевищували приблизно 260 тисяч параметрів, тож новий результат перевершує попередній рекорд більш ніж у сто разів.

Наскільки швидко це працює

За тестами, модель генерує текст зі швидкістю близько 9,88 токена за секунду — це швидше, ніж середня людина читає. Усі обчислення відбуваються локально, безпосередньо на платі, без жодного звернення до хмарних сервісів.

Базову модель навчили на наборі даних TinyStories від Microsoft, і вона вміє складати короткі зв'язні історії. Окремо автор створив модель Barista, вузькоспеціалізовану на темі еспресо-кави, яка працює приблизно вдвічі швидше за основну.

Відкритий код і популярність проєкту

Репозиторій проєкту на GitHub уже зібрав понад 3,5 тисячі зірок і 440 форків. У відкритому доступі опубліковано весь код прошивки, скрипти навчання моделі, конвеєр квантування, схему підключення та результати експериментів.

Що модель не вміє

Попри технічну складність реалізації, у практичному застосуванні є суттєві межі. Модель не годиться для повноцінних чат-ботів, написання коду чи створення автономних ІІ-агентів — її можливості обмежені генерацією простих історій та відповідями на запитання у вузькій темі.

Видання GALERANEWS зауважує, що запуск повноцінної мовної моделі на платі дешевше за $10 показує суттєвий прогрес у стисненні моделей штучного інтелекту та відкриває шлях до використання флеш-пам'яті як багаторівневого сховища для подібних систем.

Джерело: Galera News