Дослідники Корейського інституту передових технологій (KAIST) представили нову систему штучного інтелекту DLLM-VSR, здатну перетворювати рухи губ людини на текст. Технологія працює без використання мікрофона та аналізує виключно відеозапис обличчя. За результатами випробувань розробка перевершила інші моделі, які навчалися на аналогічному наборі даних.
Головна особливість системи полягає в незвичайному підході до розпізнавання мовлення. Замість того щоб послідовно визначати кожне слово, нейромережа спочатку знаходить найбільш зрозумілі фрагменти речення, а потім відновлює пропущені частини, враховуючи контекст.
Штучний інтелект навчили розуміти складні фрази
Читання по губах залишається складним завданням навіть для сучасних нейромереж. Причина полягає в тому, що різні звуки можуть супроводжуватися практично однаковими рухами губ. Через це системи нерідко плутають слова, особливо якщо не мають доступу до звукової доріжки.
Додайте GSMinfo до джерел у Google News Щоб бачити наші публікації у своїй стрічці новинРозробники DLLM-VSR використали метод, який дозволяє аналізувати контекст одночасно з початку та кінця фрази. Завдяки цьому алгоритм може точніше визначати слова, які неможливо однозначно розпізнати лише за рухами рота.
Для навчання моделі науковці використали 433 години відеозаписів із текстовими розшифровками. Під час тестування система продемонструвала рівень помилок розпізнавання слів 19,4%. Цей показник враховує неправильно визначені, пропущені та зайві слова, тому не означає, що нейромережа правильно розшифровує 80,6% усіх розмов.
Де використовуватимуть нову технологію
Одним із перспективних напрямків застосування DLLM-VSR є створення допоміжних пристроїв для людей із порушеннями слуху. Система потенційно дозволить перетворювати беззвучне мовлення співрозмовника на текст у ситуаціях, коли звичайні засоби комунікації не працюють.
Крім того, технологія може бути корисною на промислових підприємствах із високим рівнем шуму, де голосові команди складно розпізнати навіть за допомогою сучасних мікрофонів.
Проте до практичного впровадження ще далеко. Нинішня версія DLLM-VSR потребує значних обчислювальних ресурсів і поки не підходить для повноцінної роботи в реальному часі.
Наступним завданням дослідників стане оптимізація алгоритму для використання в компактних пристроях, зокрема носимій електроніці та робототехнічних системах.





