Система машинного навчання, навчена на мільйонах записів кашлю людини, вже визначає туберкульоз і COVID.
Дослідницька група під керівництвом вчених з Google розробила інструмент машинного навчання, який допомагає виявляти і контролювати стан здоров’я, оцінюючи такі шуми, як кашель і дихання. Система Health Acoustic Representations (HeAR), навчена на мільйонах аудіозаписів людських звуків, якщо підтвердить ефективність, допоможе лікарями для діагностики захворювань і оцінки роботи легенів пацієнта.
Це не перша система, що використовує звуки як біомаркери, але HeAR вирізняє кількість аудіозаписів, використаних для навчання, а також вибір хвороб, які вона може виявляти.
У традиційному підході для навчання ШІ використовують попередньо розмічені аудіозаписи – наприклад, кашель пацієнта з діагнозом бронхіт або туберкульоз. Натомість дослідники Google використовували навчання із самоконтролем, яке спирається на нерозмічені дані. За допомогою автоматизованого процесу вони витягли з відео на YouTube понад 300 млн коротких фрагментів кашлю, дихання, покашлювання та інших звуків.
Для кожного кліпу звук візуалізували у вигляді спектрограми. Блокуючи частини таких картинок, дослідники навчали ШІ передбачати відсутні сегменти. Це схоже на те, як якщо б LLM для ChatGPT вчили передбачати наступне слово в реченні після навчання на безлічі прикладів тексту.
Навченій таким чином мережі була потрібна невелика кількість спеціально розмічених даних, щоб розпізнавати звуки хвороб. Дослідники протестували роботу системи для діагностики коронавірусної інфекції, туберкульозу та визначення, чи курить пацієнт. У всіх тестах HeAR продемонстрував вищу точність роботи, ніж наявні інструменти аналізу звуків.
Розробники поки що не планують робити програму комерційною. Вона буде доступна для зацікавлених дослідників. У перспективі неівазивна діагностика на основі кашлю та інших звуків може допомогти лікарями, особливо в умовах обмежених ресурсів.
