Команда Xiaomi представила Xiaomi-CocktailASR-1 — нову систему автоматичного розпізнавання мовлення, створену для так званої «проблеми коктейльної вечірки». Так називають ситуацію, коли одночасно говорять кілька людей, а системі потрібно почути лише одного конкретного співрозмовника.
На відміну від звичайного розпізнавання мовлення, новинка Xiaomi не намагається просто перетворити на текст усе, що потрапило в мікрофон. Користувач спочатку дає системі короткий зразок голосу потрібної людини, після чого ШІ шукає саме її голос у загальному аудіопотоці.
Достатньо від однієї до чотирьох секунд
Для створення своєрідного голосового «відбитка» Xiaomi-CocktailASR-1 використовує запис тривалістю від однієї до чотирьох секунд.
Після цього модель отримує одночасно зразок голосу та запис розмови. Вбудований аудіокодер аналізує характеристики мовлення, а мовна модель на базі Qwen3-8B визначає, які саме слова належать потрібній людині.
При цьому попередньо розділяти аудіо на окремі голосові доріжки не потрібно. Система виконує весь процес у межах однієї моделі.
Особливо цікаво, що ШІ навчили розуміти ситуації, коли потрібної людини взагалі немає в записі. У такому випадку Xiaomi-CocktailASR-1 може не намагатися розшифрувати чужі слова, а повернути порожній результат. Це має зменшити кількість помилкових спрацьовувань голосових асистентів.
Результати виявилися значно кращими за звичайні моделі
Xiaomi перевірила систему як на синтетичних записах, так і на реальних записах зустрічей із фоновим шумом, луною та одночасними розмовами.
У китайському тесті AliMeeting-Far показник помилок становив 20,63%. Для порівняння, Qwen3-ASR-1.7B отримав 39,64%, Gemini 2.5 Pro — 56,75%, а попередній спеціалізований результат MC-TS-ASR становив 27,5%.
На англомовному AMI-SDM результат Xiaomi склав 21,81%, практично зрівнявшись і трохи випередивши попереднє найкраще рішення SQ-Whisper із 22%.
Для навчання використовувався дуже великий масив аудіо: близько 400 тисяч годин записів із кількома співрозмовниками, 600 тисяч годин мовлення однієї людини та ще приблизно 10 тисяч годин прикладів, де потрібний голос був відсутній.
Практичних сценаріїв для такої технології чимало. Вона може використовуватися у смартфонах, навушниках, розумних колонках, системах стенографування зустрічей або автомобільних голосових асистентах. Наприклад, пристрій зможе реагувати саме на голос власника, навіть коли поруч одночасно розмовляють інші люди.
Технічний звіт Xiaomi-CocktailASR-1 був опублікований 10 вересня 2026 року на arXiv. Поки результати варто розглядати саме як дані розробників: незалежного масштабного тестування моделі ще немає.
