Команда Xiaomi представила Xiaomi-CocktailASR-1 — новую систему автоматического распознавания речи, разработанную для решения так называемой «проблемы коктейльной вечеринки». Так называют ситуацию, когда одновременно говорят несколько человек, а системе нужно услышать только одного конкретного собеседника.
В отличие от обычного распознавания речи, новинка Xiaomi не пытается просто преобразовать в текст всё, что попадает в микрофон. Пользователь сначала предоставляет системе короткий образец голоса нужного человека, после чего ИИ ищет именно её голос в общем аудиопотоке.
Достаточно от одной до четырёх секунд
Для создания своеобразного голосового «отпечатка» Xiaomi-CocktailASR-1 использует запись продолжительностью от одной до четырёх секунд.
После этого модель получает одновременно образец голоса и запись разговора. Встроенный аудиокодер анализирует характеристики речи, а речевая модель на базе Qwen3-8B определяет, какие именно слова принадлежат нужному человеку.
При этом предварительно разделять аудио на отдельные голосовые дорожки не требуется. Система выполняет весь процесс в рамках одной модели.
Особенно интересно, что ИИ научили распознавать ситуации, когда нужного человека вообще нет в записи. В таком случае Xiaomi-CocktailASR-1 может не пытаться расшифровать чужие слова, а возвращать пустой результат. Это должно уменьшить количество ложных срабатываний голосовых помощников.
Результаты оказались значительно лучше, чем у обычных моделей
Xiaomi проверила систему как на синтетических записях, так и на реальных записях встреч с фоновым шумом, эхом и одновременными разговорами.
В китайском тесте AliMeeting-Far показатель ошибок составил 20,63 %. Для сравнения: Qwen3-ASR-1.7B показал 39,64%, Gemini 2.5 Pro — 56,75%, а предыдущий специализированный результат MC-TS-ASR составил 27,5%.
В англоязычном тесте AMI-SDM результат Xiaomi составил 21,81 %, практически сравнявшись и немного опередив предыдущее лучшее решение SQ-Whisper с результатом 22 %.
Для обучения использовался очень большой массив аудиозаписей: около 400 тысяч часов записей с несколькими собеседниками, 600 тысяч часов речи одного человека и ещё примерно 10 тысяч часов примеров, в которых нужный голос отсутствовал.
Практических сценариев применения этой технологии немало. Она может использоваться в смартфонах, наушниках, умных колонках, системах стенографирования встреч или автомобильных голосовых помощниках. Например, устройство сможет реагировать именно на голос владельца, даже когда рядом одновременно разговаривают другие люди.
Технический отчет по Xiaomi-CocktailASR-1 был опубликован 10 сентября 2026 года на arXiv. Пока что результаты следует рассматривать именно как данные разработчиков: независимого масштабного тестирования модели пока не проводилось.
