ML будни

Навалите лукасов!

Так и родился AADD. В работе я объединила идеи из девяти исследований и сделала открытый инструмент, который умеет определять сразу несколько типов деградаций и находить участки аудио, на которых они возникают.

Немного о том, что получилось:

- 12 типов деградаций: шум, музыка, реверберация, клиппинг, проблемы с кодеками, потеря пакетов, частотные искажения и другие. Модель выдаёт предсказания каждые 20 мс, причём на одном участке может находиться сразу несколько искажений. Работает с русской и английской речью.
- Архитектура: в основе Whisper-small.
- Результаты: на отложенной синтетике frame macro-AP составляет 0.955 для английского и 0.960 для русского. На независимых публичных данных ROC-AUC для обнаружения шума и реверберации достигает 0.99–1.00. При этом ни один из 824 чистых файлов VoiceBank модель не пометила как испорченный.
- Опенсорс: код, веса и генератор данных выложены под MIT. Есть CLI, Python API и интерактивные HTML-отчёты, в которых можно посмотреть, какие именно проблемы модель обнаружила в записи и где они находятся.

Особенно мне нравится пример с шумоподавлением. После обработки аудио ClearVoice оценка MOS выросла, то есть с точки зрения общего качества запись стала лучше. Но AADD показала, что реверберация никуда не делась, а вдобавок появились артефакты кодека. Получается, что по одной метрике мы видим улучшение, но не замечаем, что часть проблем осталась, а какие-то даже добавились.

Конечно, есть и ограничения. Основные результаты для всех 12 типов искажений получены на синтетических данных. На реальном аудио независимая проверка пока в основном касается шума и реверберации. Поэтому говорить, что модель одинаково хорошо справляется со всеми деградациями в любых условиях, пока рано.

Вместо одной оценки качества теперь можно получить более подробную картину: что именно не так с записью, где возникли проблемы и что изменилось после обработки. И при этом всё доступно в опенсорсе, воспроизводимо и достаточно быстро работает даже на CPU.

NeurIPS близко

Пишите если увидели пасхалку посмотрим сколько нас