ML-разработчик в команду голосовой активации Алисы

Привет! Наша команда занимается задачей нахождения активационной фразы («Алиса»/«Яндекс») в потоке речи. Для этого мы обучаем маленькие нейронные сети (порядка 1 млн параметров) и оптимизируем их для работы на embedded-устройствах. В рамках этой задачи мы недавно запустились даже в наушниках . Но одной активацией по имени мы не ограничиваемся. Мы делаем Алису умнее и учим её понимать, когда к ней обращаются, даже не называя по имени, — например, запустили быстрые команды . Параллельно тренируем большие модели размером в сотни миллионов параметров, чтобы улучшать модели на устройствах, и решаем задачу выбора правильной колонки , когда в доме их несколько и активируются сразу все.

Мы ищем DL-разработчика, который уже работал с аудио или готов погрузиться в эту тему, чтобы вместе исследовать базовое качество наших моделей. Цель — сделать Алису умнее и естественнее за счёт голосовой активации, чтобы голосовое взаимодействие было максимально человечным и бесшовным. Благодаря большому количеству GPU и CPU мы можем проводить масштабные эксперименты, чтобы добиваться максимального качества распознавания. У вас будет возможность влиять на продукт с многомиллионной аудиторией.

Улучшение качества текущих моделей голосовой активации Вы будете работать над задачами по улучшению текущих моделей голосовой активации, чтобы они пропускали всё меньше ключевых фраз и не активировались, когда этого не требуется. Для этого нужно будет проверять и внедрять разработки из актуальных научных статей, а также придумывать собственные подходы. Оптимизация моделей для работы на embedded-устройствах Чтобы модель могла быстро работать на пользовательском устройстве, она должна быть достаточно маленькой и оптимизированной. Оптимизации могут касаться нетривиальных методов обучения и инференса. Создание моделей для новых устройств и обучение их новым языкам и фразам Помимо улучшения уже существующих моделей и устройств, мы активно развиваем новые сценарии голосовой активации: создаём модели для новых устройств и адаптируем пайплайны под новые языки. Вам предстоит заниматься внедрением таких решений целиком — от идеи до продукта. Больше об ML в Яндексе — в канале Yandex for ML

Работали с DL (например, связанным с CV или NLP) Умеете писать на Python и C++ Знаете PyTorch Владеете английским на уровне, необходимом для чтения научных статей

Знаете инфраструктуру Яндекса: YT, YQL, Valhalla, Нирвана Работали со звуком