Аналитик в отдел аналитики и метрик Поиска

Привет! Меня зовут Кирилл, я руковожу группой аналитики качества ответов в Поиске. Наша команда занимается разработкой и анализом сигнала, который помогает оценивать качество ответов Поиска, в том числе генеративных, привносить в него новые полезные свойства, задавать вектор его развития и непосредственно влиять на работу этого сервиса, которым ежедневно пользуются миллионы людей. У нас сильная, целеустремлённая и дружная команда. Будем рады новым коллегам — присоединяйтесь!

Поиск с Алисой — один из крупнейших технологических продуктов Яндекса, которым ежемесячно пользуются более 110 миллионов человек. В нашей команде создаются метрики, определяющие развитие всего Поиска: мы решаем исследовательские задачи, разрабатываем собственные подходы к анализу качества и активно используем современные ИИ-инструменты, включая LLM-агентов, чтобы быстрее находить инсайты и улучшать продукт. Мы тратим значительные ресурсы на получение качественных размеченных данных — основы для всех наших ML-моделей. На это уходит очень много денег и очень много времени. Наша команда реализовывает смелый проект по оптимизации этих расходов, заменяет ручную разметку автоматической с помощью актуальных ML-моделей. Мы стремимся значительно сократить затраты на ручную разметку данных и оставить профессиональных асессоров только для сложных случаев, которые требуют особого внимания. Считаем, что за счёт этого нового вектора развития мы сможем добиться прорыва в сокращении денежных затрат, ускорении всех наших ML-процессов и в повышении итогового качества продукта!

Разработка критериев внедрения ML-разметки Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели. Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта. Улучшение качества разметки ответов Поиска с помощью ML-разметки Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев. Больше об аналитике в Яндексе — в канале Yandex for Analytics

Обладаете аналитическим складом ума и опытом работы с данными Хорошо знаете Python и SQL для анализа и обработки данных Понимаете принципы работы современных языковых моделей (LLM) Умеете оценивать качество моделей машинного обучения и интерпретировать метрики Способны ясно формулировать требования к инструментам и системам Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег

Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами Участвовали в разработке или настройке языковых моделей Знакомы с промпт-инжинирингом для генеративных моделей Работали в проектах по оптимизации процессов или сокращению расходов Понимаете специфику разметки данных для поисковых систем