Команда: Автономный транспорт
Описание
Мы создаём нейросетевой мозг для гуманоидных роботов: разрабатываем модели для манипуляций предметами, навигации и интегрируем их в единую интеллектуальную систему. Проект сфокусирован на применении современных методов глубокого обучения для решения актуальных задач робототехники. Это отличная возможность работать с передовыми ML-технологиями и видеть результат своих моделей в реальном мире.
Какие задачи вас ждут
Тестирование и совершенствование моделей в симуляции Вам предстоит настраивать и использовать современные симуляторы для тестирования и совершенствования моделей управления. Ваша задача — выстраивать процессы работы с виртуальными средами, автоматизировать эксперименты, совершенствовать навыки моделей и добиваться стабильного и эффективного поведения робота в симуляции. Обучение трансформерных и диффузионных моделей (VLM/VLA) Вы будете работать с современными архитектурами, включая Vision-Language-, Vision-Language-Action-модели и диффузионные политики. Кроме того, вам предстоит настраивать пайплайны обучения, проводить эксперименты, улучшать качество предсказаний и устойчивость поведения. Разработка и обучение моделей для манипуляции и навигации Вам нужно будет обучать модели, отвечающие за управление манипуляторами и перемещение робота в пространстве. Для этого понадобится формировать датасеты, экспериментировать с архитектурами и оптимизировать поведение робота под реальные сценарии. Больше об ML в Яндексе — в канале Yandex for ML
Мы ждём, что вы
Работали с проектами в области Computer Vision, NLP, RL Глубоко понимаете методы машинного обучения, особенно нейросети Знаете, как работать с трансформерами и диффузионными моделями Отлично умеете программировать на Python Увлечены робототехникой
Будет плюсом, если вы
Работали с симуляторами, в том числе с реалистичной графикой, сложной физикой и моделированием окружающей сцены Понимаете SOTA-архитектуру VLA-моделей либо диффузионных генераторов Умеете программировать на С++ Умеете работать с мультимодальными дата-пайплайнами