Москва, Санкт-Петербург
Офис, Гибридный
Команда: Рекламные технологии
Описание
Контент-система — инфраструктура, с помощью которой миллиарды баннеров подготавливаются для отбора в рекламном движке и последующего отображения. Статистика — это сервисы, предназначенные для сбора и агрегации статистики о взаимодействии миллионов пользователей с миллиардами баннеров. Обе системы работают с огромными потоками данных на тысячах серверов, используют BigRT-ядро с гарантиями exactly once. Статистика (Rtstat, RTABT) — витрина данных для рекламодателей, партнёров, инфраструктура для быстрых экспериментов и аналитиков. Контент-система (Цезарь, Плутониум) — строим инфру будущего для попадания баннеров в отбор через 30 минут после их создания. Для обоих проектов характерны большие нагрузки: обрабатываем потоки, измеримые в гигабайтах в секунду, и сообщения — в миллионах в секунду. Наш стек: Основной код на C++ Python для инфраструктуры и инструментов YT для хранения и MapReduce-обработки BigRT для потоковой обработки данных
Какие задачи вас ждут
Развитие и поддержка платформы потоковой обработки данных И в статистике, и в контент-системе используются BigRT и YT для потоковой обработки событий и для хранения полученных результатов. Системы обрабатывают гигабайты данных и миллионы сообщений каждую секунду. Это довольно много — соответственно, у нас есть задачи по оптимизации железных ресурсов, потребляемых системами. Также у нас есть много задач по переводу старых процессов на новую архитектуру: почти всё созданное на MapReduce мы переводим на BigRT. Тестирование, приёмка и эксплуатация наших систем У нас инфраструктурные команды, и все изменения мы проверяем и релизим самостоятельно. Это стимулирует нас улучшать релизные и приёмочные процессы. А ещё мы постоянно инвестируем время в повышение стабильности наших систем.
Мы ждём, что вы
Хорошо знаете C++ и STL Знаете классические алгоритмы и структуры данных Имеете опыт промышленной разработки Понимаете ключевые аспекты построения распределённых систем Знакомы с Linux