Data Engineer / Рекомендации

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Рекомендации - команда занимается построением платформой данных для обеспечения стабильной работы ML специалистов и продуктовых аналитиков для отдела разработки рекомендательных систем. В наши задачи входят задачи как забора данных так и развитие хранилищ для работы с ними. Наш стек: Greenplum, Hadoop/HDFS, Apache Iceberg, Trino, Airflow, Kafka, Spark, ClickHouse.

Поддерживать пайплайны на Greenplum;

сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом;

заниматься интеграциями новых источников;

подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts.

Взаимодействие с владельцами источников на уровне технических требований;

участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage.

Владеете опытом с Airflow как оркестратором;

имеете работы с Hadoop (Spark/Yarn/Hdfs);

имеете работы c Greenplum или другими MPP-системами;

работали с Trino как query engine.

Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.