Дата-инженер

Show

Область и стек: Big Data/Data Engineering

Должность: Дата-инженер

Зарплатная вилка: 150к-300к

Формат работы: Удаленка

Страна работы: РФ

Чем предстоит заниматься:

- Подготовка данных для валидации:
сбор выборок, целевых переменных (таргетов) и признаков из распределённых хранилищ данных;
- формирование и проверка SAMPLE, TARGET, FEATURES-наборов
проверка качества данных: дубликаты, пропуски, выбросы, смещение распределений;
- анализ датасетов на соответствие техническим и бизнес-требованиям.
- поддержка валидационных проектов:
- участие в валидации моделей разных продуктов (CLTV, Antifraud, CC, Corp MMB и др.);
- поддержка различных веток валидации (с разной логикой сбора данных и таргетов).

Наши пожелания к кандидатам:

- Опыт работы с SQL / Impala (написание сложных запросов, оптимизация);
- Опыт работы с Hadoop / Spark (работа с большими объёмами данных);
- Знание базовых статистических метрик для моделей (KS, PSI, GINI, AUC, IV);
- Опыт обработки и подготовки данных: pandas, PySpark;
- Опыт работы с Jupyter Notebook;
- Базовое понимание ML-моделей (классификация, регрессия, калибровка);
- Готовность работать с регуляторной документацией.

Откликнуться на вакансию