Главный DevOps-инженер Hadoop

Show

Область и стек: Devops

Должность: Главный DevOps-инженер Hadoop

Компания: Альфа банк

Зарплатная вилка: 150-300к

Формат работы: Удаленка

Страна работы: РФ

Чем предстоит заниматься:

* Администрирование и развитие Hadoop-кластера: HDFS, YARN, Hive, Spark.
* Обеспечение отказоустойчивости и доступности сервисов.
* Мониторинг, алертинг и анализ инцидентов.
* Оптимизация производительности кластера и сервисов.
* Автоматизация рутинных операций: Ansible, скрипты.
* Взаимодействие с командами разработки и аналитики.
* Ведение документации: runbooks, инструкции.

Наши пожелания к кандидатам:

* Опыт администрирования Linux: systemd, сети, диски, RAID/LVM.
* Практический опыт работы с Hadoop: HDFS, YARN, Hive, Spark.
* Понимание HA: Active/Standby, Zookeeper quorum.
* Опыт настройки Kerberos и TLS.
* Навыки диагностики: top, iostat, vmstat, tcpdump.
* Опыт работы с мониторингом: Prometheus/Grafana или аналоги.
* Bash/Python, Ansible.
* Опыт работы с S3-совместимыми хранилищами: MinIO, AWS S3.
* Интеграция Hadoop/Spark с S3: s3a.
* Понимание отличий HDFS и Object Storage.
* Оптимизация работы с S3: multipart upload, tuning.

Будет плюсом:

* Опыт работы с Apache Ranger.
* Опыт работы с Hive Metastore: PostgreSQL/MySQL.
* Опыт работы с Cloudera Manager.
* Опыт performance tuning и capacity planning.
* Опыт CI/CD: GitLab CI, Jenkins.
* Опыт DR и резервного копирования.
* Знание Docker/Kubernetes.

Откликнуться на вакансию