Engenheiro(a) de Dados

Engenheiro(a) de Dados Senior/Especialista

Sua missão:
Sua missão será liderar a construção da espinha dorsal de dados da nossa empresa. Você será a força motriz por trás da criação de uma infraestrutura de dados escalável e de alta performance, capacitando nossas equipes de análise, ciência de dados e produto a transformar dados brutos em inteligência de negócio e decisões estratégicas. Esperamos que você não apenas construa pipelines, mas que estabeleça novos padrões de excelência técnica, mentore outros engenheiros e garanta que nossos ativos de dados sejam a base para o crescimento e a inovação da companhia.

Responsabilidades:
● Liderança em Arquitetura: Liderar o design e a implementação da nossa arquitetura de dados em ambientes de nuvem (AWS, GCP ou Azure), tomando decisões técnicas que garantirão a escalabilidade e a eficiência futuras.
● Construção de Pipelines Críticos: Desenvolver, otimizar e ser o guardião de pipelines de dados (ETL/ELT) robustos que processam grandes volumes de dados de múltiplas fontes, tanto em batch quanto em tempo real (streaming).
● Modelagem de Dados Estratégica: Definir e implementar modelos de dados que sirvam como a "única fonte da verdade", suportando diretamente as necessidades críticas de análise, business intelligence e machine learning.
● Garantia de Qualidade e Governança: Estabelecer e impor processos rigorosos e automações para garantir a máxima qualidade, integridade, segurança e governança dos dados da empresa.
● Otimização de Performance: Diagnosticar e eliminar proativamente gargalos de performance em todo o nosso ecossistema de dados, garantindo a entrega de informações com baixa latência.
● Inovação Tecnológica: Comandar a avaliação e a adoção de novas tecnologias, desafiando o status quo para manter nossa stack de dados moderna e competitiva.

● Mentoria e Referência Técnica: Ser a referência técnica do time, definindo as melhores práticas de engenharia de software (testes, CI/CD, IaC), realizando code reviews criteriosos e acelerando o desenvolvimento técnico de outros engenheiros.
● Parceria de Negócio: Atuar como um parceiro estratégico para as áreas de negócio e outras equipes de tecnologia, traduzindo desafios complexos em soluções de dados funcionais e de alto impacto.
●

Requisitos:
● Experiência Comprovada: Mínimo de 5 anos de experiência prática e relevante em engenharia de dados, com um portfólio de projetos de alta complexidade entregues com sucesso.
● Domínio de Programação: Proficiência absoluta em Python e/ou Scala, aplicando princípios de código limpo e eficiente.
● SQL de Alta Performance: Maestria em SQL e na otimização de consultas complexas em data warehouses e bancos de dados distribuídos.
● Vivência em Big Data: Experiência profunda com o ecossistema de Big Data, especialmente com Spark e outras tecnologias como Flink ou Hadoop.
● Especialista em Cloud: Expertise demonstrada em uma das principais plataformas de nuvem: AWS (S3, Glue, Redshift, EMR, Kinesis), Google Cloud Platform (BigQuery, Dataflow, Dataproc, Pub/Sub) ou Microsoft Azure (Data Factory, Synapse Analytics, Databricks).
● Orquestração de Workflows: Domínio de ferramentas de orquestração como Airflow, Dagster ou Prefect para gerenciar pipelines complexos.
● Princípios de Engenharia: Mentalidade sólida de engenharia de software, aplicando controle de versão (Git), CI/CD e testes automatizados como parte natural do seu fluxo de trabalho.
● Comunicação de Impacto: Habilidade de comunicar ideias técnicas complexas de forma clara e assertiva para audiências diversas, influenciando decisões.

Diferenciais:

● Experiência com a implementação de arquiteturas Data Lakehouse (Delta Lake, Iceberg, Hudi).
● Conhecimento prático de infraestrutura como código (Terraform, CloudFormation).
● Vivência com containers e orquestração (Docker, Kubernetes).
● Experiência na construção de soluções de streaming com Kafka ou Pulsar.
● Familiaridade com a modelagem de dados para ferramentas de BI (Tableau, Power BI, Looker).
● Exposição a projetos de Machine Learning e conceitos de MLOps.