Data Engineer Pleno

Na Bemobi valorizamos o espírito inovador e colaboramos para que pessoas potencializem o seu melhor e, juntos, identificamos afinidades e oportunidades. Se você procura desenvolvimento, desafios e um ótimo ambiente de trabalho, está no lugar certo! O time de Data Platform faz parte da Tribo de Dados e é responsável por construir e manter a infraestrutura escalável, confiável e segura que sustenta todo o ciclo de vida dos dados na Bemobi. Nossa missão é democratizar o uso de dados, facilitando o acesso, garantindo disponibilidade e promovendo a exploração por todos os times da empresa.#SejaBemober 💙🚀Responsabilidades e atribuiçõesOperar e evoluir o Data Lake: trabalhar os dados em suas zonas Raw, Processed e Refined, incluindo processos de deduplicação, catalogação e otimização de armazenamento (Parquet, Iceberg).Operar e monitorar pipelines de streaming via Kafka: criação de tópicos, conectores, ACLs, credenciais e acompanhamento de consumer lag para pipelines de streaming em tempo real.Contribuir com a evolução da API da Plataforma de Dados: criação e manutenção de módulos da nossa plataforma que abstraem para usuários e desenvolvedores processos de ingestão (podendo ser por arquivos, CDC ou streaming de dados), processamento de dados em plataformas de Big Data (Spark / Redshift) e orquestração de pipelines (Airflow).Investigar e resolver incidentes: Saber interpretar falhas em pipelines, carga de datasets, duplicação de dados e erros em clusters e auxiliar na resolução de incidentes.Utilizar e contribuir com a infraestrutura como código (IaC): Uso de Terraform, operando recursos AWS sob orientação da equipe.Participar de iniciativas de modernização e integração com ferramentas de IA: Uso LLMs como ferramenta para criação de agentes e criação de ferramentas que permitem a integração da IA aos nossos sistemas (MCP Servers).Manutenção de Documentação e Monitoramento: Contribuir com documentação técnica de nossas ferramentas e arquitetura. Manter as nossas ferramentas de observabilidade.Requisitos e qualificaçõesObrigatórios:Experiência sólida (3+ anos) em Engenharia de Dados ou áreas correlatas.Proficiência em Python para desenvolvimento de pipelines, scripts de automação e integrações.Noções de arquitetura de software.Experiência prática com SQL avançado.Conhecimento em Apache Airflow.Experiência com serviços AWS: S3, Redshift, EMR (Spark).Conhecimento em Apache Kafka: conceitos de tópicos, produtores/consumidores, conectores (Debezium, S3 Sink).Familiaridade com Git e fluxos de CI/CD (Bitbucket Pipelines ou similares).Conhecimento de arquiteturas de Data Lake (Lakehouse, Arquitetura Medalhão).Boa comunicação e capacidade de atuar de forma autônoma em um time ágil.Diferenciais:Experiência com Apache Spark (PySpark, SparkSQL).Experiência com Terraform ou outra ferramenta de Infrastructure as Code.Conhecimento em C# / .NET.Familiaridade com Debezium para Change Data Capture (CDC).Experiência com formatos de tabela modernos (Apache Iceberg, Hudi, Delta).Conhecimento em Grafana para monitoramento e dashboards operacionais.Experiência com OpsGenie/JSM para gestão de incidentes e alertas.Familiaridade com Redshift.Inglês técnico para leitura de documentação e comunicação com times LATAM.Informações adicionaisO QUE VOCÊ VAI ENCONTRAR AQUI! ✌️🥼Plano de Saúde Bradesco Rede Nacional - estendido a dependentes sem desconto por beneficiário;🦷Plano odontológico Bradesco - opcional;🏖️VR/VA flexível - mantido durante as férias;🤑PLR - participação nos lucros;💦Wellhub;🎉Day off de aniversário;🏠Auxílio Home Office;🚌VT conforme necessidade - desconto permitido por lei;❤️ Seguro de Vida;📱Acesso gratuito a todos os nossos produtos - AppsClub, Clube de Descontos, TrueCaller, BTFit e Busuu;📚 Acesso a treinamentos internos por meio de plataformas digitais;🏆Programa de reconhecimento interno entre colaboradores - Bemobucks.