Engenheiro de Dados Sênior

A FCamara está em busca de uma pessoa Engenheira de Dados Sênior, responsável por projetar, implementar e otimizar pipelines de dados para coleta, ingestão, transformação e armazenamento de grandes volumes de dados, garantindo a excelência técnica em ambientes Cloud Native, com foco total em otimização de custos (FinOps), alta disponibilidade e governança de dados no ecossistema Google Cloud Platform. Atua na construção de uma infraestrutura robusta para suportar análises complexas e decisões baseadas em dadosResponsabilidades e atribuiçõesResponsabilidades:· Integração e Coleta de Dados: Agrega dados estruturados, semiestruturados e não estruturados de diversas fontes (bancos de dados, APIs, arquivos); · Ingestão de Dados em Tempo Real e Lote: Desenvolve arquiteturas de ingestão escaláveis utilizando Pub/Sub para streaming e Cloud Storage/Dataflow para processamento batch, garantindo a integridade dos dados no Big Query; · Processamento e Transformação de Dados: Constrói pipelines para transformar dados brutos com processos de padronização, deduplicação, filtragem e enriquecimento; · Governança e Operação: Gerencia a orquestração via Cloud Composer com foco em idempotência e resiliência, implementa monitoramento proativo (logs/alertas) e documentação técnica para garantir a continuidade e manutebilidade das soluções; · Otimização de Performance: Lidera iniciativas de FinOps, otimizando o consumo de slots no BigQuery, custos de storage e eficiência de Jobs no Dataflow/Dataproc para reduzir o TCO (Total Cost of Ownership);Requisitos e qualificaçõesREQUISITOS: Superior Completo nas áreas de Tecnologia da Informação, tais como, Sistemas de Informação, Ciências da Computação, Engenharia da Computação. EXPERIÊNCIA: · Entre 5 a 8 anos de experiência em Engenharia de Dados ou funções semelhantes;· Domínio avançado de SQL e Python (foco em manipulação de grandes volumes e atuomação), experiência com Java será considerada um diferencial para pipelines customizados em Dataflow;· Sólida experiência em arquiteturas modern ETL/ELT, domínio de Cloud Composer (Airflow) para orquestração e Dataflow (Apache Beam) ou dbt para transformação;· Expertise no ecossistema GCP: BigQuery (Partitioning/Clustering), Dataproc, Cloud Functions e IAM para segurança de dados;· Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines de dados;· Proficiência em Terraform (Iac) e Azure Pipelines (CI/CD), para gestão de versionamento no Azure Repos e artegatos· Habilidade comprovada em monitoramento e troubleshooting de processos complexos em abientes de produção. COMPETÊNCIAS PROFISSIONAIS INSTITUCIONAIS EXIGIDAS:Proatividade: Antecipar-se para alcançar resultados;Flexibilidade: Adaptar-se rapidamente a novas tecnologias e processos;Trabalho em Equipe: Colaborar eficazmente com equipes multidisciplinares;Comprometimento: Assumir responsabilidade e compromisso com as atividades. COMPETÊNCIAS ESPECÍFICAS EXIGIDAS – COMPORTAMENTAIS Pensamento Analítico: Pensamento analítico para solução de problemas complexos e busca constante por aprendizado e aprimoramento técnico. COMPETÊNCIAS ESPECÍFICAS EXIGIDAS –TÉCNICAS Arquitetura e Soluções de Dados – Capacidade de desenhar e implementar fluxos complexos de dados, equilibrando performance técnica e viabilidade financeira (FinOps). RESPONSABILIDADE POR RESULTADOGarante a disponibilidade, integridade e o custo-benefício da arquitetura de dados, assegurando que o Lakehouse acompanhe o crescimento da empresa. É responsável pela evolução técnica contínua e pela redução de débitos técnicos nos pipelines de dados. AUTONOMIAAtua com autonomia técnica total para propor melhorias e novas arquiteturas, reportando progresso e alinhando decisões estratégicas com a liderança de Dados e Analytics.Informações adicionais