Data Architect (AWS | Databricks) | Especialista (Remote)
.Responsabilidades e atribuiçõesRealizar a migração completa do ambiente atual, hoje hospedado em Databricks on Azure, para AWS, incluindo a criação de uma nova modelagem de dados e a reestruturação de pipelines e rotinas legadas;Definir e evoluir a arquitetura da Plataforma Corporativa de Dados (Lakehouse);Garantir aderência ao modelo alvo baseado em AWS + Databricks;Definir padrões de arquitetura, frameworks e boas práticas;Atuar na definição de estratégia de migração (waves, priorização, dependências);Migração e Modernização: Liderar a modernização do Data Warehouse legado (Azure/DataStage ¿ AWS/Databricks);Definir abordagens de migração: Incremental vs Big Bang;Garantir continuidade operacional durante a transição;Governança & Segurança: Definir e implementar padrões de: Governança de dados/Controle de acesso/Qualidade e linhagem de dados;Garantir conformidade com políticas corporativas e LGPD;DataOps & Padronização: Estruturar pipelines padronizados e reutilizáveis;Implantar boas práticas de CI/CD para dados;Reduzir dependência de processos manuais e baixa padronização;Integração e Ecossistema: Projetar integrações com com múltiplas fontes e sistemas on-premises;Requisitos e qualificaçõesExperiência com Cloud & Plataforma AWS, S3, Glue, IAM, Lake Formation, CloudWatch, CloudTrail;Experiência com Databricks: Unity Catalog, Delta Lake, notebooks, clusters e políticas;Conhecimento de arquitetura moderna baseada em Lakehouse;Experiência com modelagem de dados (DW, Lakehouse ¿ Bronze/Silver/Gold);Experiência com Pipelines de dados (ETL/ELT);Experiência com: SQL avançado, Python, Ferramentas como: Airflow / Control-M / orquestração distribuída;Experiência com ADF / DataStage (legado);Experiência comCI/CD para dados (Azure DevOps, Git, pipelines)Experiência comData Quality, Data Contracts, Data LineageExperiência comCatálogo de dados e governança corporativaExperiência com a parte de Segurança e compliance (LGPD, controle de acesso, dados sensíveis)Conhecimento com a Integração com múltiplas fontes: APIs, bancos relacionais, NoSQL, mainframeExperiência em Arquitetura distribuída e orientada a domínio;Estratégias de migração: Replatform, Refactor, Rewrite;Conheicmento em monitoramento (Datadog, CloudWatch);Definição de SLAs/SLOs;Experiência com troubleshooting de pipelines críticos;