Sobre esta vaga de [Job-31065] Engenheiro de Dados Sênior , Brazil na Ciandt
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
O principal desafio será atuar sobre processos que foram migrados de tecnologias legadas, como SAS, Hive e Teradata, realizando ajustes, evoluções e otimizações no ambiente atual baseado em Databricks e PySpark, garantindo qualidade técnica, performance e aderência às boas práticas de desenvolvimento
-Analisar processos previamente migrados de ambientes legados e realizar os ajustes necessários;
-Identificar gargalos e implementar melhorias de performance e otimização em pipelines e processamento de grandes volumes de dados;
-Desenvolver soluções utilizando Python e PySpark;
-Trabalhar com arquitetura medalhão (Bronze, Silver e Gold) no Databricks;
-Analisar regras e processos anteriormente implementados em SAS, Hive e Teradata, apoiando sua modernização;
-Aplicar boas práticas de Engenharia de Software, garantindo código organizado, sustentável e de fácil manutenção;
-Utilizar Git para versionamento e colaboração no desenvolvimento;
-Atuar de forma autônoma na investigação e resolução de problemas técnicos;
-Colaborar com times técnicos e áreas envolvidas para entendimento das regras existentes e evolução das soluções.
-Experiência avançada com PySpark;
-Experiência com Python aplicado à Engenharia de Dados;
-Conhecimento e experiência prática com Git;
-Experiência na construção, manutenção e evolução de pipelines de dados;
-Experiência com otimização e performance de processamento de dados;
-Conhecimento de arquitetura medalhão;
-Experiência com ambientes de dados em Microsoft Azure;
-Conhecimento de boas práticas de desenvolvimento de software;
-Capacidade de atuar com autonomia em ambientes complexos de dados.
-Experiência ou conhecimento em SAS;
-Experiência ou conhecimento em Teradata;
- Vivência em projetos de migração e modernização de plataformas de dados legadas;
-Experiência com processos de dados de grande volume e alta complexidade.