Engenheiro de Dados Pl
Genial Investimentos
- Local
- Remoto · São Paulo, SP
- Senioridade
- Pleno
- Publicada
- (horário de Brasília)
- Fonte
Candidatar-se no site original (LinkedIn) 1 cliqueQuantas vezes alguém abriu o anúncio original a partir do Vagas Python desde que a vaga entrou no site. Dá uma noção da concorrência, mas não inclui quem viu a vaga direto na fonte (LinkedIn, Gupy...), e a mesma pessoa pode contar mais de uma vez.
Descrição
Descrição da vaga
Buscamos profissionais que tenham vontade de crescer, colocar a mão na massa e fazer acontecer. Vivemos um momento único, recheado de desafios e oportunidades para agregar ainda mais valor aos nossos clientes. Se você tem esse perfil e essa ambição, inscreva-se nesta vaga e junte-se a nós para construir o futuro do mercado financeiro.
#VemSerGenial
Responsabilidades e atribuições
• Desenvolver e evoluir pipelines de dados batch e streaming utilizando Python, Spark e Databricks.
• Construir integrações com bancos de dados, APIs e serviços AWS.
• Modelar e transformar dados seguindo os padrões de arquitetura e qualidade da plataforma.
• Monitorar pipelines em produção, atuando na investigação de falhas, performance e causa raiz.
• Participar de code reviews e contribuir para a evolução dos padrões de engenharia do time.
• Trabalhar próximo às áreas de negócio para entender requisitos e transformar necessidades em soluções de dados.
• Garantir boas práticas de qualidade, segurança, governança e observabilidade dos dados.
Requisitos e qualificações
• Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
• SQL, incluindo CTEs, window functions e otimização de queries.
• Apache Spark / PySpark, com entendimento de particionamento, shuffle, joins, cache e planos de execução.
• Delta Lake, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
• Databricks, com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
• AWS para dados, principalmente S3, IAM e serviços de integração/mensageria.
• Modelagem dimensional e arquitetura em camadas, incluindo SCD tipos 1 e 2.
• Git e desenvolvimento via pull request.
• Experiência com ingestão de bancos relacionais e APIs REST.
Diferenciais
• Experiência no mercado financeiro.
• Structured Streaming.
• Databricks Asset Bundles e Terraform.
• CI/CD para pipelines de dados.
• Delta Lake, incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
Informações adicionais
Assistência Médica
Assistência Odontológica
Vale Refeição
Vale Alimentação
Seguro de Vida
Total Pass
GymPass
Aux. Creche
PPR
São Paulo, modelo Remoto
Venha ser Genial você também!
O que é ser Genial?
É buscar a excelência, é fazer acontecer. É ser talentoso, inteligente, curioso e aceitar qualquer desafio. É se apresentar e defender as suas ideias. É colocar o cliente em primeiro lugar e ser apaixonado pelo que faz.
Por que a Genial?
Porque somos digitais, mas também somos humanos. Se você, assim como nós, acredita que investimento não é sinônimo de terno e gravata, queremos conhecer você!
Sobre Nós
A empresa que investe em você! Descomplicamos o mercado financeiro para que nossos clientes consigam tomar boas decisões na hora de investir.
Nossos Valores
Buscar os melhores resultados para os clientes;
Colocar excelência em tudo que fazemos;
Ser uma empresa responsável, transparente e sustentável;
Inovar para inspirar;
Ser apaixonado pelo que faz;
Aprender e melhorar sempre.