Estamos buscando uma pessoa que ouse protagonizar com a gente. 💜
Responsabilidades e atribuições:
1. Operação dos agentes e auditoria de código
Interagir com o sistema multiagente, analisar criticamente o documento plan.md e revisar detalhadamente o pacote de código gerado.
Identificar problemas de desempenho e qualidade, como distribuição desigual dos dados (data skew), movimentações excessivas de dados (shuffles) e tipagem inadequada.
2. Testes de paridade e reconciliação de dados
Planejar e executar testes que comprovem a equivalência integral entre os resultados produzidos no Databricks e os dados processados no ambiente legado.
Garantir a correspondência de 100% em volume, valores e esquemas de dados.
3. Gestão de exceções e escalabilidade
Resolver de forma autônoma alertas e problemas menores de código.
Encaminhar ao Arquiteto de Dados situações classificadas como NEEDS-HUMAN, alterações nos padrões de arquitetura ou inconsistências semânticas.
4. Qualidade e segurança de código
Corrigir vulnerabilidades identificadas por ferramentas de análise estática de segurança (SAST), como Fluid Attacks, além de problemas relacionados a dependências e não conformidades, antes da abertura dos Pull Requests.
5. Ciclo de entrega (Git Flow)
Gerenciar branches de desenvolvimento no padrão feat/TICKET-slug, garantir a execução rigorosa das verificações locais obrigatórias (pre-checks) e conduzir a resolução de tickets rejeitados (REJECTED) ou defeitos identificados durante as etapas de QA/UAT.
6. Estabilidade durante a transição
Garantir a sustentação operacional dos pipelines após a implantação, realizando correções rápidas de anomalias e acompanhando indicadores de execução e monitoramento (telemetria) durante o período de estabilização assistida (hypercare).
Requisitos e qualificações:
– Experiência em Engenharia de Dados ou desenvolvimento ETL.
– Experiência prática com Python e SQL em ambientes de produção.
– Conhecimento prático de Apache Spark.
– Conhecimento de Databricks, sendo desejável experiência com Asset Bundles.
– Experiência com controle de versão e fluxos de Pull Requests, tendo revisão de código como prática recorrente, e não ocasional.
– Desejável experiência com pipelines CI/CD no Azure DevOps.
Python · PySpark · SQL · T-SQL · Delta Lake · Apache Spark · Git · Pull Requests · Code Review · CI/CD · Azure DevOps · pytest · YAML · ETL · SSIS · SQL Server Agent · Databricks (desejável).
Desejável:
– Conhecimento básico para leitura e interpretação de fluxos Alteryx e SSIS.
– Experiência com pytest.
– Conhecimentos de segurança de código.
– Conhecimento avançado de Git.
Informações adicionais:
Por aqui, você também conta com vantagens pensadas para apoiar sua rotina, bem-estar e desenvolvimento:
- 🧠 Zenklub: duas sessões gratuitas por mês com psicólogos, terapeutas, nutricionistas ou coaches. Sessões extras saem por R$ 70 e o benefício também pode incluir dependentes.
- 🏋️ Wellhub (Gympass): acesso a descontos de até 75% em mais de 22 mil academias espalhadas pelo Brasil.
- 💜 MomCare: incentivo monetário flexível no período pós-licença maternidade.
- 📚 Incentivo Alura: apoio ao desenvolvimento contínuo, com subsídio de 50% da licença Alura Plus, via reembolso pelo período de 12 meses.
- 🎓 Parcerias educacionais: descontos de até 70% em diversas instituições de ensino, incluindo graduação, pós-graduação, MBAs, idiomas e muito mais.
- 🤝 RecomenDatum: suas conexões também podem gerar oportunidades! Indique profissionais para o nosso time ou empresas para nosso ecossistema e ganha recompensas.
Quer conhecer outras vantagens de fazer parte da Datum? Acesse a home da nossa página de carreiras para conhecer os demais benefícios que oferecemos.
*Os benefícios podem variar conforme os acordos definidos na contratação.
Localidade: Brasil