Descrição da vaga
Quer fazer a diferença na nova economia e transformar pessoas e negócios para prosperarem? Vem pra Cadastra!
Como Data Engineer, você será responsável por construir e evoluir pipelines e soluções de dados, atuando desde a ingestão e tratamento até a modelagem e disponibilização dos dados para o negócio, em um ambiente GCP e com foco em soluções escaláveis, eficientes e orientadas a resultados.
Essa posição é para atuar de forma remota.
Responsabilidades e atribuições
No nosso Data Hub você terá o desafio de:
- Refinar e documentar as iniciativas priorizadas junto às áreas de negócio, levantando requisitos, necessidades e dependências;
- Desenvolver e manter pipelines de dados utilizando estratégias de ETL/ELT, atuando em todo o fluxo de ingestão, tratamento e disponibilização dos dados;
- Construir e evoluir a esteira de dados nas camadas Raw, Trusted e Refined, garantindo qualidade, confiabilidade e escalabilidade;
- Modelar tabelas e estruturas de dados com as regras de negócio aplicadas, estruturando a camada semântica para consumo analítico e estratégico;
- Criar e evoluir soluções de armazenamento e processamento de dados, considerando arquiteturas Data Lake/Lakehouse, bases relacionais e não relacionais;
- Desenvolver integrações entre dados processados e ferramentas ou aplicações externas, como Google Apps Script;
- Criar, prototipar e validar dashboards e soluções de visualização em parceria com as áreas de negócio;
- Trabalhar em parceria com analistas e stakeholders para traduzir necessidades de negócio em soluções de dados eficientes e sustentáveis;
- Trabalhar com autonomia, porém sem individualismo, aproveitando os diversos perfis profissionais do time para potencializar suas entregas;
- Colaborar nos alinhamentos, reuniões e cerimônias junto ao cliente e às áreas de negócio;
- Explorar novas tecnologias e contribuir em iniciativas que envolvam Inteligência Artificial aplicada a dados.
Requisitos e qualificações
O que a Cadastra espera de você:
- Experiência sólida em Engenharia de Dados;
- Conhecimentos sólidos em SQL e Python;
- Experiência com Engenharia de Dados em ambientes Cloud, preferencialmente GCP (Google Cloud Platform);
- Experiência prática com BigQuery, Cloud Storage e Cloud Functions;
- Conhecimento em Cloud Run, Artifact Registry, Docker, Dockerfile e CI/CD;
- Experiência na construção e manutenção de pipelines de dados e conhecimento de arquitetura medalhão (Raw, Trusted e Refined);
- Conhecimento em Data Lake/Lakehouse, modelagem de dados e boas práticas de armazenamento, processamento e carga;
- Experiência com ferramentas de orquestração de fluxos de dados, como Airflow, Luigi, Kubeflow ou similares;
- Experiência com metodologias ágeis e ferramentas de gestão de tarefas, preferencialmente Jira;
- Boa capacidade de comunicação e facilidade para traduzir necessidades de negócio em soluções técnicas;
- Curiosidade, adaptabilidade e interesse em novas tecnologias, com disponibilidade para atuar em iniciativas relacionadas a Inteligência Artificial.
Será um diferencial:
- Experiência com ferramentas de visualização de dados e construção de dashboards;
- Experiência com integrações entre plataformas de dados e aplicações externas;
- Vivência em projetos que utilizem Inteligência Artificial aplicada a dados.
Localidade: Brasil