17162 vagas abertas em São Paulo hoje · Mais vagas de Tecnologia
Descrição da vaga
O SPC Brasil é uma organização de Gestão e Inteligência de Dados, oferecemos soluções a consumidores e empresários com o objetivo de facilitar a realização de negócios por meio de dados inteligentes e tecnologia.
O nosso objetivo é não apenas ser o maior banco de dados da América Latina, mas a principal plataforma integradora de informação e inteligência de dados, capaz de impulsionar e transformar toda a economia e a sociedade.
Priorizamos a inclusão de pessoas em nossos times, buscamos pessoas, independente de cor, gênero, raça, credo ou deficiência. Todos são bem vindos em nosso processo seletivo!
Responsabilidades e atribuições
- Suportar as integrações de dados já implantadas, garantindo a continuidade e eficiência dos processos.
- Apoiar a área de negócios na definição e implementação de soluções de dados que atendam às suas necessidades.
- Desenvolver e manter pipelines de ingestão de dados utilizando Aws, Databricks e Cloudera.
- Implementar e otimizar processos de processamento distribuído de dados com Spark, utilizando Scala e Python.
- Realizar consultas e manipulações de dados em Athena, Hive e MongoDB.
- Utilizar serviços da AWS para armazenamento, processamento e análise de dados.
- Desenvolvimento de pipelines no Databricks
Requisitos e qualificações
- Superior
- Linguagem de programação Python e Scala (Spark);
- Conhecimento de ferramentas e boas práticas de engenharia de dados (Ingestão de dados, Transformação e armazenamento);
- Experiência em ferramentas de IA Claude code e Git Copilot;
- Conhecimento em banco de dados relacionais (SQL, Oracle e NoSql);
- Conhecimento em arquitetura Cloud (AWS);
- Conhecimento em arquitetura Databricks;
- Orquestração de pipelines Airflow;
- Ferramentas ETL ou ELT(Apache Nifi);
- Conceitos de BI.
- Desejável conhecimento de prática de desenvolvimento seguro.
Localidade: São Paulo