Estamos buscando um Desenvolvedor Python Sênior com forte experiência em web scraping para atuar no desenvolvimento e evolução de soluções de coleta de dados em larga escala. Este profissional irá contribuir com conhecimento técnico avançado e boas práticas de engenharia para melhorar a robustez, confiabilidade e eficiência dos sistemas de coleta de dados da empre A posição é hands-on e focada no desenvolvimento de soluções técnicas para desafios complexos de scraping.
Responsabilidades
• Desenvolver e evoluir crawlers e sistemas de coleta de dados em larga escala.
• Criar spiders utilizando Scrapy, Requests, Selenium e BeautifulSoup.
• Trabalhar com programação assíncrona (async/await) para otimizar performance de coleta.
• Implementar e melhorar estratégias de rotação de proxies e uso de VPNs.
• Desenvolver mecanismos para contornar bloqueios e sistemas anti-bot.
• Integrar solucionadores de CAPTCHA em pipelines de scraping.
• Construir pipelines de processamento assíncrono utilizando Celery, Redis e RabbitMQ.
• Otimizar armazenamento e consultas em PostgreSQL.
• Desenvolver APIs e integrações utilizando Django.
• Diagnosticar e resolver problemas relacionados a bloqueios como rate limiting, fingerprinting e
proteções WAF.
• Contribuir com melhorias técnicas na arquitetura e nas ferramentas de coleta de dados.
• Colaborar com o time de engenharia seguindo práticas ágeis e revisão de código.
Requisitos
• Forte experiência com Python.
• Experiência sólida com web scraping em ambiente de produção.
• Experiência com Scrapy, Requests, Selenium e BeautifulSoup.
• Experiência com programação assíncrona utilizando asyncio.
• Experiência com Celery, Redis e RabbitMQ.
• Experiência com PostgreSQL.
• Conhecimento avançado de HTTP, cookies, headers e autenticação.
• Experiência com proxy rotation e uso de VPNs.
• Experiência com solucionadores de CAPTCHA.
• Experiência com bypass de sistemas anti-bot.
• Experiência com Git e workflows de versionamento.
• Experiência trabalhando com times ágeis (Scrum ou Kanban).
Diferenciais
• Experiência com infraestrutura de scraping em larga escala.
• Experiência com automação de browsers e simulação de comportamento de usuário.
• Experiência com Docker e containerização.
• Experiência com sistemas distribuídos de coleta de dados.
• Experiência com monitoramento e observabilidade de crawlers.
• Experiência com CI/CD.
• Experiência com GitHub Actions.
Localidade: CAXIAS DO SUL