Analista de Engenharia de Dados III

📋 Description

• Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema
• Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL.
• Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta
• Conhecimento de git controle de versionamento, pull requests.
• Análise, melhoria e otimização de custos e performance em Databricks.
• Implementar Data Quality.

🎯 Requirements

• Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados.
• Conhecimento sólido em processos de ETL/ELT, garantindo a integração, qualidade e disponibilidade
• Experiência em Engenharia de Dados, com desenvolvimento, manutenção e otimização de pipelines
• Vivência em arquitetura e modelagem de dados, assegurando a estruturação eficiente das informações.
• Experiência na integração de dados provenientes de múltiplas fontes e sistemas.
• Atuação em ambientes Cloud e ecossistemas de Big Data.