Engenheiro de dados

PERFIL : ENGENHEIRO DE DADOS

CONTRATAÇÃO CLT

ATUAÇÃO REMOTA

Responsabilidades e atribuições

O que esperamos que você realize :

• Construir pipelines de dados, desde a extração nas diversas fontes de dados disponíveis (Arquivos de Plataforma Baixa (JSON, TXT, CSV, XLSX, XML, etc), Bancos de Dados (SQL Server, Oracle, DB2) , Streaming, Tópicos Kafka, API, Sites Externos, etc) até a ingestão e estruturação dos dados no Data Lake Corporativo;
• Catalogação de Dados e aplicação de controles de qualidade de dados. Deve ser especialista no ambiente Azure e Databricks;
• Execução de Teste Unitário dos Pipelines;
• Criação dos planos de implantação para implantação em ambiente de produção Acompanhamento da Implantação;
• Validação do pipeline pós-implantação;
• Acompanhamento da estabilização do pipeline em Produção Sustentação pós-implantação (Durante período de garantia 90 dias) Registro de Atividades nas Ferramentas oficiais do Banco (Jira)

Requisitos e qualificações

O que precisamos que você tenha de conhecimento :

Requisitos essenciais :

• Sólida vivência com Azure Databrick, ETL, Azure Datafactory, Apache Spark, Python e SQL.
• Imprescindível conhecimento em git e versionamento de código

Cadastre-se em nosso link : https : / / stefanini.gupy.io / jobs / 7738287