02. ETL, qualidade, tratamento e preparação de dados

Preparação de dados conecta fontes ao consumo analítico com regras de significado, qualidade e recuperação. O resultado deve ser verificável, e não apenas produzido por uma execução sem erro. Este capítulo percorre extração, transformação e carga, incluindo ausências, identidade, tempo e observabilidade.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 2 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Fundamentos de análise de dados e utiliza essa base para avançar. Na sequência, estudaremos Modelagem analítica e mineração de dados.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use ETL, qualidade, tratamento e preparação de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

ETL, ELT e impacto da extração

Começamos por ETL, ELT e impacto da extração, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

ETL extrai, transforma e carrega no destino; ELT carrega antes de executar transformações no destino analítico. Ambas precisam de qualidade e proteção, pois dados brutos também podem ser sensíveis. A extração pode usar consultas, réplicas, snapshots, APIs ou CDC, cada qual com custo, consistência e latência próprios. Consultar produção sem limites pode competir com transações e comprometer o serviço de origem.

Carga completa processa todo o escopo e pode ser simples, mas cara. Incremental trata mudanças desde um marco confiável. CDC captura alterações, incluindo inserções, atualizações e exclusões conforme o mecanismo; continua exigindo controle de offsets, esquema e idempotência. Watermarks de progresso, sobreposição controlada e reconciliação ajudam a tratar atrasos. Uma coluna de criação isolada não detecta necessariamente alterações posteriores ou registros excluídos.

Orquestração e reexecução segura

Depois de compreender ETL, ELT e impacto da extração, passamos a Orquestração e reexecução segura. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Um DAG representa dependências direcionadas sem ciclos entre tarefas. Uma rotina pode executar diariamente sem que o grafo contenha um ciclo: a repetição é controlada pela agenda ou pelo estado da execução. O orquestrador coordena ordem, recursos, retries e alertas, mas não substitui a lógica de transformação nem garante que as regras de dados estão corretas.

Idempotência permite repetir uma operação sem duplicar efeitos indevidos. Chaves estáveis, upserts apropriados, identificação de lote e confirmação coordenada de progresso são estratégias possíveis. Um retry deve tratar falhas transitórias, ter limites e preservar rastreabilidade. Se a execução falha após gravar parte dos dados, a retomada precisa distinguir o que já foi confirmado; inserir novamente todo o lote sem controle gera duplicatas.