02. Cargas completas, incrementais e CDC

Copiar apenas mudanças reduz trabalho, mas exige saber o que mudou e quando a entrega foi confirmada. Uma carga incremental mal projetada pode terminar sem erro e ainda perder atualizações ou conservar registros excluídos. O contrato de captura e o contrato de aplicação precisam funcionar juntos.

Carga completa e estado do destino

A carga completa relê o conjunto definido pela origem. Para tabelas pequenas ou sem um sinal confiável de alteração, sua simplicidade pode compensar a releitura. A substituição do destino deve ser controlada para não expor uma tabela vazia ou parcialmente carregada durante a troca. Staging e publicação após validação são estratégias possíveis conforme o mecanismo.

Append adiciona registros; não significa sincronizar o estado atual. Repetir uma carga completa em append pode duplicar todo o conjunto. Antes de escolher a escrita, defina se o destino guarda eventos históricos, a versão atual de cada entidade ou snapshots de períodos. O mesmo método de extração pode exigir aplicações diferentes.

Uma tabela pequena com mil códigos e sem coluna confiável de modificação pode ser mais simples de reconstruir integralmente. A equipe prepara a nova versão, valida unicidade e publica de modo controlado. Construir uma lógica incremental baseada em um sinal inadequado acrescentaria complexidade e risco sem benefício relevante. Em contraste, uma tabela volumosa com mudanças bem identificadas pode justificar captura incremental. O tamanho é parte da decisão, junto da frequência, da janela e dos tipos de alteração que devem aparecer no destino.

Watermark e intervalo confirmado

Uma marca incremental seleciona dados a partir de um valor que representa progresso. Um identificador crescente pode capturar inserções, mas não detecta uma alteração que conserva o identificador. Para atualizações, uma coluna de modificação precisa refletir as mudanças relevantes de forma confiável. Cada unidade lógica de extração deve manter sua própria marca.

Capture um limite superior e processe um intervalo definido, como maior que a marca confirmada e menor ou igual ao limite capturado, quando essa convenção for compatível com a origem. Mudanças posteriores ficam para a próxima execução. Empates de timestamp, resolução temporal e confirmação tardia exigem desempate ou sobreposição idempotente para não saltar registros.

A marca só avança depois de a escrita ser durável e validada. Se a extração planeja chegar às 12h, mas a escrita falha, registrar 12h antecipadamente faz a próxima execução ignorar dados nunca entregues. Recuperação deve preservar o intervalo pendente e permitir repeti-lo sem duplicar seu efeito.