08. Dados duplicados

Duas linhas iguais na tela podem representar repetição indevida, versões legítimas ou eventos distintos. Remover duplicatas sem definir a identidade do registro pode apagar informação correta e manter justamente a versão errada.

Preparar dados é construir o caminho entre uma fonte e uma base analítica confiável. Armazenamento, ingestão, qualidade e consulta formam uma sequência: uma decisão mal resolvida no início reaparece no modelo e no relatório. Este é o capítulo 8 de 24 da disciplina Preparar dados. A leitura parte do que foi construído em Valores ausentes e nulos. Depois dele, o estudo avança para Mesclagem e junção.

Duplicidade depende do grão

Primeiro declare o que uma linha representa. Duas ocorrências do mesmo pedido podem competir se a tabela guarda o estado atual, mas podem ser corretas em um histórico de mudanças. A chave de negócio define quais linhas pertencem ao mesmo grupo; DISTINCT apenas compara os campos selecionados.

Com essa base, o capítulo segue para Escolher a linha que permanece. O conceito que acabou de ser apresentado passa a funcionar como ponto de partida para a decisão seguinte.

Escolher a linha que permanece

Use uma regra verificável, como maior data de atualização, versão ou prioridade da fonte. ROW_NUMBER pode particionar pela chave e ordenar os candidatos. Inclua um desempate estável, pois datas iguais sem critério adicional tornam o resultado dependente da execução.

A decisão anterior ainda não encerra o problema. Em Auditar antes de excluir, veremos o que muda quando esse mecanismo encontra outra camada, outro contexto ou uma necessidade mais específica.

Auditar antes de excluir

Conte grupos, linhas removidas e diferenças entre versões. Guarde temporariamente os rejeitados ou um registro da decisão. Essa evidência ajuda a identificar defeitos na origem e a responder por que um valor deixou de aparecer. Deduplicação silenciosa transforma problema de qualidade em dado invisível.

Resta ligar esse mecanismo a Corrigir a causa e tornar a carga repetível. Essa passagem completa o fluxo e permite avaliar o resultado como um todo, em vez de conferir apenas uma configuração isolada.

Corrigir a causa e tornar a carga repetível

A limpeza analítica não substitui controles na origem. Chaves, restrições e idempotência reduzem reincidência. Em cargas repetidas, a mesma entrada deve levar ao mesmo resultado; do contrário, uma nova execução pode criar novamente as linhas que acabaram de ser removidas.

Com as quatro partes reunidas, já é possível sair das definições e acompanhar uma situação completa. O exemplo seguinte mostra como as decisões aparecem em conjunto e em que momento cada uma precisa ser conferida.