06. Limpeza, duplicidades e consistência

Limpar dados é decidir — e toda decisão de limpeza pode apagar informação verdadeira. Remover repetições, unir registros da mesma pessoa, corrigir contradições: cada uma dessas operações precisa de regra explícita, evidência de acerto e rastro do que foi alterado. Este capítulo trata das quatro decisões e do que as torna auditáveis.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 6 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Dados ausentes e mecanismos de ausência e utiliza essa base para avançar. Na sequência, estudaremos Resumo univariado e tendência central.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Limpeza, duplicidades e consistência para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Duplicata exata

Começamos por Duplicata exata, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Uma duplicata exata repete todos os campos relevantes — mas isso não prova que uma das linhas sobra. Duas compras idênticas do mesmo produto, no mesmo minuto, podem ser um reenvio da integração ou dois eventos legítimos do mesmo cliente.

O critério é de reconciliação: contagens antes e depois batem com casos auditados manualmente — uma amostra de duplicatas removidas é conferida caso a caso.

Resolução de entidades

Depois de compreender Duplicata exata, passamos a Resolução de entidades. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

A resolução de entidades identifica registros referentes ao mesmo ente, inclusive quando há diferenças de grafia ou representação. Pode combinar campos iguais e diferentes. Não é o inverso estrito da duplicação exata: são problemas relacionados de identidade e reconciliação de registros.

A abordagem combina três camadas: normalização (caixa, acentos, pontuação, abreviaturas), regras determinísticas quando há identificador confiável e comparação por similaridade com limiar validado, mais revisão humana dos casos de borda.