11. Limpeza, padronização e deduplicação

Preparar dados exige corrigir problemas sem apagar significado ou inventar certeza. Limpeza, padronização, normalização de endereços e deduplicação possuem objetivos diferentes. O capítulo apresenta uma sequência de diagnóstico, transformação e validação que preserva o original e registra decisões. A regra deve considerar a finalidade e a entidade representada: dois textos parecidos podem descrever pessoas diferentes, enquanto duas grafias distintas podem se referir ao mesmo endereço.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 11 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Validação, reconciliação e controles e utiliza essa base para avançar. Na sequência, estudaremos Dados mestres e de referência.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Limpeza, padronização e deduplicação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Limpeza

Começamos por Limpeza, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Limpeza de dados corrige ou trata valores inválidos, ausentes ou incoerentes.

Limpeza trata valores inválidos, ausentes ou incoerentes com base em regras justificadas. Pode corrigir erro confirmado, marcar pendência ou aplicar imputação apropriada ao uso. Não significa excluir qualquer observação inconveniente. Antes de transformar, identifique o problema e avalie impacto por grupo. Preserve dados originais, regra e versão para auditoria e reversão quando pertinente. Em aprendizado de máquina, estatísticas de imputação e outras transformações aprendidas devem ser ajustadas no treino, evitando usar o conjunto de avaliação para preparar as entradas.

Padronização

Depois de compreender Limpeza, passamos a Padronização. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Padronização converte representações equivalentes a formato comum.