10. Validação, reconciliação e controles

Dados podem ser perdidos, duplicados ou alterados enquanto percorrem uma integração. Validar entradas e reconciliar etapas ajuda a localizar essas falhas. O capítulo apresenta controles de entrada, comparação entre fontes e destinos, totais de controle e balancing. Nenhum controle isolado detecta todo problema: a mesma contagem ou soma pode esconder substituição de registros. A escolha deve refletir o risco e a transformação que o fluxo deveria realizar.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 10 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Perfilamento e regras de qualidade e utiliza essa base para avançar. Na sequência, estudaremos Limpeza, padronização e deduplicação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Validação, reconciliação e controles para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Entrada

Começamos por Entrada, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Validação de entrada rejeita ou sinaliza dado antes de contaminar o fluxo.

Validação de entrada verifica o contrato antes de o dado contaminar etapas posteriores. Pode rejeitar uma requisição inválida, bloquear lote ou sinalizar registros para tratamento. A decisão depende da gravidade e da tolerância do processo. Valide estrutura, domínio, obrigatoriedade e relações relevantes, preservando a evidência original de forma protegida. Correções automáticas precisam de regra e rastreabilidade. Não normalize silenciosamente um valor cuja interpretação é ambígua, pois a operação pode transformar um erro visível em um erro plausível difícil de detectar.

Reconciliação

Depois de compreender Entrada, passamos a Reconciliação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Reconciliação compara totais, registros e valores entre etapas.