09. Perfilamento e regras de qualidade

Antes de impor regras a uma base, é necessário conhecer seu comportamento e o uso pretendido. Perfilamento resume características e revela candidatos a problemas, enquanto regras transformam requisitos em condições testáveis. O capítulo conecta essas etapas a escores e quarentena. A avaliação deve permitir ação: um número agregado sem definição ou uma lista de registros rejeitados sem responsável não conduz, por si só, à melhoria da qualidade.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 9 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Acurácia, unicidade e integridade e utiliza essa base para avançar. Na sequência, estudaremos Validação, reconciliação e controles.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Perfilamento e regras de qualidade para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Perfilamento

Começamos por Perfilamento, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Perfilamento resume distribuição, cardinalidade, nulos e padrões.

Perfilamento observa nulos, valores distintos, frequências, distribuições, extremos e padrões de formato. Pode incluir combinações de campos e integridade entre tabelas. Ele descreve o que existe, não decide sozinho o que deveria existir. Uma categoria rara pode ser legítima, e um valor frequente pode refletir um erro sistemático de preenchimento. Considere amostragem, cobertura e custo. Perfilar apenas uma pequena partição pode perder problemas sazonais ou locais. Preserve estatísticas por versão e período para identificar mudanças relevantes ao longo do tempo.

Regra

Depois de compreender Perfilamento, passamos a Regra. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Regra de qualidade expressa condição testável ligada a requisito.