04. Perfilamento, esquema e integridade

Perfilar é medir a base antes de confiar nela. As quatro medidas deste capítulo — perfil por coluna, domínio válido, integridade entre chaves e cardinalidade — respondem, cada uma, a uma pergunta que só aparece tarde demais quando é ignorada: o que há nesta coluna, que valores são aceitáveis, o que se perde nesta junção e o que identifica uma linha.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 4 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Coleta, amostragem e proveniência e utiliza essa base para avançar. Na sequência, estudaremos Dados ausentes e mecanismos de ausência.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Perfilamento, esquema e integridade para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Perfilamento de dados

Começamos por Perfilamento de dados, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Perfilamento mede estrutura, completude, cardinalidade, faixas e padrões de cada campo antes do uso. É o retrato quantitativo da base: quantos nulos, quantos valores distintos, qual a faixa observada, que formatos aparecem.

O critério é que as métricas de perfil sejam repetíveis e comparáveis no tempo: perfilar uma vez descreve; perfilar sempre detecta mudança — que é o que interessa quando a base é recarregada periodicamente.

Restrição de domínio

Depois de compreender Perfilamento de dados, passamos a Restrição de domínio. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

A restrição de domínio limita os valores de um campo a um conjunto, formato ou intervalo semanticamente válido: UF entre as 27 siglas, idade não negativa, código dentro da tabela de referência, data dentro do período possível.