07. Dimensões da qualidade de dados

Qualidade não é uma propriedade única medida apenas pela ausência de nulos. Um dado pode estar preenchido, seguir o formato e ainda chegar tarde ou contradizer outra fonte. O capítulo diferencia completude, validade, consistência e atualidade. Cada dimensão exige requisito e denominador definidos, e sua importância depende da decisão atendida. A avaliação deve mostrar onde estão as limitações, evitando transformar um indicador agregado em certificado universal de confiança.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 7 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Linhagem e análise de impacto e utiliza essa base para avançar. Na sequência, estudaremos Acurácia, unicidade e integridade.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Dimensões da qualidade de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Completude

Começamos por Completude, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Completude mede presença dos valores ou registros requeridos.

Completude mede a presença dos valores ou registros requeridos. Uma métrica por campo pode ser valores presentes sobre valores esperados; outra pode verificar se todas as unidades da população foram recebidas. Diferencie ausência legítima e falha: complemento de endereço pode ser opcional, enquanto identificador obrigatório não. Também examine padrões por grupo. Uma taxa global de 99% pode esconder ausência total em uma unidade pequena, porém crítica. Preencher nulos com qualquer valor aumenta presença aparente sem necessariamente melhorar a informação.

Validade

Depois de compreender Completude, passamos a Validade. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Validade mede conformidade a formato, domínio e regra.