08. Acurácia, unicidade e integridade

Uma base sem campos vazios ainda pode conter valores falsos, entidades duplicadas e referências inexistentes. Acurácia, unicidade, integridade referencial e conformidade ajudam a avaliar esses problemas separadamente. O capítulo apresenta critérios e exemplos de controles, com atenção à diferença entre uma restrição técnica e o significado da entidade representada. Uma chave única no banco, por exemplo, não garante que a mesma pessoa não tenha sido cadastrada duas vezes.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 8 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Dimensões da qualidade de dados e utiliza essa base para avançar. Na sequência, estudaremos Perfilamento e regras de qualidade.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Acurácia, unicidade e integridade para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Acurácia

Começamos por Acurácia, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Acurácia mede proximidade do valor à realidade ou referência confiável.

Acurácia expressa correspondência com a realidade ou com uma referência confiável para a finalidade. Verificá-la pode exigir fonte externa, medição ou amostra revisada. Uma referência também possui erro e defasagem, portanto sua confiabilidade deve ser avaliada. Para medidas numéricas, tolerâncias podem ser apropriadas; para categorias, a regra de classificação precisa estar clara. Não confunda acurácia de dados com acurácia de um classificador, que é uma métrica específica. Um valor plausível e bem formatado pode continuar incorreto.

Unicidade

Depois de compreender Acurácia, passamos a Unicidade. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Unicidade mede ausência de duplicações indevidas da entidade.