12. Dados mestres e de referência

Sistemas diferentes costumam descrever os mesmos clientes, produtos e unidades com códigos e atributos divergentes. Dados mestres organizam essas entidades compartilhadas, enquanto dados de referência fornecem classificações usadas para interpretá-las. O capítulo distingue essas categorias, explica a visão consolidada e apresenta hierarquias. A consistência depende de regras de identidade, autoridade e atualização; chamar uma tabela de fonte única não elimina conflitos ou garante que cada valor seja verdadeiro.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 12 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Limpeza, padronização e deduplicação e utiliza essa base para avançar. Na sequência, estudaremos Ciclo de vida, retenção e descarte.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Dados mestres e de referência para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Master data

Começamos por Master data, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Master data descreve entidades centrais compartilhadas, como cliente ou produto.

Master data descreve entidades centrais utilizadas em vários processos, como cliente, produto e fornecedor. Difere de dados transacionais, que registram eventos como uma compra. Um cliente pode mudar endereço ou nome, então dado mestre não significa dado imutável. Defina identidade, atributos, fontes e responsabilidade por atualização. A gestão pode usar arquiteturas centralizadas ou distribuídas com sincronização, conforme o contexto. O importante é que consumidores entendam qual representação e versão usar e como correções se propagam.

Reference data

Depois de compreender Master data, passamos a Reference data. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Reference data define códigos e classificações usados para interpretar outros dados.