05. Catálogo e descoberta de dados

Encontrar um arquivo não basta para saber se ele atende a uma análise. É preciso conhecer significado, origem, responsável, atualização e condições de acesso. Catálogos organizam essas informações e ajudam a descobrir ativos. O capítulo distingue catálogo, dataset, distribuição e produto de dados, explicando como descrição e serviço se relacionam. Um ativo fácil de localizar pode continuar inadequado ao uso se seus metadados ou compromissos não forem confiáveis.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 5 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Metadados e glossário de negócio e utiliza essa base para avançar. Na sequência, estudaremos Linhagem e análise de impacto.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Catálogo e descoberta de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Catálogo

Começamos por Catálogo, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Catálogo de dados indexa ativos e metadados para descoberta e governança.

O catálogo indexa ativos e metadados, permitindo busca por termos, domínio, proprietário responsável, classificação e outras características. Pode integrar linhagem, qualidade e solicitação de acesso. Catalogar não significa necessariamente copiar o conteúdo para um repositório central; referências podem apontar para fontes distribuídas. A visibilidade dos metadados também precisa de controle quando revela informação sensível. Defina atualização, curadoria e critérios de certificação, se houver. Um selo sem critérios e prazo de revisão pode gerar confiança indevida.

Dataset

Depois de compreender Catálogo, passamos a Dataset. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dataset é coleção identificável de dados descrita por metadados.