14. Qualidade de dados e Trillium

Qualidade de dados é a adequação ao uso, sustentada por diagnóstico, tratamento e monitoramento. Trillium reúne recursos para descobrir problemas, padronizar e relacionar registros. A integração com MDM transforma esses resultados em manutenção governada de entidades, com papéis e regras explícitos.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 14 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Master Data Management e EBX e utiliza essa base para avançar. Na sequência, estudaremos Integração de dados: SAP Data Services (BODS) e DMX.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Qualidade de dados e Trillium para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Diagnóstico antes da correção

Começamos por Diagnóstico antes da correção, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Data profiling investiga o conteúdo real: ausências, frequências, padrões, tipos efetivos, valores extremos e relações. Contar nulos é apenas uma parte. Um campo numérico armazenado como texto pode conter espaços, símbolos e valores fora do domínio. O diagnóstico informa quais regras são necessárias e quais exceções devem ser investigadas, sem pressupor que toda diferença seja um erro.

Defina qualidade pelo uso. Completude não garante exatidão; um endereço preenchido pode estar incorreto. Consistência verifica compatibilidade entre valores, validade confronta regras e unicidade investiga duplicatas. Compare indicadores antes e depois do tratamento e preserve a origem para auditar mudanças. Uma taxa de preenchimento maior pode esconder imputações inadequadas.

Parsing e padronização

Depois de compreender Diagnóstico antes da correção, passamos a Parsing e padronização. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Parsing decompõe texto livre em partes significativas, como tipo de logradouro, nome, número e complemento. Padronização harmoniza representações, abreviações e formatos. A finalidade é reduzir variações irrelevantes e preparar comparação e consumo. Não é a mesma etapa que decidir se duas pessoas são a mesma entidade.

Considere idioma, país e domínio. Remover palavras indiscriminadamente pode destruir um nome válido; formatos postais variam entre localidades. Preserve o valor original, o resultado e a regra aplicada. Registros que não se encaixam com confiança devem seguir para exceção, pois forçar toda entrada ao mesmo padrão pode aumentar erros em vez de resolvê-los.