04. Mapeamento, coleta e arquitetura de fontes de dados

Integrar dados começa por entender o que cada fonte representa e como seus registros chegam ao ambiente analítico. Um conector funcionando não garante cobertura, consistência ou significado. Este capítulo organiza o inventário, a coleta e os contratos necessários para evitar perdas, duplicações e interpretações incorretas.

Os resultados analíticos precisam apoiar decisões. Esta disciplina conecta fontes, integração, data warehouse, OLAP, mineração, indicadores, relatórios e comunicação gerencial. Este é o capítulo 4 de 11 da disciplina Inteligência de Negócios (Business Intelligence). Ele retoma Sistemas de suporte à decisão e gestão de conteúdo e utiliza essa base para avançar. Na sequência, estudaremos Arquitetura de Business Intelligence.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Mapeamento, coleta e arquitetura de fontes de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Inventário, autoridade e responsabilidades

Começamos por Inventário, autoridade e responsabilidades, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Inventariar uma fonte significa registrar sistema, domínio, localização, responsável, acesso, atualização, cobertura e limitações. System of record é a referência autoritativa para determinado dado ou processo; uma fonte pode ser referência para contratos e outra para contatos. O critério deve ser explícito, pois a existência de várias cópias não torna todas igualmente atuais ou confiáveis.

Data owner responde por decisões e políticas do domínio; data steward acompanha significado, qualidade e aplicação cotidiana das regras, conforme a organização. Contratos de dados descrevem esquema, semântica, expectativas de qualidade, disponibilidade e evolução. Linhagem registra origem e transformações até os consumidores e permite avaliar impacto de mudanças. Documentar apenas nomes de tabelas não explica qual fórmula ou filtro alterou um indicador.

Estruturas, arquivos e representação

Depois de compreender Inventário, autoridade e responsabilidades, passamos a Estruturas, arquivos e representação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dados estruturados seguem organização explícita, como tabelas e registros tipados. JSON e XML são exemplos comuns de dados semiestruturados, com hierarquia e marcações; textos e imagens são frequentemente tratados como não estruturados, embora possam ser processados para extrair atributos. Essa classificação descreve organização e uso, não qualidade ou valor. Um arquivo CSV pode ser estruturado e ainda conter erros de unidade ou identidade.

Na coleta de arquivos, valide nome, integridade, delimitador, cabeçalho, esquema e conclusão da transferência. Encoding define como bytes representam caracteres; interpretá-lo incorretamente corrompe acentos e chaves textuais. Localidade afeta vírgula decimal e ordem de datas. Tipos e precisão precisam preservar valores: um identificador com zeros iniciais não deve virar número por conveniência. Nulo indica ausência ou estado definido pelo contrato e não equivale automaticamente a zero, string vazia ou inexistência do evento.