06. Data warehouse, ETL e integração analítica

Um data warehouse transforma registros de sistemas distintos em informação integrada e histórica para análise. A confiabilidade desse resultado depende de decisões sobre origem, transformação, carga, identidade e tempo. Estudaremos a arquitetura e o ciclo de operação, incluindo como preservar mudanças e recuperar falhas sem duplicar fatos.

Os resultados analíticos precisam apoiar decisões. Esta disciplina conecta fontes, integração, data warehouse, OLAP, mineração, indicadores, relatórios e comunicação gerencial. Este é o capítulo 6 de 11 da disciplina Inteligência de Negócios (Business Intelligence). Ele retoma Arquitetura de Business Intelligence e utiliza essa base para avançar. Na sequência, estudaremos OLAP, modelagem dimensional e cubos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Data warehouse, ETL e integração analítica para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

O papel do warehouse e suas características

Começamos por O papel do warehouse e suas características, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

A caracterização clássica do data warehouse combina orientação por assunto, integração, variação no tempo e não volatilidade. Orientação por assunto organiza a análise em domínios como vendas e clientes. Integração concilia códigos, unidades e significados de origens diferentes. A dimensão temporal preserva estados e eventos para comparar períodos. Não volatilidade significa estabilidade para análise e cargas controladas, em contraste com atualização transacional contínua; não proíbe correções governadas ou manutenção do repositório.

OLTP sustenta operações como registrar um pedido, com concorrência e transações curtas. O warehouse favorece leitura analítica e agregações históricas, evitando que relatórios pesados disputem todos os recursos operacionais. Enterprise Data Warehouse busca integração corporativa entre domínios. Ter um banco grande ou centralizado não basta: se cada área define cliente e receita de maneira incompatível, a integração semântica ainda não foi alcançada.

Data marts, ODS e staging

Depois de compreender O papel do warehouse e suas características, passamos a Data marts, ODS e staging. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Data mart atende necessidades de um domínio ou área. Um mart dependente deriva de uma estrutura corporativa governada; um independente recebe fontes sem depender desse warehouse. Independência pode acelerar uma entrega, mas aumenta risco de definições divergentes se não houver coordenação. Dimensões compartilhadas e contratos permitem comparar processos sem exigir uma única estrutura física para todos os usos.

ODS, Operational Data Store, integra dados operacionais mais atuais para consultas e apoio operacional, conforme o desenho; não é necessariamente um warehouse histórico completo. Staging é uma área intermediária de recepção e preparação. Ela permite conferir, transformar e reprocessar lotes, mas não deve ser confundida com produto final validado. Defina retenção, acesso e limpeza nessa área, pois dados temporários também podem conter informação sensível.