16. Agregações

Ler bilhões de linhas para responder sempre ao mesmo resumo mensal desperdiça trabalho. Uma agregação pré-calcula o grão consultado, mas só é correta quando a medida pode ser resumida sem mudar o significado.

Preparar dados é construir o caminho entre uma fonte e uma base analítica confiável. Armazenamento, ingestão, qualidade e consulta formam uma sequência: uma decisão mal resolvida no início reaparece no modelo e no relatório. Este é o capítulo 16 de 24 da disciplina Preparar dados. A leitura parte do que foi construído em Funções e procedimentos armazenados. Depois dele, o estudo avança para Consultas SQL.

O grão agregado nasce da consulta

Observe combinações mais usadas, como mês, produto e região. A tabela deve ter uma linha para cada combinação desse grão. Se o relatório pedir detalhe menor, a agregação não contém a resposta e precisa recorrer à tabela detalhada ou a outra estrutura.

Com essa base, o capítulo segue para Medidas não agregam da mesma forma. O conceito que acabou de ser apresentado passa a funcionar como ponto de partida para a decisão seguinte.

Medidas não agregam da mesma forma

Somas de valores aditivos são candidatas naturais. Média global exige soma e contagem, pois média de médias pode dar peso igual a grupos de tamanhos diferentes. Distinct count, saldo e percentual pedem desenho específico; não basta aplicar SUM ao resultado pronto.

A decisão anterior ainda não encerra o problema. Em Dimensões precisam casar, veremos o que muda quando esse mecanismo encontra outra camada, outro contexto ou uma necessidade mais específica.

Dimensões precisam casar

Chaves e níveis das dimensões da agregação devem ser compatíveis com os filtros do consumidor. Categoria sem produto, por exemplo, não responde a uma seleção individual. Relações e mapeamento determinam se a consulta pode usar o resumo sem trocar o resultado.

Resta ligar esse mecanismo a Atualidade e validação. Essa passagem completa o fluxo e permite avaliar o resultado como um todo, em vez de conferir apenas uma configuração isolada.

Atualidade e validação

Uma agregação atrasada pode responder rapidamente com número antigo. Defina atualização coordenada, partições e controles de consistência. Compare a mesma consulta no detalhe e no agregado, inclusive para nulos, períodos incompletos e filtros não cobertos.

Com as quatro partes reunidas, já é possível sair das definições e acompanhar uma situação completa. O exemplo seguinte mostra como as decisões aparecem em conjunto e em que momento cada uma precisa ser conferida.