19. HyperStage

Hyperstage é um mecanismo analítico colunar associado ao ecossistema WebFOCUS e à tecnologia Infobright. Para compreender seu desempenho, é preciso relacionar armazenamento por coluna, compressão e metadados que evitam leitura desnecessária. O capítulo também delimita o que essas otimizações não garantem.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 19 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma WebFOCUS e utiliza essa base para avançar. Como capítulo final, ele integra as decisões construídas ao longo da disciplina.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use HyperStage para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Posição na arquitetura analítica

Começamos por Posição na arquitetura analítica, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

No contexto histórico da base de questões, Hyperstage aparece como tecnologia da Information Builders integrada ao WebFOCUS. Sua função é armazenar e consultar dados para análise, usando um motor colunar derivado de Infobright. A documentação do produto deve ser lida pela versão: nomes de fornecedores, componentes e empacotamento evoluem, enquanto a distinção entre apresentação e processamento continua útil.

WebFOCUS apresenta relatórios e painéis e se conecta a fontes; Hyperstage atende consultas sobre seus dados. Não é um banco de grafos ou documentos, nem um substituto conceitual de todas as funções de BI. A integração facilita um caminho entre consulta e visualização, mas não transforma dados inconsistentes em indicadores corretos sem modelagem e regras de negócio.

Colunas e compressão

Depois de compreender Posição na arquitetura analítica, passamos a Colunas e compressão. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

No armazenamento por linhas, valores de diferentes atributos de um registro ficam organizados juntos. No colunar, valores do mesmo atributo são agrupados, permitindo consultar apenas as colunas necessárias. Para somar receita por região em uma tabela com dezenas de atributos, a leitura pode se concentrar em receita e região, além das colunas usadas pelos filtros. Isso favorece agregações extensas.

Valores semelhantes de uma coluna também favorecem compressão. Menos bytes armazenados e transferidos podem reduzir I/O, mas o resultado depende da distribuição dos dados, da consulta e do custo de processamento. Colunar não significa que toda operação seja instantânea ou que qualquer formato de dados tenha a mesma taxa de compressão. O desempenho deve ser avaliado com uma carga representativa.