09. Apache HBase

HBase é um banco NoSQL do tipo wide-column, voltado ao acesso a registros por chave em grandes conjuntos distribuídos. Seu modelo e seus caminhos de leitura e escrita diferem de uma camada SQL analítica como Hive. O capítulo explica componentes, persistência, versionamento e desenho de chaves, incluindo compromissos de escala.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 9 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Bancos de dados distribuídos e utiliza essa base para avançar. Na sequência, estudaremos Apache Hive.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Apache HBase para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Modelo wide-column e acesso por chave

Começamos por Modelo wide-column e acesso por chave, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

HBase organiza linhas por row key em ordem lexicográfica de bytes. Colunas pertencem a column families declaradas no esquema, enquanto qualifiers dentro de uma família podem surgir dinamicamente e variar entre linhas. Essa flexibilidade não equivale a ausência de contrato: aplicações precisam concordar sobre codificação, tipos e significado dos valores. O modelo wide-column não é o mesmo que um arquivo colunar analítico como Parquet.

Famílias correspondem a estruturas de armazenamento próprias dentro das regiões. Manter muitas famílias pode multiplicar custos de MemStore, flush e compactação e criar desequilíbrio. Prefira uma quantidade pequena justificada por padrões de acesso e políticas, sem transformar um número recomendado em limite universal. As famílias de uma região não são distribuídas livremente entre servidores como se fossem tabelas independentes.

Regiões, servidores e coordenação

Depois de compreender Modelo wide-column e acesso por chave, passamos a Regiões, servidores e coordenação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Uma região cobre uma faixa contígua de row keys. RegionServers hospedam regiões e atendem leitura e escrita dos clientes. HMaster realiza administração, como atribuição, balanceamento e alterações de esquema; não intermedeia obrigatoriamente cada operação de dados. Após localizar a região por metadados e mecanismos de descoberta da implantação, o cliente se comunica com o RegionServer correspondente.

Na arquitetura clássica, ZooKeeper participa da coordenação, descoberta e detecção de falhas, e não armazena os dados das tabelas como uma camada de overflow. A recuperação e reatribuição de regiões são coordenadas pelo HBase. Escritas de uma região passam por sua réplica primária; réplicas secundárias opcionais atendem leituras sob suas garantias. Não há escrita irrestrita da mesma região em vários RegionServers ativos independentes. Detalhes de coordenação variam por versão, preservando a separação dos papéis.