10. Apache Hive

Hive permite consultar dados distribuídos por uma interface SQL e definições de tabelas. Seu funcionamento depende de metadados, formatos e motores de execução, e seus recursos variam por versão. O capítulo apresenta os conceitos clássicos cobrados e explicita limites importantes sobre tabelas externas, transações e integração com Spark e HBase.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 10 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Apache HBase e utiliza essa base para avançar. Na sequência, estudaremos Plataformas Cloudera HDP e CDP.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Apache Hive para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Finalidade e percurso de uma consulta

Começamos por Finalidade e percurso de uma consulta, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

HiveQL oferece uma interface declarativa semelhante a SQL para análise de grandes conjuntos, evitando escrever um job MapReduce em Java para cada consulta. A infraestrutura interpreta a consulta e constrói um plano. Hive é voltado à análise e não oferece por definição a mesma latência de um banco operacional para pequenas leituras e escritas por registro.

HBase e Hive podem coexistir: HBase favorece acesso aleatório por row key; Hive favorece consultas analíticas, joins e agregações conforme seu desenho. Substituir um pelo outro sem examinar padrão de acesso pode aumentar complexidade e custo. HBase não deixa de ler dados gravados, nem exige ORC, e o fato de ambos pertencerem ao ecossistema Hadoop não implica engines idênticas.

Metastore e motores: atenção à versão

Depois de compreender Finalidade e percurso de uma consulta, passamos a Metastore e motores: atenção à versão. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Metastore mantém esquema, tipos, localizações, partições e outras definições, normalmente persistidos em um banco relacional. Ele não contém todos os registros das tabelas nem usa o HDFS como substituto obrigatório desse banco de metadados. Clientes e serviços compatíveis podem compartilhar definições, respeitando versões e capacidades. Dados e metadados possuem papéis e ciclos de recuperação distintos.

O fluxo recebe a consulta, resolve nomes e tipos com metadados, otimiza e executa um plano. Historicamente, Hive utilizou MapReduce e também suportou Tez e Hive on Spark. Não generalize essa lista a toda versão: Hive 4 removeu Hive on Spark e marcou Hive on MapReduce como depreciado. Isso é diferente de Spark SQL acessar tabelas por um metastore compatível. A questão clássica sobre motores alternativos deve ser interpretada no contexto histórico, sem prometer configuração inexistente em versões atuais.