12. Apache Zeppelin

Apache Zeppelin é um notebook web que combina código, texto e visualizações em parágrafos. Seu sistema de interpreters permite trabalhar com diferentes mecanismos em um documento. O capítulo explica essa organização e sua integração com Hive e HBase, separando a interface de exploração das responsabilidades dos serviços consultados.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 12 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Plataformas Cloudera HDP e CDP e utiliza essa base para avançar. Na sequência, estudaremos Master Data Management e EBX.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Apache Zeppelin para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Documento interativo e arquitetura

Começamos por Documento interativo e arquitetura, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Um notebook Zeppelin reúne parágrafos de código executável, texto explicativo e resultados visuais. Isso aproxima procedimento, hipótese e evidência em um documento útil à exploração e discussão. O notebook não é o banco de dados nem o administrador geral do cluster; utiliza mecanismos conectados para executar trabalho. A disponibilidade de recursos depende de configuração, versão e permissões.

Zeppelin e Jupyter são projetos distintos. Zeppelin destaca interpreters plugáveis por parágrafo; Jupyter organiza execução em torno de kernels, tipicamente associados ao notebook, embora existam extensões e outras formas de integração. Ambos podem apoiar análise interativa, mas não são o mesmo produto com nomes diferentes. A comparação deve preservar essa diferença sem afirmar que uma ferramenta tem exclusividade absoluta sobre toda capacidade de colaboração ou linguagem.

Interpreters e texto explicativo

Depois de compreender Documento interativo e arquitetura, passamos a Interpreters e texto explicativo. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

O interpreter direciona um parágrafo a um mecanismo configurado. Prefixos como %spark, %sh e %md indicam, respectivamente, execução Spark, shell e renderização Markdown nos contextos compatíveis. Um interpreter JDBC pode submeter consultas a uma fonte. Não existe um único mecanismo universal que transforme automaticamente qualquer texto em código correto para todas as plataformas.

Markdown inclui títulos, listas e ênfase sem executar o texto como consulta analítica. Separar explicação e código torna o raciocínio mais claro. Um parágrafo shell, por outro lado, pode produzir efeitos no ambiente e deve ter permissões adequadas. Escolher interpreter não garante acesso: dependências, credenciais, rede e autorização precisam estar configuradas para o destino.