11. Plataformas Cloudera HDP e CDP

Distribuições do ecossistema Hadoop reuniram projetos independentes em conjuntos testados e administráveis. HDP e CDH pertencem a esse contexto histórico, enquanto CDP consolidou a evolução das linhas após a união de Hortonworks e Cloudera. Entender essa trajetória ajuda a separar os componentes de dados, administração e governança.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 11 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Apache Hive e utiliza essa base para avançar. Na sequência, estudaremos Apache Zeppelin.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Plataformas Cloudera HDP e CDP para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Por que existem distribuições

Começamos por Por que existem distribuições, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

HDFS, YARN, Hive, HBase, Spark e outros projetos possuem ciclos próprios. Uma distribuição seleciona versões compatíveis, integra instalação e operação e oferece documentação e suporte. Isso reduz o esforço de construir e testar toda a combinação, mas não transfere ao fornecedor a definição das regras de negócio ou de todos os requisitos de capacidade.

HDP, Hortonworks Data Platform, enfatizava historicamente componentes abertos, incluindo Apache Ambari para administração. Esse posicionamento sobre o código não significa ausência de contratos comerciais, suporte pago ou condições de distribuição. No estudo, preserve o contexto histórico da questão e evite estender o modelo comercial de uma versão a todos os produtos posteriores.

Evolução de HDP e CDH para CDP

Depois de compreender Por que existem distribuições, passamos a Evolução de HDP e CDH para CDP. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Cloudera e Hortonworks concluíram sua união em 2019, e CDP foi apresentado como convergência das linhas CDH e HDP. CDH era a distribuição Cloudera e HDP a Hortonworks. A evolução reuniu componentes e práticas, mas não tornou os ambientes antigos idênticos nem substituiu instantaneamente todas as instalações existentes.

Linhas antigas tiveram ciclos de suporte encerrados ou condicionados a versões e contratos, motivando migração. Datas e direitos de suporte devem ser consultados na política vigente do fornecedor. O ponto conceitual é que depender de uma versão sem manutenção aumenta dificuldade de corrigir vulnerabilidades e incompatibilidades. Uma estratégia de evolução deve considerar aplicações, dados e competências, não apenas trocar o nome da plataforma.