04. Data lakes e big data

Quando volume, variedade e velocidade ultrapassam o desenho tradicional, armazenamento e processamento passam a ser distribuídos. Guardar tudo, porém, não cria valor sem catálogo, qualidade, segurança e propósito.

A última disciplina amplia o repertório para dados distribuídos e heterogêneos. Partimos dos modelos NoSQL, praticamos o modelo de documentos, conectamos sistemas por ETL e ELT e terminamos com data lakes, big data e lakehouse. Este é o capítulo 4 de 4 da disciplina Bancos NoSQL e Arquiteturas de Dados. A leitura retoma Integração e ingestão de dados: ETL e ELT e usa essa base para avançar. Como encerramento, ele reúne e amplia as ideias construídas ao longo da disciplina.

O fio condutor

Banco de dados deve ser estudado como um sistema de decisões conectadas. O significado atribuído ao dado orienta o modelo; o modelo condiciona consultas e atualizações; o SGBD executa essas operações sob regras de segurança, concorrência, desempenho e recuperação. Quando uma dessas camadas muda, as demais podem ser afetadas.

Ao longo da leitura, acompanhe sempre quatro perguntas: qual problema está sendo resolvido, qual estrutura representa o problema, que garantia precisa ser preservada e qual custo acompanha a escolha. Esse roteiro ajuda a compreender os conceitos em vez de apenas memorizar nomes.

Os V's, o lake e o pântano

Começamos por Os V's, o lake e o pântano, pois essa base permite compreender as decisões apresentadas nas seções seguintes.

Em 2001, Doug Laney descreveu o crescimento dos dados em três dimensões — volume, velocidade e variedade —, os 3 V's. Extensões posteriores acrescentaram veracidade (confiabilidade e incerteza dos dados: ruído, inconsistência, viés) e valor.

Repare como 3 V's de Laney, Lake × warehouse, Catálogo e linhagem participam da mesma decisão. Ao relacionar esses elementos, fica mais fácil prever o comportamento do banco e reconhecer os efeitos de cada escolha.

Onde os dados ficam

A seção anterior apresentou Os V's, o lake e o pântano. Agora chegamos a Onde os dados ficam, que acrescenta a próxima peça do mesmo raciocínio.