10. Data lakes aplicados ao BI

Data lakes oferecem armazenamento flexível para fontes diversas e podem sustentar relatórios, exploração e modelos. Essa flexibilidade exige organização para que dados brutos não sejam confundidos com informação pronta para decisão. O capítulo percorre camadas, desempenho, governança e usos de IA presentes nas questões deste tópico. A escolha arquitetural deve considerar o trabalho completo, incluindo preparação, custo e operação, em vez de avaliar apenas a capacidade de guardar arquivos.

Os resultados analíticos precisam apoiar decisões. Esta disciplina conecta fontes, integração, data warehouse, OLAP, mineração, indicadores, relatórios e comunicação gerencial. Este é o capítulo 10 de 11 da disciplina Inteligência de Negócios (Business Intelligence). Ele retoma Inteligência Artificial e Machine Learning aplicados ao BI e utiliza essa base para avançar. Na sequência, estudaremos Visualização de dados, relatórios e dashboards.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Data lakes aplicados ao BI para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Armazenamento flexível e estrutura no consumo

Começamos por Armazenamento flexível e estrutura no consumo, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Um data lake reúne dados estruturados, semiestruturados e não estruturados, frequentemente em formatos próximos da origem. Armazenamento de objetos é comum por permitir separar capacidade de armazenamento e processamento e atender diferentes formatos. Escala e durabilidade dependem do serviço e da configuração; o nome lake não oferece capacidade infinita ou desempenho automático.

Schema-on-read aplica interpretação de estrutura no consumo. Isso permite novos usos sem modelar previamente cada consulta, mas não elimina esquema, validação ou contrato. Se um campo muda de unidade, o leitor ainda precisa saber. Mesmo camadas brutas devem identificar origem, versão, formato e condições de acesso. Flexibilidade sem metadados apenas transfere ambiguidades para cada consumidor.

Zonas, catálogo e produtos de consumo

Depois de compreender Armazenamento flexível e estrutura no consumo, passamos a Zonas, catálogo e produtos de consumo. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Uma organização frequente distingue raw, curada e serving, com nomes que variam entre arquiteturas. Raw preserva conteúdo próximo da fonte com controles de acesso e histórico; curada contém dados tratados e integrados para usos definidos; serving organiza produtos para consumo eficiente por BI, aplicações ou modelos. Não trate esses nomes como estágios universais obrigatórios nem permita acesso irrestrito ao bruto por ele ainda não ter sido transformado.

Catálogo descreve esquema, significado, origem, responsável, sensibilidade e atualização. Linhagem conecta transformações e consumidores. Sem qualidade e descoberta, o lake pode se tornar data swamp, no qual localizar um arquivo não permite saber se ele é correto ou utilizável. A passagem entre zonas precisa de critérios e evidências, incluindo regras para rejeitados e versões, para que o consumidor saiba quais garantias foram efetivamente verificadas.