22. Conceitos e arquitetura de Big Data

Big Data descreve desafios de escala, fluxo e diversidade que exigem escolhas específicas de processamento e governança. Não existe um tamanho universal de arquivo que determine sozinho essa classificação. O capítulo relaciona características dos dados, arquitetura distribuída, análise e operação de IA, incluindo a escolha responsável das tecnologias presentes nas questões.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 22 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Sistemas de recomendação e utiliza essa base para avançar. Na sequência, estudaremos Apache Hadoop.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Conceitos e arquitetura de Big Data para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Volume, velocidade, variedade, veracidade e valor

Começamos por Volume, velocidade, variedade, veracidade e valor, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Volume trata da quantidade de dados; velocidade, da taxa de geração, ingestão e necessidade de processamento; variedade, dos formatos e estruturas. Veracidade envolve confiança, qualidade e incerteza; valor relaciona o uso dos dados a resultados relevantes. Esses Vs ajudam a organizar desafios e não formam um teste baseado em um único limite de tamanho. Uma planilha grande não exige automaticamente um cluster, e um fluxo moderado pode exigir baixa latência se a decisão perde valor rapidamente.

A arquitetura deve responder à necessidade e ao custo total. Armazenar mais não torna dados verdadeiros nem representativos. Um erro replicado em escala pode produzir uma conclusão mais precisa sobre a população errada. Defina casos de uso, janela de valor, qualidade esperada e ciclo de vida antes de investir. Capacidade técnica sem finalidade, consumidores ou ação pode gerar custo sem benefício proporcional.

Estrutura dos dados e qualidade para o uso

Depois de compreender Volume, velocidade, variedade, veracidade e valor, passamos a Estrutura dos dados e qualidade para o uso. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dados estruturados seguem esquema explícito; semiestruturados possuem organização por campos e marcadores flexíveis, como JSON e XML; não estruturados incluem textos e mídias sem um modelo tabular rígido para o uso considerado. As categorias dependem da representação e não indicam ausência total de estrutura. Extrair atributos de texto ou imagem requer processamento e introduz erros e limitações próprios.

Qualidade é adequação à finalidade e pode envolver completude, validade, consistência, unicidade e atualidade. Dados históricos refletem processos de coleta, seleção, rótulos e decisões passadas. Grande volume não corrige automaticamente viés de seleção ou desigualdade. Examine quem está representado, quais eventos faltam e como o alvo foi produzido, especialmente quando a análise será usada para orientar ações sobre pessoas.