01. Fundamentos: ETL, BI, Analytics, Big Data, Machine Learning e IA

Uma solução analítica começa com uma pergunta de negócio e percorre coleta, integração, análise e decisão. ETL, BI, analytics, big data e inteligência artificial descrevem responsabilidades relacionadas, mas diferentes. Este capítulo organiza essas fronteiras e mostra como escolher a técnica sem confundir uma tecnologia de armazenamento com um método de aprendizagem.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 1 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele abre o percurso e apresenta a base para os capítulos seguintes. Na sequência, estudaremos Linguagens de consulta.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Fundamentos: ETL, BI, Analytics, Big Data, Machine Learning e IA para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Integração: ETL e ELT

Começamos por Integração: ETL e ELT, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

ETL significa extrair, transformar e carregar. A extração reúne dados de fontes, a transformação corrige formatos, concilia códigos, aplica regras e combina registros, e a carga grava o resultado no destino. Por exemplo, vendas de duas filiais podem usar moedas e identificadores diferentes; somar os arquivos antes de harmonizar essas diferenças produziria um número sem significado consistente. A integração não é apenas copiar bytes.

ELT carrega antes de transformar, explorando o processamento do destino. Essa ordem pode ser útil em plataformas com capacidade para processar grandes volumes, mas não elimina validação, segurança ou qualidade. ETL pode ser preferível quando se precisa tratar dados antes de disponibilizá-los ou quando o destino tem capacidade limitada. São padrões que podem coexistir; a sigla é definida pela ordem, não pela marca da ferramenta. Cargas incrementais, tratamento de falhas e rastreabilidade tornam o fluxo operacionalmente confiável.

Repositórios e formas de consumo

Depois de compreender Integração: ETL e ELT, passamos a Repositórios e formas de consumo. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Um data warehouse integra dados para análise histórica. Um data mart atende um domínio ou departamento: o mart dependente deriva do warehouse, enquanto um independente pode receber dados diretamente de outras fontes. Não é necessário que todo mart seja uma cópia parcial física do mesmo repositório corporativo. O escopo de negócio e as definições compartilhadas importam mais que o nome do produto.

OLTP atende transações operacionais, como registrar um pedido; OLAP favorece consultas analíticas, como comparar receita por ano e região. Dimensões descrevem perspectivas e medidas representam valores analisados. Drill-down detalha, roll-up agrega, slice fixa uma dimensão e dice seleciona um subcubo. OLAP complementa integração e apresentação: não substitui limpeza, não é aprendizado não supervisionado e não exige necessariamente cubos físicos em toda implementação.