Bancos NoSQL e Arquiteturas de Dados
03. Integração e ingestão de dados: ETL e ELT
3º capítulo da apostila Bancos NoSQL e Arquiteturas de Dados: explicação contínua e em linguagem simples sobre Integração e ingestão de dados: ETL e ELT, com exemplos, conexões e mapa mental.
Dados raramente nascem no sistema em que serão analisados. Extraí-los exige proteger a origem; transformá-los exige regras verificáveis; carregá-los exige provar completude e permitir reprocessamento seguro.
A última disciplina amplia o repertório para dados distribuídos e heterogêneos. Partimos dos modelos NoSQL, praticamos o modelo de documentos, conectamos sistemas por ETL e ELT e terminamos com data lakes, big data e lakehouse. Este é o capítulo 3 de 4 da disciplina Bancos NoSQL e Arquiteturas de Dados. A leitura retoma MongoDB Query Language e usa essa base para avançar. Depois, seguiremos para Data lakes e big data.
O fio condutor
Banco de dados deve ser estudado como um sistema de decisões conectadas. O significado atribuído ao dado orienta o modelo; o modelo condiciona consultas e atualizações; o SGBD executa essas operações sob regras de segurança, concorrência, desempenho e recuperação. Quando uma dessas camadas muda, as demais podem ser afetadas.
Ao longo da leitura, acompanhe sempre quatro perguntas: qual problema está sendo resolvido, qual estrutura representa o problema, que garantia precisa ser preservada e qual custo acompanha a escolha. Esse roteiro ajuda a compreender os conceitos em vez de apenas memorizar nomes.
Extração e carga
Começamos por Extração e carga, pois essa base permite compreender as decisões apresentadas nas seções seguintes.
| Técnica | Como funciona | Cuidado |
|---|---|---|
| Extração completa (full) | Lê todos os registros a cada execução | Simples e sem controle de estado, mas custosa em tempo e carga na origem |
| Extração incremental | Lê apenas o que mudou desde a última execução | Depende da técnica: uma varredura de coluna de controle sem índice pode custar quase o mesmo que a completa |
| Coluna de controle (watermark) | Compara o valor guardado da última extração com o atual (data de última atualização, número de sequência) | Exige que a origem mantenha a coluna de forma confiável a cada alteração — senão, mudanças escapam |
| CDC (change data capture) | Captura inserções, atualizações e exclusões — por log de transações, gatilhos, colunas de controle ou comparação de imagens | Não se resume a triggers: a leitura do log é a técnica menos intrusiva |
Um padrão consolidado combina as duas pontas: a ferramenta de CDC lê o log de transações uma única vez e publica cada alteração como evento numa plataforma de mensageria; a partir daí, quantos consumidores forem necessários — data warehouse, cache, índice de busca — assinam o mesmo fluxo, sem pressionar novamente a origem.
Repare como Full × incremental, Watermark e CDC, Carga inicial × incremental participam da mesma decisão. Ao relacionar esses elementos, fica mais fácil prever o comportamento do banco e reconhecer os efeitos de cada escolha.
Transformação e staging
A seção anterior apresentou Extração e carga. Agora chegamos a Transformação e staging, que acrescenta a próxima peça do mesmo raciocínio.
Continue lendo de graça
O capítulo inteiro está liberado no plano gratuito
Criar conta leva menos de um minuto e não pede cartão. Você destrava o texto completo, o mapa mental, o PDF para estudar off-line e ainda resolve questões inéditas todo dia.
Leu o resumo? Agora pratique.
São 60 questões inéditas de Integração e ingestão de dados: ETL e ELT, todas comentadas alternativa por alternativa.
Você volta para este capítulo depois de criar a conta.
Fontes consultadas
- DAMA-DMBOK, 2ª edição — Integração e Interoperabilidade de Dados
- Kimball & Ross, The Data Warehouse Toolkit — subsistemas de ETL
- Documentação do dbt, Apache Kafka, SQL Server Integration Services, Oracle Data Integrator e postgres_fdw
- Acervo comentado de Banco de Dados — Integração e ingestão de dados: ETL e ELT (60 questões publicadas), conferido em 14/09/2026