05. Ingestão com pipelines, fluxos e notebooks

Trazer dados ao Fabric não é apenas copiar arquivos. A ingestão precisa ordenar tarefas, transformar formatos, registrar falhas e chegar ao destino no tempo exigido. Pipelines, Dataflow Gen2 e notebooks atendem partes diferentes desse trabalho.

Preparar dados é construir o caminho entre uma fonte e uma base analítica confiável. Armazenamento, ingestão, qualidade e consulta formam uma sequência: uma decisão mal resolvida no início reaparece no modelo e no relatório. Este é o capítulo 5 de 24 da disciplina Preparar dados. A leitura parte do que foi construído em Conexões de dados. Depois dele, o estudo avança para Tipos de dados e filtragem.

Pipeline como maestro

O pipeline coordena atividades: cópia, notebook, procedimento, dependências, parâmetros e agenda. Ele observa a sequência do processo e permite reagir a falhas. Concluir uma cópia confirma transporte, não qualidade; validações precisam fazer parte do desenho.

Com essa base, o capítulo segue para Dataflow Gen2 para transformação visual. O conceito que acabou de ser apresentado passa a funcionar como ponto de partida para a decisão seguinte.

Dataflow Gen2 para transformação visual

O Dataflow Gen2 usa Power Query para conectar, limpar, combinar e carregar dados com uma experiência de baixo código. É útil quando as transformações são tabulares e a equipe domina a interface. O destino, a atualização e o comportamento das consultas ainda precisam ser planejados.

A decisão anterior ainda não encerra o problema. Em Notebook e Spark para engenharia programática, veremos o que muda quando esse mecanismo encontra outra camada, outro contexto ou uma necessidade mais específica.

Notebook e Spark para engenharia programática

Notebooks oferecem código, texto e resultados numa sessão Spark, adequados a grandes volumes, bibliotecas e lógica programática. Isso não os torna obrigatórios para arquivos pequenos. O custo de sessão, a manutenção do código e as habilidades da equipe entram na escolha.

Resta ligar esse mecanismo a Combinar sem criar um labirinto. Essa passagem completa o fluxo e permite avaliar o resultado como um todo, em vez de conferir apenas uma configuração isolada.

Combinar sem criar um labirinto

Um pipeline pode copiar dados e chamar um notebook; um dataflow pode preparar uma dimensão; outro pipeline pode promover a saída. A combinação é boa quando as fronteiras estão claras. Parâmetros, idempotência, tentativas, monitoramento e contrato de esquema evitam resultados duplicados ou silenciosamente incompletos.

Com as quatro partes reunidas, já é possível sair das definições e acompanhar uma situação completa. O exemplo seguinte mostra como as decisões aparecem em conjunto e em que momento cada uma precisa ser conferida.