09. Escolha de ferramentas de transformação

Uma solução precisa receber arquivos, corrigir tipos e executar um cálculo distribuído. Escolher uma única ferramenta para todas essas tarefas costuma misturar coordenação com processamento. No Fabric, Dataflow Gen2, pipelines e notebooks podem participar do mesmo fluxo, cada um com uma responsabilidade explícita.

Transformação com Power Query

Dataflow Gen2 oferece preparação de dados pela experiência Power Query, adequada a equipes que trabalham com passos de limpeza, junção e configuração de destinos. A consulta descreve transformações; o mecanismo decide como executá-las, incluindo folding quando aplicável. A escolha deve considerar volume, conectores, destinos e custo de movimentação.

Uma interface visual não elimina a necessidade de entender tipos, cardinalidade e valores nulos. Uma junção pode multiplicar linhas e uma conversão pode rejeitar valores presentes fora da prévia. Valide a atualização completa e o destino, em vez de concluir pela aparência correta de uma amostra.

Uma transformação visual continua sendo uma expressão executável com decisões sobre tipos e cardinalidade. Antes de escolhê-la, desenhe um pequeno conjunto de entrada e o resultado esperado: quais linhas permanecem, quais colunas são criadas e o que acontece com valores ausentes. Essa preparação permite avaliar Power Query pelo trabalho concreto, e não apenas pela facilidade de clicar. O destino e a atualização completa devem participar do teste, porque a prévia pode não conter os registros que desafiam o contrato.

Orquestração com pipelines

O pipeline organiza atividades, dependências, parâmetros, condições e repetição. Ele pode copiar dados e invocar Dataflows ou notebooks. Essa capacidade permite reutilizar uma transformação especializada dentro de uma execução mais ampla, com controle de falha e rastreabilidade do lote.

Expressões dinâmicas definem propriedades e decisões do fluxo. Elas não precisam substituir código distribuído ou uma consulta adequada para transformar milhões de linhas. Use a expressão para escolher o caminho ou passar a data; use o mecanismo de transformação para processar os dados daquele caminho e daquela data.