16. Otimização de pipelines e cópia

Uma cópia só consegue avançar na velocidade permitida pelo caminho inteiro. A origem pode limitar leitura, a rede pode restringir transferência e o destino pode demorar para confirmar gravações. A otimização começa pela fase limitante e considera o tempo total de entrega.

Linha de base e caminho crítico

Meça espera, preparação, transferência e validação separadamente. Se uma cópia ocupa dois minutos de um fluxo de vinte, torná-la instantânea ainda deixaria dezoito minutos. Essa conta simples evita investir na etapa errada. Atividades em sequência e dependências definem o caminho crítico.

Use cargas comparáveis, com volumes, formatos e concorrência semelhantes. Registre parâmetros e métricas antes da mudança. Alterar simultaneamente paralelismo, formato e destino pode melhorar o tempo, mas impede saber qual fator causou o ganho ou a regressão.

Um fluxo com três extrações independentes executadas em sequência pode reduzir sua janela ao colocá-las em paralelo, desde que a origem suporte a carga combinada. A etapa consumidora ainda precisa aguardar todas as entradas necessárias. Isso é diferente de iniciar duas cópias do mesmo pipeline, o que pode duplicar efeitos. O desenho deve aproveitar independência real e preservar dependências de dados. A linha de base permite calcular o ganho máximo esperado antes de alterar recursos.

Paralelismo configurado e efetivo

O paralelismo configurado representa um limite ou intenção segundo a atividade; o uso efetivo depende das condições. Alguns formatos, particionamentos e conectores oferecem menos trabalho independente. Consulte as métricas da execução, em vez de assumir que todo valor configurado foi utilizado.

Mais tarefas abrem mais conexões e pressionam sistemas compartilhados. Várias atividades com paralelismo moderado podem, juntas, saturar a origem. Avalie a concorrência agregada e o efeito sobre outros processos. O melhor ponto operacional pode ficar abaixo do máximo disponível.