01. Monitoramento de ingestão e pipelines

O pipeline terminou com sucesso, mas o fechamento trouxe menos vendas que o esperado. Esse incidente mostra a diferença entre execução tecnicamente válida e entrega de dados correta. Monitorar ingestão exige acompanhar início, atividades, movimentação e reconciliação do lote.

Execução e linha do tempo

Identifique o pipeline, o Run ID, a origem do disparo e os parâmetros efetivos. Diferencie o instante em que o trabalho deveria começar, sua admissão e o início da transferência. Um atraso pode ocorrer antes de qualquer leitura; nesse caso, aumentar a vazão de cópia não atua sobre a parcela dominante.

O estado global resume o resultado das atividades segundo suas condições. Para localizar a causa, abra entradas, saídas e erros das atividades relevantes. A mesma definição pode produzir resultados diferentes por parâmetro, conexão, período ou disponibilidade da fonte. Compare tentativas do mesmo lote sem misturar seus identificadores.

Uma execução deveria começar às 2h, foi admitida às 2h10 e transferiu dados entre 2h12 e 2h20. Seu atraso de entrega não pode ser atribuído integralmente aos oito minutos de transferência. A linha do tempo separa o problema de início da eficiência de cópia. Para comparar dias, preserve esses marcos e as entradas. Um pipeline com o mesmo nome pode ter processado um mês em uma tentativa e quatro meses em outra; a identidade do item não garante equivalência da carga.

Pai, filhos, skipped e retentativas

Quando um pipeline pai chama outros pipelines, siga os identificadores das execuções descendentes para encontrar a causa inicial. Uma atividade skipped não executou necessariamente o conector; investigue condição e dependência que impediram sua entrada. Retentativas automáticas podem terminar em sucesso e ainda revelar instabilidade, atraso e consumo adicional. Analise as tentativas, não apenas o estado final. Depois de uma carga incremental, confirme também a persistência do watermark: sucesso da cópia não demonstra que o próximo intervalo foi atualizado.

Volume e completude

Linhas ou bytes lidos e gravados ajudam a localizar onde o conjunto mudou. A diferença pode ser explicada por filtros, rejeições, transformação ou falha. Ela não deve ser aceita nem condenada sem conhecer a operação. Uma alteração de parâmetro de data pode excluir registros necessários sem causar exceção.