10. Agendas, eventos e gatilhos

Um arquivo diário nem sempre chega no mesmo horário. Executar às 6h pode ser correto para uma carga com horário fixo e inadequado para uma entrega variável. A definição do gatilho precisa acompanhar o compromisso de negócio e prever atrasos, duplicidade e sobreposição.

Agenda e fuso horário

Uma agenda combina frequência, horário, fuso e intervalo de vigência. A frequência isolada não determina todos os instantes de execução. Compare o horário configurado com o horário de negócio, incluindo datas de início e fim. Uma agenda criada corretamente pode não disparar porque ainda está fora de sua vigência.

Registre o instante efetivo e o período lógico processado separadamente. Uma execução à meia-noite pode tratar os dados do dia anterior. Usar a data atual em todas as propriedades, sem explicitar a regra, pode deslocar a partição carregada quando há atraso ou reprocessamento.

Considere uma agenda diária configurada para um fuso diferente do usado pela equipe. O disparo pode estar obedecendo perfeitamente à regra e ainda ocorrer fora da janela desejada. A correção começa por comparar instantes, e não apenas o número mostrado no relógio. Registre frequência, fuso e vigência junto do período lógico. Isso também evita que um reprocessamento executado hoje selecione inadvertidamente a partição de hoje quando deveria tratar o fechamento de ontem.

Múltiplas agendas e valores por ambiente

Um pipeline pode ter múltiplas agendas, com cadências e parâmetros próprios, sem duplicar sua definição. Os parâmetros podem receber valores diretos ou referências a uma biblioteca de variáveis conforme o recurso, centralizando configurações ambientais. Sempre confira o valor efetivo no ambiente de destino. Uma mudança na biblioteca não deve ser avaliada apenas pelo nome do parâmetro: o caminho ou período resultante é o que determina quais dados serão processados.

Eventos como condição de início

Gatilhos por evento iniciam trabalho em resposta a ocorrências suportadas, como eventos de armazenamento configurados. Eles são úteis quando a chegada varia e a espera de uma próxima agenda acrescentaria latência. A definição do evento deve selecionar o recurso e as condições adequadas para evitar execuções por arquivos temporários ou objetos irrelevantes.