13. Orquestração e confiabilidade de workflows

Pipelines reais enfrentam indisponibilidade, dados inválidos e operações que demoram mais que o esperado. Um orquestrador coordena as etapas, mas a confiabilidade depende das políticas de recuperação e dos efeitos de cada tarefa. O capítulo apresenta estado e dependências, repetição com limite, timeout e isolamento de entradas problemáticas. O objetivo é recuperar falhas transitórias sem criar duplicidade, sobrecarga ou descarte silencioso de dados relevantes.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 13 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma CI, CD e treinamento contínuo e utiliza essa base para avançar. Na sequência, estudaremos Monitoramento de serviço e operação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Orquestração e confiabilidade de workflows para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Orquestrador

Começamos por Orquestrador, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Orquestrador agenda e coordena etapas, estados e dependências.

O orquestrador agenda e acompanha tarefas, dependências e estados de execução. Pode decidir quando uma etapa está elegível, distribuir trabalho e registrar falhas, mas não necessariamente executa todo o cálculo no próprio processo. Diferencie agendamento, execução e sucesso da saída. Uma tarefa marcada como concluída precisa ter produzido o artefato contratado de forma válida. Estados e políticas de dependência devem impedir que etapas posteriores consumam saídas incompletas. Também controle concorrência e recursos para que vários pipelines não esgotem a mesma dependência compartilhada.

Retry

Depois de compreender Orquestrador, passamos a Retry. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Retry repete falha transitória com limite e backoff.