15. Monitoramento de dados e deriva

Distribuições podem mudar depois da implantação mesmo que código e pesos permaneçam iguais. Algumas mudanças afetam apenas a frequência dos perfis recebidos; outras alteram a relação que o modelo aprendeu. Monitorar exige distinguir esses casos e não chamar todo alerta de perda de qualidade. O capítulo apresenta data drift, prediction drift, concept drift e covariate shift, com exemplos que separam sinais observáveis sem rótulo e evidências que dependem do resultado real.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 15 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Monitoramento de serviço e operação e utiliza essa base para avançar. Na sequência, estudaremos Feedback, rótulos e desempenho.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Monitoramento de dados e deriva para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Data drift

Começamos por Data drift, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Data drift é mudança na distribuição das entradas.

Data drift é mudança na distribuição das entradas entre referência e período atual. Pode envolver idade, região, categorias, nulos ou combinações de variáveis. Estatísticas univariadas não detectam todas as mudanças conjuntas: médias iguais podem coexistir com correlações diferentes. A referência deve representar o uso esperado e considerar sazonalidade. Compare magnitude e persistência, não apenas um p-valor, e examine alterações no processo de captura. Mudança legítima de público e erro de unidade podem gerar alertas semelhantes, mas exigem respostas diferentes.

Prediction drift

Depois de compreender Data drift, passamos a Prediction drift. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Prediction drift é mudança na distribuição das saídas do modelo.