16. Feedback, rótulos e desempenho

Depois de uma previsão, o resultado verdadeiro pode demorar a chegar ou sequer ser observado em todos os casos. Além disso, a decisão tomada com base no modelo pode alterar os dados futuros. Monitorar desempenho exige tratar essas condições explicitamente. O capítulo apresenta ciclos de feedback, atraso de rótulo, rótulos seletivos e avaliação em produção, evitando interpretar falta de observação como resultado negativo ou confundir o efeito de uma política com qualidade do previsor.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 16 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Monitoramento de dados e deriva e utiliza essa base para avançar. Na sequência, estudaremos Gatilhos e política de retreinamento.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Feedback, rótulos e desempenho para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Feedback loop

Começamos por Feedback loop, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Feedback loop faz decisões do modelo influenciarem dados futuros.

Feedback loop ocorre quando decisões influenciam o ambiente e, consequentemente, os dados utilizados no futuro. Um recomendador exibe certos itens, recebe mais cliques nesses itens e pode interpretar essa exposição como preferência natural. O ciclo pode reforçar padrões existentes ou alterar a população observada. Nem todo feedback é indesejável, mas ele precisa ser identificado. Registre a política, a exposição e mudanças de decisão para interpretar os dados. Uma avaliação baseada no histórico produzido pela própria política pode ter limitações para estimar o efeito de alternativas.

Label delay

Depois de compreender Feedback loop, passamos a Label delay. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Label delay é intervalo entre previsão e disponibilidade do resultado.