14. Monitoramento de serviço e operação

Um modelo pode manter boa qualidade preditiva e ainda falhar como serviço por lentidão, indisponibilidade ou esgotamento de recursos. Monitoramento operacional acompanha se solicitações são atendidas dentro do contrato. O capítulo organiza disponibilidade, erros, vazão e saturação, distinguindo medidas que parecem semelhantes. A leitura conjunta desses sinais permite detectar gargalos e orientar ações, enquanto o desempenho estatístico do modelo precisa de avaliação própria com resultados observados.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 14 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Orquestração e confiabilidade de workflows e utiliza essa base para avançar. Na sequência, estudaremos Monitoramento de dados e deriva.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Monitoramento de serviço e operação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Disponibilidade

Começamos por Disponibilidade, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Disponibilidade mede proporção de solicitações atendidas conforme contrato.

Disponibilidade deve refletir uma definição de solicitação atendida com sucesso, incluindo prazo e contrato quando aplicáveis. Um indicador baseado em requisições usa eventos bem-sucedidos sobre eventos elegíveis; outro pode medir tempo disponível. Eles não são necessariamente equivalentes. Declare janela, exclusões e tratamento de dependências e manutenção. O objetivo de nível de serviço estabelece a meta para o indicador escolhido. Um processo vivo não significa serviço disponível se não consegue consultar atributos ou entregar uma resposta válida ao usuário.

Erros

Depois de compreender Disponibilidade, passamos a Erros. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Taxa de erro separa falhas técnicas de rejeições válidas.