10. Serviço de inferência online

Inferência online produz previsões em resposta a solicitações, frequentemente dentro de um prazo curto. O serviço precisa validar entradas, obter atributos, carregar o modelo e responder de forma compreensível ao consumidor. Este capítulo relaciona atendimento por requisição, contrato da API, latência de cauda e escalonamento. A qualidade operacional deve ser medida no caminho completo da solicitação, porque um cálculo rápido do modelo pode coexistir com espera longa em filas ou fontes externas.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 10 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Empacotamento, ambientes e contêineres e utiliza essa base para avançar. Na sequência, estudaremos Estratégias de implantação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Serviço de inferência online para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Online serving

Começamos por Online serving, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Online serving responde previsões por requisição com baixa latência.

Online serving atende solicitações individualmente ou em pequenos agrupamentos compatíveis com o prazo. Distingue-se da inferência em lote, que processa conjuntos agendados ou acumulados. A escolha depende da necessidade de atualização e tempo de resposta, não de uma superioridade geral. O fluxo pode incluir autenticação, validação, busca de atributos, transformação e previsão. Carregar pesos a cada requisição aumenta custo e atraso em muitas arquiteturas; processos preparados podem reutilizar estado. Ainda assim, controle concorrência e isolamento para evitar interferência entre solicitações.

Contrato

Depois de compreender Online serving, passamos a Contrato. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Contrato de inferência define esquema, semântica e erros da API.