07. Validação de dados e modelo

Um pipeline pode executar sem erro e ainda produzir um modelo inadequado. Validação precisa verificar tanto a estrutura e o comportamento dos dados quanto a qualidade do candidato. O capítulo diferencia contrato de esquema, mudanças de distribuição, testes do modelo e comparação com a versão vigente. Os critérios devem ser definidos antes de escolher o vencedor e combinar desempenho preditivo, estabilidade, segmentos relevantes e requisitos operacionais.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 7 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Pipelines de treinamento e utiliza essa base para avançar. Na sequência, estudaremos Registro e promoção de modelos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Validação de dados e modelo para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Esquema

Começamos por Esquema, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Validação de esquema compara tipos, domínios e presença a contrato.

Validação de esquema verifica campos esperados, tipos, obrigatoriedade, domínios e outras restrições declaradas. Um valor pode ser numérico e ainda representar unidade errada, portanto o contrato deve incluir semântica quando possível. Limites plausíveis, categorias desconhecidas e regras entre campos ajudam a detectar problemas. Nem toda mudança é erro: um novo domínio pode ser legítimo e exigir evolução do contrato. Defina se a violação bloqueia o lote, isola registros ou apenas alerta, de acordo com a gravidade e o consumidor afetado.

Distribuição

Depois de compreender Esquema, passamos a Distribuição. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Validação de distribuição detecta mudanças relevantes em estatísticas dos dados.