03. Rastreamento de experimentos

Comparar modelos exige saber o que foi executado, com quais configurações e sobre qual conjunto. Uma planilha com apenas a melhor acurácia perde o contexto necessário para decidir. Rastreamento de experimentos organiza execuções, parâmetros, métricas e artefatos, permitindo recuperar evidências e evitar comparações incompatíveis. Este capítulo explica a função de cada elemento e apresenta um protocolo simples para escolher candidatos sem transformar o teste final em ferramenta de ajuste.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 3 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Reprodutibilidade e versionamento e utiliza essa base para avançar. Na sequência, estudaremos Metadados, linhagem e proveniência.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Rastreamento de experimentos para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Run

Começamos por Run, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Run é uma execução identificada de experimento.

Uma run é uma execução identificada, normalmente com início, fim, status e vínculo a um experimento ou projeto. Pode representar treino completo, avaliação ou uma tentativa dentro de uma busca de hiperparâmetros. Registre falhas e cancelamentos: ignorá-los pode esconder custo e instabilidade. Execuções relacionadas podem ser organizadas em hierarquia, mas cada registro precisa manter seus próprios insumos e saídas. Identificadores únicos evitam confundir dois treinos com o mesmo nome, especialmente quando várias pessoas ou processos trabalham ao mesmo tempo.

Parâmetro

Depois de compreender Run, passamos a Parâmetro. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Parâmetro é entrada de configuração registrada antes ou durante a execução.