02. Reprodutibilidade e versionamento

Reproduzir um resultado exige identificar mais do que o nome do algoritmo. Dados, código, ambiente, configuração e fontes de aleatoriedade precisam estar ligados à execução. O objetivo pode ser repetir exatamente um artefato ou obter resultados estatisticamente compatíveis, e essa exigência deve ser declarada. O capítulo distingue essas expectativas e mostra como versões e registros permitem investigar diferenças sem depender da memória de quem treinou o modelo.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 2 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Fundamentos e ciclo de vida de MLOps e utiliza essa base para avançar. Na sequência, estudaremos Rastreamento de experimentos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Reprodutibilidade e versionamento para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Reprodutibilidade

Começamos por Reprodutibilidade, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Reprodutibilidade permite obter resultado compatível a partir de insumos identificados.

Reprodutibilidade pressupõe insumos identificados e procedimento reconstruível. Uma avaliação pode exigir igualdade bit a bit, tolerância numérica ou compatibilidade de métricas dentro de uma faixa justificada. Essas metas não são equivalentes. Registre código, parâmetros, partição de treino e teste, transformações ajustadas e critérios de avaliação. Um notebook que depende de células executadas fora de ordem não descreve um procedimento completo. Faça a execução a partir de um estado conhecido e preserve o comando ou a configuração necessária para repetir a sequência.

Dados versionados

Depois de compreender Reprodutibilidade, passamos a Dados versionados. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Versionamento de dados identifica snapshot, partição ou commit lógico usado.