19. Reprodutibilidade e documentação

Uma análise vale pelo que outra pessoa consegue refazer a partir dela. Reprodutibilidade não é virtude acadêmica: é o que permite corrigir um erro sem repetir o trabalho inteiro, auditar um número publicado e retomar um projeto meses depois. Este capítulo trata dos quatro artefatos que sustentam essa propriedade.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 19 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Exploração, inferência e multiplicidade e utiliza essa base para avançar. Na sequência, estudaremos Comunicação de achados e limitações.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Reprodutibilidade e documentação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Notebook reprodutível

Começamos por Notebook reprodutível, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Um notebook reprodutível executa do estado limpo, do início ao fim, com dependências e ordem explícitas. O teste é simples e implacável: reiniciar o kernel, rodar tudo, obter os mesmos resultados.

• Parametrizar caminhos e configurações em um único ponto, em vez de espalhá-los pelas células.
• Fixar sementes onde houver aleatoriedade.
• Declarar dependências com versões — o ambiente faz parte do resultado.
• Executar do início ao fim antes de compartilhar, sempre.

Dicionário de dados

Depois de compreender Notebook reprodutível, passamos a Dicionário de dados. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

O dicionário de dados define, para cada campo, significado, tipo, unidade, domínio e responsável. É o documento que permite a duas pessoas calcularem o mesmo indicador e chegarem ao mesmo número.