18. Exploração, inferência e multiplicidade

A exploração produz hipóteses; a inferência as testa. Quando as duas etapas se misturam — hipótese formulada depois de ver o dado e reportada como se tivesse sido planejada —, o resultado tem aparência estatística e nenhuma garantia. Este capítulo trata dessa fronteira e dos três mecanismos que a protegem.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 18 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Viés, confundimento e vazamento e utiliza essa base para avançar. Na sequência, estudaremos Reprodutibilidade e documentação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Exploração, inferência e multiplicidade para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Hipótese exploratória

Começamos por Hipótese exploratória, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Uma hipótese exploratória é formulada — ou refinada — depois de observar os dados. Ela é o produto legítimo e desejado da exploração: encontrar um padrão inesperado é o objetivo do trabalho. O que ela não é: uma conclusão.

A prática é registrar o achado como descoberta e testá-lo em nova amostra. O critério: proveniência da hipótese e conjunto de validação explícitos — o leitor precisa saber se aquela hipótese nasceu antes ou depois dos dados que a sustentam.

Múltiplas comparações

Depois de compreender Hipótese exploratória, passamos a Múltiplas comparações. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Múltiplas comparações aumentam a chance de achados extremos: testando muitas hipóteses ao nível usual, alguns resultados "significativos" aparecem por acaso, mesmo quando nenhum efeito existe. O problema não é o teste; é a quantidade de vezes que ele foi feito.