05. Dados ausentes e mecanismos de ausência

Diante de uma coluna com 12% de valores faltantes, a pergunta certa não é "quanto falta", e sim por que falta. O mecanismo que produziu a ausência determina se descartar as linhas enviesa a conclusão, se a imputação é defensável e o que precisa ser testado antes de afirmar qualquer coisa. Este capítulo apresenta os três mecanismos clássicos e o uso honesto do indicador de ausência.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 5 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Perfilamento, esquema e integridade e utiliza essa base para avançar. Na sequência, estudaremos Limpeza, duplicidades e consistência.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Dados ausentes e mecanismos de ausência para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Os três mecanismos

Começamos por Os três mecanismos, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

O exemplo canônico separa os três: se o sensor falha por acaso, é MCAR; se pessoas de determinada faixa etária respondem menos à pergunta de renda — e a faixa etária está registrada —, é MAR; se quem tem renda muito alta se recusa a informá-la por ser alta, é MNAR.

MCAR e o erro da taxa pequena

Depois de compreender Os três mecanismos, passamos a MCAR e o erro da taxa pequena. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

MCAR descreve ausência independente dos valores observados e não observados. Sua plausibilidade depende do processo de coleta, e não apenas da porcentagem de nulos. Mesmo nessa condição, descartar registros reduz informação e pode comprometer precisão.

O critério de verificação é comparativo: os padrões de ausência não variam sistematicamente entre os grupos observados. Comparar taxa de nulos por região, por canal, por período e por perfil é o teste mínimo — e é também o que costuma derrubar a hipótese de MCAR.