10. Outliers, anomalias e influência

Três conceitos costumam ser tratados como um só: valor extremo, valor anômalo e valor influente. Eles respondem a perguntas diferentes — "está longe?", "está longe para o seu contexto?" e "muda a conclusão?" — e cada um exige uma decisão distinta. Este capítulo separa os três e trata do que fazer depois de identificá-los.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 10 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Distribuições, forma e transformações e utiliza essa base para avançar. Na sequência, estudaremos Associação, covariância e correlação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Outliers, anomalias e influência para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Outlier

Começamos por Outlier, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Outlier é uma observação incomum em relação a um padrão definido — e o padrão precisa ser definido, porque "longe" só significa algo em relação a uma referência. Cerca do boxplot, distância em desvios padrão, distância robusta: cada critério produz um conjunto diferente de sinalizados.

Anomalia contextual

Depois de compreender Outlier, passamos a Anomalia contextual. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Uma anomalia contextual é inesperada apenas quando o contexto é considerado — tempo, grupo, condição de operação. Um consumo de 300 kWh é banal para um comércio e alarmante para uma residência pequena; uma venda alta em dezembro é normal, a mesma venda em fevereiro não é.