17. Detecção de anomalias

Detectar anomalias é identificar observações incomuns segundo uma referência, e não declarar automaticamente que elas estão erradas. A referência muda conforme o cenário: podemos procurar outliers em uma base já contaminada ou aprender um padrão de normalidade para avaliar dados novos. Essa distinção afeta ajuste, pontuação e validação. O capítulo apresenta novelty detection, outlier detection, Isolation Forest e Local Outlier Factor, relacionando o mecanismo de cada técnica ao contexto de uso.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 17 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Métricas externas de agrupamento e utiliza essa base para avançar. Na sequência, estudaremos Alta dimensionalidade e dados mistos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Detecção de anomalias para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Novidade

Começamos por Novidade, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Novelty detection aprende o suporte de dados de treino limpos para avaliar casos novos.

Em novelty detection, o treinamento procura caracterizar um conjunto considerado suficientemente representativo do comportamento normal, e a avaliação busca novidades em observações posteriores. A separação entre ajuste e novos dados é essencial. Se o treino já contém contaminação importante, a fronteira pode absorver anomalias como normais. Defina como a normalidade foi estabelecida, quais mudanças são esperadas e como obter revisão de casos. Uma novidade estatística pode ser uma evolução legítima do processo, e não um incidente que exija bloqueio.

Outlier

Depois de compreender Novidade, passamos a Outlier. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Outlier detection busca observações atípicas em dados possivelmente contaminados.