16. Métricas externas de agrupamento

Métricas externas comparam o agrupamento com uma partição de referência, quando ela existe. A referência pode ser uma classificação conhecida ou outra segmentação, mas sua qualidade e pertinência precisam ser justificadas. Essa avaliação não exige que os clusters usem os mesmos números de rótulo. O capítulo distingue comparação por pares, informação compartilhada, homogeneidade e completude, mostrando como pontuações aparentemente perfeitas podem resultar de soluções triviais quando se observa apenas uma dimensão da qualidade.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 16 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Estabilidade de agrupamentos e utiliza essa base para avançar. Na sequência, estudaremos Detecção de anomalias.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Métricas externas de agrupamento para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

ARI

Começamos por ARI, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Adjusted Rand Index compara pares coagrupados e corrige concordância esperada ao acaso.

O Adjusted Rand Index, ARI, compara pares de observações: se ficam juntos ou separados em cada partição. Ele ajusta o Rand Index pela concordância esperada ao acaso sob seu modelo de referência. ARI igual a 1 indica partições idênticas, salvo permutação de nomes; perto de zero indica concordância compatível com a referência aleatória, e valores negativos são possíveis. Não exija o mesmo número de clusters nem códigos numéricos iguais. A comparação, contudo, deve usar as mesmas unidades, na ordem correspondente.

NMI

Depois de compreender ARI, passamos a NMI. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Informação mútua normalizada mede informação compartilhada entre duas partições com normalização.