08. Índices Davies-Bouldin e Calinski-Harabasz

Índices internos avaliam uma partição usando a geometria dos dados, sem exigir classes externas. Davies–Bouldin e Calinski–Harabasz combinam dispersão interna e separação entre grupos, mas usam fórmulas e direções de preferência diferentes. Entender essa diferença evita escolher uma solução pelo sinal errado ou comparar números incompatíveis. Este capítulo explica o cálculo, o viés geométrico e como lidar com discordâncias sem procurar retrospectivamente a métrica que favorece a conclusão desejada.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 8 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Coeficiente de silhueta e utiliza essa base para avançar. Na sequência, estudaremos Agrupamento hierárquico.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Índices Davies-Bouldin e Calinski-Harabasz para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Davies–Bouldin

Começamos por Davies–Bouldin, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Índice Davies-Bouldin faz média da maior similaridade entre cada cluster e seu rival; menor é melhor.

No Davies–Bouldin, uma forma usual calcula Rᵢⱼ = (Sᵢ + Sⱼ)/Mᵢⱼ, em que S descreve dispersão interna e M, distância entre centros. Para cada cluster i, toma-se o maior Rᵢⱼ, isto é, seu rival menos bem separado relativamente às dispersões. A média desses piores casos é o índice. Valores menores indicam melhor separação segundo essa definição. Não o maximize como acurácia. Centros coincidentes, dispersão zero e partições degeneradas exigem observar o comportamento documentado da implementação.

Calinski–Harabasz

Depois de compreender Davies–Bouldin, passamos a Calinski–Harabasz. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Índice Calinski-Harabasz é razão entre dispersão entre grupos e dentro dos grupos; maior tende a ser melhor.