07. Coeficiente de silhueta

A silhueta compara a proximidade de uma observação aos membros de seu próprio grupo com a proximidade ao grupo concorrente mais próximo. Sua fórmula permite distinguir coesão, separação e a síntese produzida pela média. Ela é uma evidência geométrica útil, mas não certifica classes verdadeiras nem valor de negócio. Para interpretar corretamente, calcule na mesma representação e distância e examine a distribuição dos resultados, especialmente nos grupos pequenos e nos casos de fronteira.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 7 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Escolha do número de grupos e utiliza essa base para avançar. Na sequência, estudaremos Índices Davies-Bouldin e Calinski-Harabasz.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Coeficiente de silhueta para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Silhueta individual

Começamos por Silhueta individual, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Silhueta por amostra compara coesão ao próprio grupo com separação ao grupo vizinho.

Para uma amostra com grupo próprio não unitário, a silhueta é s = (b − a)/max(a,b). O valor tende a 1 quando a distância interna a é pequena perante b; fica perto de zero quando as duas são semelhantes; pode ser negativo quando a observação está, em média, mais próxima de outro grupo. Um valor negativo pede investigação, não exclusão automática. A atribuição pode estar inadequada, a geometria pode não representar o domínio ou a observação pode ocupar uma transição real entre perfis.

Média

Depois de compreender Silhueta individual, passamos a Média. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Silhueta média resume valores entre menos um e um, mas pode favorecer estruturas convexas.