15. Estabilidade de agrupamentos

Uma segmentação confiável deve ser examinada sob mudanças plausíveis nos dados e na configuração. Estabilidade não significa que todos os pontos permaneçam sempre no mesmo grupo, mas que a estrutura relevante não dependa de uma escolha arbitrária ou de poucas observações. O capítulo distingue reamostragem, sensibilidade a parâmetros, consenso e alinhamento de rótulos. Essas análises complementam as métricas internas e ajudam a localizar grupos ambíguos antes de transformá-los em decisões operacionais.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 15 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Redução não linear e visualização e utiliza essa base para avançar. Na sequência, estudaremos Métricas externas de agrupamento.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Estabilidade de agrupamentos para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Reamostragem

Começamos por Reamostragem, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Estabilidade por reamostragem mede se grupos reaparecem sob pequenas variações dos dados.

Reamostragem modifica os dados para examinar quais relações reaparecem. Bootstrap amostra com reposição; subamostragem usa subconjuntos, e os dois procedimentos não produzem exatamente a mesma pergunta. Defina quais unidades serão comparadas entre ajustes: interseção de amostras, atribuição em uma base de referência ou outro desenho explícito. Respeite dependências por pessoa, tempo ou grupo quando existirem. Comparar partições exige que os elementos correspondam; aplicar uma métrica a vetores de rótulos de pessoas diferentes produz um número sem sentido.

Hiperparâmetros

Depois de compreender Reamostragem, passamos a Hiperparâmetros. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Sensibilidade a hiperparâmetros avalia mudanças na solução em região plausível de configuração.