06. Escolha do número de grupos

Escolher o número de grupos é equilibrar fidelidade aos dados e capacidade de resumir. Com poucos grupos, diferenças relevantes desaparecem; com muitos, a segmentação pode virar uma lista de casos isolados. Não existe um número correto universal. É necessário relacionar a evidência estatística ao uso pretendido, declarar critérios antes de comparar alternativas e reconhecer situações em que os dados não sustentam uma divisão nítida. Cotovelo, gap statistic, parcimônia e restrições operacionais oferecem perspectivas complementares.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 6 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Inicialização e estabilidade do K-means e utiliza essa base para avançar. Na sequência, estudaremos Coeficiente de silhueta.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Escolha do número de grupos para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Cotovelo

Começamos por Cotovelo, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Método do cotovelo procura ponto de retornos decrescentes na curva de inércia.

A curva de inércia relaciona k à soma intra-grupo de quadrados, mantendo dados, escala e protocolo comparáveis. Como mais centros permitem acomodar melhor os pontos, a queda é esperada. O cotovelo procura uma região em que o ganho adicional diminui, e não simplesmente o menor valor. Algumas curvas não têm uma dobra clara; outras mostram várias. Resultados locais de otimização podem gerar irregularidades. Repita inicializações e examine incerteza antes de atribuir significado a pequenas diferenças entre pontos da curva.

Gap statistic

Depois de compreender Cotovelo, passamos a Gap statistic. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Gap statistic compara dispersão observada a dados de referência sem estrutura.