14. Agrupamento com K-Means e Misturas Gaussianas

Agrupamento procura estruturas de semelhança sem usar um alvo rotulado para orientar o ajuste. K-means representa grupos por centroides; misturas gaussianas modelam uma distribuição formada por componentes e oferecem pertencimento probabilístico. Entender suas hipóteses é essencial para avaliar os grupos e evitar interpretar uma construção matemática como uma divisão natural comprovada.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 14 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Regras de associação e utiliza essa base para avançar. Na sequência, estudaremos Redução de dimensionalidade e PCA.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Agrupamento com K-Means e Misturas Gaussianas para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

O que um agrupamento representa

Começamos por O que um agrupamento representa, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Aprendizado não supervisionado procura estrutura nos dados sem um alvo rotulado de treinamento. A estrutura depende das variáveis, da distância, da escala e do algoritmo. Duas análises da mesma população podem produzir grupos diferentes porque respondem a perguntas diferentes. Agrupar clientes por frequência e valor de compra não equivale a agrupá-los por localização ou preferências.

Clusters são construções do método e precisam de interpretação, estabilidade e utilidade. Não é correto afirmar que todo grupo encontrado corresponde a uma classe natural existente. Examine perfis, sobreposição e sensibilidade às escolhas. Um agrupamento pode ser operacionalmente útil sem representar uma verdade única sobre as pessoas; seu uso também precisa considerar consequências e limitações dos dados.

K-means: objetivo, centroide e iteração

Depois de compreender O que um agrupamento representa, passamos a K-means: objetivo, centroide e iteração. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dado k, o K-means busca reduzir a soma das distâncias euclidianas ao quadrado entre cada observação e o centroide do grupo atribuído. O procedimento alterna atribuir cada ponto ao centroide mais próximo e recalcular cada centroide como média dos pontos do grupo. O centroide pode estar em uma posição não observada; um medoid, em contraste, é um ponto do conjunto escolhido como representante.

Essa geometria favorece grupos compactos e aproximadamente esféricos sob a escala adotada, sendo problemática para formas alongadas, densidades muito diferentes ou estruturas não convexas. O algoritmo não escolhe automaticamente um k universalmente correto. A redução da função objetivo durante as iterações não demonstra que o resultado corresponde à melhor segmentação para o negócio ou ao mínimo global.