04. K-means e função objetivo

K-means procura dividir observações numéricas em k grupos com pequena dispersão ao redor de centros. Seu funcionamento é simples, mas a função objetivo impõe uma geometria específica e explica tanto sua eficiência quanto suas limitações. Estudar o algoritmo pela fórmula permite entender o papel dos centroides, por que a inércia favorece mais grupos e por que convergir não significa encontrar o melhor resultado possível. Comece pela representação dos dados e só então interprete os grupos obtidos.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 4 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Pré-processamento para agrupamento e utiliza essa base para avançar. Na sequência, estudaremos Inicialização e estabilidade do K-means.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use K-means e função objetivo para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Objetivo

Começamos por Objetivo, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

K-means minimiza soma das distâncias quadráticas aos centroides em k grupos.

A função é J = Σⱼ Σₓ∈Cⱼ ||x − μⱼ||², em que Cⱼ é um grupo e μⱼ seu centroide. O algoritmo busca baixa soma de quadrados dentro dos grupos. A geometria euclidiana favorece regiões compactas ao redor de centros; grupos curvos, alongados ou de densidades muito distintas podem ser mal representados. K precisa ser escolhido e a escala de cada atributo afeta o resultado. A atribuição é rígida: cada observação pertence a um grupo, sem que isso represente certeza probabilística de uma classe verdadeira.

Centroide

Depois de compreender Objetivo, passamos a Centroide. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Centroide é a média dos pontos atribuídos e pode não corresponder a observação real.