02. Distâncias e similaridades

A noção de proximidade é uma decisão central do agrupamento. Duas pessoas podem ser próximas por idade, comportamento de consumo ou preferências, e cada escolha produz vizinhanças diferentes. Distância pequena indica proximidade segundo uma regra; similaridade alta costuma indicar maior semelhança. Antes de comparar algoritmos, compreenda o que a medida soma, o que normaliza e como trata os tipos de dados. Este capítulo desenvolve as quatro medidas presentes nas questões: euclidiana, Manhattan, cosseno e Gower.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 2 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Fundamentos do aprendizado não supervisionado e utiliza essa base para avançar. Na sequência, estudaremos Pré-processamento para agrupamento.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Distâncias e similaridades para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Euclidiana

Começamos por Euclidiana, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Distância euclidiana mede comprimento em linha reta e é dominada por escalas maiores.

A distância euclidiana é d(x,y) = √Σ(xⱼ − yⱼ)². Cada coordenada contribui com o quadrado da diferença. Se renda está em reais e idade em anos, diferenças monetárias podem dominar sem que isso represente prioridade deliberada. Converter renda para milhares de reais altera a geometria se nenhuma compensação for feita. A padronização pode tornar escalas comparáveis, mas impõe um critério de peso relativo; não é uma operação semanticamente neutra. Para dados correlacionados, considere também a redundância entre coordenadas.

Manhattan

Depois de compreender Euclidiana, passamos a Manhattan. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Distância Manhattan soma diferenças absolutas e produz geometria distinta da euclidiana.