03. Pré-processamento para agrupamento

O agrupamento opera sobre a representação entregue ao algoritmo. Se a representação mistura unidades, codifica categorias com uma ordem inventada ou preenche ausências por conveniência, a segmentação passa a refletir essas decisões. Preparar os dados exige compreender cada atributo e avaliar como ele contribui para a distância. O objetivo não é aplicar transformações em sequência fixa: é construir uma geometria defensável, reproduzível e coerente com o comportamento que se deseja investigar.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 3 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Distâncias e similaridades e utiliza essa base para avançar. Na sequência, estudaremos K-means e função objetivo.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Pré-processamento para agrupamento para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Escalonamento

Começamos por Escalonamento, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Escalonamento evita que unidade numérica determine implicitamente a importância.

Escalonar modifica a contribuição de cada dimensão. O z-score usa média e desvio padrão; min-max usa extremos; uma escala robusta pode usar mediana e IQR. Cada opção tem limitações: z-score não torna a distribuição normal, min-max pode extrapolar em dados novos, e robustez da escala não elimina anomalias. Se houver avaliação em dados separados, aprenda parâmetros no conjunto permitido e reutilize-os. Na exploração descritiva de uma única base, o ajuste nessa própria base é admissível, desde que não se alegue generalização independente.

Categorias

Depois de compreender Escalonamento, passamos a Categorias. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Codificação categórica transforma categorias preservando a relação pretendida.