09. Agrupamento hierárquico

Agrupamento hierárquico constrói relações de inclusão entre grupos, permitindo examinar diferentes níveis de detalhe. Na forma aglomerativa, parte-se de unidades separadas e realizam-se fusões sucessivas. O dendrograma registra essa história, mas só pode ser interpretado quando se conhece a distância e o critério de ligação. Este capítulo explica a irreversibilidade das fusões no procedimento usual e contrasta dois critérios com consequências marcantes: Ward, voltado à dispersão, e single linkage, voltado à conectividade.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 9 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Índices Davies-Bouldin e Calinski-Harabasz e utiliza essa base para avançar. Na sequência, estudaremos DBSCAN e agrupamento por densidade.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Agrupamento hierárquico para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Aglomeração

Começamos por Aglomeração, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Aglomeração hierárquica começa com unidades separadas e funde grupos sucessivamente.

No procedimento aglomerativo usual, cada observação começa em seu próprio cluster. A cada passo, escolhe-se um par de grupos segundo uma regra e realiza-se a fusão. As decisões anteriores não são desfeitas nas etapas seguintes; um erro de fusão pode influenciar toda a hierarquia. Isso distingue a abordagem de métodos que reatribuem pontos iterativamente. Também existem métodos divisivos, que começam com um conjunto e o subdividem. A escolha entre abordagens depende de escala, representação, estrutura desejada e custo computacional.

Dendrograma

Depois de compreender Aglomeração, passamos a Dendrograma. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dendrograma representa a hierarquia e a altura de fusão segundo o critério.