10. DBSCAN e agrupamento por densidade

DBSCAN agrupa por regiões densas conectadas e permite que alguns pontos fiquem classificados como ruído. Diferentemente do K-means, ele não exige informar previamente o número de clusters, mas depende de parâmetros que definem vizinhança e suporte. Sua lógica é especialmente importante quando os grupos não são bem descritos por centros compactos. O capítulo distingue eps, min_samples, ponto central e ponto de borda, além de explicar por que ruído algorítmico não é sinônimo de dado incorreto.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 10 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Agrupamento hierárquico e utiliza essa base para avançar. Na sequência, estudaremos Misturas gaussianas e algoritmo EM.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use DBSCAN e agrupamento por densidade para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

DBSCAN

Começamos por DBSCAN, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

DBSCAN forma regiões densas conectadas e rotula baixa densidade como ruído.

A expansão de um grupo ocorre a partir de pontos centrais, também chamados core. Pontos centrais conectados por vizinhanças formam a estrutura densa; pontos de borda podem ser anexados, mas não expandem a região como cores. Observações que não pertencem a nenhuma dessas regiões ficam como ruído. A forma pode ser não convexa. Contudo, um único conjunto de parâmetros pode ter dificuldade com densidades muito diferentes ou com distâncias pouco informativas em alta dimensão. O número de grupos surge do ajuste e pode até ser zero.

eps

Depois de compreender DBSCAN, passamos a eps. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Eps é o raio máximo da vizinhança usada para densidade.