14. Redução não linear e visualização

Representar dados complexos em duas dimensões facilita a exploração, mas toda projeção seleciona relações a preservar. Métodos não lineares podem mostrar estruturas que uma projeção linear não evidencia, ao custo de maior dependência de parâmetros e interpretação cuidadosa. t-SNE enfatiza vizinhanças locais; Isomap usa caminhos em um grafo para aproximar distâncias ao longo de uma variedade. O capítulo ensina a distinguir uma visualização útil de uma suposta prova de clusters, distâncias reais ou mecanismos causais.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 14 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma PCA: variância, cargas e reconstrução e utiliza essa base para avançar. Na sequência, estudaremos Estabilidade de agrupamentos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Redução não linear e visualização para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

t-SNE

Começamos por t-SNE, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

T-SNE prioriza vizinhanças locais em uma incorporação de baixa dimensão.

t-SNE constrói distribuições de similaridade e procura uma representação de baixa dimensão que preserve relações locais. A distribuição de caudas pesadas no espaço de saída ajuda a acomodar pontos e vizinhanças. Sua função não é manter todas as distâncias globais. Ilhas muito afastadas no gráfico não necessariamente representam grupos igualmente afastados no espaço original; tamanho aparente e densidade podem ser distorcidos. A otimização e a inicialização influenciam a solução. Use o resultado para levantar hipóteses e examine-as nos dados originais.

Perplexidade

Depois de compreender t-SNE, passamos a Perplexidade. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Perplexidade controla aproximadamente a escala de vizinhança considerada pelo t-SNE.