18. Alta dimensionalidade e dados mistos

Acrescentar atributos pode ampliar a descrição, mas também tornar a distância menos informativa e alterar pesos de forma invisível. O problema se intensifica quando se misturam grandezas numéricas, categorias e ordens em uma única representação. Este capítulo mostra como concentração de distâncias, pesos, tipos mistos e seleção sem alvo se relacionam. O objetivo é construir uma medida de proximidade que preserve informação relevante sem tratar quantidade de colunas como sinônimo de qualidade.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 18 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele retoma Detecção de anomalias e utiliza essa base para avançar. Na sequência, estudaremos Interpretação e perfil dos grupos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Alta dimensionalidade e dados mistos para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Concentração

Começamos por Concentração, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Concentração de distâncias faz vizinhos próximos e distantes parecerem semelhantes em muitas dimensões.

Em certos regimes de alta dimensão, diferenças entre distâncias próximas e distantes diminuem relativamente à escala total. Isso pode enfraquecer vizinhos, densidades e critérios de separação. Não significa que qualquer matriz larga seja inútil: correlações, estrutura latente e dimensão intrínseca importam. Examine o contraste de distâncias e a estabilidade da vizinhança ao acrescentar atributos. Métodos de redução podem ajudar, mas devem ser avaliados pelo que preservam. Dimensões irrelevantes podem criar ruído, enquanto atributos adicionais informativos podem melhorar a representação.

Pesos

Depois de compreender Concentração, passamos a Pesos. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Peso de atributo expressa relevância relativa na medida de similaridade.