01. Fundamentos do aprendizado não supervisionado

Aprender sem supervisão significa procurar regularidades sem receber, para cada observação, uma resposta-alvo que defina o acerto. Podemos agrupar perfis, representar dados em menos dimensões ou investigar ocorrências incomuns. A ausência de rótulos amplia as possibilidades, mas torna a avaliação mais exigente: um algoritmo sempre pode produzir uma estrutura, e isso não garante que ela seja útil. O percurso deste capítulo liga objetivo, representação, formação dos grupos e evidência de validade.

A disciplina aprofunda situações em que não existe um rótulo pronto. Distâncias, agrupamentos, redução de dimensionalidade e métricas são estudados como partes de uma única investigação. Este é o capítulo 1 de 20 da disciplina Aprendizado Não Supervisionado e Avaliação de Agrupamentos. Ele abre o percurso e apresenta a base para os capítulos seguintes. Na sequência, estudaremos Distâncias e similaridades.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Fundamentos do aprendizado não supervisionado para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Sem alvo

Começamos por Sem alvo, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Aprendizado não supervisionado busca estrutura em dados sem um alvo rotulado que dite a resposta.

No aprendizado supervisionado, o ajuste usa pares de atributos e alvo, como características de um chamado e sua categoria correta. No não supervisionado, o alvo não orienta o ajuste: analisam-se relações entre os próprios atributos. Agrupamento é uma tarefa dessa família, não sua definição inteira. Redução de dimensionalidade busca uma representação; estimação de densidade descreve concentração; detecção de anomalias procura desvios. O resultado precisa ser avaliado segundo a tarefa, pois um mapa útil para visualizar não é necessariamente uma boa segmentação operacional.

Cluster

Depois de compreender Sem alvo, passamos a Cluster. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Cluster é um agrupamento induzido por algoritmo, representação e critério de similaridade.