10. K-Nearest Neighbors — K-NN

K-NN faz previsões pela proximidade de exemplos conhecidos. Seu funcionamento é simples, mas depende fortemente da representação, da métrica e do tamanho da vizinhança. As questões deste tópico também comparam conceitos de SVM; por isso, o capítulo separa explicitamente vizinhos, margens e kernels para evitar trocar propriedades dos métodos.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 10 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Regressão linear, regressão logística e regularização e utiliza essa base para avançar. Na sequência, estudaremos Máquinas de Vetores de Suporte — SVM.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use K-Nearest Neighbors — K-NN para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Aprendizado baseado em instâncias

Começamos por Aprendizado baseado em instâncias, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

K-NN retém exemplos de treinamento e, para uma nova observação, procura os k vizinhos mais próximos segundo uma métrica. Na classificação, combina rótulos por votação ou pesos; na regressão, combina valores, frequentemente por média ponderada ou simples. O método não se resume a aprender poucos coeficientes e descartar o treino. A representação dos exemplos e sua disponibilidade fazem parte do modelo operacional.

O ajuste pode ser relativamente barato, mas a inferência pode exigir muitas comparações em bases grandes. Estruturas de busca e métodos aproximados podem reduzir custo, com compromissos de memória, precisão da busca e adequação à dimensão. Dimensões altas limitam a eficiência de várias estruturas espaciais. Compare latência e qualidade no volume real, e não apenas no pequeno conjunto utilizado para desenvolver o código.

Escolha de k e ponderação

Depois de compreender Aprendizado baseado em instâncias, passamos a Escolha de k e ponderação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

k pequeno produz uma decisão mais local e sensível a ruído, tendendo a menor viés e maior variância. k maior suaviza a fronteira, mas pode misturar regiões distintas e subajustar. São tendências que dependem dos dados, não garantias para cada caso. Escolha k com validação adequada e não no teste final. Empates e distribuição desigual de classes exigem regras explícitas.

Ponderar por distância dá mais influência a vizinhos próximos, conforme a função adotada. Isso não elimina a escolha de k, da métrica ou da escala. Distância zero exige tratamento definido para evitar divisão indevida. Uma votação ponderada pode ser dominada por um exemplo muito próximo e incorreto; qualidade e representatividade dos dados continuam importantes.