12. Árvores de decisão e Random Forests

Árvores particionam o espaço de atributos por regras e produzem previsões nas folhas. Florestas combinam árvores diversificadas para estabilizar resultados. O capítulo explica divisões, impureza, complexidade e avaliação, incluindo comparações com SVM e K-NN presentes nas questões.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 12 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Máquinas de Vetores de Suporte — SVM e utiliza essa base para avançar. Na sequência, estudaremos Regras de associação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Árvores de decisão e Random Forests para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Partições e previsões nas folhas

Começamos por Partições e previsões nas folhas, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Uma árvore divide recursivamente observações por regras sobre atributos e chega a folhas que produzem previsões. Isso representa relações não lineares e interações: o efeito de um atributo pode depender de condições anteriores no caminho. Árvores padrão com cortes univariados produzem regiões alinhadas aos eixos; uma única divisão não descreve qualquer hiperplano oblíquo.

Na classificação, folhas podem representar classe ou distribuição estimada de classes. Na regressão, produzem um resumo numérico, frequentemente a média sob perda quadrática. Divisões podem ser escolhidas para reduzir erro dentro dos nós. Aproximar uma relação diagonal ou suave pode exigir várias partições; a flexibilidade vem da composição de regras, não de uma única reta arbitrária.

Gini, entropia e ganho de divisão

Depois de compreender Partições e previsões nas folhas, passamos a Gini, entropia e ganho de divisão. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Gini de um nó pode ser escrito como 1−soma(p_c²), com proporções de classes p_c. Vale zero em um nó puro. Entropia é −soma(p_c log p_c), usando convenção zero para o termo de probabilidade zero. Para um número fixo de classes, a incerteza é máxima quando elas estão equilibradas e mínima na pureza.

A divisão procura reduzir impureza ponderada pelo tamanho dos filhos. Não basta olhar o nó mais puro e ignorar o restante dos registros. Critérios e restrições determinam quais cortes são considerados. Um ganho no treino pode capturar ruído, por isso a melhoria local não substitui avaliação de generalização.