08. Seleção de modelos e validação cruzada

Selecionar um modelo significa escolher um procedimento que funcione em novos casos sob condições definidas. A validação apoia escolhas, enquanto a avaliação final precisa de independência em relação a elas. O capítulo explica partições, validação cruzada e critérios de comparação para evitar estimativas otimistas.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 8 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Overfitting, underfitting e trade-off entre viés e variância e utiliza essa base para avançar. Na sequência, estudaremos Regressão linear, regressão logística e regularização.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Seleção de modelos e validação cruzada para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Tarefa e generalização

Começamos por Tarefa e generalização, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Classificação prevê categorias ou probabilidades de classes, como fraude ou não fraude. Regressão estima uma quantidade numérica, como demanda ou duração. Essa formulação determina métricas e regras de decisão. Antes de comparar algoritmos, defina população, unidade, horizonte e custo dos erros. A mesma base pode sustentar tarefas distintas com avaliações diferentes.

Generalização é desempenho em dados novos relevantes ao uso. Memorizar treino pode reduzir seu erro sem melhorar esse objetivo. Um teste representativo oferece evidência sob certas condições, não garantia eterna ou universal. Mudanças de população ou processo podem limitar a transferência do resultado, então contexto e período precisam acompanhar a métrica.

Treino, validação e teste

Depois de compreender Tarefa e generalização, passamos a Treino, validação e teste. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Treino estima parâmetros. Validação apoia escolha de hiperparâmetros, atributos, limiares e outras decisões. Teste estima desempenho final depois dessas escolhas. Consultar repetidamente o teste para ajustar o modelo reduz sua independência e pode sobreajustar a avaliação. O nome do arquivo não preserva essa independência se seu resultado influencia decisões.

Mesmo a validação pode ser explorada excessivamente quando muitas alternativas são tentadas. Registre o procedimento e mantenha uma avaliação independente proporcional ao objetivo. Preparação aprendida, como imputação e padronização, deve ocorrer dentro do treino. Separar linhas corretamente e depois calcular estatísticas em toda a base reintroduz vazamento.