09. Regressão linear, regressão logística e regularização

Regressão linear e logística relacionam atributos a uma resposta por formulações diferentes. A primeira modela uma média numérica; a segunda modela probabilidades por uma transformação do logit. O capítulo explica interpretação, diagnóstico e penalizações, com atenção a hipóteses, escala e validade da avaliação.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 9 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Seleção de modelos e validação cruzada e utiliza essa base para avançar. Na sequência, estudaremos K-Nearest Neighbors — K-NN.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Regressão linear, regressão logística e regularização para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Modelo linear, intercepto e categorias

Começamos por Modelo linear, intercepto e categorias, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Regressão linear modela a média condicional por uma combinação linear dos parâmetros. Pode incluir atributos transformados, como x², splines e interações, e ainda ser linear nos coeficientes. Não exige que os atributos tenham distribuição normal. Hipóteses para estimação e inferência dizem respeito à especificação e aos erros, entre outros aspectos. Interpretação causal requer desenho e hipóteses adicionais; coeficiente ajustado é inicialmente uma associação condicional.

O intercepto representa a previsão no zero dos atributos codificados; remover esse termo impõe uma restrição e não é obrigatório porque zero não apareceu na amostra. Centralização pode tornar a referência mais interpretável. Categorias podem usar indicadores com uma referência quando há intercepto, evitando dependência linear perfeita. Com interação β₃x₁x₂, o efeito associado a x₁ depende de x₂: β₁+β₃x₂. Ignorar essa dependência produz interpretação incompleta.

Resíduos, incerteza e extrapolação

Depois de compreender Modelo linear, intercepto e categorias, passamos a Resíduos, incerteza e extrapolação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Resíduo é y observado menos previsão ajustada e serve como estimativa dos erros para diagnóstico. Resíduo grande descreve discrepância no eixo do alvo; alta alavancagem descreve posição incomum no espaço de preditores. Não são equivalentes, embora sua combinação possa tornar uma observação influente. Investigue dados e sensibilidade antes de excluir pontos.

Heterocedasticidade altera a variância dos erros e pode tornar erros-padrão convencionais inadequados; sob exogeneidade e demais condições relevantes, não torna necessariamente os coeficientes viesados. Dependência temporal, espacial ou por grupo também exige tratamento na inferência. Multicolinearidade pode desestabilizar coeficientes isolados sem impedir boa previsão de certas combinações. Extrapolar além da faixa observada depende fortemente da forma assumida e deve ser identificado como tal.