18. Regularização e Deep Learning

Regularização procura melhorar generalização ao limitar ajustes frágeis ao treino. Em redes profundas, penalizações, dropout, aumento de dados e parada antecipada atuam de formas diferentes e interagem com otimização e normalização. O capítulo explica essas diferenças e os cuidados para reproduzir a avaliação.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 18 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Arquitetura de redes neurais e funções de ativação e utiliza essa base para avançar. Na sequência, estudaremos Processamento de linguagem natural.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Regularização e Deep Learning para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Penalizações L1 e L2

Começamos por Penalizações L1 e L2, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

L1 adiciona à perda um termo proporcional à soma dos valores absolutos dos pesos e pode favorecer esparsidade. L2 adiciona um termo baseado na soma dos quadrados e costuma encolher pesos continuamente. A descrição de quadrados pertence a L2, não a L1. Nenhuma dessas penalizações garante que todos os pesos se tornem exatamente zero ou que toda rede generalize melhor.

A intensidade controla o compromisso entre ajuste e restrição. Penalização excessiva pode causar subajuste; fraca demais pode não controlar instabilidade. O efeito depende da escala, da arquitetura e do otimizador. Em particular, weight decay desacoplado e penalização L2 podem ter comportamentos diferentes em otimizadores adaptativos; siga a definição da implementação ao comparar configurações.

Dropout e modo de avaliação

Depois de compreender Penalizações L1 e L2, passamos a Dropout e modo de avaliação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dropout desativa aleatoriamente unidades ou ativações durante o treino, conforme a camada, reduzindo dependências excessivas entre caminhos. Implementações comuns ajustam a escala durante o treinamento para manter a expectativa, e a inferência padrão usa as unidades sem o sorteio. A taxa de dropout é um hiperparâmetro e deve ser avaliada no contexto da rede.

Treino e avaliação precisam dos modos corretos. Manter dropout ativo inadvertidamente na inferência pode tornar saídas variáveis e alterar o resultado. Há técnicas específicas, como amostragem de dropout para incerteza, que o utilizam deliberadamente, mas exigem protocolo próprio. Esse caso especial não transforma comportamento aleatório em regra universal de avaliação.