16. Método do gradiente, SGD e backpropagation

Treinar um modelo diferenciável envolve calcular uma perda, obter derivadas e atualizar parâmetros. Backpropagation calcula gradientes; otimizadores usam esses gradientes para escolher passos. O capítulo separa essas funções e explica tamanho de lote, taxa de aprendizagem, ativações e instabilidades de treinamento.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 16 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Redução de dimensionalidade e PCA e utiliza essa base para avançar. Na sequência, estudaremos Arquitetura de redes neurais e funções de ativação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Método do gradiente, SGD e backpropagation para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Gradiente e passo de atualização

Começamos por Gradiente e passo de atualização, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

O gradiente reúne derivadas parciais e aponta a direção de maior crescimento local de uma função diferenciável sob a geometria euclidiana. Para reduzir a perda, o gradiente descendente usa a direção oposta: θ_novo=θ_atual−η∇L, com taxa de aprendizagem η. A descrição é local: um passo grande demais pode ultrapassar uma região favorável e aumentar a perda.

Taxa alta pode causar oscilação ou divergência; taxa baixa pode tornar o aprendizado lento. A perda de treino é escolhida para orientar otimização e pode ser uma aproximação diferenciável da finalidade. Ela não é necessariamente igual à métrica de negócio, como lucro, capacidade de atendimento ou recall em um limiar. A avaliação deve verificar se reduzir a perda melhora o uso pretendido.

Lote, SGD, minibatch e época

Depois de compreender Gradiente e passo de atualização, passamos a Lote, SGD, minibatch e época. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Gradiente em lote usa todo o conjunto de treino para cada atualização. SGD em sentido estrito usa um exemplo por passo; na prática, o termo também é usado para variantes com minibatches. Minibatch utiliza um subconjunto e equilibra vetorização, memória e frequência de atualização. O gradiente amostral é uma estimativa e pode ser ruidoso, diferente do gradiente completo.

Batches maiores geralmente reduzem ruído da estimativa sob amostragem adequada e exigem mais memória, mas não garantem melhor generalização. Uma época corresponde a uma passagem pelo conjunto de treinamento, segundo o procedimento. Se há mil exemplos e batches de cem sem descarte, uma época contém dez atualizações. Agenda de aprendizagem e número de passos devem considerar esse vínculo; comparar apenas épocas entre configurações pode esconder diferenças de otimização.