17. Arquitetura de redes neurais e funções de ativação

Redes neurais combinam transformações parametrizadas para aprender representações e relações entre entradas e saídas. A arquitetura define como as unidades se conectam, enquanto ativações introduzem não linearidade e influenciam a otimização. O capítulo parte de um neurônio e chega a profundidade, inicialização, transferência e reprodutibilidade.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 17 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Método do gradiente, SGD e backpropagation e utiliza essa base para avançar. Na sequência, estudaremos Regularização e Deep Learning.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Arquitetura de redes neurais e funções de ativação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Neurônio, pesos e camadas

Começamos por Neurônio, pesos e camadas, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Um neurônio artificial calcula uma combinação ponderada das entradas, z=w₁x₁+…+wₙxₙ+b, e aplica uma função de ativação. Os pesos controlam contribuições das entradas e o viés desloca o ponto de resposta. É uma construção matemática inspirada de forma limitada em neurônios biológicos, não uma reprodução completa do cérebro. Durante o treinamento, parâmetros são ajustados para reduzir uma função de perda.

Uma camada densa conecta cada unidade às saídas da camada anterior. Com n entradas e m unidades com viés, são normalmente n×m pesos e m vieses. Essa conectividade oferece flexibilidade e pode elevar custo. Sem ativações não lineares entre camadas, a composição de transformações afins continua sendo uma transformação afim; empilhar essas camadas não cria por si só a expressividade de uma rede não linear.

Sigmoide e tangente hiperbólica

Depois de compreender Neurônio, pesos e camadas, passamos a Sigmoide e tangente hiperbólica. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Sigmoide logística, σ(z)=1/(1+exp(−z)), transforma valores reais em números entre 0 e 1. É comum na saída de uma classificação binária quando combinada com formulação de perda apropriada. Em magnitudes muito altas, satura e sua derivada fica pequena, o que pode dificultar a propagação de gradientes quando usada repetidamente em camadas internas. Uma saída nesse intervalo não é automaticamente uma probabilidade bem calibrada.

Tanh varia entre −1 e 1 e é centrada em zero, mas também satura em valores extremos. Ela é não linear; classificá-la como função linear sem saturação é incorreto. A escolha de ativação depende da arquitetura, da distribuição das entradas e da tarefa. Comparar apenas os intervalos de saída ignora o comportamento das derivadas e seu efeito no treinamento.