15. Padronização, normalização e codificação

Preparar variáveis para um modelo envolve duas famílias de decisão: colocar grandezas diferentes em escalas comparáveis e representar categorias como números. As duas parecem mecânicas e escondem a mesma armadilha — usar informação que, no momento da previsão, não estaria disponível. Este capítulo trata das transformações e da disciplina que as torna válidas.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 15 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Visualização e integridade gráfica e utiliza essa base para avançar. Na sequência, estudaremos Padrões temporais e espaciais.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Padronização, normalização e codificação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Padronização z-score

Começamos por Padronização z-score, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

A padronização z-score calcula z = (x − média)/desvio padrão. Na base de ajuste, uma variável não constante fica centralizada e com escala unitária segundo a convenção do cálculo. É frequentemente útil em distâncias, regularização e otimização, mas não é obrigatória para todos os métodos ou comparações. Seus efeitos devem ser avaliados para o modelo e a finalidade.

Escala min-max

Depois de compreender Padronização z-score, passamos a Escala min-max. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

A escala min-max mapeia os extremos observados para um intervalo definido, tipicamente [0, 1]. É útil quando o método exige domínio limitado, mas é a mais frágil das transformações: depende de dois valores — o mínimo e o máximo —, e ambos são justamente os mais instáveis da amostra.