11. Associação, covariância e correlação

Medir associação entre duas variáveis é simples de calcular e fácil de interpretar mal. Este capítulo separa três medidas — covariância, Pearson e Spearman —, mostra o que cada uma detecta e o que passa despercebido por elas, e trata do erro que mais custa caro em análise: ler um coeficiente como se fosse um efeito.

O percurso começa pelo contato cuidadoso com os dados. A disciplina ensina a reconhecer tipos, qualidade, distribuições, relações, vieses e limites antes de construir conclusões ou modelos. Este é o capítulo 11 de 24 da disciplina Análise Exploratória de Dados. Ele retoma Outliers, anomalias e influência e utiliza essa base para avançar. Na sequência, estudaremos Relações categóricas e tabelas de contingência.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Associação, covariância e correlação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Covariância

Começamos por Covariância, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

A covariância mede a variação conjunta linear de duas variáveis: é positiva quando elas tendem a se afastar da própria média no mesmo sentido, negativa quando em sentidos opostos. Seu problema prático é a unidade: ela é o produto das unidades das duas variáveis, o que torna a magnitude ininterpretável isoladamente.

Correlação de Pearson

Depois de compreender Covariância, passamos a Correlação de Pearson. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

A correlação de Pearson é a covariância normalizada pelos desvios padrão: fica entre −1 e 1, é adimensional e mede associação linear. Herda da média e do desvio padrão a sensibilidade a valores extremos — poucos pontos podem criar ou destruir a correlação observada.

• Não linearidade: Pearson pode detectar parte de uma relação curva, mas não a descreve completamente; relações em U podem ter correlação nula.
• Pontos influentes: examinar o coeficiente com e sem os extremos.
• Subgrupos: a correlação global pode inverter o sinal dentro de cada grupo — o paradoxo de Simpson aplicado a variáveis contínuas.
• Restrição de faixa: selecionar apenas parte do domínio pode alterar, frequentemente atenuar, a correlação; a direção da mudança depende da relação e do processo de seleção.