13. Regras de associação

Regras de associação descrevem itens que aparecem juntos em um conjunto de transações. Para interpretá-las, é preciso distinguir frequência conjunta, probabilidade condicional e comparação com uma referência. O capítulo apresenta os algoritmos de mineração e também diferencia associação de PCA e agrupamento, conceitos comparados nas questões.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 13 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Árvores de decisão e Random Forests e utiliza essa base para avançar. Na sequência, estudaremos Agrupamento com K-Means e Misturas Gaussianas.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Regras de associação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Transações, itemsets e regras

Começamos por Transações, itemsets e regras, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Uma transação reúne itens sob uma unidade definida, como produtos de um cesto ou eventos de uma sessão. Itemset é um conjunto de itens. Uma regra A → B relaciona antecedente e consequente e descreve coocorrência no universo analisado. A definição de transação muda o resultado: compras no mesmo dia e compras no mesmo pedido não são necessariamente o mesmo evento.

Padrões observacionais não estabelecem causalidade. A e B podem aparecer juntos por popularidade, sazonalidade, seleção ou outra variável. A direção da seta é uma forma de expressar a regra condicional, não prova de sequência temporal ou mecanismo causal. Se a pergunta envolve ordem, são necessários métodos e representação que a considerem explicitamente.

Suporte, confiança e lift

Depois de compreender Transações, itemsets e regras, passamos a Suporte, confiança e lift. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Suporte de A → B é P(A e B), calculado como a fração de transações que contêm ambos. Confiança é P(B|A)=suporte(A e B)/suporte(A), quando o antecedente tem frequência positiva. Suporte usa o universo inteiro como denominador; confiança usa as transações com A. Trocar esses denominadores altera o significado da medida.

Lift=confiança(A → B)/P(B). Valor 1 corresponde à referência de independência para esses eventos; acima de 1 indica coocorrência maior que a esperada e abaixo de 1, menor. A confiança pode diferir entre A → B e B → A, enquanto o lift dessa dupla mantém a mesma comparação conjunta. Alta confiança sem observar a frequência de B pode ser enganosa. Regras muito raras exigem cautela, mesmo com lift elevado.