08. Data mining e descoberta de conhecimento

Mineração de dados procura padrões e modelos úteis em conjuntos de dados. Seu valor depende da pergunta, da qualidade dos dados e da avaliação, e não apenas da execução de um algoritmo. Neste capítulo, o processo de descoberta conduz às principais tarefas, às métricas e aos cuidados necessários para transformar um resultado estatístico em conhecimento aplicável.

Os resultados analíticos precisam apoiar decisões. Esta disciplina conecta fontes, integração, data warehouse, OLAP, mineração, indicadores, relatórios e comunicação gerencial. Este é o capítulo 8 de 11 da disciplina Inteligência de Negócios (Business Intelligence). Ele retoma OLAP, modelagem dimensional e cubos e utiliza essa base para avançar. Na sequência, estudaremos Inteligência Artificial e Machine Learning aplicados ao BI.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Data mining e descoberta de conhecimento para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Da pergunta ao conhecimento: KDD e CRISP-DM

Começamos por Da pergunta ao conhecimento: KDD e CRISP-DM, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

KDD é o processo de descoberta de conhecimento em dados: inclui seleção, preparação, transformação, mineração e interpretação. Data mining é a etapa que aplica métodos para encontrar padrões ou ajustar modelos. Portanto, executar um algoritmo não equivale ao processo completo. Um padrão deve ser válido, compreensível e potencialmente útil; coincidências, erros de coleta ou relações sem possibilidade de ação podem ter pouco valor para a organização.

O CRISP-DM organiza o trabalho em compreensão do negócio, compreensão dos dados, preparação, modelagem, avaliação e implantação. Na primeira fase, definem-se decisão, objetivo e critério de sucesso. Depois, exploram-se fontes, distribuições e qualidade; preparam-se dados e atributos; ajustam-se modelos e verifica-se sua adequação. A avaliação confronta resultados técnicos e objetivos de negócio. A implantação entrega o uso, que pode ser um relatório, uma regra ou um serviço. As fases são iterativas: uma falha na avaliação pode exigir reformular a pergunta ou coletar novos dados.

Escolher a tarefa antes do algoritmo

Depois de compreender Da pergunta ao conhecimento: KDD e CRISP-DM, passamos a Escolher a tarefa antes do algoritmo. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

No aprendizado supervisionado há uma variável-alvo conhecida nos exemplos de treinamento. Classificação prevê categorias ou probabilidades de classes; regressão estima uma grandeza numérica. No não supervisionado, busca-se estrutura sem esse alvo rotulado. Agrupamento aproxima observações semelhantes; no K-means, alternam-se atribuição ao centroide e atualização dos centroides para reduzir distâncias quadráticas dentro dos grupos. A escolha de k, a escala e o formato dos grupos afetam o resultado. Os grupos encontrados não são automaticamente categorias naturais ou explicações causais.

Detecção de anomalias identifica observações que destoam de um padrão de referência e pode usar abordagens supervisionadas ou não supervisionadas. Uma anomalia é um sinal para investigar, não uma prova de fraude. Regras de associação descrevem coocorrências, como produtos comprados juntos. Mineração de padrões sequenciais considera a ordem dos eventos, como uma trajetória de navegação. Comprar A e B no mesmo cesto difere de comprar B depois de A; uma regra de associação comum não codifica sozinha essa ordem temporal.