16. Mineração de dados

Mineração de dados aplica métodos para encontrar padrões e construir modelos úteis. O algoritmo é uma etapa de um processo que começa no problema e termina na avaliação e no uso do conhecimento. Preparação, métricas e interpretação são tão importantes quanto a escolha do método.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 16 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Integração de dados: SAP Data Services (BODS) e DMX e utiliza essa base para avançar. Na sequência, estudaremos QlikView.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Mineração de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

KDD, CRISP-DM e objetivos

Começamos por KDD, CRISP-DM e objetivos, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

KDD abrange seleção, pré-processamento, transformação, mineração e interpretação ou avaliação. Mineração é a aplicação de métodos dentro desse processo, embora o termo seja usado informalmente para o conjunto. Seleção define dados relevantes; limpeza trata problemas; transformação prepara representações; mineração identifica padrões; avaliação julga utilidade e validade. As etapas podem ser revisitadas.

CRISP-DM organiza entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação e implantação. Na avaliação, um modelo com boa métrica pode ser rejeitado se não atender restrições ou objetivos. Implantação pode ser um relatório que orienta ação, não necessariamente uma API. O processo é iterativo: uma limitação descoberta na modelagem pode exigir nova coleta ou reformulação da pergunta.

Preparação e representação

Depois de compreender KDD, CRISP-DM e objetivos, passamos a Preparação e representação. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Limpeza trata erros, duplicatas, ruído e ausências. Remoção e imputação têm consequências: eliminar registros pode enviesar a amostra, e preencher com média reduz variabilidade. Ajuste regras aprendidas apenas nos dados de treino. Binning agrupa valores ordenados e pode suavizar por média, mediana ou fronteiras; discretização transforma uma quantidade em categorias. Equal-width usa amplitude dividida pelo número de faixas e é sensível a extremos.

Min-max usa (x−mínimo)/(máximo−mínimo); z-score usa (x−média)/desvio padrão. Ambos dependem dos dados usados no ajuste e podem ser afetados por outliers; z-score não torna uma distribuição automaticamente normal. Escala é particularmente relevante para distâncias. Seleção conserva um subconjunto de atributos originais; extração cria novas representações, como componentes do PCA. Amostragem reduz volume, exigindo representatividade.