03. Modelagem analítica e mineração de dados

Modelagem analítica transforma uma pergunta em representações e métodos que procuram explicar, prever ou descobrir estrutura nos dados. A preparação, a avaliação e a interpretação fazem parte do resultado. O capítulo integra tarefas de mineração e suas métricas, enfatizando o que cada método permite concluir.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 3 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma ETL, qualidade, tratamento e preparação de dados e utiliza essa base para avançar. Na sequência, estudaremos Fundamentos de Inteligência Artificial.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Modelagem analítica e mineração de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Processo de descoberta e finalidade

Começamos por Processo de descoberta e finalidade, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

KDD é o processo de descoberta de conhecimento, que inclui seleção, preparação, mineração e interpretação. Mineração é a aplicação de métodos para encontrar padrões ou modelos, não o processo inteiro. CRISP-DM organiza compreensão do negócio e dos dados, preparação, modelagem, avaliação e implantação, com retornos entre fases. Um resultado pode exigir rever o objetivo ou a fonte, e não apenas trocar o algoritmo.

Defina decisão, valor, restrições e critério de sucesso. Explore significado, distribuição, qualidade e limitações, considerando proveniência, unidade e população. A amostra deve representar o uso e o momento de decisão; mais volume não corrige ausência sistemática de grupos. Um padrão frequente pode não ser novo, estável ou acionável. Sua utilidade depende do contexto e de evidência além da frequência.

Preparação e engenharia de atributos

Depois de compreender Processo de descoberta e finalidade, passamos a Preparação e engenharia de atributos. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Engenharia de atributos usa conhecimento do domínio para criar representações úteis, mas pode adicionar custo, vazamento e sobreajuste. Atributos devem estar disponíveis no instante real da decisão. Ausência pode ser informativa e não equivale automaticamente a zero. Outliers podem ser erros ou eventos raros legítimos; investigue domínio e sensibilidade antes de remover. Toda decisão de tratamento pode alterar a população e deve ser rastreável.

Escala importa para distâncias e regularização; ajuste transformações apenas no treino. Codificação de categorias nominais como 1, 2 e 3 pode introduzir uma ordem inexistente. Escolha representação adequada e trate categorias novas na inferência. Preparação não é atividade neutra: imputar, excluir ou agrupar muda o que o modelo poderá aprender e quais casos serão representados.