06. Aprendizado supervisionado, generalização e avaliação

No aprendizado supervisionado, o modelo aprende relações entre atributos e alvos conhecidos para atuar em novos casos. A qualidade precisa ser medida de acordo com a tarefa e as consequências dos erros. Estudaremos métricas de classificação e regressão, curvas de avaliação e critérios para escolher um modelo útil, além de simplesmente obter um score alto.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 6 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Machine Learning aplicado e utiliza essa base para avançar. Na sequência, estudaremos Overfitting, underfitting e trade-off entre viés e variância.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Aprendizado supervisionado, generalização e avaliação para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Alvo, tarefa e separação da avaliação

Começamos por Alvo, tarefa e separação da avaliação, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Aprendizado supervisionado estima uma função a partir de exemplos com atributos e alvos. Classificação prevê categorias ou probabilidades de classes, como fraude e não fraude. Regressão estima uma grandeza numérica, como preço ou duração. O nome regressão logística pode confundir: ela é frequentemente usada para classificação, pois estima probabilidades de classe. Agrupar sem alvo pertence a outra formulação.

Separe dados para ajustar, escolher e avaliar. Estratificação procura preservar proporções de classes nas partições, mas não elimina dependência temporal ou repetição de indivíduos. Se registros da mesma pessoa aparecem nos dois lados, ou se dados futuros ajudam a prever o passado, a avaliação pode ser otimista. O desenho precisa reproduzir a população e o momento de uso, com transformações aprendidas somente nos dados permitidos.

Matriz de confusão e acurácia

Depois de compreender Alvo, tarefa e separação da avaliação, passamos a Matriz de confusão e acurácia. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Para a classe positiva, VP são positivos reais corretamente sinalizados, FP são negativos sinalizados, FN são positivos perdidos e VN são negativos corretamente descartados. Acurácia=(VP+VN)/total mede a fração de acertos. Especificidade=VN/(VN+FP) mede a proporção dos negativos reais reconhecidos e equivale a 1 menos a taxa de falsos positivos. É importante declarar qual classe é positiva e qual população foi avaliada.

Uma classe majoritária pode dominar a acurácia. Se 99% dos eventos são negativos, prever negativo para todos alcança 99% de acerto e não detecta um único positivo. Isso não torna a métrica inútil em todo caso, mas demonstra que sozinha pode esconder o erro relevante. Examine a matriz, métricas por classe e custos antes de concluir que um modelo está pronto para operar.