19. Processamento de linguagem natural

Processamento de linguagem natural desenvolve métodos para representar, analisar e gerar linguagem humana. Palavras carregam contexto, ambiguidade e convenções culturais, por isso o tratamento precisa corresponder à tarefa. O capítulo percorre preparação, representações, arquiteturas e avaliação, incluindo recuperação e riscos dos corpora.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 19 de 24 da disciplina Engenharia e Análise de Dados. Ele retoma Regularização e Deep Learning e utiliza essa base para avançar. Na sequência, estudaremos Visão computacional, CNN e detecção de objetos.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Processamento de linguagem natural para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Tarefas e contexto linguístico

Começamos por Tarefas e contexto linguístico, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

PLN inclui classificação, extração, busca, tradução, resumo e geração. Classificação associa um documento a uma ou mais categorias, como intenção ou sentimento; uma explicação textual é outra saída e precisa de avaliação própria. Sentimento depende do domínio, do alvo e de recursos como ironia: uma frase pode elogiar o atendimento e criticar o produto ao mesmo tempo.

Tradução exige contexto, morfologia e cultura; correspondência palavra a palavra não resolve expressões idiomáticas. NER identifica menções e categorias de entidades, como pessoas e organizações. Entity linking é uma etapa adicional que associa uma menção a uma entidade específica em uma base. Reconhecer a palavra Amazonas como entidade não resolve automaticamente se ela se refere ao estado, ao rio ou a outra organização.

Tokenização e normalização

Depois de compreender Tarefas e contexto linguístico, passamos a Tokenização e normalização. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Tokens são unidades de representação e não correspondem sempre a palavras completas. Tokenização por subpalavras ajuda a lidar com vocabulário e formas raras, com regras que variam por modelo. Stemming reduz palavras por regras aproximadas e pode produzir formas não lexicais; lematização procura a forma canônica com apoio linguístico, dependendo de idioma, vocabulário e classe gramatical.

Remover acentos, pontuação ou stopwords não melhora toda tarefa. Negação, nomes e intensidade podem depender desses elementos. Em sentimento, retirar não pode inverter a interpretação de não gostei. Valide o pré-processamento para idioma e domínio e mantenha compatibilidade com o modelo pré-treinado. Uma limpeza adequada para busca por palavras pode ser inadequada para um modelo contextual treinado com pontuação original.