05. Plataforma SAS, linguagem SAS e processamento de dados

SAS combina uma linguagem de preparação e análise com ambientes de desenvolvimento e servidores. Para compreender um programa, acompanhe a leitura, o estado das variáveis e a gravação. Para compreender a plataforma, separe cliente, metadados e processamento, distinguindo SAS 9.4 de Viya.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 5 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma R para análise de dados e utiliza essa base para avançar. Na sequência, estudaremos PyTorch.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Plataforma SAS, linguagem SAS e processamento de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Bibliotecas, programas e persistência

Começamos por Bibliotecas, programas e persistência, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Um programa combina DATA steps, que leem, transformam e gravam observações, e PROC steps, que ordenam, resumem, modelam ou apresentam resultados. Muitos procedimentos leem a fonte sem alterá-la; outros podem substituí-la conforme opções. RUN encerra a execução de muitas etapas, e QUIT encerra procedimentos interativos, como PROC SQL. A existência de uma saída não prova que o processamento foi correto.

LIBNAME associa um libref a um local ou mecanismo. Em vendas.clientes, vendas é a biblioteca e clientes o membro. WORK é normalmente temporária e removida ao término da sessão; resultados duráveis precisam de uma biblioteca permanente. Nomes de um nível usam WORK por padrão, salvo configurações como USER. Uma biblioteca é uma referência lógica a armazenamento, não necessariamente uma coleção residente em RAM.

Compilação, PDV e saída

Depois de compreender Bibliotecas, programas e persistência, passamos a Compilação, PDV e saída. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

O DATA step é compilado antes da execução: SAS identifica variáveis, tipos e comprimentos e prepara o Program Data Vector, área lógica de construção da observação. Na execução, lê e processa dados em iterações. LENGTH deve aparecer antes de uma definição que fixe comprimento inadequado de texto, pois valores posteriores podem ser truncados. Erros de sintaxe podem ser detectados na compilação; outros problemas surgem com dados específicos durante a execução.

Ao final de uma iteração comum, SAS grava implicitamente a observação. Usar OUTPUT explícito muda esse controle: a gravação ocorre onde as instruções OUTPUT são executadas. Um OUTPUT dentro de condição pode reduzir saídas; múltiplos OUTPUT podem gerar várias observações. Por isso, número de iterações e número de registros gravados não são necessariamente iguais.