03. Python para análise de dados

Python conecta preparação, computação numérica, estatística e visualização. Uma análise confiável exige conhecer tanto a linguagem quanto as regras das bibliotecas: índices, tipos, formas e valores ausentes influenciam diretamente os resultados. Este capítulo desenvolve esses fundamentos até a reprodução e o compartilhamento.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 3 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Linguagens de consulta e utiliza essa base para avançar. Na sequência, estudaremos R para análise de dados.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Python para análise de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Linguagem, coleções e funções

Começamos por Linguagem, coleções e funções, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Python é de uso geral e tipagem dinâmica: nomes são associados a objetos com tipos, sem declaração prévia obrigatória. Isso não significa conversão irrestrita entre valores: 10 e "10" não são iguais, enquanto alguns tipos numéricos podem comparar como iguais. R também é dinâmico; colunas SAS têm tipos estabelecidos no conjunto de dados. Interoperabilidade por bibliotecas e APIs não torna sintaxes e modelos de execução intercambiáveis.

Listas são mutáveis e ordenadas; tuplas não permitem substituir seus elementos, embora possam conter objetos mutáveis. Dicionários associam chaves a valores, e conjuntos representam elementos únicos. d["c"] lança KeyError se a chave falta; d.get("c") pode retornar None ou um padrão. Fatias de sequências usam início inclusivo e fim exclusivo: [10,20,30,40][1:3] retorna [20,30].

range(1,5) percorre 1 a 4. continue pula o restante da iteração; break encerra o laço. A compreensão [x*x for x in range(6) if x%2==0] produz [0,4,16]. Argumentos posicionais e nomeados são combinados com valores padrão. Um padrão mutável, como lista, é criado uma vez na definição da função; prefira None e crie a lista dentro quando cada chamada precisar de um objeto novo.

NumPy: formas, tipos e memória

Depois de compreender Linguagem, coleções e funções, passamos a NumPy: formas, tipos e memória. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

ndarray organiza dados com shape e dtype. Os elementos compartilham um dtype, embora object possa guardar referências e tipos estruturados tenham campos; isso não equivale à heterogeneidade por coluna de um DataFrame. Tipos numéricos controlam faixa e precisão e podem sofrer overflow. Views podem ter strides e não ser contíguas, portanto homogeneidade não garante que toda visão ocupe um bloco contíguo simples.