01. Fundamentos de análise de dados

Analisar dados é construir uma resposta sustentada por evidências para uma pergunta. Isso exige compreender fontes e população, preparar e explorar os registros e comunicar limites junto aos resultados. O capítulo conecta esse processo a pipelines, modelos e governança, mostrando por que contexto e operação são tão importantes quanto cálculo.

Com dados compreendidos e governados, avançamos para preparação, modelagem analítica, aprendizado de máquina e processamento em escala. Os capítulos ligam fundamentos, algoritmos e aplicações. Este é o capítulo 1 de 24 da disciplina Engenharia e Análise de Dados. Ele abre o percurso e apresenta a base para os capítulos seguintes. Na sequência, estudaremos ETL, qualidade, tratamento e preparação de dados.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Fundamentos de análise de dados para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Pergunta, contexto e valor

Começamos por Pergunta, contexto e valor, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Dado é um registro ou representação; informação resulta de organização e contexto que lhe dão significado para uma pergunta. O número 80 não esclarece se representa pessoas, reais ou porcentagem. Unidade, período, população e origem são necessários para interpretar. Uma conta aritmeticamente correta pode responder à pergunta errada se o recorte ou denominador não corresponde ao objetivo.

O processo analítico inclui formular pergunta, coletar, limpar, explorar, modelar quando necessário, comunicar e apoiar decisão. Começar escolhendo um gráfico pode inverter prioridades e esconder a necessidade real. Valor depende de benefícios frente a custos, riscos e alternativas. Um achado que não permite ação pode ainda ser útil para compreensão, mas não deve receber uma promessa de retorno operacional sem explicação do caminho até esse resultado.

Estruturas, variedade e qualidade

Depois de compreender Pergunta, contexto e valor, passamos a Estruturas, variedade e qualidade. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Dados estruturados seguem esquema explícito; semiestruturados carregam campos e marcadores, como JSON; não estruturados incluem textos e mídias sem modelo tabular rígido para o uso em questão. As categorias dependem da representação e podem se transformar por extração de atributos. Variedade descreve diversidade e desafios de integração e semântica, não a certeza de que todos os dados estão corretos.

Qualidade depende do uso e envolve dimensões como completude, validade, consistência, unicidade e atualidade. Grande volume não compensa informação incorreta ou população inadequada. Examine erros, ausências, mudanças de coleta e representatividade. Uma regra de limpeza pode excluir sistematicamente um grupo ou alterar a definição de um evento; por isso, decisões de tratamento precisam ser justificadas e rastreáveis.