20. Observabilidade, incidentes e melhoria contínua

A saúde de um produto de dados depende de sinais sobre atualização, conteúdo, execução e dependências. Observabilidade ajuda a relacionar esses sinais e investigar causas quando o serviço foge do esperado. O capítulo apresenta observabilidade de dados, SLA, incidentes e causa raiz. A meta é detectar impacto, recuperar o fluxo e prevenir recorrência, sem confundir um dashboard cheio de métricas com um processo que realmente resolve problemas.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 20 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Contratos de dados e evolução de esquema e utiliza essa base para avançar. Como capítulo final, ele integra as decisões construídas ao longo da disciplina.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Observabilidade, incidentes e melhoria contínua para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Observabilidade

Começamos por Observabilidade, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Observabilidade de dados infere saúde por métricas, logs, linhagem e eventos.

Observabilidade de dados utiliza métricas, logs, eventos e linhagem para inferir o estado do fluxo. Pode acompanhar volume, atraso, esquema, nulos, distribuição e execução de controles. Um alerta isolado informa um sintoma; a relação entre sinais ajuda a localizar a origem. Defina referências por período e contexto, pois sazonalidade pode explicar variações legítimas. A instrumentação precisa ser confiável: ausência de alerta não significa saúde se a coleta de métricas parou. Monitore também cobertura e funcionamento dos próprios controles.

SLA

Depois de compreender Observabilidade, passamos a SLA. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

SLA de dados formaliza compromisso de serviço entre partes.