19. Contratos de dados e evolução de esquema

Consumidores precisam saber quais dados receberão e o que significam. Uma mudança de campo, tipo ou regra pode quebrar integrações mesmo quando o produtor continua executando normalmente. Contratos de dados tornam expectativas explícitas e orientam evolução de versões. O capítulo apresenta contrato, mudança de esquema, direções de compatibilidade e depreciação. A terminologia deve declarar quem lê qual versão, pois compatibilidade de dados e compatibilidade de uma API podem ser descritas de maneiras diferentes.

Depois de aprender a examinar os dados, organizamos as responsabilidades que os mantêm compreensíveis, corretos, protegidos e utilizáveis durante todo o ciclo de vida. Este é o capítulo 19 de 20 da disciplina Qualidade e Governança de Dados. Ele retoma Privacidade desde a concepção e RIPD e utiliza essa base para avançar. Na sequência, estudaremos Observabilidade, incidentes e melhoria contínua.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Contratos de dados e evolução de esquema para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Data contract

Começamos por Data contract, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Data contract formaliza esquema, semântica, qualidade e nível de serviço.

Data contract formaliza estrutura, semântica, qualidade, frequência, disponibilidade, responsabilidades e tratamento de mudanças. Um esquema com nomes e tipos é parte do contrato, mas não descreve sozinho unidade, população ou regra de atualização. Defina quais requisitos são obrigatórios e como são verificados. Contratos devem ser acordados entre produtores e consumidores e refletir capacidade real da cadeia. Se há mudança de significado sem alteração de tipo, os testes estruturais podem passar enquanto o contrato semântico foi violado.

Evolução

Depois de compreender Data contract, passamos a Evolução. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Schema evolution gerencia mudanças estruturais entre versões.