19. Segurança, privacidade e cadeia de suprimentos

Sistemas de ML dependem de dados, modelos, bibliotecas e serviços que podem ser manipulados ou expostos. Proteger apenas o endpoint deixa outras partes do ciclo vulneráveis. Este capítulo apresenta envenenamento, extração de modelo, gestão de segredos e risco de dependências. A abordagem é defensiva: identificar superfícies, reduzir permissões, verificar origem e responder a sinais de comprometimento, distinguindo integridade, confidencialidade e qualidade preditiva.

A última disciplina leva modelos para a operação. Versionamento, pipelines, implantação, monitoramento, governança e resposta a incidentes formam um ciclo contínuo, do experimento à desativação. Este é o capítulo 19 de 20 da disciplina MLOps e Ciclo de Vida de Modelos. Ele retoma Governança, risco e documentação e utiliza essa base para avançar. Na sequência, estudaremos Incidentes, rollback e desativação.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Segurança, privacidade e cadeia de suprimentos para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Envenenamento

Começamos por Envenenamento, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Envenenamento de dados manipula treino para alterar comportamento do modelo.

Envenenamento de dados manipula exemplos, rótulos ou outras partes do processo de aprendizado para induzir comportamento indesejado. Pode afetar o desempenho geral ou situações específicas. Dados de fontes públicas ou feedback de usuários não devem ser considerados confiáveis automaticamente. Proveniência, validação, controles de acesso e revisão de alterações ajudam a reduzir exposição. Nenhum teste isolado garante detectar toda manipulação, especialmente quando exemplos maliciosos parecem plausíveis. Mantenha conjuntos de avaliação protegidos e capacidade de rastrear quais versões consumiram uma fonte comprometida.

Model extraction

Depois de compreender Envenenamento, passamos a Model extraction. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Model extraction tenta reconstruir modelo por consultas.