15. Manutenção e desempenho do Lakehouse

Uma tabela Delta pode conter muitos arquivos pequenos depois de sucessivas cargas. As consultas passam a gastar mais tempo listando e abrindo arquivos, mesmo sem aumento proporcional das linhas. Manutenção organiza a leitura e administra versões, mas compactar e remover arquivos obsoletos são operações diferentes.

Arquivos e custo de leitura

Cada arquivo acrescenta trabalho de descoberta, abertura e planejamento. Milhares de arquivos pequenos podem prejudicar consultas recorrentes. Compactação reúne dados em uma organização mais eficiente, preservando o conteúdo lógico. O ganho depende do padrão de leitura e da distribuição dos arquivos.

Poucos arquivos enormes também não são um objetivo universal. Eles podem limitar paralelismo e aumentar o trabalho em operações que precisam reescrever partes do conjunto. O tamanho adequado equilibra metadados, leitura seletiva, distribuição e escrita. Meça consultas representativas em vez de perseguir um único número para todas as tabelas.

O custo de ler mil arquivos pequenos não é igual ao de ler um arquivo com o mesmo total de bytes. Há trabalho de metadados, abertura e planejamento em cada unidade. Contudo, reunir tudo em um arquivo gigantesco pode reduzir o paralelismo e tornar atualizações mais caras. O tamanho adequado é um compromisso ligado à carga. Compare consultas frequentes e operações de escrita com a mesma população antes e depois da manutenção, para demonstrar o efeito sem alterar o significado dos dados.

OPTIMIZE e organização física

Operações de otimização reorganizam arquivos ativos de acordo com o recurso suportado. V-Order trata organização física voltada à eficiência de leitura em cenários compatíveis; seu efeito e custo devem ser avaliados pela carga. Não confunda essa organização com alteração dos valores de negócio.

Particionamento deve apoiar predicados frequentes e manter volume razoável por partição. Uma chave de cardinalidade muito alta pode gerar muitas partições minúsculas e ampliar fragmentação. A escolha precisa acompanhar volume, frequência de atualização e seletividade, não apenas o fato de uma coluna aparecer em filtros.