03. Pipelines, atalhos e espelhamento

Copiar, referenciar e replicar são maneiras diferentes de disponibilizar dados. A cópia cria um estado no destino; o atalho aponta para um conjunto existente; o espelhamento acompanha alterações de uma origem suportada. Entender essas diferenças evita prometer atualidade ou independência que o mecanismo não oferece.

Cópia e contrato de formato

A atividade de cópia conecta origem e destino e realiza movimentação conforme conectores, mapeamentos e formatos. Confirme tipos na origem, representação intermediária e tipo final. Uma transferência sem exceção pode colocar valores em colunas erradas quando o contrato de campos foi interpretado incorretamente.

Em texto delimitado, separador, codificação, cabeçalho, aspas e escape fazem parte do esquema de transporte. Aspas internas não devem encerrar o campo; quebras de linha dentro de campos citados não são necessariamente novos registros. Um marcador textual de nulo precisa ser inequívoco: se NULL também é um código válido, a convenção perde informação.

JSON como array e JSON com um objeto por linha não são intercambiáveis sem configurar o leitor. Parquet carrega informações de esquema, mas ainda exige conferir tipos e compatibilidade. Preserve caracteres desde a decodificação; tentar corrigir um texto já corrompido com substituições pode esconder a causa.

Um CSV contendo o texto Rua A, bloco 2 dentro de aspas não deve ser dividido como se a vírgula interna fosse um separador de coluna. Uma aspa literal precisa do escape esperado. São detalhes de contrato, não limpeza estética. Depois da cópia, confira número de colunas, caracteres acentuados, valores nulos e medidas fracionárias. Um arquivo que foi transferido integralmente ainda pode ter sido interpretado incorretamente. A validação deve ler a saída com o mesmo tipo de consumidor que a usará.

Descompressão e colisões de nomes

Dois pacotes compactados podem conter um arquivo interno chamado dados.csv. Se ambos forem extraídos para o mesmo caminho sem distinção, pode haver colisão. Preservar o nome do pacote como pasta, quando a opção é suportada, mantém espaços de nomes distintos. A configuração de descompressão deve ser testada com arquivos repetidos, não apenas com um pacote isolado. O nome do artefato e sua versão também ajudam a rastrear qual entrada produziu cada conjunto.

Pipelines orientados por metadados