08. Erros de pipelines e conectores

Repetir uma atividade pode resolver uma indisponibilidade transitória, mas não muda uma senha inválida, um arquivo malformado ou uma regra incorreta. O diagnóstico de pipelines começa por classificar a falha e localizar a fronteira exata entre serviço, conexão, origem e destino.

Localizar a atividade e o contexto

Abra a tentativa e identifique a primeira atividade relevante que falhou, suas entradas e a mensagem do conector. O estado final pode refletir consequências posteriores. Compare parâmetros, caminho, identidade e horário com uma execução válida, sem assumir que execução interativa e automatizada usam a mesma credencial.

Um arquivo listado pode desaparecer antes da leitura. Descoberta e transferência ocorrem em instantes distintos, e a origem pode estar mudando. Verifique o protocolo de entrega e a permanência do objeto, além da autorização. Uma resposta de autenticação válida não prova que o caminho continua existindo.

Uma execução manual pode usar uma conexão diferente da execução agendada. O sucesso da primeira, portanto, não elimina uma hipótese de autorização na segunda. Compare a identidade efetiva, não apenas o nome do pipeline. Verifique também parâmetros que compõem o caminho: um valor vazio ou uma data deslocada pode apontar para um objeto inexistente. A mensagem do conector deve ser preservada junto das entradas relevantes, para que o diagnóstico não dependa apenas de uma captura do estado final.

Gateway, dependências e conectividade

O gateway é uma fronteira operacional própria. Se um conector exige uma dependência no host do gateway, instalar a biblioteca apenas no ambiente Spark não a disponibiliza naquele computador. A mensagem deve orientar a localização da instalação e a configuração que precisam ser conferidas.

Separe resolução de endereço, rede, autenticação e autorização. Testar com outra conta ou por outra rede pode demonstrar disponibilidade parcial sem reproduzir o caminho que falha. Uma correção verificável usa a identidade e a conexão da atividade afetada e confirma o acesso ao objeto necessário.