15. Integração de dados: SAP Data Services (BODS) e DMX

Ferramentas corporativas de integração organizam conexões, transformações e execução recorrente. SAP Data Services, historicamente chamado BODS, combina integração e qualidade; DMX/DMExpress aparece na base por seu processamento de grandes volumes e integração com ambientes legados. Entender os objetos e os componentes evita confundir desenvolvimento, execução e administração.

Com o fluxo analítico completo em mente, estudamos linguagens, bibliotecas, motores distribuídos e produtos corporativos. O objetivo é compreender o papel de cada ferramenta dentro de uma arquitetura. Este é o capítulo 15 de 19 da disciplina Plataformas e Ferramentas Analíticas. Ele retoma Qualidade de dados e Trillium e utiliza essa base para avançar. Na sequência, estudaremos Mineração de dados.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Integração de dados: SAP Data Services (BODS) e DMX para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Desenvolvimento, execução e operação

Começamos por Desenvolvimento, execução e operação, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Designer é o ambiente gráfico de desenvolvimento. Seus objetos e regras ficam em um repositório relacional local associado ao ambiente de trabalho; local não significa necessariamente instalado na mesma máquina. Um repositório central apoia compartilhamento e versionamento por check-in e check-out. A interface gráfica não substitui essa persistência de metadados.

Job Server recebe a solicitação e aciona os processos de execução. Management Console oferece administração web, agendamento, acompanhamento e logs. O Access Server participa do encaminhamento de solicitações a serviços em tempo real. Assim, o uso frequente em lote não torna a plataforma exclusivamente batch. Um erro de execução deve ser investigado nos componentes e registros apropriados, e não apenas no desenho aberto no Designer.

Hierarquia e conexões

Depois de compreender Desenvolvimento, execução e operação, passamos a Hierarquia e conexões. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Projeto agrupa jobs; job é a unidade executável e agendável; workflow organiza controle e sequência; dataflow contém fontes, transforms e destinos que movimentam dados. Essa hierarquia é uma forma didática de organizar o trabalho, com workflows aninháveis e composições permitidas pelo produto. O projeto não é agendado como se fosse um job, e o workflow não se confunde com o processamento de cada registro.

Datastore descreve conexão com banco ou aplicação, incluindo parâmetros e metadados de acesso. File format descreve a estrutura de arquivos, como delimitadores, campos e tipos. Um arquivo separado por ponto e vírgula exige formato de leitura adequado; um datastore não substitui essa descrição. Reutilizar definições reduz inconsistência, mas credenciais, permissões e configurações de ambiente precisam acompanhar a implantação.