Processo ETL (Extract, Transform, and Load)

Executando as tarefas, construções e fluxos ETL.
Investigando as razões para a falha de construções ETL
  • Se a conexão na qual ocorreu o erro for uma origem de dados XML ODBC, consulte os arquivos de log ODBC e JDBC e as seções no serviço de dados e no driver XML ODBC.
  • Se a conexão na qual ocorreu o erro for Armazém de Dados do IBM Rational Insight, consulte os logs de instalação do armazém de dados.
Investigando as razões para os dados serem rejeitados
Consulte os logs no [rational_insight_installation_directory]/cognos/datamanager/data que contêm informações sobre quantos registros foram adquiridos e fundidos ou rejeitados.
Investigando os erros em uma construção específica em uma tarefa
Duplique a tarefa que inclui a construção, remova todas as construções não relacionadas à construção que deseja investigar e execute a tarefa. A tarefa configurará as variáveis corretamente.
Reutilizando tarefas ETL
Uma tarefa ETL associada a uma categoria de recurso é automaticamente aplicada a todos os grupos de recursos dentro dessa categoria de recurso. Para reutilizar uma tarefa ETL, utilize Configuração de Dados do IBM Rational Insight XML para definir um novo grupo de recursos e colocar todos os esquemas idênticos na mesma categoria de recurso. Durante o processo ETL, os dados serão automaticamente carregados ou removidos, dependendo de se a categoria de recurso existe ou não existe nesse grupo de recursos.
Manipulando problemas de contagem dupla
Geralmente, uma tabela de fatos contém várias dimensões. As tabelas de fatos armazenam dados em quantidade mínima, isto é, cada combinação de cada dimensão é armazenada como uma linha. Mas, cada relatório pode não utilizar cada dimensão. Quando há relacionamentos de muitos-para-muitos entre o fato e uma dimensão, os dados para nivelar as dimensões não utilizadas no relatório também serão agregados, resultando, assim, em relatórios não exatos. Para evitar tal cenário:
  1. Crie uma tabela de fatos base. Certifique-se de que as tabelas de fatos não tenham relacionamentos de muitos-para-muitos entre o fato e qualquer uma das dimensões.
  2. Para cada relacionamento de muitos-para-muitos com o fato, crie uma nova tabela de fatos que inclua as dimensões da tabela de fatos base e defina o relacionamento de muitos-para-muitos na nova tabela.
Windows Executando tarefas ETL em um sistema não-inglês com o banco de dados Oracle 11g
  1. Crie um esquema do banco de dados do catálogo executando o seguinte comando:
    catmanage.exe ORACLE UID/PWD@ServiceName -c
    em que UID e PWD são o nome de usuário e a senha de uma conta válida que pode conectar ao ServiceName.
  2. Inicie o IBM Cognos Data Manager Designer, abra o banco de dados do catálogo e restaure o catálogo.
Linux Executando tarefas ETL em um ambiente Linux
O IBM Cognos Data Manager não possui uma interface gráfica com o usuário para ambientes Linux. Para executar tarefas ETL em um ambiente Linux, utilize os comandos shell Linux.
Nota: É necessário criar os DSNs relacionados e certificar-se de que as conexões sejam estabelecidas.
  • Para obter uma lista geral de comandos, consulte Comandos Linux para IBM Cognos Data Manager.
  • Para obter uma lista detalhada de comandos, consulte o IBM Cognos Data Manager User Guide (tópicos Cross Platform Deployment).
Linux Ao executar uma tarefa ETL, você obtém o seguinte erro:Nome de dados não localizado e nenhum driver padrão especificado.
  1. Verifique o arquivo odbcinst.ini:
    1. Abra o arquivo odbcinst.ini em um editor de texto.
    2. Vá para o intervalo [IBM Rational Insight XML ODBC Driver].
    3. Certifique-se de que a propriedade Driver aponte para o caminho de arquivo correto de libratlxml.so
  2. Verifique o arquivo odbc.ini:
    1. Abra o arquivo odbc.ini em um editor de texto.
    2. Certifique-se de que o DSN do sistema desejado exista e o valor de sua propriedade Driver seja IBM Rational Insight XML ODBC Driver. Se o DSN não existir, inclua-o como mostrado no exemplo:
      [ClearCase]
         Driver = IBM Rational Insight XML ODBC Driver
         DataSource = ClearCase
         Descrição = Um exemplo de DSN
         Configuração = /opt/ibm/RationalInsight/dataconfig/Configuration/clearcase.xdc
  3. Verifique o caminho JVM
    1. No console, execute o comando export.
    2. Certifique-se de que a variável "LD_LIBRARY_PATH" inclua o caminho de IBM Java Virtual Machine transportado por IBM Rational Insight. Um exemplo é /opt/ibm/RationalInsight/AppServer/java/jre/bin;/usr/local/lib.
    3. Certifique-se de que a variável "PATH" inclua o caminho de IBM Java Virtual Machine transportado por IBM Rational Insight. Um exemplo é /opt/ibm/RationalInsight/AppServer/java/jre/bin/classic.