Para extrair dados de uma origem de dados, é necessário conhecer a estrutura
de dados, criar um catálogo extract, transform, and load (ETL) que reproduza
esta estrutura no IBM Cognos Data Manager e,
em seguida, configurar os processos necessários para transformar os dados no esquema em
estrela ou em formato de metadados requerido pelo data mart ou pelo IBM Cognos Framework Manager.
Para ajudá-lo a simplificar o processo, o IBM Rational Insight
possui catálogos de amostra para extrair dados dos serviços de dados, carregar os dados
no armazém de dados operacional no IBM Rational Insight data warehouse
e construir os data marts conformados. Esta seção é uma visão geral do catálogo de amostra.
Um catálogo do IBM Cognos Data Manager
é um repositório central que descreve como as informações serão extraídas, transformadas
e carregadas a partir de origens externas. Geralmente, um catálogo do Data Manager
descreve:
- A normalização e mapeamento de dados externos para um esquema relacional
- A transformação de dados dos armazéns de dados operacionais e seu mapeamento
e inserção nas tabelas de fatos e de dimensões do data mart.
- Os fluxos de tarefas necessários para organizar a sequência de construções
- Os metadados que descrevem o data mart ou armazém de destino
- Os componentes comuns reutilizáveis (dimensões, conexões e funções definidas pelo usuário)
O catálogo de amostra do
Rational Insight facilita
a extração, transformação e carregamento de dados a partir dos seguintes produtos:
- IBM Rational ClearQuest
- IBM Rational ClearCase
- IBM Rational RequisitePro
- IBM Rational Quality Manager
- IBM Rational
Team Concert
- IBM Rational Test
Manager
- Microsoft Project
Estes catálogos de amostra contêm fluxos de tarefas e construções predefinidos que mapeiam dados
extraídos destas origens para tabelas correspondentes, e transformam estas
tabelas em fatos e dimensões. Cada catálogo de amostra contém bibliotecas, construções
e metadados predefinidos.
Exemplo
Considere a construção ETL de amostra usada juntamente
com o RequisitePro
para extrair metadados de gerenciamento de requisitos. A construção carrega dados a partir
da origem, da seguinte forma:
- Todos os tipos de requisitos na tabela REQUIREMENT do armazém de dados operacional
- Informações de tipos de requisitos na tabela REQUIREMENT_CLASSIFICATION
- Dados de revisão de requisito na tabela REQUIREMENT_REVISION_HISTORY
- Relacionamento pai-filho de requisito na tabela REQUIREMENT_REQUIREMENT_LOOKUP
- Dados de rastreabilidade de requisito na tabela REQUIREMENT_HIERARCHY
- Dados de projetos na tabela PROJECT
- Dados do usuário em RESOURCE
O modelo ETL de amostra para o IBM Rational RequisitePro também contém fluxos de tarefas
ETL predefinidos que organizam tarefas em categorias predefinidas. Um fluxo de tarefas é
definido para cada origem de dados externa. Cada fluxo de tarefas pode ser planejado
de forma independente dos outros.
A tarefa
OOTBE2E é a tarefa
de nível superior que define o fluxo geral. Ela executa tarefa para carregar dados de diferentes
origens de dados operacionais externas para tabelas correspondentes e, em seguida,
executa a tarefa para construir o data mart no armazém de dados. A tarefa
Build_Star
preenche o data mart. Ela faz o seguinte:
- Inicia a tarefa Dimensions para preencher as tabelas de dimensões
- Inicia Facts para preencher as tabelas de fatos
- Inicia HistoricalLookups para preencher as tabelas de consultas
históricas.
É possível customizar estas construções e fluxos de tarefas, dependendo
de sua situação de negócios específica e da implementação destes produtos.