Slide sem t

1
Conhecimento é o melhor investimento que
podemos fazer.... Einstein
2
Administração e Sistemas de Informação
Mauricio Abreu MSc sumnet.consultores_at_gmail.com
SAD / Data Warehouse
3

• Tecnologias
• Data Warehouse, Data Mart, Metadado e ODS
• Data / Text / Web Mining
• BPM
• Portal Corporativo.

Agenda Geral
4

• Introdução
• Novo Ambiente de Negócios
• Sistemas de Informação
• Sistemas de Apoio a Decisão
• Tecnologias Data Warehouse, Data Mart, Metadado
  e ODS
• Modelagem do DW
• Segunda Geração do DW

Agenda
5
Introdução
6
Sociedade da Informação
Explosão da Informação e do Conhecimento

• Uma edição semanal do NYT contém mais informação
  do que uma pessoa normal poderia ter tido acesso,
  em toda a sua vida, na Inglaterra do século
  XVIII
• Nos campos científico e tecnológico o
  conhecimento duplica a cada 18 meses
• Muita informação e pouco tempo poluição da
  informação
• Executivos dedicam até 4 horas por dia para a
  leitura
• Ansiedade da informação hiato entre os dados
  disponíveis e o conhecimento para absorvê-los.

O mundo produz em torno de 1.5 exabytes (1018
bytes) de informação original por ano, o que dá,
aproximadamente, 250 megabytes para cada
habitante da terra. Peter Liman Hal R.
Varian http//www.sims.berkeley.edu/how-much-info
(Junho de 2001)
Introdução
7
Sociedade da Informação
A explosão da informação, sobre a qual muito
se comenta e escreve, é também, em grande parte,
a explosão da informação errada e mal organizada
(...). A revolução digital apenas agravou o
problema. Murray Gell-Mann Information versus
knowledge and understanding
Introdução
Nosso fascínio pela tecnologia nos fez esquecer
o objetivo principal da informação INFORMAR.
Todos os computadores do mundo de nada servirão
se seus usuários não estiverem interessados na
informação que estes computadores podem gerar. O
aumento da largura de banda dos equipamentos de
telecomunicações será inútil se os funcionários
de uma empresa não compartilharem a informação
que possuem. Thomas Davenport - Information
Ecology
8
Sociedade da Informação

• Um ambiente de informação e conhecimento deve
  considerar
• Cultura - valores e crenças empresariais sobre
  informação
• Comportamento - como as pessoas realmente usam a
  informação
• Processos de trabalho - o que é feito com a
  informação
• Política - as armadilhas que podem interferir no
  intercâmbio de informações
• Tecnologia - quais sistemas de informação já
  estão instalados e quais os potenciais.

Introdução
9
Novo Ambiente de Negócios
10
Realidade Mundial
Comércio Eletrônico
Alta Competitividade
Agilidade e Flexibilidade
Foco no Cliente
Concorrência Acirrada
Introdução
Novos Ambientes de Negócio
Fidelização do Cliente
Crescimento das Vendas
Globalização
Estar à frente da Concorrência
Investimento em TI
Instabilidade
11
A Era do Conhecimento
Novo Ambiente de Negócios
Informação
Dado
12
A Era do Conhecimento

• INFORMAÇÃO
• É o Dado num Contexto
• É o Dado Utilizável (Apresentação)
• É o Significado do Dado para o Negócio
• É AQUILO que ALTERA a Estrutura
• Mental dos Knowledge Workers
• ex 55 (11) 3744-1600 r. 111

DADO Matéria Prima da qual a informação é
derivada e é a base para decisões e ações
inteligentes ex 551137441600111
Novo Ambiente de Negócios
Informação
Dado
Informação f(Dado Definição Apresentação)
13
A Era do Conhecimento
Comércio Eletrônico
Alta Competitividade
Agilidade e Flexibilidade
Foco no Cliente
Concorrência Acirrada
Conhecimento
Novo Ambiente de Negócios
Novos Ambientes de Negócio
Informação
Fidelização do Cliente
Dado
Crescimento das Vendas
Globalização
Estar à frente da Concorrência
Investimento em TI
Instabilidade
14
A Era do Conhecimento

• CONHECIMENTO
• É a Informação num Contexto
• É Entender o Significado da
• Informação (Conceituação Contextual)
• É o Valor Agregado à informação por pessoas que
  têm experiência e perspicácia para entender o
  seu real potencial
• ex Telefone de uma empresa que
• fornece serviços com alto padrão
• de qualidade em Data Warehouse.
• Conhecimento f(Pessoa Informação
  Significado)

Conhecimento
Novo Ambiente de Negócios
Informação
Dado
15
A Era do Conhecimento

• CONHECIMENTO
• É a Informação num Contexto
• É Entender o Significado da
• Informação (Conceituação Contextual)
• É o Valor Agregado à informação por pessoas que
  têm experiência e perspicácia para entender o
  seu real potencial
• ex Telefone de uma empresa que
• fornece serviços com alto padrão
• de qualidade em Data Warehouse.
• Conhecimento f(Pessoa Informação
  Significado)

• Conhecimento Tácito
• É algo pessoal
• Formado dentro de um contexto social e
  individual
• Não é propriedade de uma organização ou de uma
  coletividade.

Conhecimento
Novo Ambiente de Negócios
Informação
Dado
16
A Era do Conhecimento

• CONHECIMENTO
• É a Informação num Contexto
• É Entender o Significado da
• Informação (Conceituação Contextual)
• É o Valor Agregado à informação por pessoas que
  têm experiência e perspicácia para entender o
  seu real potencial
• ex Telefone de uma empresa que
• fornece serviços com alto padrão
• de qualidade em Data Warehouse.
• Conhecimento f(Pessoa Informação
  Significado)

• Conhecimento Explícito
• Envolve conhecimento dos fatos
• É adquirido principalmente pela informação
• Quase sempre adquirido pela educação formal
• está documentado em livros, manuais, bases de
  dados etc.

Conhecimento
Novo Ambiente de Negócios
Informação
Dado
17
A Era do Conhecimento
Comércio Eletrônico
Alta Competitividade
Agilidade e Flexibilidade
Inteligência
Foco no Cliente
Concorrência Acirrada
Conhecimento
Novo Ambiente de Negócios
Novos Ambientes de Negócio
Informação
Fidelização do Cliente
Dado
Resultado de um processo que envolve coleta,
organização e transformação de dados em
informação, passando por análise e
contextualização, cujo resultado é aplicado na
solução de problemas que geram uma vantagem
competitiva para a organização.
Crescimento das Vendas
Globalização
Estar à frente da Concorrência
Investimento em TI
Instabilidade
18
A Era do Conhecimento
Comércio Eletrônico

• CONHECIMENTO
• É a Informação num Contexto
• É Entender o Significado da
• Informação (Conceituação Contextual)
• É o Valor Agregado à informação por pessoas que
  têm experiência e perspicácia para entender o
  seu real potencial
• ex Telefone de uma empresa que
• fornece serviços com alto padrão
• de qualidade em Data Warehouse.
• Conhecimento f(Pessoa Informação
  Significado)

• INTELIGÊNCIA
• É o Conhecimento Aplicado
• É a Capacidade de Inovar
• É o Conhecimento Compartilhado
• Cria um Processo de
• Aprendizagem Inteligente
• Voltado para a Tomada de
• Decisão
• Inteligência f(Pessoa
• Conhecimento Ação)

Alta Competitividade
Agilidade e Flexibilidade
Inteligência
Foco no Cliente
Concorrência Acirrada
Conhecimento
Novo Ambiente de Negócios
Novos Ambientes de Negócio
Informação
Fidelização do Cliente
Dado
Crescimento das Vendas
Globalização
Estar à frente da Concorrência
Investimento em TI
Instabilidade
19
Novo Ambiente de Negócios
20
Por que Conhecimento? E por que agora?
Novo Ambiente de Negócios
O Conhecimento é a base para uma Vantagem
Competitiva Sustentável
21
A Era do Conhecimento
A Emoção e a RegraGrupos criativos na Europa
de 1850 a 1950Domenico De Masi

• Casa Thonet

Novo Ambiente de Negócios

• Instituto Pasteur de Paris

• Cooperativa Wiener Werkstätte de Artistas e
  Artesãos

• Bauhaus

22
Compartilhar / Distribuir
Organizar / Armazenar
Selecionar Explicitar Contextualizar Documentar Ar
mazenar Converter Classificar Revisar Adaptar Codi
ficar
Onde o conhecimento começa a ser internalizado na
organização. São atos de explicitar,
customizar, contextualizar e documentar.
Onde o conhecimento começa a ser socializado na
organização. São atos de disseminar, dividir e
distribuir.
Avaliar
Analisar
Gestão do
Onde os resultados obtidos são avaliados. São
atos de medir, analisar e qualificar.
Novo Ambiente de Negócios
Avaliar
Avaliar
Onde o conhecimento surge, internamente ou
externamente. São atos de prospectar,
visualizar, triar, selecionar, filtrar,
coletar, identificar, evoluir e inovar.
Conhecimento
Coletar Melhorar Prospectar Visualizar Triar Selec
ionar Obter Identificar
O conhecimento passa a ser usado e a gerar
valor para organização. É o ato de usar.
Avaliar
Criar / Adquirir
Aplicar
Adquirir
Fonte CRIE/COPPE
23
Na Organização
Processos Gerenciais Administrativos
Adquirir
Melhores Práticas
Compartilhar
Armazenar
Pesquisa Mercado
BPR/ TQM
TI
Produzir
Planejamento
Treinamento
Novo Ambiente de Negócios
Conhec.
Transferir
Mercado Consumidor
Desenvolvimento do Produto
Teste Avaliação
Estoque
Fabricação
Entrega
Suporte ao Cliente
Financeiro
Venda
Produzir
Fonte Litton-PRC
24
Inteligência Empresarial

• Ter o Dado
• Saber que tem o Dado
• Poder acessá-lo
• Confiar nele.

Novo Ambiente de Negócios
Dado Transação Operacional Demográfico Estilo de
Vida Financeiro Econômico Governamental
Informação Segmentação de Cliente Previsão de
Demanda Afinidade de mercado Relação Cliente
Produto Perfis Padrões de Fraude
Conhecimento (Decisão / Ação) Programas de
Fidelização Otimização de mala direta Maximização
da loja Alocação de fundos Planejamento dos riscos
25
O que é ser uma organização inteligente?

• Utilização de estratégias, unidas com as
  tecnologias corretas, privilegiam a interação
  inteligente e a gestão eficaz dos recursos
  produtivos
• Ciclo rápido de resposta e interatividade
• Auto-suficiência para o usuário
• Modelo mental de operação rápida, prestativa e
  sensata, segundo o ponto de vista do usuário
• Aplicação de tecnologias e métodos de
  inteligência empresarial
• Uso compartilhado de métricas e indicadores
  relevantes.

Novo Ambiente de Negócios
26
Casos
Novo Ambiente de Negócios
27
Arquitetura de Informações
Novo Ambiente de Negócios
28
Arquitetura de Gestão do Conhecimento
Estratégia do
Conhecimento
Novo Ambiente de Negócios
Processos
Tecnologias
de
negócio
Capital Ambiental
Estrutura
Organizacional
CRIE www.crie.ufrj.br
INDICADORES
29
Arquitetura de Gestão do Conhecimento Extendida
Novo Ambiente de Negócios
30
Compartilhar / Distribuir
Organizar / Armazenar
Metadado
ERP
Avaliar
Data Warehouse
CRM
Benchmarking
Gestão do
Novo Ambiente de Negócios
Avaliar
Avaliar
Conhecimento
Balanced Scorecard
Mapa de Conceitos
Agentes Inteligentes
Avaliar
Mineração de Dados
Sistemas Especialistas
Data / Text Mining
Criar / Adquirir
Aplicar
Fonte CRIE/COPPE
31
Sistemas de Informação
32
Gestão do Conhecimento
Sistemas de Informação
Agentes Inteligentes
Workflow
Banco de Dados
CRM
Data/Text Mining
Data Warehouse
E-mail
EIS DSS
GED
Groupware
Internet/Intranet/Extranet
Mapa do Conhecimento
Mapa de Processos
ERP
Metadado
Sistemas Especialistas
Segurança
CAPITAIS DO CONHECIMENTO? (Intelectual,
Relacionamento, Estrutural e Ambiental)
33
Tipos de Sistemas de Informação

• Sistemas de Informações Transacionais (SIT)
• Sistemas de Informações Gerenciais (SIG)
• Sistemas de Apoio à Decisão (SAD)
• Sistemas Especialistas (SE)
• Sistemas de Apoio ao Executivo (EIS)
• Sistemas Integrados de Gestão (ERP)
• Sistemas de Informação Georeferenciada (GIS)
• e-ERP, Supply Chain (SCM), e-CRM,
• ... E agora?! Está chegando o BPM, o ECR,.

Sistemas de Informação
34
Evolução dos SI
CRM
OPERACIONAL
OPERACIONAL
TÁTICO
ESTRATÉGICO
OPERACIONAL
TÁTICO
TÁTICO
ESTRATÉGICO
ESTRATÉGICO
SIT
SE
EIS
SIG
ERP
SAD
Sistemas de Informação
50
60
70
80
90
00
Explorar
Informação
dados
Transações
Informação
Visão da
por cliente
por área
organização
e
Simulação
funcional
seu contexto
Substituir
o
Integração
Processamento
julgamento
da Informação
de
textos
humano
35
Informação Sistematizada rumo à inteligência
empresarial
Econômico Social - Legal
Concorrência - Mercado Fornecedores
Capacidade - Forças Fraquezas - Restrições
Ambiente social
Ambiente organizacional
Ambiente intra- organizacional
Sistemas de Informação
SISTEMA DE INTELIGÊNCIA
Identificar oportunidades
Antecipar problemas
Demanda por bens e serviços Performance - Risco
Lucros - Redução de risco Serviço à sociedade
36
Sistemas de Apoio à Decisão
37
Sistemas de Informação Empresarial
Sistemas de Informação Executiva
Estratégico (Gestão do Negócio)
Sistemas de Informação Empresarial
SAD
Sistemas de Informação Gerencial (SIG)
Tático (Análise do Negócio)
Sistemas de Informação (SI)
Sistemas de Nível Operacional (SPT)
Operacional
38
Visão Geral da Arquitetura
Metadados
Ambiente de Apoio a Decisão
Fábrica Corporativa de Informações
Dado Externo
OLAP
Ambiente Operacional
Ambiente de Transição
Ambiente de Negócio
Data Mining
Armazenamento Alternativo
DB2
SAD
E-Business
Área de Preparação
Legados
CRM
Empresa
EIS / DSS
RDB
Data Warehouse
DW Área 2
SAP/R3
Produção
Oracle
INTERNET
DW ÁREA 1
Vendas
Migrados
Marketing
Data Marts
Oracle
ods
Visão Global
39
Captação de Informações
CMA Bolsas Commodities
Correio Eletrônico Agenda Fax Mensagens
Informações Externas
RH Vendas Produção Estoque
Automação de Escritório
Sistemas corporativos e de apoio ao negócio
SAD
Tass CNN Reuters
SAD
Notícias
Sistemas Financeiros e DSS
Sistemas de Apoio ao Marketing
Orçamentos Investimentos Planejamentos Análises Si
mulações
Gerenciamento de Produtos Monitoração de
Clientes Plano de Marketing
40
Principais Características

• Projetado para informações de negócio
• Utilização de indicadores de desempenho
• Facilidade de utilização
• Exige um estudo detalhado das necessidades de
  informação dos usuários
• Torna possível a visualização de informações
  disponíveis nos BDs da empresa/externo
• Possui capacidade de aprofundamento (drill-down)
  nos detalhes, de acordo com as necessidades do
  usuário
• Facilita a análise de exceções por meio da
  parametrização pelo próprio usuário
• Capacidade de antecipação através do uso de
  cenários especificados pelo usuário.

SAD
41
Sistemas de Informação Empresarial
SIE
SAD
B2C B2B B2E
G2C G2G G2B G2E
Sistemas de Informação Gerencial (SIG)
Sistemas legados ou operacionais (OLTP)
42
Tecnologias Data Warehouse Data Mart Metadado ODS
43
Data Warehouse
44
O que é Data Warehouse?
É uma coleção de dados orientados pôr assuntos
de negócio integrados não voláteis variantes
no tempo, para suporte à tomada de decisões
Willian H. Inmon
Data Warehouse
O que é Data Warehousing?
É o processo de determinação do valor do dado
para o negócio, decisão de que dado será visível
pôr meio do Data Warehouse, extração desses
dados, transformação destes dados num estado
consistente, e acesso do usuário a estes dados.
45
O que é Data Warehouse?
É uma coleção de dados orientados pôr assuntos
de negócio integrados não voláteis variantes
no tempo, para suporte à tomada de decisões
Willian H. Inmon

• Características de um Data Warehouse
• Dirigido pelo valor dos processos de negócio
• Os planos de implementação são baseados no
• valor da informação para a empresa
• Direciona a definição de outras arquiteturas.

Data Warehouse
O que é Data Warehousing?
É o processo de determinação do valor do dado
para o negócio, decisão de que dado será visível
pôr meio do Data Warehouse, extração desses
dados, transformação destes dados num estado
consistente, e acesso do usuário a estes dados.
46
ARQUITETURA DE INFORMAÇÕES
(Dimensão 1)
Planejamento
(Dimensão 2)
Análise
(Dimensão 3)
- usuário gerencial - ad-hoc - seleção - lê
somente - desnormalizado
Data Warehouse
Bases de Dados Operacionais (bidimensionais)
- usuário geral - pré-determinado - transação -
lê / atualiza - normalizado
Sistemas de Informação Transacionais
Sistemas Legados
47
Quando se deve pensar em usar um Data Warehouse?

• Os analistas de negócio não conseguem relacionar
  os dados de vários sistemas com a finalidade de
  tomar uma decisão estratégica
• Busca pôr oportunidades.

Data Warehouse
48
Aplicações Típicas

• Pesquisa de fraudes
• Análise de crédito
• Análise de sazonalidade
• Análise de risco
• Perfis de cliente.

Data Warehouse
49
Exemplos do Mundo Real
Data Warehouse
50
Principais Benefícios

• Respostas rápidas para decisões críticas
• Possibilita a construção de visões integradas
• Amplia a integridade e a qualidade das
  informações
• Mantendo uma visão integrada da empresa
• Identificando a melhor fonte de cada informação
• Complementando informações a partir de fontes
  externas.
• Otimiza o acesso aos dados de forma integrada
  eliminando o efeito macarronada dos sistemas
  legados eliminando o impacto sobre as aplicações
  OLTP em produção criando uma perspectiva
  histórica em diferentes níveis.
• Disponibiliza informação estratégica e de
  conteúdo relevante para o processo decisório
• Alinhar as informações com a missão, objetivos e
  estratégias da organização
• Contribuir para o aumento da capacidade
  gerencial
• Alinhar as informações com a missão, objetivos e
  estratégias da organização.

Data Warehouse
51
Desafios do DW

• Explosão dos Dados (Volume)
• Alto Investimento em Hardware/Software
• Qualidade e Disponibilidade dos Dados
• Cultura Organizacional
• Construção Demorada
• Difícil de gerenciar (Integração dos dados e
  Crescimento / mudanças constantes).

Data Warehouse
52
Principais Arquiteturas

• Modelo Corporativo (Big Bang)
• Modelo Departamental (Data Mart)
• Modelo Departemental Distribuído
• Modelo Multi-Camada (Evolutivo).

Data Warehouse
53
Corporativo
Data Warehouse
Big Bang
54
Abordagem Big Bang

• Modelo extremamente ambicioso visando atender
  todas as necessidades corporativas.
• Vantagens
• Homogeneização das informações
• Capacidade para um grande volume de informações
• Minimiza enormemente a redundância de dados
• Informações gerenciais em um único ambiente
  físico
• Gerenciamento centralizado da informação.
• Desvantagens
• Maior tempo para a obtenção de resultados ( 2
  anos)
• Difícil de administrar e grande investimento
  inicial
• Difícil alcançar consenso em questões
  conceituais
• Processo mais longo os requisitos podem se
  modificar até o momento da implementação.

Data Warehouse
55
Departamental
Data Mining
Sistemas
Oper. / BDs
Acesso
EIS / DSS
Data Warehouse
Web Browsers
Middleware
PREPARAÇÃO Scanning Seleção Extração Transformação
Integração
Legado
APIs
Data Mart
OLAP
Marketing Vendas RDB / MDDB
Novas Aplicações BDs
Ferramentas Querys/Rels.
Data Mart
Fontes Externas
56
Departamental Distribuído
Data Mining
Sistemas
Marketing
Oper. / BDs
Acesso
EIS / DSS
Data Mart
Data Warehouse
Web Browsers
Middleware
Produção
PREPARAÇÃO Scanning Seleção Extração Transformação
Integração
Legacy
Data Mart
APIs
OLAP
Engenharia
Novas Aplicações BDs
Ferramentas Querys/Rels.
Data Mart
Data Mart
Fontes Externas
57
Abordagem Departamental

• Vantagens
• Menor tempo para obtenção de resultados (3
  meses)
• Esforço mais fácil de gerenciar
• Bom ponto de partida para DSSs mais
  sofisticados
• Aumento de performance a partir da experiência
• Custo mais baixo e menos arriscado no curto
  prazo.
• Desvantagens
• Duplicidade de dados e processos de extração
• Perda do controle pôr parte do órgão central de
  TI
• Não resolve diferenças conceituais entre áreas
• Limita a capacidade de cruzamento de informações
  entre áreas, podendo gerar novas ilhas de
  informação
• Integrar depois é difícil (de 3 a 4 vezes mais
  caro)
• Excesso de tráfego na rêde.

Data Warehouse
58
Multi-Camada
Data Mining
Sistemas
Marketing
Data Mart
Acesso
Oper. / BDs
EIS / DSS
Data Warehouse
Replicação
Web Browsers
Middleware
Produção
PREPARAÇÃO Scanning Seleção Extração Transformação
Integração
Legacy
Data Mart
Data Warehouse Corporativo
APIs
OLAP
Novas Aplicações BDs
Ferramentas Querys/Rels.
RDB / MDDB
Engenharia
Evolutivo
Fontes Externas
59
Abordagem Evolutiva

• Vantagens
• Esforço mais fácil de gerenciar
• Pouco tempo para obtenção de resultados
• Homogeneização das informações
• Ganho de escala no desenvolvimento do DW
• Maior capacidade de armazenamento
• Garante os mesmos critérios (atributos) de
  consolidação e consulta entre os vários Data
  Marts
• Gerenciamento centralizado da informação.
• Desvantagens
• Menor facilidade de manutenção (carga e
  atualização)
• Maior tempo para a obtenção de consenso em
  questões conceituais e definição de tecnologia
• Custo inicial mais alto.

Data Warehouse
60
Operational Data Store (ODS)
Data Mining
Sistemas
Oper. / BDs
Acesso
EIS / DSS
Data Warehouse
Data Warehouse
Web Browsers
Middleware
Legacy
PREPARAÇÃO Scanning Seleção Extração Transformação
Integração
APIs
OLAP
Novas Aplicações BDs
Ferramentas Querys/Rels.
Fontes Externas
61
Operational Data Store (ODS)
É o conjunto de dados da empresa, com uma
estrutura derivada do modelo do legado, que serve
como base para o processamento operacional
integrado. É um conjunto de dados
Data Warehouse

• Orientado à assuntos
• Integrado e Volátil
• Contém valores correntes
• Nível detalhado
• Opera nos níveis tático / operacional.

62
Diferenças entre DW e ODS
Data Warehouse
63
Despesas com DW em 5 Anos
Data Warehouse
Fonte Gartner Group
Modelo de despesas reais em cinco anos em um
projeto típico de DW
64
Grandes Riscos

• Começar com patrocinadores errados
• Criar expectativas que não podem ser realizadas
• Construir projetos isolados, sem visão
  corporativa
• Carregar o warehouse com informações
  simplesmente pôr estarem disponíveis
• Acreditar que um projeto de DW é igual a um
  projeto OLTP
• Desenvolver um projeto de DW voltado à tecnologia
  e não voltado aos objetivos da organização
• Concentrar-se nos dados tradicionais, ignorando
  dados externos, textuais, imagens, sons e vídeos
• Disponibilizar dados com definições confusas,
  sobrepostas e sem qualidade
• Acreditar em promessas de performance, capacidade
  e escalabilidade
• Acreditar que quando o DW estiver em operação,
  todos os problemas estarão terminados
• Mudança cultural e organizacional não planejada.

Data Warehouse
65
Metadado
66
Uma visão extendida dos Metadados
Quais tipos de Metadados eram requeridos?

• Quais dados existem ?
• O que eles significam ?
• Onde eles estão ?
• De onde eles vieram ?
• Qual sua qualidade ?

• Descrições de campos
• Nomes de programas
• Nomes de tabelas
• Nomes de variáveis.

Metadado

• Regras de Negócio
• Níveis de qualidade
• Fontes de informação
• Conhecimento associado.

E agora ? Quais tipos de Metadados são
requeridos ?
67
Visão Geral de uma Arquitetura de TI
Metadados
Ambiente de Apoio a Decisão
Fábrica Corporativa de Informações
Dado Externo
OLAP
Ambiente Operacional
Ambiente de Transição
Ambiente de Negócio
Data Mining
Armazenamento Alternativo
DB2
Metadado
E-Business
Área de Preparação
Legados
CRM
Empresa
EIS / DSS
RDB
Data Warehouse
DW Área 2
SAP/R3
Produção
Oracle
INTERNET
DW ÁREA 1
Vendas
Migrados
Marketing
Data Marts
Oracle
ods
Visão Global
68
Dicionários de Dados DataManager PREDICT IMS DBDC
Linguagens COBOL PL/1 MVS/ASM MVS/JCL C EasyTrie
ve RPG SGBDs DB2 IMS SYBASE ORACLE Informix ADAB
AS Red Brick INGRES
Ferramentas de Desenvolvimento KEY for
Enterprise Bachman DA/DBA TeamWork Excelerator
II IEF / Composer ERwin OracleCASE PowerBuilder V
isual Basic System Architect
Fontes de Informação
Metadado
Data Warehouse Business Objects Prism ETI
Sistemas Operacionais MVS UNIX/AIX OS/2 DOS/Window
s Windows/NT SUN-OS Solaris HPUX
Outras Ferramentas e pacotes ARIS / SAP POSC /
Epicentre IBM / IAA Project Management Process
Management
Métodos, Técnicas e Padrões Gerencia de
Projeto Testes Engenharia Reversa BPR
69
Visões da Informação
Dificuldades Gerenciais
Como fazer a gerência de acesso à informação?
Como compartilhar ou reutilizar a informação?
Metadado
De quem é esta informação?
Como gerenciar as mudanças no ambiente?
Qual o impacto que esta mudança irá causar?
70
Visões da Informação
Solução

• Metadado
• Informações sobre o significado, contexto e
  entendimento do dado (conhecimento)
• São informações sobre o conteúdo, qualidade e
  outras características do dado (estrutura)
• São divididos em metadados de negócio e metadados
  técnicos.
• Gerenciamento dos Metadados
• Utilização de um repositório de Metadados.

Metadado
71
Visão Geral da Arquitetura
Metadados
Ambiente de Apoio a Decisão
Fábrica Corporativa de Informações
Dado Externo
OLAP
Ambiente Operacional
Ambiente de Transição
Ambiente de Negócio
O que são Metadados? "A cola que une todos os
componentes da arquitetura de TI"
Data Mining
Armazenamento Alternativo
DB2
Metadado
E-Business
Área de Preparação
Legados
CRM
Empresa
EIS / DSS
RDB
Data Warehouse
DW Área 2
SAP/R3
Produção
Oracle
INTERNET
DW ÁREA 1
Vendas
Migrados
Marketing
Data Marts
Oracle
ods
Visão Global
72
O Mapa do Caminho
Legados Ilhas de
Dados Relatórios dos Knowledge Workers
Sistemas Corporativos
Planejamento e Controle da Produção
Análise Financeira Marketing Vendas Blue
Corner Reports Red Corner Reports
Planejamento
Suprimento
Recebimento
Estoque
Metadado
Vendas
Propaganda
Marketing
Vendas
Gerencia de Produtos
Finanças
Contas a Receber
Contas a Pagar
Custo Industrial
Análise de ROI
Impacto para a organização POLUIÇÃO DA
INFORMAÇÃO
73
Vendas por semana
Semana 1
Desenvolvedores de Aplicações Analíticas precisam
de Metadados
Semana 1
Item Qtde. Valor
Metadado
TV Philco 14 2 800
TV Semp 20 2 1.200
Gerência de Produtos
TV Sony 24 2 1.300
Regra (padrão de acesso) Some quantidades
vendidas para todos os produtos faturados
na semana n do mês.
TV Panasonic 28 3 3.000
TV Toshiba 30 5 25.000
Total 14 31.300
Gerência de Vendas
74
Vendas por semana
Semana 1
Desenvolvedores de Aplicações Analíticas precisam
de Metadados
Semana 1
Item Qtde. Valor
Metadado
TV Philco 14 2 800
TV Semp 20 2 1.200
Gerência de Produtos
TV Sony 24 2 1.300
Regra (padrão de acesso) Se primeira semana do
mês Se semana inicia em qualquer dia
diferente de segunda-feira então
Some quantidades de produtos vendidos
para todos os produtos faturados a
partir da última segunda-feira senão
Some quantidades vendidas para todos os
produtos faturados na semana n do mês.
TV Panasonic 28 3 3.000
TV Toshiba 30 7 35.000
Total 16 41.300
Gerência de Vendas
75
Visões da Informação
Exemplo de Metadado

• Pesquisa / Censo 1990
• Fonte Central de Censos
• Conjunto de Dados 1990 PUMS
• Descrição O PUMS é um conjunto de dados
  demográficos básicos sobre pessoas e habitações
  nos EUA. Este conjunto de dados é de uso público
  não possuindo nenhum compromisso de com os
  indivíduos.
• Elementos de Dados
• ID - Identificador do Registro - É um
  identificador único para o registro. Cada
  registro identifica uma pessoa
• WGT - Peso - Define para o registro quando uma ou
  mais pessoas possuem a mesma característica.
  Valores válidos1.. 9
• SEX - Sexo da Pessoa - Valores válidos (0
  masculino, 1 feminino)
• AGE - Idade da pessoa em anos.
• MARITAL - Status Marital da pessoa - Valores
  válidos (0 não aplicável, 1 solteiro, 2
  casado, 3 separado, 4 divorciado, 5 viúva).
  Universo Pessoas acima de 15 anos de idade. Até
  15 ou menos recebe o valor 0.
• Para maiores informações Contactar o Centro de
  Serviços do Censo para obter publicações,
  exemplos, erros e técnicas.

Data ID WGT SEX AGE MARITAL 1 5
0 45 2 2 7 1
5 0 3 2 1 90
5 4 2 0 0
0 5 7 1 23 1 6
3 0 37 4 7 4
0 14 0 8 2 0
75 2
Metadado
76

• Os engenheiros em terra calcularam
• o disparo do foguete para correção
• de curso usando libra força/s de
• empuxo
• Os computadores de bordo da nave espacial
• entenderam as instruções em N/s
• O Foguete disparou de 12 a 14
• vezes por semana
• Quando a nave se aproximou de Marte e
• os engenheiros preparavam o disparo final
• do foguete, havia indicação que algo estava
• seriamente errado com a navegação, porém
• nenhuma ação corretiva foi tomada. . . . .

1999
Climate Orbiter Mission Duração 9
meses Custo U 128 Milhões
Metadado
. . . A nave queimou ou resvalou na atmosfera
marciana e se perdeu no espaço
Obviamente, o programa espacial da NASA poderia
ter usado o Metadado, provendo uma camada
semântica entre seus sistemas e os engenheiros
77
Linguagens COBOL PL/1 MVS/ASM MVS/JCL C EasyTrie
ve RPG SGBDs DB2 IMS SYBASE ORACLE Informix ADAB
AS Red Brick INGRES
Dicionários de Dados DataManager PREDICT IMS DBDC
Ferramentas de Desenvolvimento KEY for
Enterprise Bachman DA/DBA TeamWork Excelerator
II IEF / Composer ERwin OracleCASE PowerBuilder V
isual Basic System Architect
Repositório de Metadados
Metadado
Data Warehouse Business Objects Prism ETI
Sistemas Operacionais MVS UNIX/AIX OS/2 DOS/Window
s Windows/NT SUN-OS Solaris HPUX
Métodos, Técnicas e Padrões Gerencia de
Projeto Testes Engenharia Reversa BPR
Outras Ferramentas e pacotes ARIS / SAP POSC /
Epicentre IBM / IAA Project Management Process
Management
78
Papéis Verticais (Gerência da Informação)
Os Papéis do Repositório de Metadados
Padronização de Nomes
Garantia da Qualidade
Análise de Impacto
Controle de versões
Comunicação
Re-uso
Dicionário de dados corporativo
Metadado
Carga / Documentação sistemas legados
Gerenciamento e integração das ferramentas CASE
Papéis Horizontais (Aspectos Funcionais)
Gerência do trabalho / processo
Data Warehouse gateway
Diretório de informações corporativas (Visão do
Negócio)
79
Matriz de ZACHMAN / Repositório
Metadado
80
Aplicação do Repositório
Metadado
81
Portal de Business Intelligence / Business
Management
Acesso à Informação Corporativa
Metadado
Finanças
Marketing
Consulta Análise
Pagamentos
Meio Ambiente
Produção
Pesquisa
82
Categoria
Acesso à Informação Corporativa
Entre Com o Seus Termos de Pesquisa Abaixo
Vendas Mensais de Produtos
Relacionamento com Clientes
PESQUISA
LIMPA
MAIS INFORMAÇÕES SOBRE A PESQUISA
Relatórios de Marketing
Metadado
1. Vendas Globais Por Mes Este Relatório mostra
valores anuais de Vendas Totais Sumarizadas, a
nível Nacional e Internacional por Categoria de
Produtos em bases Mensais. 2. Vendas Globais
Por Região e Mês Este Relatório mostra valores
anuais de Vendas Totais Sumarizadas , a nível
Nacional e Internacional por Categoria de
Produtos em bases Mensais por Região de
Vendas. 3. Vendas de Produtos Globais Por
Região e Mes Este Relatório mostra valores anuais
de Vendas Totais Detalhadas de Produtos , a
nível Nacional e Internacional por Categoria de
Produtos em bases Mensais por Região
de Vendas. 4. . . . . . . . . .
Metas de Vendas
Avaliação da Logística
Análise Exploratória
Pesquisa
PRÓXIMOS 10 DOCUMENTOS
Pagina 1 de 2 Encontrados um total de 17
Documentos
83
Modelagem do Data Warehouse
84
Projeto do DW
Centralizada ou Descentralizada ?
Qual o ROI esperado?
Qual BD é melhor para minhas necessidades?
Que fontes de dado devo usar ?
Serviços
Databases
Hardware
Modelo Lógico
Como gerenciar?
Modelagem do DW
Ferramentas de Data Mining
Qual o crescimento?
Req. Usuário
Gerência de Sistemas
MOLAP
Software
Devo construir data marts?
Qual o tamanho inicial ?
OLAP
Quais são as necessidades dos usuários?
85
Metodologia de Desenvolvimento
Organiza as atividades buscando uma seqüência de
passos para a implantação de uma arquitetura com
sucesso.
Análise de Necessidades Modelagem
Multidimensional Planejamento de
Capacidade Limpeza dos Sistemas Legados Extração
de Dados Transformação de Dados Carga Gerencia de
Metadados Seleção de Ferramentas Prototipação Impl
antação de Data Mart Data Mining
Modelagem do DW
86
Ciclo de Projeto de um DW
Definição dos Requisitos de Negócio
Projeto de Arquitetura
Seleção de produtos e instalação
Controle e Evolução
Projeto Físico do BD
Planejamento do Projeto
Modelagem do DW/DM
Mapeamento dos Metadados
Projeto e Implementação do CETL
Carga do DW / DM
Implantação
Modelagem do DW
Projeto da Área de Staging
Especificação da aplicação do usuário
Validação e testes da aplicação do usuário
Desenvolvimento da aplicação do usuário
Prototipação Exploratória
Treinamento do usuário / Equipe de TI
Gerenciamento do Projeto
87
Modelos para o DW

• Modelo e documentação dos Legados - Representa o
  modelo físico das estruturas de dados dos
  sistemas legados
• Modelo de Áreas de Interesse - Modelo de dados
  normalizado e corporativo, organizado pôr grandes
  áreas de interesse para o negócio
• Modelo do Data Warehouse - É uma versão
  histórica, filtrada, sumarizada e desnormalizada
  do modelo anterior
• Modelo Dimensional - Representa os dados como um
  array de N-dimensões
• os valores colocados no vetor representam fatos
  sobre o negócio
• as dimensões explicam os fatos.

Modelagem do DW
88
Relação entre os Modelos
Engenharia Reversa
Engenharia Progressa
Modelo das Áreas de Interesse
Modelo do Warehouse
Orientados a - Dados - Negócio
Fluxo de Metadados
Modelagem do DW
Modelo do Legado
Modelo Dimensional
Orientados a - Processo - Workgroup
89
Modelo Dimensional

• Modelo mais natural para o usuário, o que leva a
  uma facilidade de navegação pelas informações
• Acesso a um fato de forma direta
• O mesmo conjunto de informações associadas a um
  fato pode ser visto sob várias óticas
  (dimensões), de forma simples e ágil.

Modelagem do DW
PRODUTO
GERENTE DE PRODUTO
GERENTE FINANCEIRO
MERCADO
GERENTE REGIONAL
AD-HOC
TEMPO
90
Modelo DimensionalStar Schema
CLIENTE
PRODUTO
Tipo Cliente
Produto
Código
Região
Nome
Tipo Cliente
Classe
Modelagem do DW
Data
Região
Data
Código
Código
Nome
Nome
TABELA DE FATOS
Geografia
Peridicidade
TEMPO
MERCADO
91
Pontos Importantes do Projeto

• Extração de Dados do Legado - Identificação das
  fontes de dados (interna/externa) Ciclo de
  atualização (horária diária semanal mensal
  real-time)
• Transformação dos dados - Padronização e
  Reconciliação dos dados Transformação de chaves
  primárias Consolidação dos dados Separação dos
  dados Separação de campos textuais Derivação de
  dados Especificação das regras de transformação
• Gerência dos dados alterados - Gerência dos dados
  DELTA (time-stamping aplicação de captura
  triggers log do DBMS)
• Qualidade dos dados - Definição da qualidade dos
  dados qualidade do conteúdo dos dados qualidade
  de apresentação dos dados Tratamento de
  anomalias encontradas no legado
• Transporte dos dados - Movimentação manual via
  Gateways replicação de dados protocolos SNA e
  TCP/IP

Modelagem do DW
92
A Segunda Geração do Data Warehouse
93
Características
2a. Geração do DW
94
CASI
Mauricio Abreu UFF sumnet.consultores_at_gmail.com