Tema 3: Skladiљtenje podataka i inteligentni agenti

1
Tema 3 Skladištenje podataka i inteligentni
agenti

• SISTEMI ZA PODRŠKU ODLUCIVANJU
• doc dr Vladislav Miškovic
• Fakultet za informatiku i menadžment
• 2009/2010

2
Tema 3 Skladištenje podataka i inteligentni
agenti

• Uvod
• Skladišta podataka
• Razvoj skladišta podataka
• Zaštita i administracija
• Inteligentni agenti
• Primeri

3
1. UVOD

• Poslovna inteligencija
• Skladište podataka
• Osnovna svojstva
• Struktura i komponente

4
Poslovna inteligencija (business intelligence)

• Sastoji se od
• skladišta podataka (data warehouse, DW) i
• skupa korisnickih alata za kreiranje upita i
  izveštaja i njihovu analizu i vizualizaciju
  (business analytics, BA)
• metoda za otkrivanje netrivijalnih relacija u
  podacima (data mining i Web mining)
• metoda i alata za upravljanje performansama
  poslovanja (business performance management, BPA)

5
Skladište podataka

• skup podataka proizvedenih radi podrške
  odlucivanju
• mesto prikupljanja tekucih i istorijskih
  podataka, potencijalno od interesa za razlicite
  menadžere u organizaciji
• podaci su strukturisani na nacin pogodan za
  razlicite analiticke obrade

6
Osnovna svojstvaskladišta podataka

• neophodni za analiticko procesiranje (OLAP), koje
  omogucava korisniku udobnije, manje formalne
  nacine postavljanja složenih upita
• razlicito od klasicnog procesiranja transakcija
  (OLTP)
• suprotstavljeni ciljevi izgradnje operativnih
  baza i analitickih baza podataka (neefikasnost)
• skladište proizvedenih informacija
• informacije iz više izvora (baza podataka)
• neophodne za održavanje tržišne prednosti
• primena u izgradnji brendova, lojalnosti
  mušterija, ...

7
Struktura i komponente skladišta podataka
8
2. SKLADIŠTA PODATAKA

• Osnovne definicije
• Proces skladištenja
• Arhitekture skladištenja
• Integracija podataka

9
Osnovne definicije

• Skladište podataka (Data Warehouse)
• integrisana, pojmovno orijentisana, vremenski
  promenljiva i neizbrisiva kolekcija podataka,
  koja pruža podršku odlucivanju
• Data Mart
• mali podskup skladišta posvecen nekoj tematici i
  namenjen odredenoj grupi ljudi
• Operational Data Store (ODS)
• dinamicka, privremena skladišta, za brzo
  donošenje odluka
• Enterprise Data Warehouses (EDW)
• velika skladišta podataka, za celu organizaciju

10
Proces skladištenja

• Osnovne komponente
• izvori podataka (data sources) - transakcione
  baze, datoteke, eksterni izvori
• ekstakcija
• punjenje
• baza podataka
• metapodaci
• middleware

11
Arhitekture skladištenja

• dvoslojna ili troslojna, prema tome kako su
  rasporedeni
• podaci i softver skladišta
• softver za prikupljanje podataka (ekstrakciju,
  konsolidaciju, sumiranje i punjenje skladišta)
• klijent
• Web sistemi
• postoje razlicite varijante arhitekture
  skladišta, od centralizovanih do
  decentralizovanih rešenja, gde se samo dele
  razliciti pogledi (DataMarts)

12
Razlicite arhitekture skladištenja
a) centralizovano
b) Web
c) decentralizovano
13
Integracija podataka

• priprema podataka za upotrebu od strane drugih
  alata za skladištenje (DW)
• pristup (access) razlicitim izvorima podataka
• objedinjavanje (federation) podataka iz
  razlicitih izvora/sistema - internih i eksternih
• izdvajanje promena (change capture)
• Tehnologije koje se koriste u integraciji
• Enterprise application integration (EAI)
• Service-oriented architecture (SOA)
• Enterprise information integration (EII)
• Extract, transformation and load (ETL)

14
ETL proces

• Ekstrakcija - citanje više baza (transakcione
  baze podataka, fajlovi, elektronske tabele, licne
  baze podataka)
• Transformacija - promena oblika podataka
• Punjenje (load) - smeštanje u skladište
• Koristi se pomocna, privremena baza podataka
• Poslovna pravila su smeštena centralizovano, kao
  metapodaci
• Koriste se namenski alati (Microsoft, Oracle,
  IBM, Informatica, Tibco) ili se pišu se posebni
  programi

15
ETL proces
16
3. RAZVOJ SKLADIŠTA

• Primer
• Poznati proizvodaci softvera
• Razliciti pristupi razvoju
• Struktura skladišta (zvezda)
• Implementacija
• Masivna skladišta
• Skladištenje u realnom vremenu

17
Primer

• avioprevoznik u finansijskim problemima (7. u
  svetu)
• 2300 letova dnevno
• 227 destinacija
• problem organizacije i zadovoljenja potreba
  putnika
• više razlicitih baza podataka i nasledenih
  zastarelih sistema, spori upiti
• izgradeno integrisano skladište podataka
  kompanije (EDW)
• informacije u realnom vremenu (putnici, osoblje,
  bezbednost, proces letenja)
• osim redukcije troškova, eliminisane i
  zloupotrebe
• investicija od 30 miliona (u toku 6 godina),
  povecanje prihoda 500 miliona

18
Poznati proizvodaci softvera

• Computer Associates (www.ca.com)
• Hyperion Solutions (www.hyperion.com)
• IBM (www.ibm.com)
• Informatica (www.informatica.com)
• Microsoft (www.microsoft.com)
• Oracle (PeopleSoft, Siebel) www.oracle.com
• SAS Institute (www.sas.com)
• Sybase (www.sybase.com)
• Teradata (www.teradata.com)

19
Razliciti pristupi razvoju

• Centralizovani pristup (EDW)
• jedinstven pogled na celu organizaciju
• koristi metode i alate za razvoj baza podataka
  (ERD, spiralni razvoj)
• Decentralizovani pristup (Data Mart)
• "planirati celinu, graditi postupno"
• podaci se prvo organizuju prema problematici
  pojedinih organizacionih celina
• cesto prvi korak ka razvoju centralizovanog
  skladišta (EDW)

20
Struktura skladišta (zvezda)

• modeliranje dimenzija - sistem pristupa podacima
  velikog obima
• struktura zvezde je nacin implementacije modela
  dimenzija
• centralna tabela - posmatrani poslovni podaci i
  njihovi atributi, analiticki (mere performansi),
  deskriptivni, kljucevi
• tabele dimenzija (klasifikacija i agregacija
  informacija o podacima)
• granulacija - nivo detaljnosti (optimizuje se)

21
Primer
22
Implementacija

• poseban projekt, veliki broj razlicitih pristupa
• niz faktora i kriterijuma (na vežbama)
• osnovni alati za integraciju podataka su deo
  softvera poznatih proizvodaca DBMS/BI alata, npr.
• SSIS - SQL Server Integration Services

23
SSISSQL Server Integration Services
24
Masivna skladišta

• performanse opadaju porastom velicine skladišta
• velicina skladišta podataka raste eksponencijalno
  (danas petabajti)
• skalabilnost skladišta je svojstvo da vreme
  pristupa linearno zavisi od velicine skladišta

25
Skladištenje u realnom vremenu

• tradicionalna skladišta podataka se ažuriraju
  periodicno (npr. nedeljno)
• važni aspekti poslovanja zahtevaju donošenje
  odluka u realnom vremenu
• za potrebe korisnika koji direktno komuniciraju s
  kupcima i dobavljacima, EDW su evoluirali u real
  time data warehousing (RTDW) ili active
  warehousing (ADW)
• omogucena je upotreba skladišta podataka i na
  taktickom nivou

26
4. ZAŠTITA I ADMINISTRACIJA

• Metodi zaštite i administracije informacionih
  sistema i baza podataka
• Administrator skladišta podataka
• komunikacija sa donosiocima odluka
• potrebno znanje iz informacionih sistema, baza
  podataka, mreža i sistema za podršku odlucivanju

27
5. INTELIGENTNI AGENTI

• Inteligentni agent - racunarski program koji
  pomaže korisniku u obavljaju rutinskih poslova na
  osnovu utvrdenih pravila i baze znanja 1
• agent - osoba koja saraduje s drugim licima radi
  obavljajnja odredenih poslova
• softverski agent (software daemon, software
  agent), carobnjak (wizzard)
• softverski robot (softbot, chatterbot, shopbot,
  knowbot, mailbot, spambot)

28
Podela prema primeni

• autonomni agenti
• biološki agenti
• robotski agenti
• racunarski agenti
• softverski agenti
• odredene namene
• za zabavu
• virusi
• veštacki živi agenti

29
Podela prema svojstvima (dimenzijama)

• agencija - stepen autonomije (asinhronost)
• inteligencija - stepen zakljucivanja i sposobnost
  ucenja
• mobilnost - sposobnost premeštanja u mrežnom
  okruženju
• ucestvuju u procesima i u vreme kad korisnik nije
  na mreži (npr. višednevne aukcije)

30
Internet agenti

• e-mail agenti (mailbot)
• web browsing asistenti
• inteligentni pretraživaci
• indeksiranje informacija, robots, spiders,
  wanderers
• softboti (pronalaženje informacija)
• google.com, hotjobs.yahoo.com
• agenti za upravljanje i nadzor
• e-commerce agenti
• bestwebbuys.com, ebay.com
• ostali agenti (inteligentni interfejsi, ucenje,
  preporucivanje, profilisanje, Web mining, ...)

31
6. PRIMERI

• Primeri projekata na sajtovima
• Oracle www.oracle.com
• Microsoft www.microsoft.com
• IBM www.ibm.com
• Hyperion www.hyperion.com
• Harvard Bussines School Case Collection
  www.harvardbussinesonline.hbsp.harvard.edu
• Inteligentni agenti i interfejsi
• www.botspot.com

32
Literatura

• Nastavni materijali (prezentacije i uputstva)
• Turban E., Aronson J.E., Liang T., Sharda R.,
  Decision Support and Business Intelligence
  Systems, 8th Ed, Pearson Education,Inc, 2007
• Seref M., Ahuja R.,Winston W., Developing
  Spreadsheet-based Decision Support Systems,
  Dynamic Ideas, 2007
• Adam F., Humphreys P., Encyclopedia of Decision
  Making and Decision Support Technologies, IGI
  Global, 2008

33
SISTEMI ZA PODRŠKU ODLUCIVANJU Tema 3
Skladištenje podataka i inteligentni agenti

• KRAJ