Data Management

1
Data Management

• ???????????? ??????????
• ???????????????????????????????????
• ????????????????? ?????????????????????

2
???????

• ?????? ???????? ?????????????? (Data, Information
  and Knowledge)
• ??????????? (Data Source)
• ??????????????????????????????????????
• ????????? (Database)
• ??????????????????? (Database Management System
  DBMS)
• ????????????????
• ?????????????????? (Database Technology)
• ????????????????????????????????????????

3
?????? ???????? ?????????????? (Data, Information
and Knowledge) (1/3)

• ?????? (Data)
• ??? ???????????????????????????? ?
  ????????????? ????? ??????? ????????????????? ?
  ???????????????????????? ?????????????????????????
  ???????? ???????? ??????? ???? Multimedia ?????
• ????????????????????????????????????????????????
  ??????????????????????????????????
  ???????????????????????????????? ??????? ???????
  ??????????????

4
?????? ???????? ?????????????? (Data, Information
and Knowledge) (2/3)

• ???????? (Information)
• ??? ???????????????????????? ???????????????????
  ?????? ??????? ???????????????????????????????????

Process Transform
Data
Information
5
?????? ???????? ?????????????? (Data, Information
and Knowledge) (3/3)

• ??????????? (Knowledge)
• ??? ????????????????????????????????????????????
  ??? ? ???????????????????????????????
  ??????????????????????????????????????????????????
  ?????????????????????

Wisdom
Knowledge
Information
Data
6
??????????? (Data Source)

• ?????????????????????? (Internal Data Source)
• ???????????????????????? (External Data Source)

7
??????????????????????????????????????

• ???????????????????
• ??????????????
• ???????????????
• ??????????????????????????????????????????????????
  ?????????

8
???????????????????

• ???????????????????????????????????????? ? (Time
  Study)
• ???????? (Survey)
• ?????????????? (Observation)
• ??????????? (Interview)

9
??????????????

• ???????????????????
• ????????????????????????
• ????????????????????????????
• ???????????????????????????????

10
??????????????? (Data Quality)

• ????????????????????????
• ????????????????????? ?????????????????????
  ????????????????? ???????????????????????
• ??????????????????????????
• ??????????? ??????????????????
• ????????????????
• ?????????????????????? ???????????????????????
• ???????????????
• ??????????????? ???????????????? ??????
  ??????????????????????????

11
??????????????????????????????????????????????????
?????????

• ?????????????????? ???????????????????????
• ???????????????????????????
• ???????????????????

12
????????? (Database)

• ????????????????????????????????????????????????
  ?????? ???? ??????????????????????????????????????
  ????????????????????? ????????????????????????????
  ?????? ?????? ????????????? ??????????????????
  ???????????? ???????????? ????????????

13
???????????????????????????

• ???????????????????????????????????????? (Data
  Independence)
• ?????????????????????? (Data Redundancy)
• ?????????????????????????????????? (Data
  Inconsistency)
• ???????????????????? (Data Integrity)
• ????????????????????????????
• ???????????????????? (Data Security)
• ??????????????????? (Easy Reporting)
• ???????????????????????????????????????????
  (Concurrency Control)
• ????????????????????????????????????????

14
??????????????????? (Database Management System
DBMS)

• ??????????????????????????????
• ?????????????????????????????
• ??????????????????????????????

15
DBMS ??????????????????????????????

• ????????????????????????????????????????????????
  ??????????????????????????? ??????????????????????
  ??? ?????????? ?? ???????? ??????
  ?????????????????

?????????
???????????????? (DBA)
DBMS
Application
?????? (User)
16
DBMS ?????????????????????????????

• ??????????????????????????? (User View)
• ?????????????????????????
• ???????????????????????????
• ??????????????????????????????????????

17
DBMS ??????????????????????????????

• ???????????????????????????????
• ????????????????????????????????????????????
• ????????????????????????????????
• ???????????? ???????????????????????????????????

18
????????????????

• ????????????????????? (Hierarchical Database)
• ????????????????????? (Network Database)
• ????????????????????? (Relational Database)
• ?????????????????? (Object-Oriented Database)

19
???????????????? ?????????????????????
(Hierarchical Database)
???????? ??????????
????????
A1
A2
A3
A2
A3
B1
??????????
????
???
??
???
??
???
??????????
250
??????
15
150
100
50
10
20
???????????????? ????????????????????? (Network
Database)
???????? ??????????
????????
A1
A2
A3
B1
??????????
????
???
??
???
??????????
250
??????
115
200
10
21
???????????????? ?????????????????????
(Relational Database)
Customer
Order
Cust_ID Cust_Name
001 ???????? ??????????
002 ????????
Cust_ID Prod_ID Quantity
001 A1 250
001 A2 15
001 A3 150
002 A2 100
002 A3 50
002 B1 10
Product
Prod_ID Prod_Name
A1 ????
A2 ???
A3 ??
B1 ???
22
???????????????? ??????????????????
(Object-Oriented Database)
Cust_ID 001 Cust_Name ????? ??????????
Customer
Attribute Cust_ID Cust_Name
Methods Print() getName()
Cust_ID 002 Cust_Name ???? ????
23
?????????????????? (Database Technology)

• ?????????? (Data Warehouse)
• ?????????????????????????????????? (Online
  Analytical Processing OLAP)
• ???????????? (Data Mining)

24
?????????????????? ?????????? (Data Warehouse)

• ?????????????????????
• ??????????????????????
• ????? / ??????? ?????????????
• ????????????????????????
• ??????????????????????????????

25
?????????? (Data Warehouse) ????????????????????
?

• ????????????????????????????????????????????????
  ??????????????????????????????????????????????????
  ???????? ??????????????????????
  ??????????????????????????????????????????????????
  ?????????????????????

26
?????????? (Data Warehouse) ????????????????????
??

• Subject-Oriented
• ??????????????????????????????????????? ????
  ???????????? ?????? ????????? ???????
• Integrated
• ???????????????????????????????????????????????
  ??????????????????????????????????????????????????
  ??????
• Time-Variant
• ????????????????????????????????????????????????
  ??????????????????? 5-10 ?????????????????????????
  ??????????????
• Non-Volatile
• ??????????????????????????????? ?????????????
  ?????????????????????????????? ???????????????????
  ????????

27
?????????? (Data Warehouse) ????? / ???????
?????????????

• ?????
• ????????????????????????????
• ?????????????????????????????????
• ???????????????????????????????????????????

• ???????
• ??????????????????????????????????????????????????
  ????????? ?????????????????????????????
• ??????????????????????????????????????? ?
• ??????????????????????????????
• ??????????????????????????????

28
?????????? (Data Warehouse) ????????????????????
???? (1/2)
Data Provisioning Area
Data Staging Area
Data Warehouse Database
Data
Data
Data
Data
Data Acquisition System
Metadata
Metadata
Metadata
Terminal
Metadata
Metadata Repository
29
?????????? (Data Warehouse) ????????????????????
???? (2/2)

• Data Acquisition System
• ??????????????????????????/?????????
• Data Staging Area
• ????????? Cleansing Filtering
  ?????????????????????????????
• Data Warehouse Database
• ???????????????? ? ?????????????????????
• Data Provisioning Area ???? Data Mart
• ?????? Data Warehouse Database
  ??????????????????????????????? ???
  ????????????????????????????
• End Users Terminal
• ????????????????????????? ???? Simple Reporting
  Tools, Multi-Dimensional Tools ???? Data Mining
  Tools ?????
• Metadata Repository
• ??????????????????????????????? ?
  ??????????????????????????????????????????????????
  ??????

30
?????????? (Data Warehouse) ????????????????????
?????????? (1/2)
????????????????? ??????????????????? ????????????
????????????????????????????
???????????????? ?????????????????? ??????????????
?????????????????????????
Query and Report
Multidimensional Data Analysis
Data Mining
????????????????????????????????
??????????????????????????????
31
?????????? (Data Warehouse) ????????????????????
?????????? (2/2)
??
???????????????? ?????????????
Report Generator
??????
??????
?????????
??????
Data Mining Tools
??
Data Warehouse
??????
?????????
?????????
???????????????? ????????????
OLAP Generator
??
??????
??????????
?????????????????????????????????
???????????????????????????
32
?????????????????? OLAP

• ??????????? OLAP
• Multidimensional Database
• ??????????????? OLAP
• ??????????? OLAP

33
OLAP ??????????? OLAP

• ?????????????????????????????????????
  ????????????????????????????????????????? ?
  (Multidimensional Data Analysis)
  ???????????????????? ???? ????????????????????????
  ???????????????????????????????????????????????
  ???????????????????? ????????????????????? ?
  ??????????????????

34
OLAP Multidimensional Database (1/4)

• ????????????????????????????????????????????????
  ??? ?????????????????????? ? ???
  ??????????????????????????????????????????????????
  ????????????????????? ????????????????????????????
  ???????

35
OLAP Multidimensional Database (2/4)
??????? ?????? ??????
???????? 1 750,000
???????? 2 800,000
???????? 3 825,000
???????? 4 680,000
??????? ?????? ??????
????????? 1 550,000
????????? 2 600,000
????????? 3 650,000
????????? 4 500,000
???????
???????? ?????????
1 750,000 550,000
2 800,000 600,000
3 825,000 650,000
4 680,000 500,000
??????
36
OLAP Multidimensional Database (3/4)
?????? ??????? ?????? ??????
?????? ??. 1 550,000
???????????? ??. 1 250,000
?????? ??. 2 600,000
???????????? ??. 2 200,000
?????? ??. 3 650,000
???????????? ??. 3 260,000
?????? ??. 4 500,000
???????????? ??. 4 325,000
?????? ??????? ?????? ??????
?????? ???. 1 750,000
???????????? ???. 1 350,000
?????? ???. 2 800,000
???????????? ???. 2 300,000
?????? ???. 3 825,000
???????????? ???. 3 280,000
?????? ???. 4 680,000
???????????? ???. 4 380,000
37
OLAP Multidimensional Database (4/4)
???????
??.
??????
??????
????????????
1
2
3
4
??????
38
OLAP ??????????????? OLAP

• Roll up ??? Drill Down
• Roll up ?????????????????????????????????????????
  ?????????????????? ???????????????????????
  ??????????????????
• Drill Down ???????????????????????????????????????
  ???????????????????? ?????????????
  ??????????????????????????????
• Slice and Dice
• Slice ???????????????????????????????????????????
  ?????????????????????????????????????????????????
  ?????????
• Dice ??????????????????????????????????
  ?????????????????????

39
??????????????? OLAP Roll up ??? Drill Down
(1/2)
Region Sum
North 61,000
South 41,500
Region
Roll up
Drill Down
Product Type Glossary Misc.
Region
North 55,000 6,000
South 31,000 10,500
Region-Product Type
Roll up
Drill Down
Product Type Glossary Misc.
Region Shop
North ABC 30,000
North Platter 25,000 6,000
South Five Mart 31,000 10,500
Region-Shop-Product Type
40
??????????????? OLAP Roll up ??? Drill Down
(2/2)
Product Type Glossary Misc.
Region Shop
North ABC 30,000
North Platter 25,000 6,000
South Five Mart 31,000 10,500
Region-Shop-Product Type
Roll up
Drill Down
Product Type Glossary Glossary Glossary Misc. Misc.
Product Fish Meat Pork Medicine Pencil
Region Shop
North ABC 10,000 20,000
North Platter 25,000 6,000
South Five Mart 8,000 23,000 10,000 500
Region-Shop-Product Type-Product Type
41
??????????????? OLAP Slice (1/2)
42
??????????????? OLAP Slice (2/2)
Product Type Glossary Glossary Glossary Misc. Misc.
Product Fish Meat Pork Medicine Pencil
Region Shop
North ABC 10,000 20,000
North Platter 25,000 6,000
South Five Mart 8,000 23,000 10,000 500
Slice-Glossary
Product Type Glossary Glossary Glossary
Product Fish Meat Pork
Region Shop
North ABC 10,000 20,000
North Platter 25,000
South Five Mart 8,000 23,000
43
??????????????? OLAP Dice (1/2)
44
??????????????? OLAP Dice (2/2)
Product Type Glossary Misc.
Shop
ABC 30,000
Platter 25,000 6,000
Five Mart 31,000 10,500
Shop-Product Type
Product Type Glossary Misc.
Date
6/07/2004 43,000 10,000
7/07/2004 43,000 6,500
Date-Product Type
45
OLAP ??????????? OLAP

• ???????????????????????????????????????????? ?
  ????????????????????????????????????
• ???????????????????????????????????????????????
  ??????????????????????????
• ?????????????????????????????? ???????????????????
  ??????????????????????
• ??????????????????????????? ? ????????????????????
  ???

46
?????????????????? ???????????? (Data Mining)

• ???????????????????????
• ?????????????????????????
• ????????????????????????
• ???????????????????????
• ?????????????????????????????????

47
???????????? (Data Mining) ?????????????????????
??

• ?????????????????? ??????????????
  ??????????????????????????????????????????????????
  ??????????????????? ??????????????????????????????
  ????????????? ????????????????????????????????????
  ????????????????????????? ???????????????????????
  ? ???????????????
• ????????????????????????????????????????????????
  ????????????????????? ????????????????????????????
  ????????????????????????????????
  ??????????????????????????????????????????????????
  ???????????????????????????? (Knowledge
  Discovery) ???????????????????????????????????????
  ????? ????????????????????????????????????
  (Rules) ???????????????????????????????????????
  ???????????????????????????????

48
???????????? (Data Mining) ?????????????????????
????

• Classification
• Clustering
• Association
• Visualization

49
????????????????????????? Classification (1/4)

• ????????????????????????????????????????????????
  ? ???????????????????????
• ????????????????????????????????????????????????
  ??????????????? (Predictive Modeling) ???????
  ???????????????????????????????????????????
  ???????? Supervised Learning ????? 2 ?????????
• Tree Induction
• Neural Induction

50
????????????????????????? Classification (2/4)

• ??????????????????????????????????????????????????
  ???????????????????????????????
  ??????????????????????????????????????????????????
  ????????? ?

????????????????? ??????????? ?????????????
2 25 YES
3 22 YES
1 28 NO
5 30 YES
4 27 NO
2 21 NO
3 23 NO
... ...
51
????????????????????????? Classification (3/4)

• ?????????????? ??????????????????????????????????
  ? 2 ???????????????????????????????? 25 ????????
  ??????????????????????????????????

Tree Induction
52
????????????????????????? Classification (4/4)
Neural Induction
0.5
0.7
0.4
???? ???? ????
0.6
0.3
0.4
??????????? gt 25 ?
Output
Input
Hidden Processing Layer
53
????????????????????????? Clustering

• ????????????????????????????????????????????????
  ?????????????????????????????? ???????????????????
  ???????????????????????????? ????????
  Unsupervised Learning
• ???????????? ????????????????????
  ???????????????????????????????????????????
  ???????????????????????????????????????????????
  ???????????????????????????????
  ??????????????????????????????????????????????????
  ????????????????????

54
????????????????????????? Association

• ????????????????????????????????????????????????
  ?????????????????????????????????????????????????
  ?????????????????????????????
• ???????????? ??????????????? ???????????????????
  ???????????????? 2 ???????? ??????????????????????
  ??????????? 25 ???????? ??????????????????????????
  ???????????????????? 40 ???????????
  ???????????????????????????????????? 35
  ??????????? ??????????????????????????
• ????????????????????????????????????????????????
  ?????????????? 35 ??????????? ????????????????????
  ??

55
????????????????????????? Visualization

• ????????????????????????????????????????????????
  ????? ????????????????????????????????????????????
  ??????? ??????????????????????????????????????????
  ??????????????????? ?????????? ????????????? 3
  ???? ??????????????????????????????????????????
  ?????????????????????????????????????????????
  ??????????????????????????????????? ????
• ????????????????????????????????????????????????
  ????? ????????????????????????????????????????????
  ?????????????????? ???????????????????????????????
  ?????????????????????????????

56
???????????? (Data Mining) ?????????????????????
???

• ????????????????????????????????????????????????
  ?????????????????????????????????????
  ???????????????????????????????
• ?????????????????????? Client/Server
• ??????????????????????????????????????????????????
  ???????? ?????????????????????????????????????????
  ???????????????????????
• ??????????????????????????????????????????????????
  ??????????
• ????????????????????????????? ????????????????????
  ?????????????????????????????
• ??????????????????????????????????????????????????
  ?????? Spreadsheet ?????????????????????? ?
  ??????????????

57
???????????? (Data Mining) ?????????????????????
??

• ??????????????????????????????????????????????????
  ??????????????
• ????????????????????????????????????????????
• ?????????????????????????????????????
  ??????????????????????????????????? ? ????
• ????????????????????? ? ???????????
• ????????????????? ???? ???????????????????????????
  ?????????????????????????????? ???????????????????
  ????????????? ? ??????????????????

58
???????????? (Data Mining) ?????????????????????
???????????? (1/4)

• ???????
• ???????????????????????????????????????????
• ????????????????????????????????????
• ??????????????????????????????????????????
• ????????????????
• ??????????????????????????????????????????????????
  ??????
• ???????????????????? ?????????????????????????????
  ?????????
• ????????????????? ????????????????????
• ???????????????????????????????????????
• ??????????????????????
• ???????????????????????????????????????????
  ?????????????????????????????

59
???????????? (Data Mining) ?????????????????????
???????????? (2/4)

• ?????????
• ?????????????????????????????????????????
• ??????????????????
• ????????????????
• ????????????????????????????? ????????????????????
  ???????????????????????
• ??????????????????????????????????????????????????
  ????????
• ???????? ?????????????????????????????????????????
  ????
• ?????????
• ??????????????????????????????????
  ???????????????????????????????????????????

60
???????????? (Data Mining) ?????????????????????
???????????? (3/4)

• ??????????????
• ???????????????????????????????????????????
• ??????????????????????????????????
  ????????????????????
• ??????????????????????????????????????????????????
  ????????
• ?????????????????????????????????????????
  ????????????????????????
• ???????????????
• ?????????????????????????????????????????????????
• ??????????????????????????????????????????
  ???????????????????????????

61
???????????? (Data Mining) ?????????????????????
???????????? (4/4)

• ????????????????????????????????
• ??????????????????????????????????????????????????
  ???? ????????????????
• ???????????????????????? Disk Drive ????
  ??????????? ?
• ????????????????????????????? ????????????????????
  ????????????
• ?????????????
• ??????????????????????????????????????????????????
  ???????
• ???????????????????????????????????
• ?????????????????????????????????????

62
????????????????????????????????????????

• ????????????????????????
• ??????????????????????????

63
???????????????????????? (1/2)
??????? ???????
??????????????????? 1 (????? ??????) ??????????????????? 1 (????? ??????)
?????? ?????????
???????? 35
????????????????????? 26
??????? 22
?????? 17
64
???????????????????????? (2/2)
??????? ??????? ??????? ??????? ??????? ???????
??????????????????? 1 (????? ??????) ?????????? ??????????????????? 1 (????? ??????) ?????????? ??????????????????? 1 (????? ??????) ?????????? ??????????????????? 1 (????? ??????) ?????????? ??????????????????? 1 (????? ??????) ?????????? ??????????????????? 1 (????? ??????) ??????????
           
?? ??? ?????? ??????? ?????? ??????
2544 12,500 22,500 13,500 8,500 59,544
2545 14,000 23,400 16,250 10,000 66,195
2546 15,250 26,500 20,000 12,500 76,796
2547 17,250 30,000 18,400 11,750 79,947
??? 59,000 102,400 68,150 42,750 282,482
65
?????????????????????????? (1/4)
?????? ?????? ??????????? ???????????????????????
??? ????? 35,000,000.00 42,000,000.00
???????? ????? 72,000,000.00 86,400,000.00
?????????? ????? 23,000,000.00 27,600,000.00
???????? ????? 48,000,000.00 57,600,000.00
??? ???????? 68,000,000.00 81,600,000.00
???????? ???????? 52,000,000.00 62,400,000.00
?????????? ???????? 45,000,000.00 54,000,000.00
???????? ???????? 33,000,000.00 39,600,000.00
??? ??????? 43,000,000.00 51,600,000.00
???????? ??????? 51,000,000.00 61,200,000.00
?????????? ??????? 47,000,000.00 56,400,000.00
???????? ??????? 36,000,000.00 43,200,000.00
66
?????????????????????????? (2/4)
?????? ?????? ??????????? ???????????????????????
??? ??????? 43,000,000.00 51,600,000.00
  ???????? 68,000,000.00 81,600,000.00
  ????? 35,000,000.00 42,000,000.00
?????????? ??????? 47,000,000.00 56,400,000.00
  ???????? 45,000,000.00 54,000,000.00
  ????? 23,000,000.00 27,600,000.00
???????? ??????? 36,000,000.00 43,200,000.00
  ???????? 33,000,000.00 39,600,000.00
  ????? 48,000,000.00 57,600,000.00
???????? ??????? 51,000,000.00 61,200,000.00
  ???????? 52,000,000.00 62,400,000.00
????? 72,000,000.00 86,400,000.00
 ??? 553,000,000.00 663,600,000.00
67
?????????????????????????? (3/4)
    ??????  ??????  ??????  ?????? 
?????? ?????? ??????? ???????? ????? ????????????
???   ??????????? 43,000,000.00 68,000,000.00 35,000,000.00 146,000,000.00
???   ??????????????????????? 51,600,000.00 81,600,000.00 42,000,000.00 175,200,000.00
??????????   ??????????? 47,000,000.00 45,000,000.00 23,000,000.00 115,000,000.00
??????????   ??????????????????????? 56,400,000.00 54,000,000.00 27,600,000.00 138,000,000.00
????????   ??????????? 36,000,000.00 33,000,000.00 48,000,000.00 117,000,000.00
????????   ??????????????????????? 43,200,000.00 39,600,000.00 57,600,000.00 140,400,000.00
????????   ??????????? 51,000,000.00 52,000,000.00 72,000,000.00 175,000,000.00
????????   ??????????????????????? 61,200,000.00 62,400,000.00 86,400,000.00 210,000,000.00
??? ??????????? 177,000,000.00 198,000,000.00 178,000,000.00 553,000,000.00
??? ??????????????????????? 212,400,000.00 237,600,000.00 213,600,000.00 663,000,000.00
68
?????????????????????????? (4/4)
    ??????  ??????  ??????  ??????  ?????? 
?????? ?????? ??? ?????????? ???????? ???????? ????????????
??????? ??????????? 43,000,000.00 47,000,000.00 36,000,000.00 51,000,000.00 177,000,000.00
  ??????????????????????? 51,600,000.00 56,400,000.00 43,200,000.00 61,200,000.00 212,400,000.00
???????? ??????????? 68,000,000.00 45,000,000.00 33,000,000.00 52,000,000.00 198,000,000.00
  ??????????????????????? 81,600,000.00 54,000,000.00 39,600,000.00 62,400,000.00 237,600,000.00
????? ??????????? 35,000,000.00 23,000,000.00 48,000,000.00 72,000,000.00 178,000,000.00
  ??????????????????????? 42,000,000.00 27,600,000.00 57,600,000.00 86,400,000.00 213,600,000.00
?????  ??????????? 146,000,000.00 115,000,000.00 117,000,000.00 175,000,000.00 553,000,000.00
?????  ??????????????????????? 175,200,000.00 138,000,000.00 140,400,000.00 210,000,000.00 663,600,000.00
69
Reference

• ???? ?????????????, ??????????????????????????????
  ???????????????????. ???????? ?????? ?????
  ????? ????????, 2546