Decision Trees

1
??????? ???? ?????
Instructor Saeed Shiry Mitchell Ch. 3
2
?????

• ?? ?? ????? ??????? ?? ?? ???? ????? ????? ?????
• ???? ????? ????? ??
• ???? ?? ???? ??????? ???? ??????
• ?? ??? ??? ???? ????? ????? ?? ?? ???? ?????
  ??????? ?????? ? ???? ???????? ??? ???? ?? ???
  ID3 ??????? ??????.

3
???? ?????

• ?????? ????? ?????? ???? ????? ?????? ?????? ????
  ?????? ?????? ???????? ????? ????? ? ???? ???????
  ?????.
• ??????? ???? ????? ???? ???? ????? ????? ??? ??
  ?????? ????? ???. ??? ??? ???? ?? ???? ????
  ??????? ???? ????? ??? ????? ???? ????? ??? ????
  ?? ??? ?????.
• ??? ??? ??? ????????? ??????????? ???????
  ???????? ??? ?? ????? ?????? ????? ?? ?????????
  ????? ???? ????? ??? ???.

4
????? ???? ?????

• ???? ????? ????? ??? ?? ?? ?? ????? ?? ?? ??
  ???? ???? ???? ????? ?? ?? ???? ?? ??? ????? ???
  ?????? ? ?? ????? ?? ??? ??? ??? ?????
• ?? ??? ????? ????? ??? (non leaf) ?? ?? ?????
  (attribute) ???? ?????. ??? ????? ????? ?? ??
  ????? ?? ???? ????? ???? ?????.
• ???? ??? ????? ?? ????? ??????? ???? ?? ??? ????
  ???? (branch) ???? ???? ?? ?? ?? ?? ????? ?? ????
  ???? ??????.
• ?????? ??? ???? ?? ?? ???? ? ?? ?? ???? ?? ??????
  ???? ??????.
• ??? ???????? ?? ?? ???? ????? ??? ??? ?? ??? ????
  ?????? ????? ???? ???? ????? ???? ?? ???? ?????
  ?? ???? ?????.

5
????? ?? ?? ???? ?????
??? ???
???
???
????
???????
???????
??
????
????
???
???
???
???
??????
??????
??
???????

• ?? ??? ??? ???? ?? ???? ?? ???? ?? ???? ?????.
• ?? ???? ?????? ?? ???? ????? ?? ??? ???? ????
  ???? ?????
• ?? ???? ???? ???? ?????.
• ????? ???? ??? ???? ??? ??? ??? ?? ????.
• ? ??? ????? ?? ???? ????? ?? ???? ???? ??? ?? ???
  ???? ?? ???? ?? ?? ????? ????? ?? ???.
• ??? ?????? ???? ??? ??? ????????? ??? ???? ?????
  ?? ???.

???
???
?????????
??????????
6
????????

• ???? ????? ?? ?????? ?????? ???? ?? ????? ???? ??
  ?????? ???? ???? ?? ???? ????? ????? ??? ?? ????
  ?? ???? ????? ????.
• ???? ???? ?????? ???? ?????? ???? ?? ?? ??? ????
  ???? ??? ?????? ???? ???? ???? ? ?? ????? ????
  ?? ?? ??? ???? ???? ??? ??? ???? ?? ??????
  ????????
• ???? ?????? ????? ??? ?? ??????? ?????? ????? ???
  (?????-?????) ???? ??? ?????.
• ???? ??? ????? ????? ?? ?????? ????? ????. ????
  ?? ???? ?? ??? ? ??? ????? ???.
• ???? ?? ????? ?? ???? (disjunctive) ????.

7
????? ??? ???? ?????

• ???? ????? ????? ????? ???? ?? ???
  (classification)
• ???? ?? ???? ???? ??? ????? ????? ???
• ???? ???? ??? ?? ??? ???? ?????? ?? ??? ?? ??Data
  mining ??????? ?? ???
• ?? ???? ???? ?? ????? ?????? if-then ????? ??? ??
  ???? ??? ???? ??????? ???
• ????? ????? ???? ? ???? ????? ?? ?? ?? ???
• ?? ?????? ?? ??????? ?????? ?? ???? ??? ???????
  ????? ??? ???? ??????? ???

8
???? ????? ???? ?????

• ?????? ??????? ??? ????
• ????? ?????? ????? ?????
• ???? ????.?????? ??????
• ????? ????? ???? ????? ???
• ???? ???
• ???? ?? ???? ?? ??? ????? ???? (AND)?? ????? ??
  ?? ???? ????? ? ??????? ????? ????(OR) ???
  ??????? ?? ??????.

9
????

• ????? ????

No
No
OutlookSunny AND WindNormal
10
????

• ????? ????

OR
11
????

• ???? XOR
• XOR
• 
  

12
???????? ??????? ???? ?????

• ???? ???????? ??? ??????? ???? ????? ?? ???? ??
  ??? ?????? ??????? (greedy) ???? ?? ?????
  (top-down) ?? ???? ??????? ????? ??? ??????.
• ??? ???????? ????? Concept Learning System (CLS)
  ?????? ?? ??? ?? ?? ??? 1950 ????? ??? ???.
• ??? ???????? ???? Ross Quilan ?? ??? 1986 ?????
  ??????? ??? ????? Inducing Decisition trees
  (ID3) ???? ?????.
• ????? ???????? ?????? ????? ??? ????? C4.5 ?????
  ????? ?? ???? ????? ID3 ?? ????? ?????.

13
???? ???? ID3

• ??? ???? ?? Ocuums Razor ????? ??? ??? ????
• ???? ???? ???? ???
• ???????? ?? ???????? ???? ????? ?? ?? ????
  ?????? ???? ?????? ?? ??? ?? ??????? ?????? ?? ??
  ????? ???? ???? ???.

14
????? ???? ?????

• ?????? ??????? ??????
• ????? ???? ????? ?? ??? ???? ??? ?? ???????
  ?????? ?? ??????? ?????? ????? ???? ???.

15
?????

• ??? ????? ?? ????? m ????? ????? ?????? ????
  ????? ???? ????? ????
• ????
• ???? ????? ????? ?? ???? ??? ?? ?? ??? ?? ?????
  ????
• ?? ????? ?? ?? ????? ?? ????? ?? ???? ?? ?? ???
  ???? ????? ???.
• ?? ?????? ?????? ???? m ????? ???.
  ?????1
• 
  
  ?????2
• 
  
  
  
  
• 
  
  ?????m
• 
  ????A
  ????B

16
???????? ID3

• ?? ??? ???????? ???? ????? ?? ???? ?? ????? ?????
  ?????. ??? ???????? ?? ??? ???? ???? ????? ????
  ????? ???? ?? ???? ???? ???? ?????? ???? ?????
• ???? ????? ???? ?? ?? ????? ????? ??????? ?????
  ?? ???? ???? ?? ???? ?? ?? ?? ???? ??? ?? ??????
  ??????? ??????? ?? ???? ???? ???.
• ?? ?????? ??? ?????? ???? ?? ?? ?? ?????? ???? ??
  ?? ???? ????? ??? ? ??????? ?????? ?? ???? ?????
  ?? ???? ???? ??????. ??? ?????? ??? ???? ???????
  ???? ????? ?? ?? ???? ????? ?????? ?? ??????
  ????? ???? ??? ???? ?????? ???.
• ??? ???????? ?? ?????? ??????? ??? ?? ?? ??
  ?????? ??? ???? ???? ???? ??????? ???? ????????.

17
???????? ID3
18
???? ????? ????

• ???? ????? ???? ????? ?? ???????? ??????? ?????
  ?? ????? ????? (label) ??? ?????.
• ?????? ????? ????? ?????? ?????? ?? ?? ????????
  ?? ?? ???? ???? ?????? ?? ?? ????? ?? ???? ???
  ???? ??????? ?? ????? ????? ?????? ??????
  ???????? ????? ????. ???? ?? ???? ????? ??
  ??????? ????? ???? ???? ?? ??? ???? ?? ????.
• ?? ??? ??? ?? ??????? ?????? ???? ?????? ?? ??
  ???? ???? ???? ???? ???? ?? ???? ??? ?????? ???
  ?? ???? ?? ???? ????? ???? ?? ???? ?? ??? ????
  ???? ???? ?? ???.

19
???? ????? ???? ???? ????? ????? ????

• ?? ???? ????? (ID3) ?? ?? ????? ????? ?? ??? ????
  ??????? Information Gain ??????? ?? ??? ??
  ????? ???? ???? ?? ?? ????? ?? ?? ????? ???? ???
  ??????? ?????? ?? ?? ??? ???? ???? ???? ??? ???.

20
????

• ???? ??????? ???? ???? ???? ???? ???? ?? ?? ?????
  ?? ????.
• ?? ???? ??? ???? ????? ???? ?? ???? ???? ????
  ?????
• x2
• x1
• x0
• ?? ???? ?? ???? ????? ?? ???? ??? x0 ?? x2 ??
  ?????? ???? ?????

21
?? ????

• ???? ???? ?? ?? ??? ???? ???
• ??? ???? ???? ? ??????
• ??? ????? ??? ?? ?????.
• ?? ????? ???? ?? ???
• ???? ???? ??? ??
• ???? ??? ????? ??? ???.

22
????? ??? ?????? ???? ?? ????? ???? ????

• ????? ?? ?? ???? ?? ??? ????? ??? ???? ???
• ?????? ????? ???? ???? ????? ?? ???? ???? ??
  ????? ???? ?????? ?????
• ???? ?? ????? ???????
• ???? ? ???? ??? ???
• ?? ?? ??? ???????

23
???????

• ????? ???? (?? ???? ?? ??? ???? ????) ?????? ??
• ?? ?????? ?? ???? ?? ???. ??? ?????? S ????
  ??????? ???? ? ???? ?? ?? ????? ??? ???? ???????
  S ???? ?? ??? ???? ???? ???? ????? ??? ????? ??
  ???.
• ?? ???? ??????? ???? ?? ?? ?????? ?
  ???? ??????? ???? ?? ?? ?????? ?? ????. ??????
  0 log00 ??? ?????.

24
????

• ??????? x0 ? x1 ? x2 ????????
• ????? ??? ??? ????? S ????? ????? ??????? ????
  ???? ???

25
?????

• ??? ????? S ???? ???? ? ???? ???? ???? ???????
  ???? ??? ?
• ??

26
??????? ???? ???? ???? ??? ??? ????

• ??? ????? ??? ?????C ????? ????? ???? ??????? S
  ???? ?? ??? ???? ???? C???? ????? ??? ?????
  ?????
• ?? ?? ?? pi ????? ?? S ??? ?? ?? ???? i ????
  ?????. ???? ??? ?? log ?????? ?? ????? 2 ?????
  ?????. ?? ??? ???? ?????? ??????? ??????? log2C
  ????.

27
???? ???????(Information Gain)

• ???? ??????? ?? ????? ????? ??? ?? ????? ????
  ??????? ?? ?????? ??????? ?????? ?? ???? ???
  ????? ???? ?????.
• ?????? ???? ???? ??????? Gain(S,A) ???? ?? ?????
  ???? A ???? ?? ?????? ??????? S ????? ??? ?????
  ?????
• ?? ?? ?? Values(A) ?????? ??? ????? ????? ??? A
  ???? ? SV ????????? ?? ?? S ??? ?? ???? ?? A
  ????? ????? V ???.
• ?? ????? ??? ????? ??? ????? ??????? ???? ?? ?
  ????? ??? ????? ??????? ???? ?????? ??? ??
  ??????? ???? ????.

28
????

• ?? ??????? ?? ??????? ?????? ??? ????? ?????? ??
  ??? ??? ???? ???? ?? ??????? ?? ???????? ?????
  ??????? ???.

29
Overfitting

• ???? ????? ?? ??? h ????? ?? ???? ????? H ?? ???
  ??? ????? ?????
• ??? ??? ???? ??? ?????? errortrain(h)
• ??? ??? ?? ???? ??? ???? D errorD(h)
• ??????? ???? ????? h H ??? ???? ??? ??????
  Overfitting ?? ????? ??? ????? ?? ??? h0 H
  ???? ????? ???? ??
• errortrain(h) lt errortrain(h0)
• and
• errorD(h) gt errorD(h0)

30
Overfitting
31
????? ???? Overfitting

• ???????? ID3 ?? ???? ?? ???? ?? ????? ?? ???
  ????? ?? ?????? ???? ???? ??????? ?????? ?? ????
  ???? ???. ??? ??? ??????? ???? ?? Overfitting
  ???. ????? ???? overfitting ??????? ??
• ???? ???? ?? ???? ??? ??????
• ????? ?? ??????? ??????
• ???? ???? ??? ??? ?? ??? ????? ??? ????? ????? ?
  ?? ?? ??? ??? ???? ???? ?? ????? ?? ?? ???? ???
  ?????? ?????? ?????

32
????? ??Overfitting

• ??????? ?? ??? ???? ??? ?? ????? ?? ????? ?? ??
  ???? ???? ???? ??? ?????? ?? ???? ???? ?????.
• ????? ?? ??? ???? ???? ? ??? ??? ???? ???? ????
  ?? ???? ??????. (post pruning)
• ?? ??? ??? ??? ????? ??????? ??? ??? ???? ?????
  ?????? ???? ???? ??? ???? ?? ????.

33
??? ???? ???? ?? ??? Reduced Error Pruning

• ??? ??? ???? Quinlan ????? ??? ???. ????? ?? ????
  ????? ???? ????? ?? ?? ?????? ???? ??? ???. ???
  ??? ???? ?? ?? ???? ?????? ??? ???? ???? ???????
  ??? ???????
• ???? ?? ?? ?? ?????? ??? ? ?????? ????? ??????.
• ???? ?? ???? ??? ?????? ????? ??? ??? ??? ?????
  ?????.
• ??? ???? ?? ??? ????? (??? ??? n )
• ??????? n ??? ??????. ??? ??? ???? ?? ?? ???
  ??????? ?????. ?? ??? ??? ???? ??????? ??????
  ???? ???? ???? ???? ??????? ???? ????? ??? ???
  ???? ???? ???? ?????.
• ?????? ???? ????? ??????? ??? ????? ????? ???
  ???? ??? ??? ?????? ???? ? ?? ????? ?? ???? ????
  ???? ?? ???? ??? ??? ??????? ?????.
• ??? ???? ????? ????? ?? ???? ?? ??? ?????? ????
  ?????? ????.

34
Overfitting ?? ????? ????? ???

• ????? overfitting ????? ?? ???? ??? ????? ???? ?
  ???? ?????? ??????? ?????? ??? ?? ?? ????? ?????.
  ??? ????? ????? ???? ????? ?? ???? ??
• the hypothesis space is very large
• the hypothesis search is not biased toward simple
  models
• there is little training data
• there is a lot of noise in the training data
• ?? ??? ?? ???? ????? ??? ???????? ?????? ??
  overfitting ?? ???? ???
• ?????? ???? ??? ??? ???? ???? ???? ??? ?????? ?
  ???? ??? ???
• ????? ?? ????? ? ?? ?????? ???? ?????? ( ????
  ????? ?? ?? ???? ????? ???? ????)

35
?? ??? ????? ????? ??? ?? ?????? ??????

• ???? ???????? ??? ???? ID3 ????? ?? ????? ? ?????
  ??? ?? ????? ????? ???.
• ???? ????? ??? ???????? ????? ??? ?? ????? ??????
  ?? ??? ???? ???? ?????? ???? ?? ????? ?????? ???
  A ?? ????? ???? ??? Ac ????? ??? ?? Ac ???? ???
  ??? AltC ???? ? ?? ??? ??????? ?????? ???.
• C ???? ???? ?????? ??? ?? ???? ??????? ?? ??????
  ???. ?????? ??????? ?? ???? ???? ?????? ????? A
  ??????? ????? ?? ?????? ??????? ????? ?????
  ?????? ????? ???. ?? ???? ????? ??????? ??????
  ????? ??????? ?????? ?????? ?????? ???.

36
???? ???????? ?????? ????? ???? ????

• ??? ?? ???? ??? ?? ????? ?? ??? ????? ????? ????
  ??? ????? ?? ?????? ???? ????? ??? ?? ????
  ??????? ?????? ?? ???? ???? ???. ?? ???? ????
  ????? ??? ????? ????? ???? ??????? ????? ???
  ?????? ???? ???? ?????? ????? ?? ? ???? ?????
  ????? ??? ????? ??? ????? ???.
• ?? ???? ????? ??? ???? ??????? ?????? ?? ?????
  ???? ???? ????? ??? ??? ?? ???? ??????? ??????
  ????? ???? ??? ????? ????. ???? ??? ???? ?? ???
  ??????? ?????? ?? ??? ???? ? ???? ?? ????? ????.

37
????? ???? ???? ?? gain ratio

• ???? ????? ?? ????? ???? ??? ????? ?????? ??
  ????? ????? ?? ??? ???? ???? ? ?? gain ratio
  ??????? ???? ?? ????? ?? ?????? ????? ?? ??? ???
  ?? ?? ????? ?? ?? ??????? ? ???????? ???? ?? ??
  ??? ?????.
• ???? ?????? ?????? ????? ??? ????? ?????
• ?? ??????? ?? ????? ??? ???? ???? ????? ??? ?????
  ?????

38
????? ???? ???? ?? gain ratio

• SI ???? ????? ?? ????? ???? ?? ?????? ????? ??
  ????? ??????? ????? ??? ?????.
• ???? ???? ?? ????? ???? ????? ???? ?? ?? ??????
  ????? ?????? ???? ?? ????? SIlogn2 ????? ?? ??
  ?????? ??? ?? ????? ?????? ?? ?? ?? ???? ?????
  ??? SI1 ????? ??.
• ?? ???? ???? ??????? ??????? ???? ???? ??? ???
  ?? ???? ??? ???? ??? ????? ??? ? ?? ???? ????
  ???. ?? ??? ???? ?? ?????? ????????? ???????
  ?????.

39
????? ???? ?? ????? ??????

• ?? ????? ?????? ?? ????? ???? ??? ????? ??? ????
  ???? ????? ?? ????? ???? ???? ? ?? ????? ??????
  ???????? ????? ??? ?? ?????? ????.
• ?? ??? ???? ???? ???? ?? ???? ????? ??? ?? ?????
  ??? ?? ????? ?? ?? ????? ???. ???? ???? ???? ???
  ???? ?? ?? ????? ????? ????.

40
???????? ?? ????? ??? ???????

• ?? ???? ?? ???????? ???? ????? ????? ??? ???? ???
  ?? ???????????? ????? ???? ??? ????? ???? ??
  ????? ?? ???? ??? ???? ????. ?? ??? ???? ??
  ?????? ??????? ??? ???? ?? ?? ?? ????? ??????????
  ????? ?????? ?? ??? n ???? ???? ???.

41
UCI Machine Learning Repository

• Currently maintains 177 data sets as a service to
  the machine learning community.
• http//archive.ics.uci.edu/ml/

42
????? ?????

• fuzzy decision trees
• pruning in decision tree induction