Decision Tree

1
Decision Tree
2
?????

• ????? ?? ???? ?????? ??? ?? ???? ???? ???? ?????
  ?? ??????? ?? ???.
• ?? ??? ???? ?? ???? ???? ?? ????? ?? ?? ????? ??
  ????? ?? ???.
• ?? ??? ??????? ?? ????? ??? ?? ?? ???? ?? ??????
  ??? ????? ????????? ?? ????? ?? ???.

3
????

• ???? ????? ???? ???? ??? ?? ?? ????? ???? ??
  ????? ???? ????? ?? ???? ??? ???? ?? ??

4
????? ???? ???? ???? ????? ????

• 7 ????? ????? ? 3 ????? ? ????? ?? ?? ?? ????
  ???? ???? ?? ????.
• ??????? ? ??????? ????
• size small medium large
• colour red blue green
• shape brick wedge sphere pillar
• ??????
• ???? yes
• medium blue brick
• small red sphere
• large green pillar
• large green sphere
• ???? no
• small red wedge
• large red wedge
• large red pillar

5
???????? ??????? ????

• ???????? ?? ??? ?????? ????? ??? training ? C ???
  ?? ???.
• ??? ???? ????? ?? ????? ?? ?? ???? ?????? ???
  ????? ?? ?? ???? ?? ????? ???? ? ????? ?? ???.
• ?? ??? ??? ???? ?? ????? ?? ?????? ???? ? ???
  ????? ???? ????? ?? ?? ?? ????? ?? ???.
• ? ????? ?? ??????? ??? ????? ??? training ? C ??
  ?? ??? ??? ????? ?? ???. ? ?? ???? ????? ????? ??
  ???.

6
???????? ??????? ????

• ??? ???????? ?? if ??? ?? ?? ?? ???? ????? ????
  ???.

if (shape wedge) return no if (shape
brick) return yes if (shape pillar) if
(colour red) return no if (colour
green) return yes if (shape sphere) return
yes
7
????? ????????
8
???????? ??? ???? Decision Tree

• ???????? ID3
• ???????? C4.5
• ???????? C5
• ???????? Bagging
• ???????? Boostering

9
?????? ??????? ?? ???????? ID3

• ??????? ???? ????? ?? ????? ?????? ??????? ????.
• ID3 ?? ????? ??????? ???? ????? ????? ?????
  ?????? ????? ??????? ?? ???.
• ????? ?????? ??????? ?????? ????? ?????? ??????
  ?? ????? ?? ????.
• information1(M) 1/probability(M)
• ????? ?????? ???? ???? ????? ????? ?? ????? ???
  ???? ?? ???
• Information(M) -log2 (probability(M))

10
Entropy

• ??????? ????? ??????? ?? ???? ??? ?? ???? ???????
  ???? ?? ???.
• -SP log2P

11
???????? ID3

1. ??????? ?? ???? ????? ???? ?? ??? ???? ???? ??
   ??????? ?? ?????? entropy ????? ????.
2. ?????? ?? ?????? ???? ?? entropy ?? ?????? ???.

12
???? (??????? ?? ???????? ID3)

• ???? ????? ???? ????? ???? ?? ??? ?? ???? ??????
  ???.
• 4 ????? ???? ? 3 ????? ???? ?????.
• ???????? ?????? ??????? ???? 7/40.57 ? ??????
  ??????? ???? 7/30.43 ???.
• Entropy
• - (0.57 log 0.57) - (0.43 log 0.43) 0.99
• ???????? ????? ?? ?????? ???? ? entropy ???? ??
  ???? ?? ?????.
• ???? ?? ???? ????? ????? ? ???? ????.
• 4 ????? ?? ???? ???? ????? ?? ????? 2 ??? ?? ????
  ? 2 ??? ???? ???? ???. ? entropy ?? ????? ??? ??
• - (0.5 log 0.5) - (0.5 log 0.5) 1
• 2 ????? ?? ???? ???? ????? ?? ????? ??? ???? ?
  ????? ???? ???. ? entropy ?? ????? ??? ??
• - (0.5 log 0.5) - (0.5 log 0.5) 1
• 1 ????? ?? ???? ????? ????? ?? ????? ?? ???? ???.
  ? entropy ?? ????? ??? ?? ???.
• ????? ??????? ???? ?????? ???? ????? ?? ??? ????
  ????? ??? ??
• 14/712/701/70.86
• ??? ????? ??????? ???? ?????? ???? ????? ?? ???
  ?? ????? ??? ?? 0.48
• ??? ????? ??????? ???? ?????? ???? ????? ?? ???
  ?? ????? ??? ?? 0.3
• ???????? ??? ?? ?????? ?? ????.
• ???? ???? ??? ?????? ??? ??? ??? ?? ????? ??
  ????.

13
????? ?????

• Lucas Ballard, Topics in Machine Learning
  Decision Tree Learning. 9/18/02