De Nederlandse AIBO league

1
?????? ?? ???? ??? ????? ????

• ????? ?????
• ???? ??? ?????
• 8313177
• ?????
• ???? ????
• ???? 84

2
????? ?????

• ?????
• ????? ???? ????? ????
• ???? ??? ???? ???? ???? ????? ???? (CART)
• ???????? ??????? ???? ID3? C4.5
• ??????? ??????? ???? ??? ????? ????
• ?????? ???? ??? ????? ????

3

• ?????

4
?????

• ????? ????? ?????? (X,Y) ?????? ????? ?????
  (????) X ??? ? Y ????? ???? ?????? ???. ????? X
  ???? ????????? ???? ??? ?????.
• ????? ???? ??? ????????? X ????? ??????? ?? ??
  ?????? ???? ?????? X ?? ?? ????? ???? (orderd)??
  ????(numerical) ???????? .
• ????? ???? ??? ????????? ????? ??????? ??????
  ???? ?? ????? ????? ????? ??????? ?? ?? ?? ?????
  ???? (Categorical) ????????.
• ????????? ???? (????) ???? ??? ????? ?????? ?????
  ?? ?????? ?????.
• ??? ??? ???? ????
• ?? ????? ??
• ??? ????? ??
• ?????? ????? ??
• ??????
• ?????

5
????? ???? ????? ???? ? ???? ?????? ???? ????
????? ?? ?? ???? ????? ????
6
????? ???? ????? ???? ? ???? ?????? ???? ????

• ??????? ????? ??????? ?? ???? ?? ??????? ??????
  ?? ??? ????? ????????.
• ??????? ????? ??????? ????? ?? ?? ??? ???? ???
  ????? ???? ?????? ??????.
• ??? ?? ??? ????? ????? ????? ?? ???? ????? ?????
  ?? ??? ???? ???? ?????? ?? ??????? ????? ??? ??
  ??????? (Overlap) ?????.

7
????? ???? ????? ???? ? ???? ?????? ???? ????

• ???? ?????? ???? ?? ?? ????? ????? ?? ???? ?????
  ????
• ????? ????? ?? ??? ???? ???? ?? ?????.
• ????? ????? ?? ?? ???? ?? ???? ?? ???? ?? ???? ??
  ??????? ????? ??? ?? ??? ?? ???? ?? ????? ?? ???
  ?? ?? ?? ??? ???? ?????.
• ????? ???? ?? ??? ?? ?? ???? ?? ???? ?? ?????
  ????? ????? ????????? ?? ???.

8
????? ???? ????? ???? ? ???? ?????? ???? ????

• ?????
• ?????? ????? ??? ? ?? ???????? ??? ???? ??????? ?
  ???? ???.
• ??? ?? ???? ??? ?????? ? ?????.
• ??????? ?? ????? ????? ???? ????.
• ??? ?????? ??? ????????.
• ??????? ?? ????? ??? ?????? ???? ????? ??? ?????.
  
• ??????? ?? ????? ???? ????? ????.

9
????? ???? ????? ???? ? ???? ?????? ???? ????

• ?????
• ?? ?????? ?? ??? ????? ????? ?? ?????? ?????? ???
  ????? ??????.
• ?? ????? ?? ????? ???? ???? ? ????? ?????? ???
  ?????? ??? ??????.
• ????? ???????? ????? ????? ???? ????? ????.
• ??? ???? ???? ??? ????? ?????? ????.
• ?? ?????? ?? ???? ??? ????? ?? ????? ????? ??
  ???? ??? ????? ??? ??? ??? ????.
• ???? ??? ??? ?????? ?? ???? ??? ?? ??????? ???
  ??.
• ??????? ??? ???? ???? ?? ?? ??? ??????.
• ????? ???? ????? ???? ????? ???? ???.

10

• ????? ???? ????? ????

11
????? ???? ????? ????

• ????? ???? ???????? ?????????? ????????? ?????
• ???????? ????? ?? ?? ?? ???? ???? ????????? ????.
• ???? ?????? ??? ?? ???????? ?????? ?? ?? ???????
  ?????? ?????? ?? ???????? ???? ???? ?? ??
  ???????? ??? ???? ????????? ????.
• ?? ???? ????? ??? ???????? ?????? ???? ????? ??
  ????? ???? ?????????? ?? ????? ???(????? ?????
  ??????? ?????).
• ?????? ???? ???? ?? ????????? ??? ???? ????.

12
????? ???? ????? ????

• ??????? ???? ???? ????? ?? ???? ??????????
• ?????? ?????? ???? ?????? ????.
• ?????? ?????????? ???? ??? ???? ?????????? ?? ??
  ?? ?? ??????? ?????.
• ?????? ????? ?????????? ?? ???????? ???? ???????
  ?? ?? ?? ?? ??????? ?????.

13
????? ???? ????? ????

• ??????? ????????? ???? ???? ??????????
• ??????? ????? ?? ????
• ??????? ???? ?? ?????
• ??? ??????
• ??????? ??? ?????-??? ?????

14
????? ???? ????? ????

• ??????? ????? ?? ????
• ???? ????? ???? ?? ????? ?? ???? ?? ???? ?? ???
  ?? ?? ??? ???? ????? ?? ???.
• ?? ?? ???? ?? ?? ??? ???? ?? ???? ?????? ??
  ?????? ????? ?? ????.
• ?????? ????? ???? ?? ?? ????? ?? ???? ?? ????
  ???? ????? ????? ?? ????.

15
????? ???? ????? ????

• ??????? ???? ?? ?????
• ?? ??????? ???? ?? ????? ???? ????? ????
  ?????????? ?? ??? ??? ????? ?? ????
• ?????? ?? ????? ???? ????? ??????.
• ?????????? ?? ???? ????? ?? ???????? ??? ??????
  ?????.
• ?????? ????? ???? ?? ??????? ??????.
• ???? ?????? ????? ??? ?? ????? ???? ??? ?????
  ???? ??? ??? ???? ?? ????? ?????.
• ????? ???????? ??? ???? ?? ?????
• ID3? ID4? ID5R? C4.5? CART

16
????? ???? ????? ????

• ??? ??? ??? ?????-??? ?????
• ?? ??? ??? ????? ???? ????? ???? ?? ??????? ??
  ???? ????? ?? ??? ???? ?? ????? ????? ?? ???.
• ?? ????? ??? ?? ??????? ?? ?? ???????? ??? ????
  ??? ????? ???? ??? ?? ????.
• ???????? CART ?? ???? ??? ???????? ????.
• ???????? C4.5 ??? ????? ?? ???????? ??? ?? ????.

17
????? ???? ????? ????

• ??? ??? ??????
• ?? ??? ??? ?? ?? ?? ?? ??? ???? ?? ????? ? ?????
  ?? ???? ??????? ?? ???.

18

• ???? ??? ???? ???? ???? ????? ???? (CART)

19
???? ??? ???? ???? ???? ????? ???? CART

• ???????? ???? ???? CART
• Classification And Regression Trees (CART)
• Bereiman(1983)
• ????? ??? ?????? ?? ???? ??? ?? ??? ???????? ??
  ????? ???? ?? ??? ???? Salford Systems
• ???????? ??? ????? ????? ???????? CART ????? ????
  ??? ? ???? ???? ??? ?? ?? CART ???? ??? ?? ????.

20
???? ??? ???? ???? ???? ????? ???? CART

• ???? ???? ???? ????? ???? ?? ??????? ?? ????????
  CART ? ?????? ?? ???????? ??? ???? ???? ???? ????
  ?? ???? ??? ??? ???? ???
• ???????? ?? ?????? ?????? ????? ??????? ??
  ????????? ??? ????? ????? ?????? ????? ??????
  ???????? ????? ????????? ?? ??? ?? ???? ??????.
• ?? ?? ??? ?? ????? ???? ??????? ????
• ?? ???? ?? ??? ?? ?? ????? ??? ?????? ????? ?????
• ??? ???? ?????????? ???? ???? ?? ????? ??????? ??
  ?? ?????? (???????) ???? ???? ??? ???? ????????
  ??? ?? ???? ??????.
• ??? ?? ??? ???? ????? ??????? ??? ?? ????? ?????
  ?? ?? ???? ???? ???????
• ?? ?????????? ?? ????? ???? ????????? ???? ?????
  ???? ????? ?????? ????

21
???? ??? ???? ???? ???? ????? ???? CART

• ????? ??????
• ?????? ????? ???? ?? ??????
• ?????????? ?? ?????? ???? ????????? ???? ????
  ????

22
???? ??? ???? ???? ???? ????? ???? CART

• ?????? ??????? ? ??????? ???
• ???????? ?????? ???? ??????? ???? ????? ????? ???
  ??? ?????
• ?? ????? ?? ???? ???????? ?? ??? ?? ?? ???? ????
  ????? ????? ???? ????? ?? ??? ???.
• ?? ????? ?? ??????? ?? ???? ????? ??? ????
  ???????? ????? ????? ??? ????? ???? ??????? ?????
  ??? ?? ????? ????.
• ???? ??? ??? ?????? ???? ???????
• ??????? ???????
• ??????? Gini
• ??????? ????????? ??????

23
???? ??? ???? ???? ???? ????? ???? CART
?????? ?????? ???????? ????? ??????? ???? ???? ??
?????
24
???? ??? ???? ???? ???? ????? ???? CART

• ?? ?? ??? ?? ?? ??????? ???? ????? ???????
  ??????? ?????
• ?? ????? ???????? ?? ?? ?????? ?? ?? ?????
  ??????? ??????? ?? ??????????? ??? ?? ?????
  ??????? ???????? ?? ??????? ??????? ?? ?? ?? ????
  ???? ???.
• ???? ??????????? ????? ???? ??????? ?? ????? ??
  ????? ?? ?????
• ??????? ???????.
• ?? ??? ????? NL ? NR ?? ????? ?????? ??????? ?? ?
  ???? ????? ??? ?? ????? ??????? ?? ??? ???? ? PL
  ?????? ???? ????? ????? ?? ??? ?? ???.

25
???? ??? ???? ???? ???? ????? ???? CART

• ?? ???? ????? ?????? ?? ????? ?????
• ????? ??? ?? ?? (overfitting)
• ???? ??? ??? ???? ??????? ???? ????? ???? ??
  ????? ??
• ????? ?????? ?? ???? ?? ???? ????????? ????
  ???????? ??????? ?? ?? ?? ?? ??? ????? ??? ????
  ?? ????? (????? ??????) ?? ????? ???????.
• ?? ?????? ???? ??????? ??????? ??? ??????
  ??????? ?? ???? ??????? ???? ????? ??????? ?? ??
  ?? ?? ?????? ???? ???? ????? ????? ?? ?? ??? ??
  ????? ???????.

26
???? ??? ???? ???? ???? ????? ???? CART

• ??? ???? ???? ??????????
• ????? horizon effect ???? ????? ????? ??? ?????
  ???????? ?? ?? ??? ? ????? ??? ?? ????? ??? ??
  ???? ????? ???????? ?? ???? ????? ???????
  ????????? ??????? ???? ???.
• ???? ????? ?? ?? ????? ??? ????? ????? ????? ??
  ??? ????? ??????? ??? ???? ???? ???.
• ?? ??? ??? ????? ???? ?????????? ?? ?? ?? ????
  ????? ??????? ?? ?? ?????? ?????? ??????? ??
  ?????? ?????. ??? ?? ????? ?? ??? ????? (?????
  ??? ?????) ?????????? ?? ??? ??????? ??? ?? ???
  ?? ?? ?????? ????? ??? ?? ???.

27
???? ??? ???? ???? ???? ????? ???? CART

• ???????? ??? CART
• ??? ???? ????? ?? ?? ?????
• ???? ????????. ?? ?? ?? ??? ?????????
  ?????? ?? ??? t ??? ?? ?? ??????? ?? ?????
• ?????? ??????.
• ??? ???? ???????? ?? ???? t ???? ? ??
  ?????
• ?????? ???. ?? ?? ?? ????? ??? ?? ??????? ????
  ?????????? ?? ?? ???? ?? ??? ?????? ???? ?????? ?
  ?????? ??????? ?????? ??? ???? ???.
  ?????? ?? ??? ????????? ?????? ? ??????? ????
  ????? ??????.

28

• ??? ????? ??????? ????? ???
  ???? ???? ?? ??? t ????? ???. ??? ??? ????
  ?????? ?? ?? ??????. ?? ?????? ??? ?????
  ?? ????? ???? ????? ??? ??
• ?? ?? ?? ????? ??????? ?????? ???????
  ???. ?? ????? ????? ?? ?? ??? ??? ?????? ??
  ????.
• ???? ??? ???? ???? ?? ?? ????? ????? g(t) ?? ????
  ???? ??????? ??? ??? ?????? ???????. ?? ????? ??
  ????? ??? ????? ???? ?????? ?? ????? ?????????
  ???? ???? ??? ????? ?? ?????? ????? g(t) ?? ??
  ????? ??? ????? ??????? ? ????? g(t) ???? ???????
  ??? ?? ?? ???? ?? ?????? ?????? ???????.

29
???? ??? ???? ???? ???? ????? ???? CART

• ???????? ??????? ???? ID3? C4.5

30
???????? ??????? ???? ID3? C4.5

• ???????? ID3
• 1986 Quinlan
• ???? ?? ?????
• ???? ?????? ?? ???????? ??? ??????? ????
• ?????? ??????? ?? ?? ???? ???? ????? ???? ?????
  ????? ?? ???.
• ???????? C4.5
• 1993 Quinlan
• ???? ????? ???? ??????? ?? ???????? ID3 (??? ??
  ???? ??? ??????? ??? ?? ????? ??? ???? ????? ?
  ... )
• ???????? C5

31
???????? ??????? ???? ID3? C4.5

• ???????? ID3
• ??? ???? ?? ???????? ?????? ????? ???? ???? ?????
• ??? ?? ???? ????? ?????? ??????
• ???? ??? ?????? ????????? ????? ????
• ???? ?????? ??????????? ???? ????????
• ??????? ???? ???? ?????? ????
• ???? ???? (Quinlan 1986, C4.5)

32
???????? ??????? ???? ID3? C4.5

• ??? ?? ???? ????? ????????? ??????
• ???? ????? ????? ??? ????? ????? ?????? ??????
  ??????? ?????.
• ??????? ?? ????? ???? ????? ????? ?? ????? ??????
  ???? ID3 ?? ?? ??????? ????? ??? ?? ????? ????
  ?? ??? ?? ??? ?????.
• ???????? ????? ??? (????? ???? ????? ?? ?????
  ??)
• Tan ? Schlimmer (1990) ? Tan (1993)
• Nunez (1988)

33
???????? ??????? ???? ID3? C4.5

• ????? ????? ?? ID3
• ???? ???? ?????? ?? ???????? ?????? ????? ????
• ???? ??????? ?? ????? ????? ????? ????????????
  ??? ????? ??? ??? ?????? ???
• ???????? ?? ?? ???????? ??????? ?? ??? ??? ???
• ???????????? ?? ????????? ?????? ?? ?? ?????
  ?????? ????.
• ???????? ID3 ?? ?? ??? ????????? ?????? ??????
  ??? ???? ? ???? ?????????? ???? ?? ???? ?????.
• ???? ????????? ?????? ?? ?? ??????? ?? ???? ??
  ??? ???? ????????? ????. ????????? ?????? ?? ??
  ?????? ????????? ??????? ?? ????????? ?????? E
  ???? ????.
• ?? ????? ?? E ??? ??? ???????? ????? ???????.
• ??? ?????? ????????? ?????? (S) ?? ????? ??
  ?????? S ? E ???? ???.
• ?? ??? 2 ??? ? ???????? ID3 ?? ???? ?????????
  ????????? ?????? ???? ???? ??.

34

• ??????? ??????? ???? ??? ????? ????

35
??????? ??????? ???? ??? ????? ????

• ??????? ???? ????? ????
• ??? ??????? ???????? ???? ????? ???? ???? ??? ??
  ?? ?? ??? ????? ?? ???????? ?????? ??? ???????.
• ??????? ?? ?????? ?? ????? ?????? ???? ?? ?????
  ?? ???? ????? ????????? ???? ???????? ??? ??
  ??????? ?????? ? ???? ??? ???? ?? ?? ??? ?????
  ??? ????? ????.
• ????? ??? ???????? ??????? ???
• ????? ???? ???? ??.
• ???? ??????? ????? ????.
• ????? ????? ????? ???? ?? ??? ??? ??????????.
• ???????? ??? CART ? ID3 ?? ?? ????? ????? ????
  ???????? ??? ??? ??????? ?????.
• ???? ???????? ??? ??????? ???? ????
• ID3
• ID4
• ID5R

36
??????? ??????? ???? ??? ????? ????

• ???????? ID3
• ???? ???? ???? ???? ????? ???? ?? ???? ???????
  ???.
• ???? ????? ??? ?????? ?? ??????? ?? ??? ? ??
  ?????? ?? ????? ???? ???????? ???? ???? ?? ??
  ????? ???? ?? ???.
• ????? ??
• ????? ???? ???? ????.
• ???? ??.
• ????? ????? ???? ID3 ????? ?? ???!

37
??????? ??????? ???? ??? ????? ????

• ???????? ID4
• ???? ??? ??? ???????? ???? ???? ????? ???? ? ????
  ???? ???????? ??? ?? ?????? ??? ??? ? ??????? ??
  ?? ?????? ???? ????.
• ????? ??
• ??? ???????? ???? ????? ????? ???? ID3 ?? ?????
  ??? ???.
• ?? ???? ????? ???? ?? ????? ???? ????? ????.

38
??????? ??????? ???? ??? ????? ????

• ???????? ID5R
• ????? ?????? ?? ?? ??????? ?? ???????? ??????
  ????? ???? ???? ?? ?? ????? ???? ?????? ????????
  ID3 ????? ???.
• ????? ??? ???????? ?? ID4 ?? ??? ????? ?????
  ??????? ?? ?? ??? ???.
• ?? ??? ???? ??? ???? ????? ?? ???? ?? ???? ???
  ????? ???? ??????? ?? ????? ??? ???? ???? ????
  ??? ??? ???? ?? ?? ??????? ??????? ?????? ??
  ????? ???? ??? ?? ???? ???? ?????.
• ???? ?? ???????? ?? ??? ????? ???? ? ??????? ???.
• ???? ??????? ????? ??? ???????? ?? ?? ??? ?????
  ????? ??? ?? ?? ?? ???? ?? ?? ???? ?? ?? ??
  ?????? ????? ?? ??????? ?? ???. ?? ????????
  ????????? ?? ?? ?? ??? ?????? ??????? ????
  ???? ?? ???.

39
??????? ??????? ???? ??? ????? ????

• ???????? ?? ???????? ???? ID5R
• ??? ???? ???? ???? ???? ?? ?? ????? ?? ??? ????
  ????? ??. ????? ??? ?? ????? ???? ?????? ????
  ???? ??? ? ?????? ????? ?? ??? ????????? ????
  ???? ???? ?????? ????? ??? ???? ???.
• ?? ??? ??? ???? ??? ???? ????? ???? ???? ??? ?
  ????? ???? ?????? ???? ?? ????? ??? ??? ???? ????
  ?????? ???? ?? ?? ?????? ???????? ??? ????? ??.
• ?? ??? ??? ????
• ??? ???? ????? ???? ???? ???? ?? ?? ?? ?????? ??
  ??? ?????? ???? ????? ?? ??? ????? ???.
• ????? ????? ???? ? ???? ?? ?? ???? ??????
  ????????? ???? ?????? ???? ???? ??? ??????? ?
  ???? ???? ???? ?? ??? ???? ?? ??? ????? ??.
• ??? ?? ??? ???? ?????? ????? ???? ??????? ??????
  ???? ????
• ???? ?? ?? ??????? ??????? ?? ?? ????? ???? ???
  ?? ???? ???? ??????? ???? ?????.
• ?? ???? ??????? ?????? ????? ???? ??????? ?? ??
  ?? ?? ??? ??????? ??? ??? ????? ?? ?? ??? d ??
  ???????? ??????- ?? ?????? ??.
• ??? ????? ?? ??? ???? ?? ???? ?????? ?? ?? ????
  ??????? ?? ?? ???? ??????? ?? ???????? ?? ? ??
  ???? ???? ?? ?? ????? ???.

40
??????? ??????? ???? ??? ????? ????

• ???????? ??????? ID5R
• ??? ????? ???? ??? ?? ????? ?? ???? ????? ?????
  ???????? ????? ???????.
• ?? ??? ??? ????
• ?? ???? ??????? ?? ?? ?? ??? ???????? ??? ???? ??
  ?? ?????? ????? ???? ??? ?? ????? ????? ???????
  ??????? ??. ?? ?????? ?? ???? ???? ???? ?? ?????
  ???.
• ????? ?????? ??? ?? ?? ???? ? ????? ???? ?? ??
  ???? ?? ?? ?? ??????????? ???? ???? ???.

41
??????? ??????? ???? ??? ????? ????

• ????? ?? ?? ??????? ???????? ID5R
• ?????? ???? ??? ???? ??????? ???? ???? ????

42
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

43
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

44
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

45
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

46
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

47
??????? ??????? ???? ??? ????? ????

• ????? ????
• ???? ????

48
??????? ??????? ???? ??? ????? ????

• ???? ???? ?? ?? ???? ?? ??? ????? ??? ??? ?????
  ??? ??? ??? ??? ?? ???????? ID5R ????? ??? ???.

49
??????? ??????? ???? ??? ????? ????

• ?????? ??????? ???????? ??? ????? ???
• ??????? ???????? ?? ?? ???? ????? ????? ???
  ?????? (n) ???.
• ?? ????? ??????? ????? ?????? ??? ?????? ??? ????
  ? ?????? ???? ????? ?????.

50
?????? ???? ??? ????? ????

• ????? ???? ????
• Using Decision Tree Confidence Factors for Multi
  agent Control

51
?????

• 1 S. R. Safavian, and D. Landgrebe, A Survey
  of Decision Tree Classifier Methodology, IEEE
  Transactions on Systems, Man, and Cybernetics,
  Vol. 21, No. 3, pp 660-674, May 1991.
• 2 R. Duda, and P.E. Hart, Pattern
  Classification and Scene Analysis, Wiley, 1978.
• 3 A. Webb, Statistical Pattern Recognition,
  Second Edition, Wiley, 2002.
• 4 T. M. Mitchel, Machine Learning, McGraw-Hill,
  1997.
• 5 P. E. Utgoff, Incremental induction of
  decision tress, Machine Learning vol. vol. 4,
  pp.161-186, 1989.
• 6 P. Stone, M. Veloso, Using Decision Tree
  Confidence Factors for Multi agent Control,
  1998.