IRLAB

1
??

• IRLAB

2
??

• ??????????
• ???
• ?????
• K??

3
??????????
4
???????

• ???
• ????
• ????
• ???
• ??
• ???,???,???

5
?????????

• ???
• ?????
• K??

6
???

• ??
• ??????
• ??????????
• ??????????
• ?????????????
• ??????????

7
??

• ???????????????CLS,?????ID3??????,??????????????C4
  .5???????????CART?Assistant?
• ??????????????
• ??????????????
• ?????????????????????

8
???????

• ??????????????????????????,???????????????????????
  ?????????????,?????????????????????????

9
?
10
???
11
??????????

• ??????-?????
• ????????????
• ?????????
• ??????????
• ????????????????

12
????

• ??????????????????????????????????,???????????????
  ??????,??????????????,????????????????????????,???
  ???????????????????????NP-???,????????????????????
  ????

13
??????????(??)

• ????
• ??

14
(No Transcript)
15
????????????
16
??
17
(No Transcript)
18
(No Transcript)
19
(No Transcript)
20
(No Transcript)
21
ID3??

• ????Root??
• ??Examples???,????label?????Root
• ??Examples???,????lable-????Root
• ??Attributes??,????????Root,lableExamples????????
  ??
• ????
• A?Attributes??????????
• Root??????A
• ???????
• ?Root????????????Avi
• ?Example-vi?Examples???A????vi???
• ??Examples-vi??
• ??????????????,???lableExamples?????
  ?????
• ??????????????ID3(example-vi,target- attribut
  e,attributes-A
• ??
• ?? Root

22
C4.5

• C4.5??ID3?????
• ???????
• ?????????
• ????????
• ?????

23
?????????????

• ????
• ID3????????????????
• ?????????,ID3???????????
• ???ID3???????????
• ID3?????????????????????

24
??????????(1)

• ????????
• ????????????????,??????????????????????,??????????
  ?(overfitting),????????????????????????

25
????

• ????????????,????????????????????
• ????(forward pruning)
• ????(backward pruning)
• ????,??????????,???????????????????????????,?????
  ??????????????????????(MDL)??????

26
??????????(2)

• ???????
• ???????????
• ?????(gain ratio)?Gini-index?????(distance
  measure)?????????????,??????????

27
??????????(3)

• ????????????
• ?????????

28
??????

• ???????????
• ???????????
• ???????????
• ??????????????????

29
????

• ????????????
• ??????,???????????
• ??????????,????????????
• ???????

30
?????????????
31
?????

• ?????????????
• ????? ,??A1,A2,,An?n??????,????????????p1,p2
  ,...,pn,? ??????,?????
• ???,????
• ???0,??????

32
?????

• ?????????,Occam?????Occam?????????????,???????????
  ??????50????,?E.T. Jaynes??,?????????????????????
  ????????,??????????(???????????????)??????????????
  ?????????????????????????????

33
?????????

• S.Pietra?V.Pietra?????????????????????,???????????
  ???????
• A.L.Berger?S.Pietra?V.Pietra??????????????????,???
  ????????????????????
• S.Abney?????--???(Attribute-value
  Grammars)?????????????
• ????????????????????,?????????????,????????
• A.Borthwick????????????(Named Entity)???

34
?????

• ???????(x1,y1),(x2,y2),,(xN,yN),??x???,y???
• ?x??????,y?????,???y?????????
• ?x??????,y??????
• ??????????????????
• ???x?y???????????,????????0?1????????

35
?????

• ?????????????????(x,y)??????,?
• ???????,???????????????????????

36
?????

• ????????????????
• ? ???,??f????????????,???????,????????????????????
  ?

37
???

• ?????????,?????????,???????????,????

38
?????

• ?????,????????????????????,?
• ??p??????C??????????
• ??????????????????????,??????????,???????????????,
  ??????????????????????,????????????????,????????(x
  ,y)??????,????,?????????p(yx)???????

39
???????

• ?????????,??????????????????????????????????
• ??

40

• ??????
• ??
• ???????

41

• ?????,Danroch ?Rateliff?1972????????GIS(Generali
  zed Iterative Scaling Algorithm)??133?D.Pietra??
  ??????????????,????????????,???IIS(Improved
  Iterative Scaling Algorithm)??,?????????,IIS??????
  ?????????????

42
IIS??

• IIS????
• ?????,
• x,y???????
• ??
• 1?            ???,
• 2?            for i1 to n ??
• a)        ? ???????
• ??, ?(3-3)?f??????????????(x,y)???????
  ?
• b)       
• c)        ?? a)? ??
• 3?            ????

43

• ???????????

44
????

• 1 ??? i0, ai0
• 2
• 3   ? , i, ???2,
• 4   ????, ????, ?

45
??????????

• ????????????????????????????????
• ??????????????????????????????????????????????????
  ???????
• ???????????????????????????

46
K??(KNN)

• ???????
• ???????x,???????????x1?????????x??x1 ?????
• ??????????- KNN
• ???????????? KNN

47
??

• ???????N??y??
• ???N??y??????x
• ??k???????
• ?n1,n2????????c1,c2???
• ??p(c1y)gtp(c2y),??c1,????c2

48
??

• ???????????
• ????

49
Thanks!