?1943?,McCulloch?Pitts??????????????? ?

1
???

• ???

2
2.1 ??

• ?1943?,McCulloch?Pitts??????????????? ?
• ??????Hebb??????,??????????,?????????????????
• Rosenblatt????????????,?????????(perceptron)?
• ?????????????? (synaptic weights) ????
  (threshold) ???????? (neuron) ????
• ????????????,??????????????????,??????????(classif
  ier)???

3
2.2 ??????? (1)

• ?????????????????????????,???????? (hard limiter)
  ??,??2.1???
• ????,????????????????,?????????
  1??,????????????,????????? -1?

?2.1?????????
4
2.2 ??????? (2)

• ???????????????? 1,?????? C1 ??????????
  -1,?????? C2 ???
• ????????????????,???????????????????

(2.2)
?2.2????????????????
5
2.3 ??????? (1)

• ????????
• ???????????,? w(0) ??????,??????? n
  ???1?
• ??????????
• ??n??????,?????? x(n),??????????
• ??????????
• ???
• ????? n ?1??????

(2.11)
6
2.3 ??????? (2)

• ????????,???????????????,??????????????,?????

?2.4????????????????(a)? d-1?y1 (b)?
d1?y-1 ?
7
??2.1??? (1)
???? x(n) ????? d(n)
(0, 0) T 1
(0, 1) T 1
(1, 0) T -1
(1, 1) T 1
??? ? ? 0.8,????????????? (0, 1), ??????sgn??,????
???-1
(1) n0
8
(1) n 1,
(2) n 2,
(3) n 3,
(4) n 4,
9
(5) n 5,
(6) n 6,
?2.5????????? 4, 5, 8 ?????????
10
??2.1??? (2)

• ??????? ? ??? 0.1,?????????
• ???????????????????,????????? -1,????????
  1,????,????????????????
• ????,????????????????????????????????????????????
  ???

11
2.4 Widrow-Hoff ?? (1)

• ???Widrow?Hoff?1960????????????? (Adaptive
  Linear Element ??? Adaline) ?????,???Widrow-Hoff??
  ???????? ?
• ??? Adaline ???????????,??????????????,???????????
  ????,? Adaline ????????????????????????

?2.6Adaline ???????
12
2.4 Widrow-Hoff ?? (2)

• ??????/???, ,
  ???????????
• ???? Adaline ? LMS ????????????????
  ,??????? ???? (mean
  square) ??,??
  ????????????? Wiener-Hoff ??? ?
• ?????? (mean-square error) ?
• ?? E . ??????????

(2.17)
13
2.4 Widrow-Hoff ?? (3)

• ??? ???(2.17)??????
• ???????(2.19)???????????
• 1. ????? d ??????(mean-square value)?
• 2. ????? d ????? ?????????
  (cross-correlation function)?
• 3. ????? ? ???????????
  (autocorrelation function)?

(2.18)
(2.20)
(2.21)
(2.22)
14
2.4 Widrow-Hoff ?? (4)

• ???????????,??????(2.19)????
• ??????? J ??? ????,????????????,?????????? p
  ????
• ? ??? ????,??(2.24)???????????
  ??? p ???????
• ????????Wiener-Hopf ????,???????????????????
  Wiener ????

(2.23)
(2.24)
(2.25)
15
2.4 Widrow-Hoff ?? (5)

• ?(2.25)?????????????
• ?? ,
  ???
• ????????,?
  ???
• ??????????
• ????,Wiener-Hoff ??????
• ???,?????????????????????????????,?????????? R
  ????,?????????????,??????????? LMS ???,????????
  Wiener-Hoff ????

(2.26)
(2.27)
16
2.4.1 ??????? (1)

• ???????????? ??????? ????,???????(instantaneous
  estimates) ?????????????,???????????????
• ??(2.21)??(2.22)????
• ?? LMS ?????????,???? ?????????????????,??????

(2.28)
(2.29)
(2.30)
17
2.4.1 ??????? (2)

• ??(2.28)??(2.29)???(2.30)????
  ,???????

(2.31)
????(2.31)?,??? ???
, ????(2.31)???????????
18
2.4.1 ??????? (3)

• ????????,?
• ????????? n 1,????
• ?????????1,??????

19
2.4.1 ??????? (4)

• ?????????????????????????
• ???????????????????,????????? ??????
  ??,??????? LMS ???????????????,???????????????
  ?????? ?
• 2. ???????????? (linearly inseparable) ????,LMS
  ???????????????????,????????????????,????????,????
  ??????,?????????????????????????????
• 3. ??????????? (linearly separable)
  ?,????????????,????????????? LMS
  ????????,?????????????????,?????????????????

20
2.4.1 ??????? (4)
?2.7(a) ??????? (b) LMS ?????????
21
2.5 ??????? (1)

• ????????????????,?????????,?????????????????(2.28)
  ??(2.29) ??? (2.23) ????
• ??????????,J,??????????????????

22
2.5 ??????? (2)

• ???????????2.8??????,????,???????????????????????,
  ??????????????????,???????????????????????????

 
?2.8?????????????
23
2.5 ??????? (3)
?2.8???????????
24
2.6 ???????? (1)

• Gallant?????????(pocket algorithm) ?
• ??????????????? ???
• ?????????????? ,???????????
• ?
• ???
• (a)?????????? ??????? ???????,?????????????,????
  ??????????
• ?????????????,?? ???
  ,????????????????????
• (b)?????????? ????? ????,???????????
  ?
• ?????????

25
2.6 ???????? (2)

• ???,??????????????????????,???????????????????????
  
• ????????????????,???????????????
• ???????????????,???????????????????AND???,????????
  ??????????? (convex) ??????
• ????????????????????,??????????????AND???,????????
  ?????OR???,?????????? (concave)??????????????

26
2.6 ???????? (3)

• ?????????????????????
• ??????????,???????????????????????,???????????????
  ?,????AND?OR????

?2.9????????????????
27
2.7 ??

• ??????????????????????????????,??????????????,
  ????????????
• ???????,???????????????,????60?????,?????????????
  ???????????,?????????????????????????,????????????
  ,????????
• ??80??????,??????????,?????????????????,??????????
  ????