??

1
??????????????????????????????????

• ?????????????
• ???????
• ??????????? ????
• ?? ??

2
?????

1. ????
2. ???????????
3. ????????????
4. ????
5. ?????

3
??1

• ????????????????????
• ????????(SRN)????FSA??????? (Schreiber et
  al.1989)
• ??????????????????FSA??????????????
• 2????????????(RNN)????????????(Giles et
  al.1992)
• ????????FSA??????????

4
??2

• SRN??????(?????)?????
• ?????????????????????FSA?????????
• ????????????????????????????????
• ??????? ? FSA?????

5
??3

• ?????????????
• ??????? ? FSA?????
• ??????????????????????????
• ????????????????
• ? BP????????

???
6
??4

• ???????????(S-MLP)????????,2001
• ????????????
• ???????????
• ??????????? ? ?????
• ??????????????????????????

7
?????

• S-MLP?SRN????????FSA??????????????
• ??????????????????????????????FSA??????

8
???????????

• ?????????????????(MLP)??????????????
• ??????????????????
• ??????????????Rosenblatt???????????????????
• ??????S-MLP?????PS-MLP????

9
????????
10
????????(SRN)

• Elman??????????
• RNN??????????????
• ??????????????????????????
• ????????????????????????????????????????????

11
???
???
???????
???
???
???
?1 SRN?????????????
12
????

• ?????
• ?????????-2.02.0????????????
• ??????????1.0???
• ??????????????????
• ????????????????????????????????

13
????(1)

• ???4????????????
• 1. ????1???????0?????
• 2. 0?3????????
• 3. 1?0??????3??????
• 4. 0101

??1??
0 0 0 0 1 1 0 0 0 1 1 1 0 0 0 1
14
????(2)
?2 ??1????
15
??1

• 100???????????????
• ??36???40?????????
• ?????????????????
• ?????????????

?1 ???????1
input 1 0 0 1 1 1 0 1
teacher 1 0 1 1 1 1 0 0
16
?? ??1

• ????????????????????

?2 1?????
hidden units 3 4 5
data ave. 7877 4892 3836
max. 42449 30016 36645
min. 219 69 62
time ave. 1.92s 3.16s 1.01s
right/wrong 30/10 30/10 30/10
17
??2

• ??35??????bit????????????
• ?????????????
• ????????FSA???

?3 ????????????1
length 3 3 3 5 5 5
input 000 001 010 11101 11110 11111
teacher 111 111 110 11100 11111 11111
18
?? ??2 (1)

• 1?2?4???????????FSA???????????

?4 1?????
hidden units 3 4 5
state Ave. 6.3 7.6 8.0
state min. 5 5 6
right/wrong 43/13 43/13 43/13
19
?? ??2 (3)
?3 ??1?????3?4??????????FSA
20
?? ??2 (4)
?4 ??1?????5??????????FSA
21
??

• S-MLP(PS-MLP)????SRN?FSA?????? ? S-MLP?SRN??????
• ??????FSA????????????
• ???????????????????
• ??????????(??????)????????
• ??????FSA?????????????????????

22
?????

• ?????FSA??????????
• ????????
• ????????????????????????
• ???????????????????(???????????)
• ???????????????
• ?????????????
• S-MLP??????
• ??????????????????

23
??????

• ?????????????????????????????(??MLP)????

24
????????????

• ?????????????????????

n????????? n?????k1.6?n?????k1.7 ????n2?3??kn1
.5?2.5???
1
0
25
???????

• ?????Rosenblatt?????????????????????????????
• ????????????????????

26
2???
27
3???(1)
28
3???(2)
29
4???(1)
30
4???(2)
31
??????????

• ??
• FSA??5??? M(K,S,d,q0,F) ???
• K???????????????????
• S????????
• d?KS??K????(????)
• Q0 (?K) ?????
• F(?K)?????
• FSA???????????????

32
????

• ??FSA?M????x??????????????????????r????
• r?F??????x?M?????????
• ??????????????
• FSA??????????????????

33
SRN????(??????)

• ???????????(??????)
• ???1?????????????
• ??????
• ????????????????????
• ??????????????????????????????????????????????????
  ????????????????????
• ??????????????????????????????????????????????????
  
• ??????????????

34
????????
???
000000
Data1
satisfied

Datax
001001
unsatisfied
001001
110010
Datax1
satisfied

Datan
111111
satisfied
35
??1

• ?????????????(ANN)?????????????????????????
• ANN????????????????????????????????????ANN????????
  ???????
• ??????????????