Statistical Machine Translation

1
????????????? ??????? ??????

• ??????? ?????
• ????????????? ???????????, ??????

2
???????
3
????? ???????

• 1947 ?. ????? ??????, ???????? ????????
• ???? ??? ???? ?????, ??????? ?? ?????, ?? ?? ??
  ??????, ?? ???????? ? ?? ?????????, ?? ?????? ?
  ??? ????????? ? ??????? ??????? ???????. ??????,
  ????? ?????? ?? ???????, ?? ?? ???????
  ???????????? ?? ??????, ? ?? ?????????? ????.

4
????? ???????

• 1947-1966 ?.
• 1954 ?. ????? ???????? ?? ?????-????????? ???????
• ?????????? ???? ?? ????
• 1966 ?. ALPAC report (Automatic Language
  Processing Advisory Committee, US National
  Academy of Sciences)
• ?? ?? ?????? ????????? ?????? ?? ?????? ????? ?
  ???????? ??????.
• ????????? ?????? ?? ????????? ???????? ??????
  ???????????.

5
????? ???????

• 1966-1975 ?. ??????????????
• 1975-1985 ?. ?????????? ? ??????, ??????, ????
• 1985 ? ???? ?????????? ? ???
• http//ourworld.compuserve.com/homepages/WJHutchin
  s/MTS-93.htm

6
????????????? ??????? ?????? ???????-gt?????????
(?????????? ?? Daniel Marcu)
7
????????????? ??????? ?????? ????????-gt?????????,
2002 ? 2003 ?.
(?????????? ?? C. Wayne, DARPA)
8
?????? ?? ?????????? ?? ???????
9
?????? ?????????? ?? ???????

• ?????
• SSER (Subjective Sentence Error Rate)
• ????????/??????????
• ????????????? ?? ????????
• ???????
• ???????? ?? ??????????, ?????????? ???????
  ?????? ????. ??????????? IR
• ???????????
• WER (Word Error Rate)
• BLEU (BiLingual Evaluation Understudy)

10
??????? BLEU, (Papineni et al, 2002)
(?????????? ?? Kevin Knight)
11
BLEU ? ????????
(?????????? ?? Kevin Knight)
12
BLEU ? ????????
(?????????? ?? Kevin Knight)
13
??????? BLEU, (Papineni et al, 2002)
(?????????? ?? Kevin Knight)
14
??????? BLEU, (Papineni et al, 2002)
(?????????? ?? G. Doddington, NIST)
15
BLEU ?? ???????? ???? ?????
(?????????? ?? Kevin Knight)
16
????? ???????? ?? ???????
17
???????????? ????????

• ??????? ????????
• SVO ?????????, ?????????, ????????
• VSO ?????????
• SOV ?????, ???????
• ????????
• ?? ?????? (????.) ? ??????-?? (??.)
• ????????????? ????
• ??????? (????.) ? the man (????.)
• ???????????
• ?? (??.) elles (?.?.), ils (?.?.)
• ???????? ????????? ?? ?????
• ????. ????
• ??. ?????? (??-?????), ??????? (????)

(?????????? ?? ????? ?????)
18
???????????? ???????? (2)

• ????? ?? ??????????? ????
• En You like her. (Bg ?? ? ????????.)
• Sp Ella te gusta. (Bg ?? ?? ???????.)
• ????? ?? ??????? ?? ???????
• En The baby just ate. (Bg ?????? ????-?? ???.)
• Sp El bebé acaba de comer. (Bg ?????? ????????
  ? ???????.)
• ?????????? ???????
• En Luisa entered the house.
• Sp Luisa entró a la casa. (Bg ????? ????? ?
  ??????.)

(?????????? ?? Arturo Trujillo)
19
???????????? ???????? (3)

• ????? ?? ???????????? ?????????
• En a little bread
• Sp un poco de pan (Bg ????? ????)
• ?????????? ?????
• En Camillo got up early. (Bg ?????? ?????
  ????.)
• Sp Camillo madrugó.
• En I stabbed Juan. (Bg ???????? ????.).
• Sp Yo le di puñeladas a Juan.

(?????????? ?? Arturo Trujillo)
20
???????????? ???????? (4)

• ????????? ?? ???????
• En We went home.
• Bg ???????? ?????.
• ??????????????
• En Susan swam across the channel.
• Sp Susan cruzó el canal nadando.
• Bg ????? ???????? ??????.
• ?????????
• En Jan made a decision.
• Sp Jan tomó una decision. (Bg ?? ??? ???????.)

? ??????? ???? ?? ???????, ?? ???? ?????????!
(?????????? ?? Arturo Trujillo)
21
???????????? ???????? (5)

• ????????????? ??????
• En Frank is as tall as Jane.
• Sp Frank es tan alto como Jane.
• Bg ????? ? ????? ??????? ?????.
• ??????
• En Socrates kicked the bucket.
• Sp Socrates estiró la pata.
• Bg ?????? ????? ??????????.
• Bg ?????? ?? ??????? ????? ???????????.
• Bg ?????? ?????? ????????.

(?????????? ?? Arturo Trujillo)
22
?????????? ?? MUCH/MANY
(?????????? ?? ????? ?????)
23
????????????? (1)

• ??????????
• book (1) ????? ? ????????????? (2)
  ?????????? ? ??????
• ???????????
• ?? ?? ???? ? ????, ???? ????? ???? ? ?? ????.
• ????? ?????? ?? ????? ? ????????.
• ??????????
• ????????
• ball (1) ??? (2) ?????
• ?????????
• kill (1) ?????? (?????) (2) ?????? (??????)

(?????????? ?? Arturo Trujillo)
24
????????????? (2)

• ?????????? ?????????????
• ???????????????????
• En The computer outputs the data it is fast.
• Bg ?????????? ????????? ??????? ??? ? ????.
• En The computer outputs the data it is stored
  in ASCII.
• Bg ?????????? ????????? ??????? ?? ?? ????????
  ? ASCII.
• ????????? ?????? ?? ?????
• Bg ??? ?????? ?? ??????? ??????? ?????, ???????
  ??.
• En If the baby does not like cold milk, boil
  it/him.

(?????????? ?? Arturo Trujillo)
25
?????????? (1)

• ?????????? ?????
• Sp esperar
• Bg (1) ????? (2) ??????? ??
• Bg ????
• Sp (1) la pez (2) el pescado
• Bg ???
• Sp (1) ser (2) estar

(?????????? ?? Arturo Trujillo)
26
???? ??????? ? ?????????
(?????????? ?? ????? ?????)
27
?????????? (2)

• ???????? ?????
• Bg ???? ????? ? ???????. ?? ????? ?? ??????? ??
  ??? ????? ????????.
• Sp Mary iba a Mexico. Durante su visita,
  aprendió español.
• Bg ???? ????? ? ???????. ?????? ?? ?????,
  ??????? ?? ?????? ????????.
• Sp Mary fue a Mexico. Cuando regresó, comenzó a
  hablar español.

(?????????? ?? Arturo Trujillo)
28
???? ?? ???????? ? interlingua
29
???? ?? ????????
(?????????? ?? Jonas Kuhn)
30
Interlingua
(?????????? ?? Jonas Kuhn)
31
Interlingua
(?????????? ?? Jonas Kuhn)
32
???????? ?? ??????
33
???????? ?? ??????

• ?????? ?? ??????? ?? ?????????
• E? F
• ?????
• ???? E
• ??????? ??
• ???????? ?????? F
• ????? ?? ? ????????? ?? F?
• ??? ?? E?

34
???????? ?? ??????
(?????????? ?? Kevin Knight)
35
???????????? ???????????? (1)
??-?????? ?? ?????? ?? ????????????? ???????????.
?????
(?????????? ?? Kevin Knight)
36
???????????? ???????????? (2)
(?????????? ?? Kevin Knight)
37
???????????? ???????????? (3)
(?????????? ?? Kevin Knight)
38
???????????? ???????????? (4)
(?????????? ?? Kevin Knight)
39
???????????? ???????????? (5)
(?????????? ?? Kevin Knight)
40
???????????? ???????????? (6)
(?????????? ?? Kevin Knight)
41
???????????? ???????????? (7)
(?????????? ?? Kevin Knight)
42
???????????? ???????????? (8)
(?????????? ?? Kevin Knight)
43
???????????? ???????????? (9)
(?????????? ?? Kevin Knight)
44
???????????? ???????????? (10)
(?????????? ?? Kevin Knight)
45
???????????? ???????????? (11)
(?????????? ?? Kevin Knight)
46
???????????? ???????????? (12)
(?????????? ?? Kevin Knight)
47
???????????? ???????????? (13)
(?????????? ?? Kevin Knight)
48
????????????? ??????? ?????? ???? ?????
49
???????? ???? ??????????

• 1947 ?. ????? ??????, ???????? ????????
• ???? ??? ???? ?????, ??????? ?? ?????, ?? ?? ??
  ??????, ?? ???????? ? ?? ?????????, ?? ?????? ?
  ??? ????????? ? ??????? ??????? ???????. ??????,
  ????? ?????? ?? ???????, ?? ?? ???????
  ???????????? ?? ??????, ? ?? ?????????? ????.

50
??????? ????????? ?? ???
(?????????? ?? Kevin Knight)
51
?????????? ?? ??????? ?? ??? (1)
?????? ????????? ??????, ????? ? ????????????
?????????? ? ?????????? ????? ? ???????? ?????.
(?????????? ?? Dan Klein)
52
?????????? ?? ??????? ?? ??? (2)

• ?????? ????? (language model)
• ????????? ????? ? ? P(e)
• ????? ????????? ? ?????? ??????????
• ??? ????????? ? ????? ??????????
• ????? ?? ??????? (translation model)
• ?????? ?????? ltf,egt ? P(fe)
• ltf,egt ?? ?????? ? ?????? ??????????
• ltf,egt ?? ?? ?????? ? ????? ??????????
• ?????? ????????? (decoder)
• ?????? ??????? P(e) ? P(fe), ? ????????? f
  ?????? ?, ????????????? P(e).P(fe)

(?????????? ?? Kevin Knight)
53
??????????? ?? P(e) ? P(fe)
??? ?? ???????? ?? ??????? ?? ????????? une
fleur rouge?
P(e) P(fe) P(e).P(fe)
a flower red ? ? ?
red flower a ? ? ?
flower red a ? ? ?
a red dog ? ? ?
dog cat mouse ? ? ?
a red flower ? ? ?
(?????????? ?? ????? ?????)
54
??????? ????????? ?? ???
??????? ?? ??? ?????? ????? ?????? OCR,
???????????? ?? ????? ? ??.
(?????????? ?? Kevin Knight)
55
????? ?????? ????? ??????????...
??? ????? ???????? ??-?????? ???????
(?????????? ?? Kevin Knight)
56
????? ?????? ????? ??????????...
??-?????? ?????? ?? ??-??????? ???????? ?? ??
??????? ?? P(e)
(?????????? ?? Kevin Knight)
57
????? ?????? ????? ??????????...
??????? ?? ?????????, ???? ?? ?????????? ????????
Bleu ????? ???????????? ??????.
?? ????? ???????? ??? ????????? ????????? ??
???????? ??? knowledge sources (KS)
(?????????? ?? Kevin Knight)
58
????????????? ??????? ?????? ?????? ?????P(e)
59
?????? ?????

• ??? ?? ?????????? ????? ???? ???? ?????????.
• ????? ? ??????????
• ???? ????? ????????
• ????????????
• P(I saw a van.) gtgt P(Eyes owe of an.)
• ??????????, ?? ????? ???????? ?? ?????????????
  ?????? ???????
• ? It is not easy to reck a nice beach.
• ? It is not easy to recognise speech.
• ? ? ???????? ??? ??? ?????? ? ???????? ??????
  ??????.

60
???????
????????? ????? ?? ????? ???.
61
???????
??????????? ?? ????????
????? ? ??? P(ltSTOPgtfood).
62
????????????? ??????? ?????? ????? ??
???????P(fe)
63
?????????? ?? P(fe)

• P(fe) ?? ??? ?? ????????? ??????
• ?? ???? ???????? ???? ?????????? ?????.

(?????????? ?? Kevin Knight)
64
?????????? ?? P(fe)

• ????????? ?? ????? ??????

(?????????? ?? Kevin Knight)
65
????? 3 ?? IBM ??????????

• ?????????? ?? ??????? ???????? ??????

????????????? ????? ?? ????? ??????? ??
????????? ?????.
(?????????? ?? Kevin Knight)
66
????????????

• ???????????? ?? ????
• ????????
• ????????? ??????
• ?????
• ???????????????
• ?????????
• ????????? ?? Gale Church
• ????
• ?????? ?? IBM

67
???????????? ?? ?????????
(?????????? ?? Jonas Kuhn)
68
???????????? ?? ?????????
(?????????? ?? Jonas Kuhn)
69
???????????? ?? ???? 1M
(?????????? ?? Brown et al., 1993)
70
???????????? ?? ???? M1
(?????????? ?? Brown et al., 1993)
71
???????????? ?? ???? MM
(?????????? ?? Brown et al., 1993)
72
???????????? ?? ???? (1)

• ????????? EM
• ?????????????. ????????????? ??
• ?????? ?????????????
• P(??????? ???? ????????? ????)

73
???????????? ?? ???? (2)

• ????????? EM
• the ?? ????? ????? ?????? ? la ? ? maison
• ??????????? P(thela)
• ??????????? P(themaison)

74
???????????? ?? ???? (3)

• ????????? EM
• ????? ????????, ???? ??????? ????????...

75
???????????? ?? ???? ?????? (1)

• ?????? (t) ? ??????????? (n)

He does not speak. Il ne parle pas.
(?????????? ?? Brown et al., 1993)
76
???????????? ?? ???? ?????? (2)

• ??????

(?????????? ?? Brown et al., 1993)
77
???????????? ?? ???? ?????? (3)

• ??????????

(?????????? ?? Brown et al., 1993)
78
???????????? ?? ???? ?????? (4)

• ?????????????

(?????????? ?? Brown et al., 1993)
79
?????????? (1)

• ? ???????? ?? IBM
• ???-????? ???????????? ? ?????
• ???-????? ?????? ? ??????

(?????????? ?? Dan Klein)
80
?????????? (2)
(?????????? ?? Dan Klein)
81
?????????? (3)

• ????
• ??????? ????
• ????? P(ww)
• ????????? ????????? ?? ??????????? ??????.

(?????????? ?? Dan Klein)
82
?????????? (4) Ce ne est pas clair.
(?????????? ?? Germann et al.)
83
?????????? (5)

• ???-????? ???????? ???????
• ?????????? ?????? ???????? e ? ???????
  P(e).P(fe)
• ????? ???????
• ?????? ?? ????? ??????? ???? ? ???-???????
  ?????????
• ????????
• ????? ?? ??????? ?? ???? ????????? ????
• ???????? ?? ???? ? ??????????
• ????????? ?? ???? ?? ??????????
• ??????? ?? ??? ????????? ????
• Hill climbing (??? annealing)

(?????????? ?? Dan Klein)
84
(?????????? ?? Germann et al.)
85
?????????? (6)

• ??????????? (Stack decoder)
• ????
• ???????????
• ??????? ?????? ?? ????? ???????? ???????
• ??????????? ????????????? ????????????
• ?????????
• ?????
• ????????? ??????????
• ???????? ??? ?????????? ????????

(?????????? ?? Dan Klein)
86
???????? ??? ???????? ?? IBM

• ??????? ???? ?? 1M
• ?? ???? ???????
• ????????? ????
• ?? ???? ???????
• ?? ??????? ????? ?????
• real estate, note that ? ??.
• ?? ??????? ????? ????????
• interest in ? ??????? ???
• interest rate ? ?????? ???????
• ???????? ??? ??????????? ?????????????

87
????????????? ??????? ?????? ?????????? ? ????
?????
88
?????? ?????
(?????????? ?? Dan Klein)
89
?????? ? ?????

• ??????????? ?? ??????? ?? ?????
• ?????????? ????????????????
• ?? ?????????? ???????????? ??????????
• ????? ????? ?? ???????? ?????????.
• ??????? ?? ??????????.

(?????????? ?? Kevin Knight Philipp Koehn)
90
?????? ? ?????

• ??????? ???? ? ??????? ????
• ?????????? ?? ???????? ????????
• ??????????????? ?????
• ?????? ????? ??-????? ?????

91
????????? ?? ????? (1)

• alignment templates (Och et al, 1999)
• ????? ?? ????????????? ????-????

(?????????? ?? Jonas Kuhn)
92
????????? ?? ????? (2)

• alignment templates (Och et al, 1999)
• ????? ?? ????????????? ????-????

(?????????? ?? Jonas Kuhn)
93
????????? ?? ????? (2)

• alignment templates (Och et al, 1999)
• ????? ?? ????????????? ????-????

(?????????? ?? Jonas Kuhn)
94
????????? ?? ????? (3)

• alignment templates (Och et al, 1999)
• ????? ?? ????????????? ????-????

???????? ?????? ?????
(?????????? ?? Jonas Kuhn)
95
????????? ?? ????? (4)

• alignment templates (Och et al, 1999)
• ????? ?? ????????????? ????-????

??
??
??
(?????????? ?? Jonas Kuhn)
96
????????? ?? ????? (5)
(?????????? ?? Kevin Knight Philipp Koehn)
97
????????? ?? ????? (6)
(?????????? ?? Kevin Knight Philipp Koehn)
98
????????? ?? ????? (7)
(?????????? ?? Kevin Knight Philipp Koehn)
99
????????? ?? ????? (8)
100
????????? ?? ????? (9)
101
????????? ?? ????? (10)

• ?? ????? ?????? ????? ?? ????????? ??????????
• ?????????? ??????

(?????????? ?? Kevin Knight Philipp Koehn)
102
????????? ?? ????? Bleu (11)

• (Koehn et al., 2003)

(?????????? ?? Koehn et al., 2003)
103
?????????? (1)
104
?????????? (2)
105
?????????? (3)
106
?????????? (4)
107
?????????? (5)
108
?????????? (6)
109
??????????? ??? ?????????? ? ?????

• ????? ? ?????
• ?????? Ich habe das Auto gekauft.
• ????. ?? ????? ??????.
• ????? ?????? habe gekauft
• ??????????? ?????????????
• ?????? Den Antrag verabschiedet das Parlament.
• ????. ?????? The draft approves the Parliament.
• ??????? ? ???????, ??????? ?? the draft ?
  ??????????.

(?????????? ?? Kevin Knight)
110
????????????? ??????? ?????? ??????????? ??????
111
???? ??????????? ???????
(?????????? ?? Yamada ? Knight)
112
????? ?? Yamada Knight (2001)
(?????????? ?? Yamada ? Knight)
113
????? ?? Yamada Knight (2001)
(?????????? ?? Yamada ? Knight)
114
????????? ???????
115
?????? Europarl
Source Europarl A Parallel Corpus for
Statistical Machine Translation, Philipp Köhn,
MT summit X, September 2005
(?????????? ?? Philipp Koehn)
116
Europarl 11 ????? ?????????
(?????????? ?? Philipp Koehn)
117
???????? ?? ???????
(?????????? ?? Philipp Koehn)
118
?????????? ??/??? ????? ????
(?????????? ?? Philipp Koehn)
119
FR?EN Version X
Pharaoh, Systran ??? ??????
(?????????? ?? Philipp Koehn)
120
FR?EN Version Y
Pharaoh, Systran ??? ??????
(?????????? ?? Philipp Koehn)
121
FR?EN Version Z
Pharaoh, Systran ??? ??????
(?????????? ?? Philipp Koehn)
122
FR?EN
Pharaoh, Systran ??? ??????
Bleu 25.97
Bleu 20.57
123
EuroMatrix ???????? ????????

• ???????? ?????? ????? ?? ?? ???????

(?????????? ?? J.Hutchins Compendium of
Translation Software, 10th Edition)
124
??????????
125
??????????? ? ??????????

• ???????????
• ??????????? Systran (Altavista, Google)
• ????????????? LanguageWeaver, Microsoft, Google
• ??????????? ??????????
• ???????????? ????? (translation memory)
• ??????????? ???? ????????? ? ???
• Caterpillar English
• ???????? ????????? ????
• Xerox ?????? ??? ??????? ??????? ??????!

126
?????????
127
????? (BIS 21)

• ?????? ????????? lt-gt ?????????
• XML ?????? (22,5 MB)
• 112 ?????????
• ????? ?? ??????
• ???????????
• ??? (????????? ? ??.)
• ????????? ???????????
• ????????? ???????????????
• ????????? ????????

128
????? (BIS 21) ??????
???????????? ????, ??????????, ???? ?? ????? ?
??. ?? ?? ???????.
129
???????????? ? ??????? ?????

• ?????????
• ????????? 110
• ????????? 45 883
• ???? 907 271 (????. 1 017 703)
• ????????
• ????????? 2
• ????????? ???????????
• ???
• ????????? 428
• ???? 11 741 (????. 12 550)

30 ???? ??-????? ????? ?? Europarl!
130
?????????? ?? ???????

• ???????????? ?? ???? ?????????
• ???????????
• ?????????? ?? ???????? ?????

131
?????? ????? ?????????
132
?????? ????? ?????????
133
???????????? ?? ???? ???? EM

• GIZA (?? Franz Josef Och)
• http//www.fjoch.com/GIZA.html
• EM ?? ???????????? ?? ???? ????
• ?????? Bg-En
• Sentence pair (1) source length 8 target length
  4 alignment score 1.59891e-07
• implementation of lifelong learning
• NULL ( ) ????????? ( 1 ) ?? ( 2 )
  ??????????? ( ) ?? ( ) ??????? ( 3 ) ????
  ( ) ????? ( 4 ) ????? ( )

134
???????????? ?? ???? ???? Bg-En
135
???????????? ?? ???? ???? Bg-En ? En-Bg
136
?????????? ? ????? 4 ?? IBM

• The CMU Statistical Language Modeling Toolkit
• http//mi.eng.cam.ac.uk/prc14/toolkit.html
• ISI ReWrite decoder (?? Daniel Marcu and Ulrich
  Germann)
• http//www.isi.edu/licensed-sw/rewrite-decoder/

137
????????? ?? ????? ? ?????????? ? Pharaoh

• SRILM The SRI Language Modeling Toolkit
• http//www.speech.sri.com/projects/srilm/
• Pharaoh a beam search decoder for phrase-based
  statistical machine translation models (by
  Philipp Koehn).
• http//www.isi.edu/licensed-sw/pharaoh/

138
???????? ????? ?? Pharaoh

• ????? ????????? , ???? ? ?????????? both
  physical and psychological
• ????? ?????? ?????? like the whole region
• ????? ?? ?? ?????????? as defined
• ????? ? ??????? as well as the size
• ????? ? ?????????? ??????? ??????? in line
  with previous regular reports
• ????? ? ?? ????? and in other
• ????? ? ??????? and also about
• ????? ?? as
• ????? ?? were
• ????? ?? ?????????? ?? as provided to
• ????? ?????? as follows ,

139
???????? ????? ?? Pharaoh

• in combination ? ??????????
• in combination ? ?????????
• in combining ??? ?????????
• in combining ??? ????????? ??
• in charge of ????????? ??
• in charge of ????????? ??
• in charge , ?????????
• in charge , ??????????
• in charge , ?????????
• in charge ?????????

140
????EN ? BG???? 1
141
?????? ????? ?????????
142
?????? ?? ????????? ?????
143
?????? ?? ????????? IBM, ????? 4
144
?????? ?? ????????? Pharaoh
145
?????? ?? ????????? WebTrance
146
?????? ?? ????????? Bultra
147
?????? ?? ?????????? ? BLEU

• Bleu scoring tool
• http//www.statmt.org/wmt06/shared-task/multi-bleu
  .perl

148
????????? ? BLEU EN?BG, ???? 1
149
????EN ? BG???? 2
150
?????? ????? ?????????
151
?????? ?? ????????? ?????
152
?????? ?? ????????? IBM, ????? 4
153
?????? ?? ????????? Pharaoh
154
?????? ?? ????????? WebTrance
155
?????? ?? ????????? Bultra
156
????????? ? BLEU EN?BG, ???? 2
157
????BG ? EN???? 1
158
?????? ????? ?????????
159
?????? ?? ????????? ?????
160
?????? ?? ????????? IBM, ????? 4
161
?????? ?? ????????? Pharaoh
162
????????? ? BLEU BG?EN, ???? 1
163
????BG ? EN???? 2
164
?????? ????? ?????????
165
?????? ?? ????????? ?????
166
?????? ?? ????????? IBM, ????? 4
167
?????? ?? ????????? Pharaoh
168
????????? ? BLEU BG?EN, ???? 2
169
BLEU ? ????? ??????

• ???? 1 (???????????)
• ???? 2 (???)

???????? ?? ????????? ?? ????????? ? ??-?????.
?????
170
????

• ????????

????? ???? ?? ????????????? ??????? ??????, ??
4 ???? ? ????????, ???, ?? ?? ??????
?????????? http//www.sims.berkeley.edu/nakov/mt
/