??????????%20NLP

1
?????????? NLP
2
Natural Language Processing
3
??????

• ?.?.??????? ????? 4420002
• ?.?.?????? ???????? 4420083
• ?.?.????? ?????? 4420193
• ?.?.????? ???????? 4420339
• ?.?.????????????? ?????????? 4420349
• ?.?.???????? ????????????? 4420353
• ?.?.?????? ??????? 4420463

4
Natural Language Processing (NLP)
?????????????????????????????????????????????
?????????????????????????????????????????????
??????????????????????????????????
???????????????????????????????????????
5
?????????????????????????????????????????
1. ????????????????????????????????????????????
???????????????????? 2.
??????????????????????????????????????????????????
????????????????????????? ???????? ???????????????
?????????????
6
??????????????????????????????????????????????????
????????????????????????? ????????????????????
???????????????????????? ???????????????????????
???????????? ?????????????????????? (conceptual
knowledge) ??????????????????????????????????????
????????????????????????????
7
????????????????? (inferential knowledge)
??????????????????????????? ????????????????? ???
???????????? ???????????????????????????????????
???????????????????????????????????????
8
??????????????????????????????? ????????????????
?????????????????? (lexical knowledge)
????????????????????????? ???????
????????????????????????? (morphological data)
???????? ????? ???????????????????????
9
???????????????????????? (syntactic
knowledge) ??????????????????????????
???????????????????? ??????????????????
?????????????? ????????????????????????
(semantic knowledge) ?????????????????????????????
?????? ?????????? ???????? ????????????
(semantic nets)
10
?????????????????????????????? (discourse
knowledge) ???????????????????????????????????
????????????????? ????????????????????????????????
???????????????????
11

• ????????????????????????????????? (inferential
  knowledge) ???????????????????????????????????????
  ??????????????????????????????????????????????????
  ??????????? ???????????????????????????
  ??????????????????????????????????????????????????
  ???????????

12
?????????????????????????
13
?????????????????????????

• ??????????????????????????????????????????????????
  ???????????????????????????????????
• Talkwriter
• ??????????????????????????????
  ??????????????????????????????????????????????????
  ???????????????????? ?????????????????????? word
  processing ???????????????????????????????????????
  ?????????????

14
(No Transcript)
15

• Content scanning
• ????????????????????????????????????????????????
  ?????????????????? ???? ?????????????????????????
  ?????? ??????????????????????????????????????????
  ?????? ??????????????????????????????????
  ??????????????????????????????????????????????????
  ?????????? ???????????????????????????????????????
  ??????? ??????????????????????????????????????????
  ???????????? ????????????????

16

• Database interface
• ???????????????????????? ?????????
  ??????????????????????????????????????????????????
  ?????????????????????????????????????????????????
  ??????????????????????????????????
  ??????????????????????????????????????????????????
  ????????

17

• Machine translation
• ??????????????????????? ????????????????????????
  ?????????????????? ??????? ??????????????????????
  ?????? ??????????????????? ???????????????????????
  ?????????? ???????????????????????????????????????
  ????????????????? ??????????????
  ??????????????????????????????????????????????????
  ????????????? ???? database interface ??? text
  editing ???????????

18

• Text editing
• ????????????????????????????????? NLP
  ???????????????????????????????????????????????
  word processing ??????????????????????????????????
  ?????

19
???????????????

• ??????????????????????????????????????????
• ??????????????? ???????????????????????????????
  ?????????? ??????????????? ???????????????????????
  ??????????????????????????????????????????????????
  ?????????????????? ??????????????? (formal
  language)
• ???????????? ???????????????????????????????????
  ?????????????????????? ???????????????????????????
  ??????????????????????????????????????????????????
  ???????????????

20
??????????????????????????(natural language
entity)

• ??????????
• ???????? ??????????????????????????
  ????????????????????? ??????????????????
• ?? (word) ????????????????????????????????????????
  ?
• ?????? (sentence) ????????????????????????????????
  ??????????????? ??????????????????????????????????
  ????????????

21
??????????????????????????????????????????? BNF

• ??????????????????????????????????????????????????
  ???????????????????????????????????????
  ???????????????????????????????????
  ???????????????????????????????????? BNF
• ??????????????? BNF ??????? ??????????????????????
  ???????????????? ????????????????? - ????
• A - BC ??????? A ?????????? B ??? C
• ???????????????? ???????????????? ???? (or)
  ????
• ltSUBJECTgt - I WE
• ltVERBgt - SEE HIT GRAB
• ltOBJECTgt - HIM HER YOU
• ltSENTENCEgt - SUBJECT VERB OBJECT .

22
??????????????????????????????????????????????????
?????????????????????????? ????

• STATEMENTgt - ASSIGNMENT GOTO IF
  IO
• ltASSIGNMENTgt - I ALEX
• ltGOTOgt - GOTO number
• ltIFgt - IF CONDITION THEN STATEMENT
• IF CONDITION THEN STATEMENT
• ELSE STATEMENT
• ltCONDITIONgt - ALEX ALEX ALEX ALEX
• ALEX gt ALEX
  ALEX lt ALEX
• ltCONDITIONgt - CONDITION AND CONDITION
• CONDITION OR CONDITION
• NOT CONDITION
• ltIOgt - READ i WRITE i
• ltALEXgt - arithmetic expression
• ltigt - identifier

23
??????????????????????????????????????????
??????????????????????????? ??????????????? ????
??????????????????????????????????????? BNF
??????????????????????????????????????? 4
?????????
1
?????????????
2
3
4
24
????????????????????????????????????????????? lttha
i_charactergt- char_level1char_level2char_leve
l3char_level4 ltchar_level1gt -
t_tone_mark ltchar_level2gt -
t_upper_vowelt_tone_mark ltchar_level3gt -
t_consonantt_normal_vowelt_numeric
t_special_mark ltchar_levelgt
- t_lower_vowel ltt_tone_markgt - ltt_upper_mar
kgt - ltt_normal_vowelgt - ? ? ? ? ?
? ltt_consonantgt - ? ? ? ? ? ?
ltt_numericgt - ? ? ? ? ? ? ? ? ?
? ltt_special_markgt - ? ? ( ) .
, ltt_lower_vowelgt -
?? ?? ?? ??
?? ?? ?? ?? ?? ?? ?? ??
25
??????????????????????
26
??????????????????????????????????????????????????
?????

• ?????????? (Phonology) ??????????????????????????
  ?????? speech recognition
• ???????????? (Morphology)
• ???????????? (Syntax) ????????????????????
  ???????? prefixes ??? suffixes
• ????????????? (Semantics) ????????????????????????
  ??? ??? ????????? ?????????
• ??????????????? (Pragmatics) ?????????????????????
  ????????????????????????????
• ??????????????????????????????????? 2 ????????
  ?????????????????????????? (syntactic analysis)
  ??????????????????????????? (semantic analysis)

27
????????????????????

• Zelling S. Harris ???????????????????????????????
  ????????????????????? ?.?.1946 ??????????
  ??????????????????????????????????????????????????
  ??????????????????????????????????????????????????
  ?????? ????????????????????????????? ???,
  ??????, ????? ,???????? ???????
• ????????????
• The monkey has eaten the banana.
• ????????? Harris ?????????????????????????????????
  ???????????? ????
• ???????????????????? active voice ??? passive
  voice
• The dog bit the man. (active)
• The man was bitten by the dog. (passive)

28
???????????????? (Generative grammars)

• ???? ?.?.1957 Noam Chomsky ???????????????????
  Syntactic Structures ???????????????????????????
  ???????????????????????????????
  ??????????????????????????????????????????????
  Chomsky ??????????????????????????????????????????
  ?????????????????? ???????????????????????????????
  ??????????????????????? ??????????????????????????
  ?????????????????????????
• ???????????????????????????????????????????
  ???????????????? (generative grammars)
  ??????????????????????????????????????????????????
  ??????? ??????????????????????????????????????????
  ???????????????????????????? ?????????????????????
  ????????????????????????????????????????????????

29
??????????????????????????????????????????????
?? ?????????????????? (finite state grammar)
Art Noun
Verb
????????????
Q0
Q1
Q2
Q5
?????????????
Adj Noun Aux
Verb
Q3
Q4
30

• ??????????????????????????????????????????????????
  ??????????????????????
• Art Noun Verb ? The dog runs.
• Art Adj Noun Verb ? The brows dog
  runs.
• Art Noun Aux Verb ? The children can
  sing.
• Art Adj Noun Aux Verb ? The little
  children can sing.

31
Chomsky ?????????????????????????????????????
???????????????????? (phase structure grammars
??????????? PS) ?????????????????????????????????
???????????????? ??????????????????????????
?????????? (contituents) ?????? ?????, ?????
??????? ???????????????????????????
?????????????????????????????????????????????
?????????????????????? ???????????????????????????
? S NP VP NP
Art N VP V NP
N birds, worms, cars, ..
Art the V
eat, drive, learn, ..
32
??????????????????????????????????????????????????
???????????????????????????????? ????????????
(parsing) ????????????????????????????????????????
????????? ???????????????? top down parsing
S NP VP
Art N VP
The N VP
The birds VP The
birds V NP The
birds eat NP The
birds eat Art N
The birds eat the N
The birds eat the worms.
33
Context-Free Grammars (CFG)
34
Context-Free Grammars (CFG) ????????????
context-free grammars ????????????????????????????
??????????? ??????????????????????????????????????
???????????????? ?????????????????????????????????
??????????????????????????????????????????????????
??????????? ???????? context-free
????????????????????? ???? ???????????????????????
????????????????????????? (immediate constituent
grammars) ???????????????????????????????????
Backus Normal Form (BNF) ???? Recursive Patterns
35
??????????????????? CFG ??????????????????????????
? ?????????????? (rewriting rules)
??????????????????????????????????????????????????
??????????????????? ????????? N, Art ??? V
???????? ??????????????? (terminal symbols)
????????? S, NP ??? VP ????????
?????????????????? (nonterminal symbols)
36
???????????? ?????????????? CFG ???????????? 2
?????? 1) ???????????????????????
(top-down parsing) ???????? ??????
???????????????????????????????????? ????????
????????????????????????? ? ??????????????????????
? ???????? ??????????????????????????????????????
???? (???????????????????) 2)
????????????????????????? (bottom-up parsing)
???????????????? ???????????????????????
???????????? ??????????????? ???????????????
??????????????????????????????? (?????????????????
??)
37
Context Free GrammarsSMC Example Sue, mouse
the cat
Parse tree 2
Parse tree 1 (Parse tree is also known as
derivation tree)
38
Context Free GrammarsSMC Example Top-down
parsing (A)

• Top-down parsing starts with the S symbol and
  tries to rewrite it into the sentence.

39
Context Free GrammarsSMC Example Bottom-up
parsing (A)

• Bottom-up parsing starts with the words and tries
  to find symbols that generate them.

40
Context Free GrammarsSMC Example Top-down
parsing (B) - using parse tree
41
Context Free GrammarsSMC Example Bottom-up
parsing (B) - using parse tree
42
Context Free GrammarsJA Example John and apple
Bottom-up Parsing
Top-down Parsing
43
?????????????????? ???????????????????????????????
??? (recursive) ??????????????????????????????????
?????????????????? ???????????????????????????????
???????????????????? ?????????????????????????????
??????????????????????? ?????????? S
NP VP NP Mod N (PP) Mod
(Art) (Adj) VP V
(ADV) VP Aux V V
Vi V Vt NP V
Vc Adj V Vc Adj ADV
PP ADV Adv PP
Prp NP
44
?????????????????????????????
45
?????????????????????????????

• ????????????????? (Transition networks)
  ???????????????????????
• ????(nodes) ????????????
• ???????? (arc) ???????????????????????????????????
  ????????

???? ???????????????????????????????????????????
???????? CFG NP Art NP1
NP1 Adj NP1 NP1 N NP2
46
Recursive Transition Networks

• ????????????????????????????????
• ???????????? RTN
• ??????????????????????????????????????????????????
  ?????? ????????????????????????????????????

47
??????????????????????????????
????????????????????????????????????????????????
RTN ????????????????????????????????
??????????????????????????????????????????????????
????????????????????????????????????????????
???????????????????????????????????????????????
RTN (???????????????????????? ???????????????????
??????????????????????????????????????)
???????????????????? ???????????????
????????????????????????????????????????????????
???????????? ?????????????????????????????????
???????????????????? RTN ????????????????
?????????????????? ????????????????????????????
RTN ??????? ??????????????????????????????????????
??? ??????????????????????????????????????????????
???
48
??????????????????? RTN ???????????????????? NP
?????????? S ???????????????????????????? lexicon
????????????????????????? Art - the, a
number - one pronoun - one
Adj - wild, green noun - dogs,
men, saw, green verb - ried, saw,
broke, faded
49
?????????? ???????????????????????????????????????
??????????????????????????????????????????? 1.
??????????????????????????????????????????????????
?????????????????????? ??? ?. ???????????????????
???????????????? ?.
?????????????????????????????????????????????? 2.
????????????????????????????????????????????????
(N) ??? ?. ??????????????????????????????????
??????????????? ?. ??????????????????????
???????????????????????? N 3. ????????????????????
???? pop ?????????????????????????????????????????
??????????????????????? ??? ?.
?????????????????????????????????????????? 4.
???????????????????? pop ?????????????????????????
????????????? ?????????? ?????????????????????????
50
????????????????????????????????
??????????????????????????????????????????????????
???????????? ?????????? NP Art
Adj Noun ???????????????? ?????????????????????
??????????????????????????????????????????????????
???????? ?????????????????????????????????????????
??????????? ??????????????????????????????????????
?????? ??????????? ??????????????
51
???????????????
52
??????????????? ???????????? CFG
????????????????????????????? ????????
????????????????????? ???? ???????????????????????
????????????????????? (??????? s ???? es
???????????????????????????????)
??????????????????????????????????????
(transformational grammar) ???????????????????????
????????????????????????????????????????????????
??????????????????????????????????
????????????????????????? ????????????????????????
???? ??????????????????????????????????????
??????????????????? ??????????????????????????????
???
53
???????????????????? Chomsky
???????????????????????????????????
??????????????????????????????????????????????????
????????????????????????? ???????????????????????
??????????????????????????????????? ?????????????
(transformational component) ??????????????????
(morphophonemic component) ???????????????????
????????????????????????????? ????????????????????
?????????????????? ??????????????? active voice
??????? passive voice ????????????????????????????
?????????????????????
54
????????????????????????? ????????????????????
????????????????????????????????? ???????????
?????? ????????????????????????
??????????????????????????????????????????????????
??????????????????????????????????????????????????
??? ??????????????????????????????????????????????

55

• ?????????????????????????????? 3 ???????
• 1. ??????????????????? (structural description
  ??????????? SD)
• ??????????????????????????????????????????????????
  ????????????????
• 2. ?????????????????????? (structural change
  ??????????? SC) ??????????????????????????????????
  ???????????????????????????????????????????
• 3. ??????????????????????????????????????????????
  
• ??????????? SD ??????????????????????????
  ?????????????????????????????????????? ???????
  SC ???????????????????????????

56
???????????????????????

• ????????? ???????????? ?????????
• ????????????????????????????????? 2 ?????????
• 1. ????????????????????????? ( ???????????????
  ???? )
• 2. ??????????????????? ( ????????????? ??????
  ??? )
• ???????? ?????? ?????????????
  ???????????????????????????????????????

57
???????????????????????????????
58
??????????????????????????????? Jerrold J.
Katz ??? Jerry A. Foder ??????????????????????????
?????????????????????????????????????
??????????????????????????????????????????????????
?????????????????????????????????????????????????
?????????????????? ????????? (projection rules)
????????????????? ????????????????????????????????
??????? ?????????????????????????????????
????????????????????????????????????????????
????????????????????????????? ????????????????????
??????????????????????????????
59
?????????????????????????? (Augmented Transition
Network ATN) ??????????????????????????
??????? RTN ???????????????????? ?????????????????
????????????? grammar ????????????????????????????
??????????????????????????? ????????
?????????????????????????????????????????????
??????????????????????????????????????????????????
????????? ???????? ?????????????????
??????????????????????????? ??????????????????????
????????? ????????????????????????????????????????
???????????????????? (register)
????????????????????????? ??????????, ???????,
???????, ????????? ?????????????
?????????????????????????????? ???? ???????????,
???????, ??????????, ?????????? ???????
??????? ????????????????????????????????????????
????????????????????????
60
?????????? ATN ?????????????????????????????
?????? RTN ??????????????????????? ?????????????
?????????????????????????????????????????????????
????????????????????? ?????????????????? ?
?????????????????????????????????? ?????????????
??????????????????????????????????????????????????
? ???????????
61
????????????????????????????? Roger Schank
????????????? Conceptual Dependency Theory
???? ?????????????????????????????????????????????
??????????????? ????????? ???????????????????????
????????????????? ? ???? ??????????????? ?????????
???????????????????????????? (dynamic memory)
?????????????????????????????????????
????????????????????? ????????????????????????????
?????????? ???????????????????????? ??????????????
???? CD ????????? ???? John gave the book
to Mary. Mary received the book from John.
62
????? CD ??????????????????????????????????
??????????????? primitive act ???????????????????
?????????????????????????????????????????????? ???
??????????????????????? ??????????????????????????
?????? ????????????????????????????????????? ????
ATRANS ??????? Transfer of an abstract
relationship ????????????????????????
???????????????????? CD ????????? EVENT1
ACTOR John ACTION ATRANS
OBJECT the book DIRECTION FROM
John TO Mary
63
??????????????????????????????? CD
??????????????????????????????????????????????????
?????? ??????????????? primitive conceptual
categories ?????? PP ??????????????????????
?? ?????????????????????????????????? ACT
??????????????????????????????????????????????????
??????????? LOC ????????????????? T
??????? PA ????????????????????????????????
???? ???? HUNGER (-8) ??????????? starving
64
??????????????????????? (null) ??? present p
??? past f ??? future / ???
negation ts ??? ??????????????????????? tf
??? ?????????????????????? c ??????????? k
???????????? ? ????????
65
??????????????????? ATRANS transfer of an
abstract relationship PTRANS transfer of the
physical location of an object PROPEL
application of physical force to an object
MOVE movement of a body part by its
owner INGEST ingesting of an object by
an animal EXPEL expulsion of
something from the body of an animal GRASP
grasping of an object by an actor SPEAK
producing of sounds ATTEND
focusing of a sense organ toward a stimulus
MTRANS transfer of mental information
MBUILD building new information out of old