Wykorzystanie metod NLP w systemach odpowiedzi na pytania - PowerPoint PPT Presentation

1 / 29
About This Presentation
Title:

Wykorzystanie metod NLP w systemach odpowiedzi na pytania

Description:

Title: NLP Techniques for QA Created Date: 10/16/2004 4:53:58 PM Document presentation format: On-screen Show Company: Carnegie Mellon University Other titles – PowerPoint PPT presentation

Number of Views:44
Avg rating:3.0/5.0
Slides: 30
Provided by: nlpIpipa
Category:

less

Transcript and Presenter's Notes

Title: Wykorzystanie metod NLP w systemach odpowiedzi na pytania


1
Wykorzystanie metod NLP w systemach odpowiedzi na
pytania
  • Anna Kupsc
  • aniak_at_ipipan.waw.pl
  • Instytut Podstaw Informatyki
  • Polska Akademia Nauk

2
Co to jest QA?
  • QAQuestion Answering systemy odpowiadajace na
    pytania... Spytajmy Arnolda http//www.bluemount
    ain.com/view.pd?i101686885m1037rrysourcebma
    999

3
Plan
  • Javelin system odpowiadajacy na pytania
    niezwiazane z konkretna dziedzina
  • Czy do tego potrzebne jest NLP?
  • Modul NLP
  • Przetwarzanie tekstu
  • Reprezentacja tekstu a rodzaje pytan
  • Okreslanie koreferencji

4
Architektura sytemu Javelin Jak Arnold udziela
odpowiedzi?
5
Wyszukiwanie InformacjiInformation Extraction
(IE)
  • Kilka podmodulów wykorzystujacych
  • wzorce powierzchniowe (wyrazenia regularne)
  • statystyki tekstowe
  • przetwarzanie jezyka (NLP)
  • Wyniki uzyskane z poszczególnych modulów IE sa
    normalizowane i szeregowane w module generujacym
    odpowiedzi (AG) i wybrana jest najlepsza

6
Przykladowy wynik
  • Przyklad When was Wendys founded?
  • Znaleziony fragment tekstu
  • The renowned ltENAMEXPERSONgtMuranolt/ENAMEXgt
    glassmaking industry, on an island in the
    Venetian lagoon, has gone through several
    reincarnations since it was founded in 1291.
    Three exhibitions of ltTIMEXDATEgt20th
    Centurylt/TIMEXgt ltENAMEXLOCATIONgtMuranolt/ENAMEXgt
    glass are coming up in ltENAMEXLOCATIONgtNew
    Yorklt/ENAMEXgt. By ltENAMEXPERSONgtWendy
    Moonanlt/ENAMEXgt
  • Wynik 20th Century
  • (Poprawna odpowiedz 1969)

7
Modul IE metody statystyczne a NLP
  • Wsród róznych wyników znalezionych przez modul
    statystyczny jest tez poprawna odpowiedz (1969)
    jednakze wszystkie wyniki maja przypisana prawie
    taka sama wiarygodnosc (confidence score)
  • ostateczna odpowiedz zalezy od miejsca, które
    zajmuje na liscie (decyduje o tym m.in.
    wiarygodnosc) wyników, tworzonej przez AG
  • (prawidlowa) odpowiedz znaleziona przez modul NLP
    pochodzi z fragmentu
  • R. David Thomas founded Wendys in 1969,
  • Odpowiedzi znaleznione przez modul NLP maja
    przypisana wieksza wiarygodnosc oraz potwierdzaja
    dodatkowo odpowiedzi znalezione przez pozostale
    moduly
  • Tak, NLP jest potrzebne

8
Do czego przydaje sie NLP w QA?
  • Analiza skladniowa (np. strona czynna i bierna)
  • Q When was Wendys founded? A R. David Thomas
    founded Wendys in 1969
  • synonimy
  • Q When was JFK killed? A JFK was
    assassinated...
  • role semantyczne
  • Q Who sold the car to Peter? A Peter bought the
    car from Mark.
  • wnioskowanie
  • Q When was Wendys founded? A Donatos, founded
    in 1963, six years before Wendys was founded,
    began franchising in 1991 as customers took to
    its Edge to Edge'' pizzas.
  • okreslanie referencji
  • Q Who did J. Howell travel with? A The tracks
    run through Belleview, where 19-year-old Jesse
    Howell was found slain on March 23,1997. His
    16-year-old travelling companion, Wendy
    VonHuben,...

9
Modul NLP
miara podo- bienstwa
wyniki
unifikacja
WordNet
predykaty
fragmenty tekstu
okreslanie koreferencji
analiza tekstu
Reprezentacja pytania
segmentacja tekstu
analiza morfologiczna
parser
slowniki
10
Przetwarzanie tekstu na potrzeby QA (1)
  • Roboust (stabilne?) dowolne teksty, niezwiazane
    z konkretna dziedzina,
  • zakres zarówno pytania jak i zdania twierdzace
  • poczatkowo do przetwarzania uzyte zostaly recznie
    pisane gramatyki (w stylu LFG), ale
  • niewystarczajacy zakres konstrukcji skladniowych
    (uzycie parsera tablicowego (chart parser)
    czesciowo rozwiazalo problem)
  • niejednoznacznosci
  • Rozwiazanie dedykowane gramatyki do analizy
    pytan i ogólny parser do analizy fragmentów
    zawierajacych odpowiedzi

11
Przetwarzanie tekstu (2)
  • Segmentacja tekstu (RASP Briscoe Carroll,
    2002)
  • zdania
  • slowa
  • morfologia (RASP)
  • POS (CLAWS2 tagset podawane wszystkie etykiety,
    do przetwarzania brana najbardziej prawdopodobna)
  • rdzen (stem)
  • Informacje slownikowe
  • slowniki (imiona i nazwiska, nazwy geograficzne)
  • WordNet
  • Funkcje gramatyczne (Link Grinberg et al.,1995)

12
Analiza Tekstu
  • lttext id"1" source"na"gtMr. Chairman, Bin Ladin
    did not believe that we would invade his
    sanctuary.
  • ltpassage id"2" source"unspecified"gtltsentence
    id"3" source"na"gtlttextgtMr. Chairman, Bin Ladin
    did not believe that we would invade his
    sanctuary.lt/textgtlttokens id"5"
    source"link"gtlttoken id"6"gtltproperty
    name"morphology" source"morpha"gtmrlt /propertygt
  • ltleftgt0lt/leftgtltrightgt1lt/rightgtltpossgtltpos
    id"12" source"claws"gtltproperty
    name"prob"gt0.00617284lt/propertygt NP1lt
    /posgtlt/possgtlttextgtMrlt/textgtlt/tokengtlttoken
    id"15"gtltleftgt1lt/leftgtltrightgt2lt/rightgt ltpossgtltpos
    id"19" source"claws"gtltproperty
    name"prob"gt0.00617284lt/propertygt.lt/posgtlt/possgtltte
    xtgt.lt/textgtlt/tokengtlttoken id"22"gtltproperty
    name"morphology" source"morpha"gtchairmanlt/proper
    tygtltproperty name"morphology" source"morpha"gt
    chairmanlt/propertygtltproperty name"morphology"
    source"morpha"gtchairmanlt/propertygtltproperty
    name"morphology" source"morpha"gt
    chairmanlt/propertygtltleftgt2lt/leftgtltrightgt3lt/rightgtlt
    possgtltpos id"30" source"claws"gtltproperty
    name"prob"gt1lt/propertygtNNS1lt/posgt ltpos id"32"
    source"claws"gt ltproperty name"prob"gt2.58482e-306
    lt/propertygtNNSB1lt/posgtlt/possgtlttextgtChairmanlt/textgt
    lt/tokengt lttoken id"35"gtltleftgt3lt/leftgtltrightgt4lt/ri
    ghtgtltpossgtltpos id"39" source"claws"gtltproperty
    name"prob"gt1lt/propertygt,lt/posgt
    lt/possgtlttextgt,lt/textgtlt/tokengtlttoken
    id"42"gtltproperty name"morphology"
    source"morpha"gtbinlt/propertygtltproperty
    name"morphology" source"morpha"gtbinlt/propertygtltl
    eftgt4lt/leftgtltrightgt5lt/rightgtltpossgtltpos id"48"
    source"claws"gtltproperty name"prob"gt1lt/propertygtN
    N1lt/posgtlt/possgtlttextgtBinlt/textgtlt/tokengtlttoken
    id"51"gtltproperty name"morphology"
    source"morpha"gt ladinlt/propertygtltproperty
    name"morphology" source"morpha"gtladinlt/propertygt
    ltproperty name"morphology" source"morpha"gtladin
    lt/propertygtltleftgt5lt/leftgtltrightgt6lt/rightgtltpossgtltpo
    s id"58" source"claws"gtltproperty
    name"prob"gt0.845329lt/propertygtNN1lt/posgt ltpos
    id"60" source"claws"gtltproperty
    name"prob"gt0.153913lt/propertygtNP1lt/posgtltpos
    id"62" source"claws"gtltproperty
    name"prob"gt0.000758028lt/propertygtVV0lt/posgtlt/possgt
    lttextgtLadinlt/textgtlt/tokengtlttoken
    id"65"gtltproperty name"morphology"
    source"morpha"gtdoedlt/propertygtltproperty
    name"morphology" source"morpha"gtdoedlt/propertygt
    ltproperty name"morphology" source"morpha"gtdoedlt
    /propertygtltleftgt6lt/leftgtltrightgt7lt/rightgtltpossgtltpos
    id"72" source"claws"gtltproperty name"prob"gt1
    lt/propertygtVDDlt/posgtlt/possgtlttextgtdidlt/textgtlt/token
    gtlttoken id"75"gtltleftgt7lt/leftgtltrightgt8lt/rightgtltpos
    sgtltpos id"79" source"claws"gtltproperty
    name"prob"gt2.28724e-308lt/propertygtLElt/posgtltpos
    id"81" source"claws"gtltproperty name"prob"gt1
    lt/propertygtXXlt/posgtlt/possgtlttextgtnotlt/textgtlt/tokengt
    lttoken id"84"gtltleftgt8lt/leftgtltrightgt9lt/rightgtltposs
    gtltpos id"88" source"claws"gtltproperty
    name"prob"gt1lt/propertygtVV0lt/posgtlt/possgtlttextgtbeli
    evelt/textgtlt/tokengtlttoken id"91"gtltleftgt9lt/leftgt
    ltrightgt10lt/rightgtltpossgtltpos id"95"
    source"claws"gtltproperty name"prob"gt0.0059709lt/pr
    opertygtCSlt/posgtltpos id"97" source"claws"gtltproper
    ty name"prob"gt0.987588lt/propertygtCSTlt/posgtltpos
    id"99" source"claws"gtltproperty
    name"prob"gt0.00634331 lt/propertygtDD1lt/posgtltpos
    id"101" source"claws"gtltproperty
    name"prob"gt2.83534e-05lt/propertygtREXlt/posgtltpos
    id"103" source"claws"gtltproperty
    name"prob"gt6.98057e-05lt/propertygtRRlt/posgtlt/possgtlt
    textgtthatlt/textgtlt/tokengtlttoken id"106"gtltleftgt10
    lt/leftgtltrightgt11lt/rightgtltpossgtltpos id"110"
    source"claws"gtltproperty name"prob"gt1lt/propertygtP
    PIS2lt/posgtlt/possgtlttextgtwelt/textgt lt/tokengtlttoken
    id"113"gtltleftgt11lt/leftgtltrightgt12lt/rightgtltpossgtltpo
    s id"117" source"claws"gtltproperty
    name"prob"gt1lt/propertygt VMlt/posgtlt/possgtlttextgtwoul
    dlt/textgtlt/tokengtlttoken id"120"gtltleftgt12lt/leftgtltri
    ghtgt13lt/rightgtltpossgtltpos id"124" source"claws"gt
    ltproperty name"prob"gt1lt/propertygtVV0lt/posgtlt/possgt
    lttextgtinvadelt/textgtlt/tokengtlttoken
    id"127"gtltleftgt13lt/leftgtltrightgt14lt/rightgt
    ltpossgtltpos id"131" source"claws"gtltproperty
    name"prob"gt0.99997lt/propertygtAPPlt/posgtltpos
    id"133" source"claws"gtltproperty
    name"prob"gt3.01524e-05lt/propertygtPPlt/posgtlt/possgt
    lttextgthislt/textgtlt/tokengtlttoken id"136"gtltleftgt14lt/
    leftgtltrightgt15lt/rightgt ltpossgtltpos id"140"
    source"claws"gtltproperty name"prob"gt1lt/propertygtN
    N1lt/posgtlt/possgtlttextgtsanctuarylt/textgtlt/tokengtlttoke
    n id"143"gtltleftgt15lt/leftgtltrightgt16lt/rightgtltpossgtlt
    pos id"147" source"claws"gtltproperty
    name"prob"gt1lt/propertygt.lt/posgt
    lt/possgtlttextgt.lt/textgtlt/tokengtltsyntax
    id"150"gtltfunctions id"151"gtltfunction
    id"152"gtltnamegtNMWElt/namegtlttoken id"22"/gtlttoken
    id"6"/gtlt/function gtltfunction id"156"gtltnamegtSUBJlt
    /namegtlttoken id"84"/gtlttoken id"22"/gtlt/functiongtlt
    function id"160"gtltnamegtNMODlt/namegtlttoken
    id"22"/gtlttoken id"51"/gtlt/functiongtltfunction
    id"164"gtltnamegtNMWElt/namegtlttoken id"51"/gtlttoken
    id"42"/gtlt/functiongtltfunction id"168"gtltnamegtAUXlt/
    namegtlttoken id"84"/gtlttoken id"65"/gtlt/functiongtltf
    unction id"172"gtltnamegtNEGlt/namegtlttoken
    id"65"/gtlttoken id"75"/gtlt/functiongtltfunction
    id"176"gtltnamegtCOMPLlt/namegtltheadgtlttoken
    id"91"/gtlt/headgtlttoken id"84"/gtlttoken
    id"120"/gtlt/functiongtltfunction id"182"gtltnamegtSUBJ
    lt/namegtlttoken id"120"/gtlttoken id"106"/gtlt/functio
    ngtltfunction id"186"gtltnamegtAUXlt/namegtlttoken
    id"120"/gtlttoken id"113"/gtlt/functiongtltfunction
    id"190"gtltnamegtOBJlt/namegtlttoken id"120"/gtlttoken
    id"136"/gtlt/functiongtltfunction id"194"gtltnamegtDETlt
    /namegtlttoken id"136"/gtlttoken id"127"/gtlt/function
    gtlt/functionsgtlt/syntaxgtlt/tokensgtlt /sentencegtlt
    /passagegtlt/textgt

13
Analiza semantyczna
  • Plytka
  • reprezentacja glównie w oparciu o strukture
    argumentów (ustalona liczba predykatów)
  • oraz specjalne predykaty dla kilku typów
    pytan/konstrukcji (np. definicje, apozycje)
  • Unifikacja rozmyta
  • oparta na mierze podobienstwa slów, np. murder
    vs. kill

14
Przyklady predykatów
predykat przyklad znaczenie
ROOT ROOT(x1,John) obiekt x1 ma rdzen John
SUBJECT SUBJECT(x2,x1) x1 jest podmiotem x2
EQUIV EQUIV(x1,x3) odpowiedniosc semantyczna apozycja John, a student of CMU równorzednosc obiektów John is a student of CMU
AND AND(x3,x1) AND(x3,x2) John and Mary laughed ROOT(x1,John) ROOT(x2,Mary) AND(x3,x1) AND(x3,x2)
ANS ANS(x0) odpowiedz
15
Przyklady reprezentacji
  • Who killed Jefferson?
  • Na podstawie struktry argumentów ANS(x0)
    ROOT(x1,x0) ROOT(x2,kill) ROOT(x3,Jefferson)
    SUBJECT(x2,x1) OBJ(x2,x3)
  • What is the definition of hazmat?
  • dedykowane gramtyki sprowadzaja takie pytania do
    pytania What is hazmat?, i uzywane jest EQUIV
    EQUIV(x1,x0) ANS(x0) ROOT(x1,hazmat)
  • What is the relationship between Jesse Ventura
    and Target Stores?
  • trudne albo nalezy szukac wlasnosci/predykatów
    wspólnych dla JV i TS, albo znalezc jeden
    predykat, gdzie obaj sa argumentami
  • rozwiazanie oddzielna strategia dla pytan tego
    typu

16
Unifikacja rozmyta
  • Laczy reprezentacje pytania (Q) z reprezentacja
    fragmentu tekstu (P), aby znalezc odpowiedz (A)
  • Musi umozliwiac unifikacje podobnych (ale nie
    identycznych) par (Q,P)
  • Q Who killed Jefferson? P Ben murdered
    Jefferson
  • Zaleznosci miedzy predykatami w Q sa traktowane
    jak ograniczenia z przypisana waga im wiecej
    ograniczen spelnia P i im wieksze podobienstwo
    odpowiednich slów, tym wyzsza wiarygodnosc
    odpowiedzi A znalezionej w P

17
Rozmyty przyklad
  • Przypisanie wag (w) kazdej relacji w Q
  • Q Who killed Jefferson? w(ANS(x0))1
    w(ROOT(x1,x0))1 w(ROOT(x2,kill)).7
    w(ROOT(x3,Jefferson)).9 w(SUBJECT(x2,x1)).9
    w(OBJ(x2,x3)).9
  • podobienstwo (srednia geometryczna) wszystkich
    (n) glównych relacji w Q i P (P Ben murdered
    Jefferson)
  • sim(Q,P) (simSUBJ(x2,x1),SUBJ(y2,y1)
    simOBJ(x2,x3),OBJ(y2,y3))1/n
  • podobienstwo dla jednej glównej relacji
    (np.SUBJ) z Q i P
  • (simx2,y2simx1,y1)1/2w(SUBJ(x2,x1))
  • podobienstwo termów dla k relacji, w których
    termy sa argumentami
  • (simROOT(x2,kill),ROOT(y2,murder)
    simTENSE(x2,past),TENSE(y2,past))1/k
  • podobienstwo slów sim(kill,murder)w(ROOT(x2,kill
    ))

18
Rozmyte podsumowanie
  • Podobienstwo slów w oparciu o (miare odleglosci
    w) WordNet, ale dowolna inna hierarchia
    leksykalna moze byc uzyta
  • WN nie ma polaczen miedzy slowami nalezacymi do
    róznych kategorii, np. kill i killer nie sa
    powiazane
  • Wagi i próg podobienstwa przypisane ad hoc
  • Oszacowanie wartosci wg danych z korpusu
  • Niezalezne od reprezentacji semantycznej
  • Wymagany zbiór tych samych relacji uzytych w
    Q i P lepiej reprezentacja w oparciu o role
    semantyczne

19
Okreslanie koreferencji(podobienstwo slów
inaczej)
  • Algorytm
  • Analiza tekstu
  • Przypisanie wartosci cech uzgodnienia
  • Okreslenie mozliwych odniesien (NPs majace te
    same cechy uzgodnienia co zaimek)
  • Redukcja rozwiazan na podstawie
  • Zasad lingwistycznych,
  • Heurystyk z Mitamura et al. (2002)

20
Cechy uzgodnienia
  • osoba standardowo 3, chyba ze zaimek 1 lub 2
    osoby
  • liczba etykieta POS i WordNet hipernimy
    group
  • zywotnosc
  • Imiona/nazwiska (zywotne) i nazwy geograficzne
    (niezywotne),
  • WordNet hipernimy animate thing, biological
    group i
  • social group
  • rodzaj
  • heurystyki tytuly Mr, Mrs, itd.
  • slowniki listy imion, nazwisk i nazw
    geograficznych
  • akronimy ( 2 duze litery) nijaki
  • WordNet hipernimy male/female person
  • eksperyment pozyskanie nowych slów tego samego
    rodzaju z korpusu

21
Rodzje uzgodnien
  • dokladne wszystkie cechy uzgodnienia zaimka i NP
    musza byc identyczne
  • bez GENDER jesli wartosci PERSON, NUMBER i
    ANIMATE sa identyczne, zgodnosc rodzaju zaimka i
    NP nie musi wystapic (np. Jones vs. (s)he
    doganimate,neuter vs. (s)he lub it)
  • bez NUMBER i ANIMATE jesli wartosci PERSON i
    GENDER sa identyczne, NUMBER albo ANIMATE tez
    musi sie zgadzac (np. police vs. it lub they)

22
Zasady lingwistyczne
  • Zaimki zwrotne argument tego samego czasownika
  • William Patrick describes himself as
  • Zaimki dzierzawcze wczesniejsza zgodna fraza NP
  • President Clinton has signed an Executive Order
    imposing financial and other commercial sanctions
    on the Afghan Taliban for its support of Usama
    bin Ladin and his terrorist network.
  • Zaimki osobowe fraza NP, która jest argumentem
    innego czasownika
  • The last time Dr. Arnold Schecter tried to take
    contaminated blood samples out of Vietnam, a
    government agent was waiting for him at the
    airport.

23
Mitamura et al. (2002)
  • Jesli zostalo wiecej niz jedno rozwiazanie,
    stosowane sa heurystyki, które preferuja
  • zaimki
  • rzeczowniki nie bedace nazwami wlasnymi
  • Gdy sa 2 mozliwosci NP1 i NP2 majace postac NP1
    of NP2, wybrane jest NP1, chyba ze NP2 okresla
    miare (type, length, size...)
  • NP bedace podrzednikiem frazy o takim samym
    rdzeniu jak fraza, której podrzednikiem jest
    zaimek
  • NP bedace podrzednikiem takiej samej kategorii
    skladniowej jak fraza, której podrzednikiem jest
    zaimek
  • NP majace taka sama funkcje gramatyczna jak
    zaimek
  • konkretne NP (z okreslnikiem, kwantyfikatorem,
    fraza dzierzawcza)
  • NP z przedimkiem okreslonym
  • ostatnie (najblizsze) NP

24
Ocena
  • 253 zdania zawierajace 361 zaimków
  • Wzgledny odnosnik jesli NP jest zaimkiem, jego
    odnosnik nie jest znajdowany
  • Bezwzgledny odnosnik jesli NP jest zaimkiem,
    jego odnosnik tez jest znaleziony
  • Punkt odniesienia oceny (ang. baseline)
    poprzednia fraza NP oraz bez uzycia WordNet do
    nadawania cech uzgodnienia

25
Wyniki
Test dokladnosc
Baseline podstawowy algorytm, bez WN Baseline podstawowy algorytm, bez WN
Wzgledny odnosnik 50.1
Bezwzgledny odnosnik 55.9
Pelen algorytm, bez WN Pelen algorytm, bez WN
Wzgledny odnosnik 67.3
Pelen algorytm, z WN Pelen algorytm, z WN
Wzgledny odnosnik 70.0
Bezwzgledny odnosnik 63.9
17.2
2.7
19.9 8.0
26
Analiza bledówWordNet, wzgledny odnosnik
PROBLEM
slowniki 28 25.9
heurystyki 28 25.9
przetwarzanie 28 25.9
analiza dyskursu 9 8.3
wiedza o swiecie 9 8.3
odleglosc 6 6
Nierozpoznane nazwiska, imiona/nazwiska
rozpoznane jako miejscowosci lub odwrotnie
!
!!
Nierozpoznane zaimki ekspletywne, frazy
wspólrzedne, zle POS, niewlasciwe uzgodnienie
lub nadanie cech (6), analiza skl.
!!
!!!
Odniesienia w przód, cytaty, elipsy
rodzaj gram. zawodów lub narodowosci
!!!
!
27
Co poprawic?
  • dolaczyc modul do systemu ?
  • Poprawic nadawanie cech uzgodnienia
    ujednoznacznianie znaczen wyrazów pospolitych
    (dotychczas brane najczestsze w WN) i nazw
    wlasnych, np. London miejscowosc czy osoba?
    (dotychczas preferowana miejscowosc ad hoc)
  • Poprawic algorytm znajdowania referencji
  • Zmodyfikowac heurystyki
  • Reguly uzyskane metodami uczenia maszynowego
  • Rozszerzyc algorytm do okreslania bardziej
    ogólnych odniesien, np. Saddam Hussein vs.
    Hussein

28
Podsumowanie
  • Przedstawilam kilka technik NLP wykorzystanych w
    systemie QA
  • Pokazalam w jaki sposób NLP pomaga QA
  • Rozwiazania przyjete w Javelin
  • Przetwarzanie tekstu
  • Analiza semantyczna
  • Okreslanie koreferencji
  • albo jak moze pomóc, jesli jeszcze nie zawsze
    dziala
  • poprawki do przedstawionych rozwiazan

29
Podziekowania
  • Uczestnicy projektu Javelin, w szczególnosci
  • Przetwarzanie tekstu Curtis Huttenhower i
    Benjamin Van Durme
  • Reprezentacja semantyczna Benjamin Van Durme i
    Yifen Huang
  • Okreslanie koreferencji Teruko Mitamura
  • Artykuly
  • Javelin http//www.lti.cs.cmu.edu/Research/JAVELI
    N/
  • http//www.ipipan.waw.pl/aniak/papers.html

30
PYTANIA?
DZIEKUJE ZA UWAGE
Write a Comment
User Comments (0)
About PowerShow.com