Swiat Byt

1
Swiat Bytów Wirtualnych 1

• Wlodzislaw Duch
• Katedra Informatyki Stosowanej, Uniwersytet
  Mikolaja Kopernika, Torun
• School of Computer Engineering, Nanyang
  Technological University, Singapore
• Google Duch

Kierunki rozwoju nowoczesnych technologii, Uniw.
Lódzki, 24.04.2004
2
Plan

• Swiat bytów wirtualnych w Internecie i
  telefonach awatary, boty, sztuczne osobowosci w
  cyberprzestrzeni.
• Elementy cyberprzestrzen, agent, bot, synteza
  mowy mówiaca glowa, awatar ...
• Zastosowania automatyzacja uslug informacyjnych
  i reklamy ...
• Potrzeby robotyka kognitywna, automatyzacja
  zlozonych czynnosci, interfejsy w jezyku
  naturalnym.
• Przyklady istniejacych zastosowan wirtualni
  asystenci Talking Buddy, UltraHal mówiace
  glowy na stronach Lingubots i inne.
• Technologia agenci, awatary, grafika - Haptek.
• Technologia dialog z uzytkownikiem, analiza
  jezyka naturalnego.
• Technologia modele kognitywne zlozonych
  zachowan.
• Co nadejdzie wkrótce? Dokad to zmierza?

3
Cyberprzestrzen definicje

• Cyberprzestrzen swiat sprzezonych ze soba sieci
  komputerowych tworzacy przestrzen informacyjna
  z mozliwoscia jej eksploracji oraz odczuwania
  przy pomocy zmyslów pobudzanych wspomaganymi
  komputerowo urzadzeniami. Termin wprowadzil
  William Gibson w powiesci Neuromancer, gdzie
  opisal swiat, w którym stosowane sa cybernetyczne
  rozszerzenia mozliwosci ludzkiego organizmu, np.
  wymiana informacji ze swiatowa siecia
  komputerowa.
• Poruszanie sie w sieci w cyberprzestrzeni.
  
• Internet jako calosc, rozumiany jako przestrzen
  komunikacyjna, zwlaszcza World Wide Web, grupy
  dyskusyjne. W tym sensie do cyberprzestrzeni
  wkraczamy podlaczajac sie do Sieci.
• Wygenerowane komputerowo srodowisko wirtualnej
  rzeczywistosci z dostepem do sieci komputerowej
  lub tez jej pozbawione (np. swiaty stworzone w
  technologii VRML).

4
Agenci

• Nie ma jednoznacznej definicji agenta. Przez
  agenta (programowego) zwykle rozumie sie
  dzialajacy w jakims srodowisku program zdolny do
  komunikacji, monitorowania swego otoczenia i
  podejmowania autonomicznych decyzji, aby osiagnac
  cele okreslone podczas jej projektowania lub
  dzialania.
• Agent powinien miec przynajmniej niektóre z cech
• byc mobilny, poruszac sie w cyberprzestrzeni
• autonomiczny, zdolny do podejmowania
  samodzielnych decyzji
• umiejetnosc komunikacji z innymi agentami i
  uzytkownikiem
• byc zdolnym do kooperacji lub korzystania z uslug
  innych agentów
• percepcje (zdolnosc do postrzegania i reagowania
  na zmiany srodowiska)
• wykazywac tolerancje na bledy
• wykorzystywac i gromadzic wiedze
• adaptowac sie (uczyc sie) w celu osiagniecia celu.

5
Boty

• Fragment slowa Ro-bot moze byc Soft-bot
• Agenci specjalizujacy sie w prowadzeniu dialogu,
  pierwotnie boty powstaly aby dzialac w czasie
  nieobecnosci operatorów kanalowych w grupach
  dyskusyjnych IRC, pilnowac porzadku na kanale
  oraz chronic przed przejeciem. Najpopularniejszym
  botem dla IRC jest eggdrop.Popularne boty
  utrzymuja Wikipedie we wzglednym porzadku,
  automatyzujac takie procesy jak tworzenie
  powiazan miedzy stronami encyklopedii w róznych
  jezykach.
• Spotykane nazwy, czyli botyka http//www.aibotwor
  ld.com/botyka.htmlChatterbot, chatbot bot
  paplajacy.Knowbot bot szukajacy wiedzy i
  gromadzacy wiedze.Lingubot nazwa botów firmy
  KiwiLogic.Mindbot program pomagajacy myslec,
  np. sugerujacy pomysly.Shopbot agent
  wyszukujacy okazje ...

6
Synteza mowy

• Przyklady starych i nowych programów do syntezy
  mowy.
• Calkiem dobry syntezer
• http//www.ivo.pl/?pageivona_on_line
• Nie tylko prawidlowa wymowa ale i niezla
  intonacja.
• Syntezator mowy przydatny jest osobom niewidomym
  i niedowidzacym. W wersji rehabilitacyjnej
  pozwala na wybór sposobu interpretowania
  (parsowania) tekstu i ignorowanych znaków.
• Mozna przyspieszyc czytanie tekstu az do czterech
  razy bez zmiany jakosci czy wysokosci.
• Mówiaca przegladarka Intelligent Web Reader jest
  dostepna za darmo.
• Dostepna jest wersja do urzadzen przenosnych
  (PDA, smartfon).
• Spore zainteresowanie lokalnych wladz wdrozeniami
  tego typu systemów (fundusz rehabilitacyjny).

7
Rozpoznawanie mowy

• Bardzo duzo produktów zwiazanych z rozpoznawaniem
  mowy.
• Microsoft oferuje darmowe SAPI (Speech
  Application Program Interface)
• Office 2003 ma narzedzia do rozpoznawania mowy.
• Darmowe narzedzia firmy Brainhat
• http//www.brainhat.com/
• Dwa najbardziej znane programy to
• Dragon Naturally Speaking (ScanSoft), osiaga po
  krótkim treningu (zwykle lt 30 min) dokladnosc
  95-99.
• IBM ViaVoice osiaga podobna dokladnosc co Dragon
  NS, pozwalajac na dodawanie nowych slów do
  slownika uzytkownika.
• Wspólpracuja ze wszystkimi aplikacjami Windows,
  powalaja na wykonywania prostych komend, np.
  nawigacji po Internecie.
• Wymagaja duzo RAM i szybkiego procesora.

8
Mówiace glowy

• Glównie grafika 3D, mozliwosci synchronizacji
  ruchu ust z dzwiekami z syntezatora mowy grafika
  i synteza mowy, ale bez percepcji i prawdziwej
  interakcji.

Przyklady Ananova, czyta wiadomosci, firma
telefoniczna Orange dala za nia 95M wkrótce w
telefonach komórkowych? Andrea Catherwood,
czyli Vandrea, czyta wiadomosci programu
BT5. Simon czyta wiadomosci w jezyku
migowym. Technologia Veeper przyklad z Harvard
School of Medicine, realistyczny dzwiek i
grafika. Inne Veepery http//ecard.veepers.com/se
rvice/Start
9
Veeper
Technologia Veeper robienia glów 3D z wlasnych
zdjec. http//www.pulse3d.com/pulse/ Firma Pulse
dostarcza technologii pozwalajacej na tworzenie i
rozsylanie wirtualnych postaci do uzytkowników
komputerów i urzadzen bezprzewodowych. Ich
software zamienia zdjecia na interaktywne
postacie, które mozna ogladac bez dodatkowego
oprogramowania. Zastosowania marketing,
uslugi, wirtualna obsluga i sprzedaz, nauczanie,
przesylanie wiadomosci realistyczne ale pliki
1 wideo. Przyklad pacjenta z Harvard School
of Medicine przedstawiajacego swój stan
studentom. Przyklady kartek z glowami Veepera
mozna interakcyjnie podlozyc swoja, dodac dzwiek
syntetyczny lub nagrany i wyslac poczta
elektroniczna. Spróbujcie! http//ecard.veepers.co
m/service/Start
10
Veeper cd.

• Popatrzmy na pare przykladów zastosowan, np IRS
  (urzad podatkowy!)
• http//www.pulse3d.com/pulse/examples.html
• Mobile Veepers Messaging
• Pozwala na przesylanie mówiacych 3-wymiarowych
  postaci odczytujacych wiadomosci tekstowe w wielu
  jezykach i glosami do wyboru. Analiza tekstu
  pozwala na robienie min i gestów!
• Face Tones
• Dzwonki do telefonu polaczone z twarzami, które
  odczytuja SMSy i maile, informuja kto dzwoni.
• Broadcast Veepers
• Glowy czytajace wiadomosci, doniesienia sportowe,
  informacje o pogodzie, ruchu na drodze i innych
  sprawach, dzialajace w telefonach.
• Mobile V-cards
• Szybkie tworzenie i wysylanie fotorealistycznych
  animowanych fotografii, np. robionych aparatem
  telefonem.
• Location-Based Face Ads (LB-Fads)
• Reklama za pomoca mówiacych glów, korzystajac z
  GPS i technologii agentów, z informacja o
  lokalnych zdarzeniach, wyprzedazach itd.

11
Haptek

• Mówiace glowy, podobnie jak Veeper,
• http//www.haptek.com/
• Poziom pre-kognitywny, glównie grafika 3D,
  morfing, synteza mowy, synchronizacja ruchu ust.
  
• Duze mozliwosci graficzne oraz sterowania
  zachowaniem, w tym
• prozodia mowy, syntetycznymi emocjami, gestami i
  wyrazami twarzy.
• Przedstawia sie Haptek Virtual Character
• Haptek Player, czyli oprogramowanie do
  odtwarzania, dziala jako wtyczka w przegladarkach
  za darmo.
• Narzedzia SDK do tworzenia postaci Hapteka sa
  tanie.
• Dziala jako wtyczka ActiveX, latwo jest dodac
  wlasne programy w C lub w VisualStudio, mozna
  tez uzywac jezyków skryptowych, JavaScript dziala
  z darmowymi narzedziami MS SAPI do rozpoznawania
  mowy.

Pokaz oprogramowania Peoples Putty do tworzenia
i kontroli postaci Hapteka.
12
Chatterboty

• Boty w wersji desktop-bot (niezalezne) lub
  web-bot (na serwerach),
• glównie analiza jezyka, prowadzenie dialogu.

Linki do stron z botami sa pod
http//www.phys.uni.torun.pl/duch/IR.htmlAgent
W Polsce botyka http//www.aibotworld.com/ ww
w.chatbot.pl to projekt Tribota, mówiacego po
polsku. Jeden z pierwszych Eliza (Weizenbaum,
MIT 1967), udaje psychoterapeute, oparty na
prostych skryptach - demo. MegaHall,
http//www.a-i.com/ symulator konwersacji, który
sie naprawde uczy Hal jest na poziomie
2-letniego dziecka i nauczyl sie sensu slów
wylacznie przez rozmowy istnieje bardzo wiele
osobowosci Hal. Zastosowania? Moze w zabawkach
dla maluchów?
13
EllaZ

• Demonstracja EllaZ http//www.ellaz.com/AI/

Dziala jako aplikacja na serwerze lub lokalnie w
komputerze. Czyta ksiazki, zna gry (karty, gry
planszowe, hazardowe, I Ching), dostarcza
informacji o pogodzie, gieldzie, walutach,
zamienia jednostki i pomaga wykonywac obliczenia
... Uzywa WordNetu, wielkiej bazy leksykalnej,
moze podawac definicje, synonimy, antonimy,
hipernimy (kategorie nadrzedne, rodzaj czegos) i
hyponimy (kategorie szczególowe, przyklad
czegos). Np "What are the hypernyms of horse?"
Horse is a type of hoofed mammal, animal,
living thing. "What are the hyponyms of flower?"
Flower has a type peony, lesser celandine,
windflower ... Podpowiada np. jakie slowa
pasuja w krzyzówce do schematu UEL, albo
jakie slowa koncza sie na ant (do rymów).
14
Alice

• Duzy projekt ArtificiaL InteligenCE
  Foundationhttp//www.alicebot.org/ (Richard
  Wallace)

Jeden z najlepszych botów, 3 razy wygral nagrode
Loebnera. Rozmowa z Alice. CLAUDIO (Cybernetic
Lifelike Android Used for Dialogue Interaction
and Observation) zrobi test osobowosci. Na
stronie http//www.alicebot.org/non.html jest
bardzo dobry przeglad okolo 30 projektów
zwiazanych z botami. http//www.alicebot.org/dire
ctory.html ma linki do wielu botów w sieci, od
Alice, przez Budda-bot do Szekspira. Sporo
zastosowan do nauki angielskiego
www.alicebot.org/ESL.html W cyberprzestrzeni
spotkac mozna wiele botów opartych na
Alice. www.Pandorabots.com gdzie mozna wystawic
swojego bota zrobionego w oparciu o jezyk AIML
uzywany przez Alice.
15
AIML
AIML (Artificial Intelligence Markup Language) to
zgodny z XML jezyk, którego latwo mozna sie
nauczyc, sluzacy do przystosowania ALICE do
swoich potrzeb. Tag ltcategorygt zaznacza
jednostke wiedzy" w bazie wiedzy
Alice ltpatterngt to wzorzec wypowiedzi
uzytkownika lttemplategt zawiera odpowiedz dla
danego wzorca. Tagów jest ponad 20 i mozna je
samemu rozszerzac. W AIML jest ok. 41,000
kategorii, np ltcategorygt ltpatterngtWHAT ARE
YOUlt/patterngt lttemplategtltthinkgtltset
name"topic"gtMelt/setgtlt/thinkgt I am the
latest result in artificial intelligence, which
can reproduce the capabilities of the
human brain with greater speed and accuracy.
lt/templategt lt/categorygt
16
Oddcast
Firma sprzedaje glosy (w 64 jezykach), glowy i
aplikacje je zawierajace, http//www.oddcast.com
drogie! VHost Studio - tworzenie postaci,
umieszczanie na stronach WWW, dodawanie plików
dzwiekowych i synchronizacja z obrazem. VHost
Workshop - przesylanie wirtualnych postaci w
listach do klientów, którzy moga modyfikowac
nadeslane postacie i wiadomosci. VHost AIMC -
profesjonalny system pozwalajacy na pisanie
skryptów w AIML, rozszerza mozliwosci Studio i
Enterprise. VHost e-Learning Suite - zestaw
programów do tworzenia aplikacji edukacyjnych,
ich zawartosci, modulów, logiki powiazan. VHost
FAQ Maker - do robienia FAQ odczytywanych przez
awatary. VHost Simulation Maker - symulacje
scenariuszy z podzialem na role. VHost Quiz
Maker - tworzenie testów i kwizów wyboru. VHost
Analyzer - poleca produkty robiac analize
zapytan uzytkownika.
17
Linguboty

• Linguboty na stronie http//www.kiwilogic.com/ i
  www.fido.pl.
• Bazy wiedzy i boty odpowiadajace na pytania.

German Chancellor's IT-Eagle
http//www.bundeskanzler.de/ Betty Feron
pomaga pacjentom z stwardnieniem rozsianym. KMP
Internet relacje pomiedzy ludzmi i
firmami. Opera Telecom automatyczne uslugi
SMS. Swiftcall asystent wyszukujacy Swifty VW ma
strone z botem dla Supplier Self Registration
(SSR) Schwarzkopf wszystko dla
wlosów Novartis Pharmaceuticals porady
wirtualnego doktora DAB Bank, DaimlerChrysler,
MCC Smart stosuja linguboty... Droga technologia,
ale niezla.
18
UltraHal - wirtualni asystenci

• Polaczenie technologii botów i agentów glównie
  analiza jezyka, prowadzenie dialogu, ale tez
  dostep do baz wiedzy, zapamietywanie uzytecznych
  faktów, prawdziwa interakcja z uzytkownikiem.

Ultra-Hal, firmy Zabaware (Robert
Medeksza). Przyklad dialogu User Rob's
address is 3175 West 42nd St. Hal Cool. I like
learning new things like that. User Sally's
eyes are blue. Hal Cool. I have learned
something new. User What is Rob's address? Hal
Rob's address is 3175 West 42nd St. User What
color are Sally's eyes? Hal Sally's eyes are
blue.
19
Co potrafi UltraHal?

• Krótki tutorial prowadzi Zaba.

Przede wszystkim chatterbot, który potrafi
prowadzic konwersacje na wiele tematów.
Podreczna pamiec zapamietuje proste
skojarzenia i przypomina o okreslonej godzinie
lub na zadanie, np. zadzwon do Jacka, email
Jarek. Moze uruchomic programy jesli wydamy
polecenie np. Run Word. Moze szukac pomocy dla
wszystkich zainstalowanych programów. Mozna
dodawac róznych agentów poprzez wtyczki pisane w
VBScript, JavaScript, kontrolki ActiveX czy
programy dolaczone przez DDE. Ultra Hal
Representative moze odpowiadac na pytania osób
odwiedzajacych strony Internetowe! Mozna sobie go
ustawic za darmo.
20
Talking Buddy

• Agent uzywajacy animowanych postaci
  http//www.talkingbuddy.com/
• powiadamia i czyta poczte elektroniczna
• zbiera i odczytuje informacje z gieldy, serwisów
  pogodowych i wybranych stron WWW, np. ostatnie
  wiadomosci, ostrzezenia przed wirusami
• dostarcza pozdrowienia i wiadomosci odczytujac je
  lub odspiewujac adresatom
• przypomina o zdarzeniach z kalendarza
  spotkaniach, rocznicach, imieninach
• opowiada kawaly, sciagajac je ze stron
  internetowych konwersji formatów danych
• znajduje interesujace strony WWW i je poleca
• odczytuje zaznaczone informacje.
• Demonstracje ...

21
Turing i Loebner

• Test Turinga (1950) czy jestes programem czy
  komputerem?

Od 1994 r Medal i Nagroda Loebnera przyznawana
jest programowi, który przejdzie Test Turinga.
Nagroda glówna to 100 K, co roku 2000 .
Sedziowie maja gt15 min na rozmowe z botem lub
czlowiekiem, potem wystawiaja ocene. 2001 Alice
dostal 14 punktów, ludzie 19-24 2002 Ellaz,
http//www.ellaz.com/ 2003 Jabberwockopowiada
dowcipy, podaje pogode, czyta na glos ksiazki,
interpretuje I-Ching, gra w karty, uczy sie ...
Ocena programów i ludzi, na ile
sztuczny/prawdziwy w skali 1-10. Tylko 10
sedziów sie myli (2000).
22
Przyklad konwersacji
Talk-Bot 3 by Chris Cowart User Can you
love? Talk-Bot I've seen people do it.. it
doesn't seem hard!
W 1994 roku tematami byly koty i psy, kriogenika,
Rolling Stones, proces O.J. Simpsona, a zwyciezyl
program dyskutujacy o seksie! Zawody w 1998
roku w Sydney nie mialy ograniczen tematu
konwersacji. Programy czesto przejmuja
inicjatywe, co ulatwia oszukanie sedziego.
Oceny 1 najbardziej ludzki, 10 najmniej
ludzki.
23
Przyklad konwersacji

• PROGRAM Hello. My name is Albert. Who are you?
• JUDGE002 Greetings, I'm judge 2
• PROGRAM I'm not sure what to talk about with
  you. Are you a girl or a boy?
• JUDGE002 girl. how are you?
• PROGRAM Are you married? I'm doing just fine,
  thanks.
• JUDGE002 would you like to talk about somethng
  interesting?
• PROGRAM MP is an abbreviation for Member of
  Parliament.
• JUDGE002 right, why did you say that?
• PROGRAM I just felt like it.
• JUDGE002 okay, did you hit a wrong button?
• PROGRAM Do you come from around here?
• JUDGE002 yes, do you?
• PROGRAM No I don't.

24
Przyklad cd.

• J002 where do you come from
• PROGRAM I am from Earth.
• J002 well that's very specific indeed. what are
  your interestsgt
• PROGRAM Would you like to have a drink with me
  later? let's not get too personal.
• J002 what do you work as?
• P. I've worked on a lot of PC's and some mini
  computers and mainframes when I was in college.
• ............

25
Wyniki 2000
Program Alice oszukal sedziego 1 i 2.
26
Wyniki 2004
W 2000 roku najslabszy czlowiek byl lepszy od
najlepszego programu 3.3 razy, w 2004 juz tylko
1.9 razy. Postep?
27
Generacja tekstu

• Brutus - program tworzacy opowiadania na zadany
  temat, np. zdanie
• Jerzy obudzil sie pewnego ranka z koszmarnym
  uczuciem, ze stal sie wielkim insektem.
• Historie dziwaczne, a przez to interesujace, np.
  porównania
• Oczy Harta byly jak wielkie, krwawiace slonca.
• LAG Literary augumented grammars.
• Formalizacja pojecia zdrada.
• Nadaje sie do pisania scenariuszy TV!

28
Gry slowne

• Gry komputerowe angazuja glównie zdolnosci
  percepcyjno-ruchowe, w przeszlosci to mowa i
  gryslowne stanowily podstawe rozwoju.
• Dialog z uzytkownikiem o co mu chodzi? Trzeba
  zadawac pytania by sprecyzowac dokladnie, co
  rozmówca ma na mysli.
• Gra w 20 pytan pomysl o czyms, a ja zgadne. Czy
  to zwierze, roslina, mineral czy cos innego?
• Jak zadawac inteligentne pytania? Gra w 20 pytan
  to kolejne wyzwanie dla AI, chcemy zrobic
  swiatowe mistrzostwa.
• Mamy juz mówiaca glowe, z która mozna pograc.
  Mozna tez kupic zabawke z gra w 20 pytan, ale
  bez awatara.
• Planujemy wiele zastosowan w grach edukacyjnych.

29
HIT

• HIT Humanized InTerfaces, czyli naturalne
  interfejsyw komputerach i telefonach.
• Cel daleki budowa sztucznego umyslu, czyli
  systemuz którym bedziemy mogli miec podobne
  relacje jak z ludzmi.
• Cel bliski integracja wielu technologii,
  stworzenie modularnej platformy dla HIT,
  skladajacej sie z mówiacej glowy, syntezy mowy,
  kontroli zachowania, wyrazu twarzy, gestów,
  percepcji sluchowej, wzrokowej, rozpoznawania
  mowy, lokalizacji obiektów, rozpoznawania osób po
  glosie i twarzy, dostepu do baz danych i
  informacji z Internetu, pamieci i kojarzenia
  faktów.
• Liczne zastosowania, ale wasko okreslone, nie
  uniwersalna AI.
• Wielki rynek programów dla urzadzen przenosnych,
  bez klawiatury, które maja zbyt wiele mozliwosci
  by je wykorzystac.
• Na razie mam w projekcie 16 osób z NTU, ponad
  4Mzl.

30
HIT planowana platforma

• Ogólny schemat
• funkcje podstawowe synteza i rozpoznawanie mowy
  w ograniczonym , zakresie, grafika, proste f.
  jezykowe (NLP)
• funkcje rozszerzone
• percepcja, poznawcze, afektywne,behawioralne,
  wyspecjalizowani agenci.

Interfejsy do informacji tekstowej
Synteza mowy
Zrozumienie tekstów
Percepcja sluch i wzrok
Graficzna glowa
Kontrola zachowania
Funkcje poznawcze
Kontrola urzadzen
Funkcje afektywne
Agenci d/s specjalnych
Wyzwanie zbudowac modularna platforme na PC, z
glowa 3D, funkcjami percepcyjnymi, kontrola
zachowania, funkcjami kognitywnymi i afektywnymi,
przeniesc ja telefony/uslugi sieciowe. Integracja
wielu istniejacych projektów dotyczacych AI,
analizy sygnalów, komputerowej wizji, tresci
semantycznych multimediów itd wspólpraca z
przemyslem, silna konkurencja ze strony
Microsoft, Intel, projektów UE.
31
Mind-bots

• Agenci, boty, roboty maszyny bez glowy?

• Wyzsze czynnosci poznawcze w agentach wymagaja
  rozumowania w oparciu o percepcje, skojarzen,
  myslenia, wiedzy o swiecie, rozumienia stanów
  mentalnych innych agentów.
• Mind-bots teoria poznawania (architektura
  poznawcza) zdolnosci lingwistyczne, symulacje
  bez czynnosci sensomotorycznych.
• Przyklady
• Gerald Edelman, roboty Nomad/Darwin w których
  zlozone formy zachowania powstaja z instynktów
  w sieciach neuronowych.
• John Anderson, ACT-R, architektura poznawcza
  teoria dzialania umyslu na poziomie symbolicznym,
  z elementami sub-symbolicznymi.
• Allan Newell, SOAR, uniwersalna teoria poznawania
  system modelowania analiza jezyka gt regulowy
  system NL-SOAR.