PowerPoint Presentation - F6

1
Kunstig intelligens (MNFIT-272) - høst 2002.
Forelesning 10

Emner

• Maskinlæring symbolorientert
• intro til maskinlæring generelt
• induktiv symbol-prosessering
• læring i versjonsrom
• læring av beslutningstrær

2
Hva er læring?

• Any process by which a system improves
  performance (H. Simon)
• Making useful changes in our minds (M.
  Minsky)
• The organisation of experience (M. Scott)
• Constructing or modifying representations of
  what is being experienced (R. Michalski)

3
Hva er maskinlæring?
Metoder og teknikker som gjør datasystemer i
stand til selv å oppdatere sin kunnskap
og problemløsnings-evne
4
Hvorfor maskinlæring?

• Modellere menneskers læring
• Studere læring og intelligens som fenomen
• Automatisere utvikling av kunnskapsbaserte
  systemer
• det siste er mest vektlagt i dette kurset

5
Maskinlæringmetoder kan klassifiseres utifra
flere perspektiver
6
Maskinlæring - kort historikk
1950
Nevrale modeller, Rosenblatts PERCEPTRON,
Selvorganiserende systemer, Adaptive systemer,
Læring som mønstergjenkjenning,
Parameterjustering Samuels Checkers
Player Kunnskapsbaserte metoder, Winstons
Analogy system, Symbolske teknikker for
eksempelbasert læring, Michalskis AQ system,
Mitchells Version Space metode, Quinlands ID3
system, Discovery systemer, Langleys
BACON, Lenats AM. Kunnskapsrike metoder,
Buchanans Meta-Dendral, læring ved instruksjon,
Davis Teresias, Ny giv for nevrale modeller,
Forklaringsbasert læring (EBL), læring under
problemløsning, case-basert læring, integrerte
læremetoder Kunstig liv, Statistiske metoder,
Data mining, Induktiv logikk-programmering,
Genetiske algoritmer, Reinforcement læring,
Bayesianske nett Integrerte læringsmetoder,
læring under problemløsing
1960
1970
1980
1990
2000
7
Eksempelbasert læring
instansrommet
begrepsrommet
hypoteser
- - - - - - - -- -- -
- - - - - - - - -
- - - - - - - -

Generaliserings- basert læring
kandidater
eksempler
begrep
- - - - - - - -- -- -
- - - - - - - - -
- - - - - - - -

- - - - - -
- - - -
- - - - -

Instans- basert læring
eksempler
eksempler
8
Lærings-systemer i MNFIT 272 Generaliserings-bas
erte Læring i Versjonsrom (VS metoden) -
Inkrementell læring - Lærer kun konjunktive
begreper - Lærer klassifikasjonsregel Læring
av beslutningstrær (ID3 metoden) -
Ikke-inkrementell læring - Lærer konjunktive og
disjunktive begreper - Lærer beslutningstre For
klaringsbasert læring (EBL) - bruker
bakgrunnskunnskap Instans-baserte CBR Analogi-
læring
9
Version Space

• The version space is the set of all
  generalizations which are consistent with
  all of the examples
• It is described by the S and G sets S is a
  generalization which is consistent with the
  examples and no other consistent generalization
  is more specific than it G is a
  generalization which is consistent with the
  examples and no other consistent generalization
  is more general than it

10
Version Space
G
more general
consistent generalizations
more specific
S
examples move S up
- examples move G down
11
Generality Lattice - Example
(? ?)
(? circle)
(red ?)
(blue ?)
(? square)
(blue circle)
(red circle)
(red square)
(blue square)
12
Versjonsrom-algoritmen

• S summerer info fra de positive exempler
• G summerer info fra de negative exempler
• Når SG er begrepet lært - dvs. flere eksempler
  tilfører ikke noe nytt
• Ikke nødvendig å ta vare på enkelteksemplene

13
Versjonsrom-algoritmen

• er en prinsipielt sterk læringsalgoritme -
  garanterer konsistens - er inkrementell
• men har store begrensninger i representasjonens
  uttrykkskraft - dvs. i hva som kan læres - kun
  konjunktive uttrykk - over-ivrig generalisering
  (mister muligheter)

14
(No Transcript)
15
(No Transcript)
16
(No Transcript)
17

• Decision Trees
• Data structure for clasifying objects
• Restricted to featural descriptions
• Allows for disjunction

color
red
green
blue
-
size
shape
circle
big
small
square
something red and small or green and
square-shaped

-

-
18
Learning EXAMPLE Feature-names (size color
shape) ( (big red circle)) ( (small red
square)) (- (medium red circle))
The concept of a big or small, but not
medium-sized, object
19

• ID3s information theoretic measure
• Picking the right feature for the root is
  crucial to building simple trees
• Choose feature which gives the most information
  regarding the class of an instance
• I(C) Information content of tree for set of
  instances C
• P Feature selected as splitting node
• E(P) Expected information needed to complete
  tree given
• splitting on P
• gain(P) Information gain from feature P,
• gain(P) I(C) - E(P)

20
(No Transcript)
21
color
red
green
blue
shape
-

square
circle
triangle

-

22
(No Transcript)
23
One way to treat missing data
24

• Summary Similarity-based Learning
• Empirical, data-intensive
• Requires many examples and counter-examples
• Knowledge poor
• Generates unjustified concept definitions

25

• Alternative paradigm
• - Explanation-based Learning
• Analytical
• Learns from 1 example
• Knowledge rich
• Generates justified concept definitions

26

• Explanation-based Learning
• Use exisiting domain knowledge to explain why
  an example is a member of a concept or why a
  plan works.
• Explanations determines relevant features
• Generalise the explanation made, to obtain a
  justified (explained) operational definition of
  the concept

27

• Explanation-based Generalization Problem
• Given
• Goal concept
• Training example
• Domain theory
• Operationality criterion
• Determine
• A generalisation of the training example which
  is an operational sufficient concept definition

28

• EBL method
• 1. Explain
• Use the domain theory to explain why the
  example is an example of the goal concept
• 2. Generalise Determine the most general
  condictions under whch the explanation
  holds, and generalise the explanation

29
(No Transcript)