Lernen 1. Vorlesung

1
Lernen1. Vorlesung

• Ralf Der
• Universität LeipzigInstitut für
  Informatikder_at_informatik.uni-leipzig.de

2
Allgemeines zur Vorlesung

• Vertiefungsmodul Intelligente Systeme.
  Modulnummer 10-202-2302
• Vertiefungsmodul im M. Sc. Informatik und
• Master Lehramt Informatik Gymnasium und
  Mittelschule
• Vorlesung Lernen ist Bestandteil des Moduls.
  Umfang 2 SWS.
• Prüfung durch Klausur am Ende des Semesters.

3
Inhaltsverzeichnis

• Behandelt werden symbolische und subsymbolische
  Lernverfahren. Themen sind
• Allgemeines zu Lernen
• Neuronale Netze
• Clustering und Klassifikationslernen
• - Support Vector Machines
• - Reinforcement Learning
• Entscheidungsbaum-Lernen
• - Lernen von Regeln und Konzepten

4
Paradigmen des Lernens I

• Allgemeiner Kontext Unter Lernen versteht man
  den bewussten und unbewussten individuellen oder
  kollektiven Erwerb von geistigen und körperlichen
  Kenntnissen und Fertigkeiten oder Fähigkeiten.
  Lernen kann als Änderung des Verhaltens, Denkens
  oder Fühlens aufgrund verarbeiteter Wahrnehmung
  der Umwelt oder Bewusstwerdung eigener Regungen
  bezeichnet werden. (Quelle Wikipedia)
• Wissenschaftliche Teildisziplinen
  Lernpsychologie, die Pädagogische Psychologie,
  Neurobiologie, die Didaktik und Pädagogik
• Für uns aber besonders die Künstliche Intelligenz
  
• Jedoch ist Lernen mehr als das reine Abspeichern
  von Informationen. Lernen beinhaltet die
  Wahrnehmung der Umwelt, die Verknüpfung mit
  Bekanntem (Erfahrung) und das Erkennen von
  Regelmäßigkeiten (Mustererkennung).

5
Paradigmen des Lernens II

• Diese allgemeinen, und insbesondere auf den
  Menschen abgestimmten Paradigmen interessieren
  hier weniger. Stattdessen
• Aufbau einer formalisierten Theorie mit konkreten
  Algorithmen für die Realisierung eines lernenden
  Sytems als Bestandteil eines intelligenten
  Systems.
• Beispiel überwachtes Lernen (Lernen mit Lehrer,
  supervised learning)

6
Paradigmen des Lernens IIa

• Aufgabe des Lerners im supervised learning ist
  das Erlernen des Funktionszusammenhages y
  f(x) aus einer endlichen Anzahl von im
  allgemeinen verrauschten Trainingsbeispielen (x,
  ysoll ).

7
Paradigmen des Lernens III

• Reinforcement-Lernen Lernen aus Lob und Tadel.
  Zwischen supervised und unsupervised Lernen.

8
Paradigmen des Lernens IVa

• Nichtüberwachtes Lernen (unsupervised learning)
  Erkennen von Strukturen in den Daten, meist aus
  statistischen Regelmäßigkeiten
• Beispiel Clusterung der Lerner lernt
  selbständig, jeden Datenvektor einem Cluster
  zuzuordnen.

9
Paradigmen des Lernens IVa

• Beispiel Clusterung der Lerner lernt
  selbständig, jeden Datenvektor einem Cluster
  zuzuordnen.

x2
Clustervektoren
x1
10
Lernverfahren

• Neben den Paradigmen des Lernens unterscheidet
  man auch nach den Lernverfahren, d.h. den
  konkreten algorithmischen Ansätzen mit denen das
  Lernen stattfindet.
• Diese hängen eng von der konkreten Realisierung
  des Lerners an. Z. B. parameteradaptive
  Lernverfahren Lerner durch eine parametrisierte
  Funktion realisiert. Beispiel neuronales Netz.
  Parameter werden sukzessive angepasst, um die
  Leistungen des Lerners zu optimieren.
• Beispiel supervised learning mit
  Gradientenverfahren Definiere eine
  Fehlerfunktion
• E y ysoll 2
• Gradientenabstieg Update für Parametervektor w

11
Beispiel lineare Regression

• Lerner durch Funktionsansatz y ax b mit
  Parametervektor w (a,b)T gegeben. Gesucht beste
  Parameter, die Abweichung von den Datenpunkten
  minimieren

• Avanciertes Verfahren (nichlinear,
  hochdimensional, effektiv) Support-Vector-Machine
  s

12
Vorschau

• Im folgenden zunächst neuronale Netze als
  Beispiele für parameteradaptive Lernverfahren
  behandelt.

13
Einige Bilder
14
Neuronen


Mathematisches Modell des Neurons
w1
x1
z
y

xn
15
Neuronale Netze