Folie 1

1
Ingo Rechenberg
PowerPoint-Folien zur 8. Vorlesung Bionik II /
Biosensorik, Bioinformatik
Organisches Rechnen (Organic Computing)
Struktur und Arbeitsweise neuronaler
Netzwerke
2
Ein organischer Computer" (OC) ist definiert als
ein selbst-organisierendes System, das sich den
jeweiligen Umgebungsbedürfnissen dynamisch
anpasst. Organische Computersysteme haben sog.
Self-x-Eigenschaften" Sie sind
selbst-konfigurierend, selbst-optimierend,
selbst-heilend, selbst-erklärend und
selbst-schützend.
Organische Computersysteme verhalten sich eher
wie intelligente Assistenten als starre
Befehlsempfänger. Sie sind flexibel, robust
gegenüber (Teil)ausfällen und in der Lage, sich
selbst zu optimieren. Der Entwurfsaufwand sinkt,
da nicht jede Variante im Voraus programmiert
werden muss.
Gesellschaft für Informatik e.V.
3
Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik
4
Anwendung neuronaler Netze
Mustererkennung, Bildverarbeitung, Robotik,
Prozessautomatisierung, Diagnose, Medizin,
Betriebswirtschaft, Finanzdienstleistungen
Wissensverarbeitung
5
Natürliches Neuronales Netz
6
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Künstliches Neuronales Netz KNN
Neuronales Netz NN
7
Eigenheiten einer Nervenzelle
Impulsfortleitung im Axon
Summiereigenschaft des Zellsomas
Schwellverhalten des Encoders
S
Zeitverhalten der Synapse
Signalgewichtung durch Länge des Dendriten
8
Axon
? PSP
Soma
Encoder
Dendrit
Arbeitsweise einer (biologischen) Nervenzelle
9
Neuron 0. Ordnung
Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas
Streichung des Schwellverhaltens des Encoders
S
Streichung des Zeitverhaltens der Synapse
Signalgewichtung durch Länge des Dendriten
10
Neuron 0. Ordnung
(Technische Realisierung)
S
11
Neuron 1. Ordnung
Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas
Streichung des Schwellverhaltens des Encoders
S
S
aufgehoben !
Streichung des Zeitverhaltens der Synapse
Signalgewichtung durch Länge des Dendriten
12
Neuron 1. Ordnung (a)
(Technischen Realisierung)
Ue
S
Ua
Ua
Ue
13
Neuron 1. Ordnung (b)
(Technischen Realisierung)
Ue
S
Ua
Ua
Ue
14
Neuron 2. Ordnung
Impulsfortleitung
Summiereigenschaft des Zellsomas
Spannungs-Frequenzwandler mit Schwelle
S
Verzögerungs-glied 1. Ordnung
Signalgewichtung durch Länge des Dendriten
15
Neuron 2. Ordnung
(Technische Realisierung)
Berliner Bionik-Neuron
VZ1
VZ1
U
S
F
VZ1
F
Spannungs-Frequenzwandler mit Schwellwert
U
16
Zurück zum Neuron 0. Ordnung
17
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Netz mit Neuronen 0. Ordnung
18
Reduktionsgesetz für eine Neuronales Netz 0.
Ordnung
S
19
Belehren statt programmieren eines NN
20
Donald O. Hebb (1904-1985)
HEBB-Regel
Häufiger Gebrauch einer Synapse macht diese
stärker leitfähig !
21
Frank ROSENBLATTs Perceptron
Ue
S
Ua
Neuronales Netz 1. Ordnung (a)
2-schichtig mit springendem Ue-Ua-Verhalten
(Schwell-wertelement) und diskreter Verstellung
der Gewichte
22
Die Perceptron Lernregel
Regel 1 Wenn die Reaktion falsch als 0
klassifiziert wird, dann Gewichte der aktiven
Eingänge um 1 erhöhen.
0 statt 1
1
1
Regel 2 Wenn die Reaktion falsch als 1
klassifiziert wird, dann Gewichte der aktiven
Eingänge um -1 erniedrigen.
1 statt 0
23
Heute
Ue
S
Ua
Neuronales Netz 1. Ordnung (b)
Lernregel Back Propagation Evolutionsstrategie
3-schichtig mit sigmoidem Ue-Ua-Verhalten
(weiches Schwellwertelement) und kontinuierlicher
Verstellbarkeit der Gewichte
24
y
Ue
S
Ua
x
Die sigmoide Kennlinie wird durch die
Fermi-Funktion beschrieben
Sie zeichnet sich durch die besondere
mathematische Eigenschaft aus
25
Belehrung (Training) mit Backpropagation
26
net i
a2
a1
Neuron i
Fermi
1
2
Weiches Schwellwertelement
j nummerierte Eingänge
w24
w13
w23
w14
a4
Neuron 1
a3
4
3
w46
w35
w45
w36
Neuron 2
a6
a5
5
6
Neuron 3
Einfachstes 3-schichtiges Neuronales Netz
Durchrechnung des gesamten Netzes
27
a2
a1
1
2
w24
w13
w23
w14
Es gilt, die Gewichte w so zu verstellen, dass F
zu einem Minimum (möglichst Null) wird.
a4
a3
4
3
w46
w35
w45
w36
a6
a5
5
6
28
Dh sei 2
Dh sei 1
Experimentator
grad
Unsichtbare geneigte Ebene
2 Elementarschritte in die x-Richtung
1 Elementarschritt in die y-Richtung
Die Idee des Gradientenfortschritts
29
Approximation als Ebenenstückchen
a2
a1
1
2
w24
w13
w23
w14
Angenommen, die 8 Gewichte können über Zahnräder
eines Getriebes verstellt werden. Dann gibt es
eine Übersetzung für jedes Zahnrad, bei der sich
F maximal schnell ver-mindern würde, wenn wir an
der Hauptwelle drehen. Die Übersetzungen sind
gleich den Ableitungen von F nach den Gewichten
w.
a4
Oder nach der Gradientenidee Jedes Gewicht muss
so geändert werden wie sich der Fehler mit einer
Änderung des Gewichts ändert !
a3
4
3
w46
w35
w45
w36
a5
a6
5
6
d Schrittweite begrenzt durch Ebenenstückchen
Der Gradientenfortschritt
Gewichtsänderungen
30
Bei den richtigen Getriebeübersetzungen folgt man
dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für
Getriebefaktor (Gewichtsänderung) für
Vorteil der Fermi-Funktion (weiches
Schwellwertelement)
31
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w24
w13
w23
w14
Anfangsgewichte vorgegeben
und
a4
a3
4
3
w46
w35
w45
w36
a6
a5
5
6
32
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w13
w24
w23
w14
und
Fehler
4
3
w46
w35
w45
w36
2. Rückwärtsrechnung zur Bestimmung von
bis
5
6
33
a2
a1
Weg der Rechnung
1
2
1. Vorwärtsrechnung zur Bestimmung von
w24
w3
w23
w14
und
Fehler
4
3
w46
w35
w45
2. Rückwärtsrechnung zur Bestimmung von
w36
bis
5
6
3. Einstellung der neuen Gewichte
bis
Text
34
Belehrung (Training) mit der Evolutionsstrategie
35
Fortschreiten entlang des steilsten Anstiegs im
Fall der Existenz eines Berges
Universelles Naturgesetz Starke Kausalität
bei kleinen Schritten
j
36
a2
a1
1
2
w24
w13
w23
w14
a4
a3
4
3
w46
w35
w45
w36
a6
a5
5
6
Die Operation wird l-mal durchgeführt ( 1
Generation). Dann wird das Netz mit dem kleinsten
Fehler zum Ausgang einer neuen Generation.
Text
37
Es sei w ein Vektor mit den Komponenten
38
Algorithmus der (1, l ) Evolutionsstrategie mit
MSR
Streuung s
39
DNA-Kopierer
DNA
Mutation der Mutabilität und Vererbbarkeit der
Mutabilität
Knackpunkt der Evolutionsstrategie
40
w
normalverteilt (Dichte z)
2s
zi

0
w
logarithmisch normalverteilt (Dichte x )
0
1
2
3
4
xi
Interpretation der Kurve Eine Zufallszahl
zwischen 1/2 und 1/3 ist genau so häufig wie
zwischen 2 und 3
Zur Erzeugung der Mutationen z und x
41
0111111111 511
Von-Neumann-Computer versus Neuronencomputer
1111111111 1023
Kleine Mutation
ES-Theorie 10 - 20 optimale Erfolgswahscheinlich
keit
Verbesserung unwahrscheinlich
42
Kausalität
Gleiche Ursache ? Gleiche Wirkung
Schwache Kausalität
Ähnliche Ursache ? Andere Wirkung
Starke Kausalität
Ähnliche Ursache ? Ähnliche Wirkung
Text
43
Ausgang Stärke des Kaffeestroms
Eingang Neigung der Kaffeekanne
Starke Kausalität
Normalverhalten der Welt
44
Schwach kausales Verhalten
Stark kausales Verhalten
Klassischer Computer
Neuronencomputer
Evolutionsfähig
Nicht evolutionsfähig
45
Exemplarische Anwendungsgebiete Neuronaler Netze
Signalverarbeitung Spracherkennung,
Bilderkennung, Bildanalyse, Biometrie
Robotik Motorische Steuerung, Handlungsentscheidu
ngen, Autonome Systeme
Wirtschaft Kreditwürdigkeitsbeurteilungen,
Börsenkurs- und Wirtschaftsprognosen
Psychologie Modellierung kognitiver Vorgänge,
Simulation neuronaler Strukturen
Medizin Elektronische Nasen, Diagnose, Protein
Design, EEG-Auswertung
46
Die Entscheidungshilfe für Aktienanleger Was ist
Stock NeuroMaster? Stock NeuroMaster wurde
entwickelt, um Vorhersagen aus bestimmten
Marktsituationen zu treffen, die Ihnen bei der
Bestimmung des richtigen Kauf- und
Verkaufszeitpunktes helfen.
                                               
                                                  
                                         
Jetzt verdienen Sie an der Börse endlich
Geld! Modernste neuronale Netzwerktechnologie
("künstliche Intelligenz") hat es jetzt
ermöglicht mit einem Standard-PC Vorhersagen
ungeahnter Genauigkeit zu treffen. Der Stock
NeuroMaster nutzt neuronale Netze als Instrument,
um die historischen Börsen-kurse interessanter
Aktien zu analysieren. Basierend auf den
Ergebnissen dieser Analyse spricht die Software
konkrete Kauf- oder Verkaufsempfehlungen aus.
?
47
Vorschläge für eine Übungs-/Praktikums-Ausarbeitun
g zur Vorlesung Bionik II Zur Wanderwellentheorie
von Georg von Békésy Aufbau eines mechanischen
Modells, das eine frequenzabhängige Wanderwelle
erzeugt. Zur Navigation von Nachttieren Ist das
Licht des Nachthimmels polarisiert?. Experimente
mit Polarisationsfiltern in der Nacht. Aufbau
eines mechanischen Enzyms Funktioniert das in
der Vorlesung vorgestellte Winkelmolekül? Experime
nte mit dem Fensteroperator von Lohmann. Welches
Ausgangssignal ergeben verschieden konstruierte
Figuren und Figurenmengen. Eigenschaften von
Fensteroperatoren Versuche mit eigens
entworfenen neuen Fensteroperatoren. Suche im
Internet nach neuen exotischen Biosensoren, die
in der Vorlesung nicht behandelt
wurden. MP3-Player und laterale Inhibition.
Kompression digital gespeicherter Audiodateien
durch Kenntnis der seitlichen Hemmung der
Haarzellen in der Cochlea. Laterale Inhibition
der Riechsinneszellen in der Riechschleimhaut.
Welche Vorteile könnte hier die Inhibition
aufweisen? Entwicklungen und Trends des Organic
Computing Was leisten Neuronale Netze heute
Recherche im Internet. Bionik ist Bionik Statt
eines Themas aus der Vorlesung Bionik II können
Sie auch ein Thema aus der Vorlesung Bionik I
oder ein Thema aus dem gesamten Bereich der
Bionik als Hausaufgabe bearbeiten.
48
Ende
49
Bei den richtigen Getriebeübersetzungen folgt man
dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für
Deshalb Rückwärtrechnung
Getriebefaktor (Gewichtsänderung) für
50
Man mache sich klar Bei idealer starker
Kausalität (Funktionsstetigkeit) ist bei kleinen
Mutationen die Erfolgswahrscheinlichkeit gleich
50. Es trifft also nicht zu (wie oft behauptet
wird), dass eine erfolgreiche Mutation in der
Evolution ein extrem seltenes Ereignis darstellt.
Nur große erfolg-reiche Mutationen sind sehr
selten! Die 50 Erfolgswahrscheinlichkeit
(differentiell) kleiner Mutationen ergibt sich
aus der Tatsache, dass eine Berglandschaft in der
unmittelbaren Nähe durch ein geneigtes
Ebenenstückchen approximiert werden kann (Prinzip
der Linearisierung).
51
Vorteil der evolutionsstrategischen
Trainingsmethode Die Fehler an den Ausgängen
müssen nicht explizit bekannt sein. Die Ausgänge
des Neuronalen Netzes können z. B. die Bewegung
eines Roboters steuern, dessen Ist-Trajektorie
mit der Soll-Trajektorie verglichen wird und den
zu minimierenden Fehler darstellt.