Apprentissage et volution : l'effet Baldwin

1
Apprentissage et évolution l'effet Baldwin
Dynamique des systèmes complexes et applications
aux SHS modèles, concepts méthodes

• Mirta B. Gordon
• Laboratoire Leibniz IMAG
• Grenoble

2
théorie de l'évolution

• les caractéristiques d'un individu dans une
  population sont déterminées génétiquement
• les caractères appris ne sont pas transmis à la
  génération suivante
• évolution d'une population
• sélection les individus les plus aptes (dans
  l'interaction avec leur environnement) ont une
  meilleure "adéquation à l'environnement"
  (fitness), et par conséquent, une probabilité
  plus grande de laisser des descendants.
• mutation source de variabilité à l'intérieur
  d'une population
• cross-over
• les caractéristiques moyennes de la population
  évoluent dans le temps vers des valeurs optimales

3
questions soulevées par Baldwin (1896)

• "A new factor in evolution", The American
  Naturalist 30 (1896) 441-451
• la sélection naturelle est un processus "négatif"
• l'évolution est seul fruit du hasard
• les mutations qui ne confèrent pas de fitness
  disparaissent
• cependant
• les paléontologues observent que certaines
  modifications se produisent progressivement au
  cours des générations
• -gt il y aurait un "sens" (une orientation) dans
  l'évolution
• il y a des discontinuités évolutives dans les
  gisements fossiles comme si des étapes
  d'évolution intermédiaires manquaient
• Baldwin
• les deux observations s'expliquent par
  l'interaction entre l'apprentissage et
  l'évolution par une "sélection organique"

4
l'effet Baldwin (sélection organique)

• grâce à leurs capacités d'apprentissage, les
  individus survivent en s'adaptant à des
  conditions environnementales adverses
• si l'environnement ne varie pas trop brutalement
  
• les mutations les plus adaptatives sont celles
  qui transforment en congénital ce qui devait être
  appris
• l'apprentissage "guide " l'évolution, car il
  introduit un biais dans les mutations perennisées
• la capacité d'apprentissage augmente la variance
  génétique de la population (beaucoup d'individus
  ont un genotype très différent de la moyenne)
• lors d'un changement brutal de l'environnement,
  un cataclisme, seuls ces individus très
  différents (qui existent grâce a la capacité
  d'apprentissage) peuvent survivre
• l'apprentissage "accélère " l'évolution, il
  permet des sauts évolutifs

5
plan

• modèle de Hinton et Nowlan (1987)
• How learning guides evolution
• critique, et modèle démergence de
  lapprentissage
• discussion

6
modèle de Hinton et Nowlan (HN)

• population de N individus haploïdes, chacun
  possédant un réseau de neurones avec L connexions
  potentielles
• chaque individu
• génotype vecteur de L gènes qui codent les
  connexions
• chaque gène possède 3 allèles
• 1 connexion avec poids wi1
• -1 connexion avec poids wi-1
• ? connexion flexible, adaptable par
  apprentissage
• exemple de génotype (1,1,-1,?,-1,......)
• le réseau de neurones confère fitness seulement
  si les connexions ont une configuration
  particulière toutes égales à 1
• génotype optimal (1,1,1, ...,1)

7
évolution algorithme génétique

• générer une population initiale (n0) de N
  individus
• N génotypes de la forme (1,-1,1,?,...,-1)
  gènes tirés au hasard
• évolution
• pour chaque individu
• apprentissage adapter les connexions flexibles
  (?)
• fitness évaluer l'adéquation à l'environnement
• nouvelle génération n n1
• sélection choisir les N individus de la
  génération suivante avec des probabilités
  proportionnelles à leurs fitness
• cross-over on apparie les genomes le nouvel
  individu a ses premiers gènes hérités de son
  "père" et les derniers de sa "mère" (le point de
  coupure étant tiré au hasard)
• mutation chaque gène est transformé en un des
  deux autres allèles avec probabilité Pmut

8
apprentissage dans le modèle HN

• rappel configuration "correcte"
• apprentissage
• on tire au hasard les poids des connexions
  flexibles "?
• 1 ou -1
• G nombre maximal d'essais permis
• g nombre d'essais vraiment effectués (g G)
• on arrête dès que l'on trouve la configuration 1
  pour tous les "?"
• ou si g atteint G
• le nombre d'essais g détermine la qualité F
  (fitness) de l'individu

(1,1,....,1)
9
fitness dans le modèle HN

• définition
• si en G tirages on ne trouve pas la configuration
  
• si le génotype contient au moins un "-1"
• F1
• probabilité de sélection

(1,1,....,1)
10
description des résultats

• au niveau de chaque individu
• P nombre dallèles  1  du génome
• Qnombre dallèles  ? 
• Rnombre dallèles  -1 
• PQRL
• pour décrire la population
• fitness F
• population optimale p1, qr0
• fitness gt 1 seulement si r0, pq1

11
résultats

• sans apprentissage fitness "plate"
• dans ce modèle pas de phénotype -gt seul
  l'apprentissage confère fitness
• évolution "chercher une aiguille dans une botte
  de foin
• l'apprentissage permet que des génotypes proches
  de l'optimum aient une probabilité de sélection
  importante

• avec apprentissage paysage de fitness lame de
  rasoir

12
critique du modèle HN

• l'apprentissage accélère-t-il l'évolution ?
• oui ...
• par rapport à une recherche aléatoire (non
  darwinienne) de l'optimum
• "recherche d'une aiguille dans une botte de
  foin"
• mais
• ce modèle ne permet pas de comparer des
  populations avec et sans apprentissage car la
  fitness des individus incapables d'apprendre
  (avec Q0) est minimale par construction (à
  lexception de ceux avec PL à la naissance).
• l'apprentissage guide-t-il l'évolution ?
• le modèle ne répond pas à cette question
• pas de voies d'évolution alternatives

13
modèle HN généralisé

• on évalue la fitness sur le phénotype un
  réseau de neurones
• perceptron le réseau de neurones le plus simple
• entrées poids des
  connexions
• sortie (ex. 1mangeable, -1poison)
• classification de "référence" (optimale)
  professeur de poids

14
perceptrons adaptables

• à chaque génération n
• on génère un ensemble de M exemples xm
• apprentissage déterminer les poids w des
  connexions flexibles (codées par les allèles "?")
• initialiser
• on tire au hasard (1 ou -1) les poids des Q
  connexions flexibles du perceptron
• m 0
• pour m1 à M
• si sign(w.xm)sign(w.xm) ? m m1
• autrement on apprend xm
• on modifie autant de poids flexibles que
  nécessaire pour changer le signe de la sortie
• fitness proportionnelle à m/M fraction
  d'exemples bien classés

15
paysage de fitness

• modèle HN perceptrons avec M100

16
résultats

• chemins évolutifs l'apprentissage ralentit
  l'évolution

• évolution des genotypes

17
mais ...

• environnement fixe
• la capacité dapprentissage se perd !
• question
• que se passe-t-il dans un environnement variable
  ?

18
environnement variable

• deux états de la nature (deux perceptrons
  professeur qui salternent)
• poids optimaux
• temps total d'apprentissage G
• fréquence de changement 2f
• temps dapprentissage dans chaque environnement
  TG/2f

19
évolution

• TG/2f
• Tc51

20
paysages de fitness

• deux chemins évolutifs suivant la fréquence des
  changements
• 2f1 (T long) 2f10 (T court)
• on a le temps de s'adapter on ne s'adapte pas
  on est
• performant la moitié du temps

21
conclusion

• l'apprentissage ralentit l'évolution
• si l'environnement est fixe, la capacité
  d'apprentissage se perd
• si l'environnement est variable, il y a deux
  alternatives
• variation lente
• on s'adapte à l'environnement,
• la capacité d'apprentissage a une valeur
  adaptative (confère "fitness")
• variation rapide
• on se spécialise (quitte à être mal adapté une
  fraction du temps)
• on perd la capacité d'apprendre

22
références

• modèle de Hinton et Nowlan
• How learning guides evolution, Complex Systems 1
  (1987) 495-502.
• Approximation analytique de Fontanari et Meir
• The effect of learning on the evolution of
  asexual populations, Complex Systems 4 (1990)
  401-414.
• critique, et modèle démergence de
  lapprentissage
• A model for the interaction of learning and
  evolution. H. Dopazo, M.B. Gordon, R. Perazzo et
  S. Risau Gusmán. Bulletin of Mathematical Biology
  63 (N1) (2001) 117-134
• A model for the emergence of adaptive subsystems.
  H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau
  Gusmán. Bulletin of Mathematical Biology 65,
  vol./1(2003) 27-56
• Merci de votre attention !