Chapitre 4 Algorithmes de recherche directe

1
Chapitre 4Algorithmes de recherche directe

• Optimisation A
• Génie Mécanique

2
Introduction

• Fonction objectif non linéaire
• Dérivées indisponibles
• Motivations
• fonction logiciel commercial
• fonction expérience réelle
• Méthodes qui napproximent pas le gradient

3
Nelder-Mead

• Rappel
• Un ensemble de vecteurs y1,,yk1 dans IRn (kn)
  est indépendant au sens affine si les vecteurs
  y1-yk1,y2-yk1,yk-yk1 sont linéairement
  indépendants.
• Lenveloppe convexe de k1 vecteurs de IRn
  indépendants au sens affine est appelée un
  simplexe à k dimensions.

4
Nelder-Mead

• Rappel
• 3 points sont
• soit colinéaires
• soit indépendants au sens affine
• Le triangle est un simplexe à deux dimensions.
• La pyramide est un simplexe à 3 dimensions

5
Nelder-Mead

• Idée
• Maintenir un simplexe S
• Soient xjj1,,N1les sommets de S
• On suppose que
• f(x1) f(x2) f(xN1)
• Soit le centroïde des N premiers sommets
• x(?i1,,N xi)/N
• A chaque itération, on remplace xN1 par
• x(m) (1m)x-mxN1

6
Nelder-Mead

• Opérations de base
• Réflexion m 1
• x 2x- xN1
• Expansion m 2
• x 3x- 2xN1
• Contraction externe m ½
• x 3x/2 - ½ xN1
• Contraction interne m -½
• x ½ x ½ xN1

7
Nelder-Mead

• Exemple

xE
xR
xj
xCE
x
xCI
xi
xN1
8
Nelder-Mead

• Exemple

xE
xj
xR
xCE
x
xCI
xi
xN1
9
xE
xR
xj
xCE
x
xCI
xi
xN1
10
xE
xj
xR
xCE
x
xCI
xi
xN1
11
Nelder-Mead

• Rétrécissement
• Pour i 2,,N1
• xi x1 (xi-x1)/2

x1
12
Nelder-Mead

• Algorithme
• Soit un simplexe S initial
• Soient t et fmax
• Tant que f(xN1)-f(x1) gt t et nf fmax
• Si f(x1) f(xR) lt f(xN) alors xN1 xR
• Si f(xE) lt f(xR) lt f(x1) alors xN1 xE
• Si f(xR) lt f(x1) et f(xE) ³ f(xR) alors xN1 xR
• Si f(xN) f(xR) lt f(xN1) et f(xCE) f(xR)
  alors xN1 xCE
• Si f(xR) ³ f(xN1) et f(xCI) lt f(xN1) alors xN1
  xCI
• Sinon rétrécissement

13
Nelder-Mead

• Attention
• Lalgorithme ne converge pas toujours.
• Cependant, en pratique, lalgorithme fonctionne
  bien en général.

Ex fminsearch de Matlab
14
Nelder-Mead

• Historique
• Proposée en 1965.
• Il fallut attendre jusquen 1998 pour avoir un
  contre exemple.

Nelder Mead, A simplex Method for function
minimization,
computer journal 7, 1965.
McKinnon, Convergence of the Nelder-Mead simplex
method to a non-stationary
point, SIAM journal of
Optimization. 9, 1998.
15
Nelder-Mead

• Lexemple de McKinnon

simplexe initial S
16
(No Transcript)
17
(No Transcript)
18
(No Transcript)
19
(No Transcript)
20
(No Transcript)
21
(No Transcript)
22
(No Transcript)
23
(No Transcript)
24
Multidirectionnel

• Généralisation de lalgorithme de Nelder-Mead
• Maintenir un simplexe S
• Soient xjj1,,N1les sommets de S
• On suppose que
• f(x1) f(x2) f(xN1)
• A chaque itération, on crée un nouveau simplexe
  congruent au précédent

25
Multidirectionnel

• Opérations de base
• Réflexion
• xRi x1 (xi-x1) i2,,N1
• Expansion
• xEi x1 2(xi-x1) i2,,N1
• Contraction
• xCi x1 ½ (xi-x1) i2,,N1

26
Multidirectionnel
xE3
x2
xC2
xR3
x1
xC3
x3
xR2
xE2
27
Multidirectionnel

• Algorithme
• Soit un simplexe S initial
• Soient t et fmax
• Tant que f(xN1)-f(x1) gt t et nf fmax
• Si f(x1) mini f(xRi) S SC
• Si f(x1) gt mini f(xRi) gt mini f(xEi) SSE
• Sinon S SR

28
Multidirectionnel

• Comparaison avec Nelder-Mead
• Tout le simplexe est modifié
• Plus dévaluations de fonctions à chaque
  itération
• Préserve les qualités géométriques
• Une itération est considérée réussie lorsque la
  valeur de la fonction au meilleur point est
  diminuée
• Théorie de convergence

29
Interpolation quadratique

• Idée
• Pas de simplexe
• Utiliser un modèle quadratique comme dans la
  méthode de Newton
• Pas de gradient ni de Hessien pour construire le
  modèle.
• Choisir un modèle m(x) tel que
• m(xi) f(xi) pour xi ? Y

30
Interpolation quadratique

• Modèle quadratique
• m(xks) f(xk) gkTs ½ sTHks
• n inconnues pour gk
• (n2n)/2 inconnues pour Hk (symétrique)
• Il faut donc au moins
• 1n(n2n)/2 ½ (n1)(n2)
• points dinterpolation différents

31
Interpolation quadratique

• Si n2 il faut au moins 6 points
• Mais cela ne suffit pas nécessairement

m(x,y)lx (2-l)y- 2/6 x2 11/3 xy 2/3
y2 m(xi,yi) f(xi,yi) ?i,??
32
Interpolation quadratique

• Plus formellement,
• soit

une base linéaire de lespace des quadratique à
n dimensions

lensemble dinterpolation
33
Interpolation quadratique

• On peut alors exprimer le modèle comme
  combinaison linéaire des vecteurs de base

Comme mk(y)f(y) pour tout y dans Y, on peut
écrire
Il sagit dun système linéaire dont les
inconnues sont les ?i, i1,,p.
34
Interpolation quadratique

• Ce système admet une solution unique ssi

Dans ce cas lensemble dinterpolation Y est dit
équilibré (poised)
35
Interpolation quadratique

• Retour à lexemple

Soit la base Alors
36
Interpolation quadratique

• Algorithme
• Initialisation
• Soit X0 un ensemble de point, ?0 rayon de la
  région de confiance initial
• Tant que le critère darrêt nest pas satisfait
• Définir le modèle mk(xk)
• Minimiser m(xks) dans ?k
• Evaluer f(xks)
• Mise à jour de Xk et ?k

37
Interpolation quadratique

• Notes
• Base de polynômes
• Lagrange
• Newton
• Difficulté principale maintenir de bonnes
  propriétés géométriques, dit poisedness, pour les
  points dinterpolation.
• Méthode de région de confiance.