Sminaire AIDE A LA DECISION

1
SéminaireAIDE A LA DECISION

• INRA Mai 2001
• François-Xavier LE DIMET
• Université Joseph Fourier, Grenoble
• Projet IDOPT, INRIA

2
MODELES ET METHODES EN SCIENCES DE L'ENVIRONNEMENT
3
Spécificité des problèmes d'environnement

• gouvernés par des lois non-linéaires
• problèmes d'échelles
• signification des observations
• unicité des situations
• systèmes non-fermés
• grande dimension et complexité des modèles
• hiéarchie de modèles

4
Modéliser pourquoi ?

• Prédiction
• Etudes de sensibilité
• Etudes d'impact
• Situations très différentes selon les disciplines
• Statut clair en météorologie ( contrainte
  opérationnelle)

5
Problème reconstituer l'état de l'environnement
à une date fixée.

• dans le futur
• dans le passé
• après une perturbation virtuelle

6
Une nécessité utiliser toute l'information
disponible.

• Lois de comportement
• Lois de conservation
• Observations
• Résultats de modèles numériques
• Statistiques
• Images

7
Problème Comment utiliser, de façon "optimale"
de l'information hétérogéne ?

• hétérogénéité en nature
• hétérogénéité en qualité
• hétérogénéité en densité

8
EXEMPLE LE CYCLE DE LEAU

• Estimer
• Prédire
• Les flux de leau atmosphérique, océanique,
  fluviale, continentale et souterraine.

9
(No Transcript)
10
VOLUME D EAU TOTAL
11
FLUX HYDRIQUES ANNUELS(km 3 par an et lame deau
en mm)
12
Flux HydriquesContinents--gtOcéans( km 3 par an)
13
Ressources nécessaires à la modélisation des
ressources en eau

• Modéle météorologique
• Modèle découlement de surface
• Modéle eaux souterraines
• Données météo
• Donnéees hydrologiques
• Système dinformation géographique

14
Difficultés

• Théoriques
• systèmes non-linéaires
• propriétés de modèles couplés
• échelles hétérogènes
• Pratiques
• Très grande dimension des systèmes
• Manque de données

15
En résuméComment coupler des systèmes
dinformation hétérogènes en nature, qualité et
densité ?

• ASSIMILATION DE DONNEES

16
Exemple assimilation de données ( météorologie
et océanographie)

• systémes d'équations aux dérivées partielles
  non-linéaires.
• observations du réseau météorologique
• observations "indirectes "
• résultats de prévisions antérieures
• liés par un principe variationnel
• le système d'optimalité ( équation
  d'Euler-Lagrange) contient toute l'information
  disponible.

17
Observations en météorologie

• Réseau synoptique
• Ballons sondes
• Bateaux
• Avions Satellites
• L'information est très hétérogène
• en densité spatiale et temporelle
• en qualité
• les mesures ne portent pas toujours sur les
  variables météorologiques ( radiances)

18
(No Transcript)
19
(No Transcript)
20
MODELES EN METEOROLOGIE

• équation de conservation de la quantité de
  mouvement
• équation de conservation de masse
• première loi de la thermodynamique

21
Modèles Opérationnelsen météorologie

• Environ 200 000 instructions
• 6 000 000 de variables
• Utilisés sur machines parallèles ( Cray, Fujitsu)
• Mise à jour permanente des codes

22
Propriétés des équations

• non linéarité
• existence d'attracteur
• difficulté d'intégration numérque ( stabilité)
• très grande dimension des systèmes discrets pour
  les modèles opérationnels de prévision

23
Comment insérer des données dans un modèle
numérique ?

• Interpolation
• purement algorithmique
• pas d'information nouvelle
• champs reconstitués non conformes à la dynamique
• Interpolation Optimale ( Cressman 1960)
• ajoute une information d'ordre statistique
• rend les champs reconstitués conformes à la
  climatologie
• Méthodes de filtrage
• numériquement coûteux
• pas opérationnel
• Méthodes dynamiques
• intégrations répétées du modèle en le forçant
  avec des observations
• Méthodes Variationnelles

24
Assimilation de données par des techniques de
contrôle optimal les ingrédients

• Variable d'état X
• Modèle
• X décrit l'atmosphère, fonction de x et de t
• régit l'évolution de X
• Variable de contrôle
• ensemble des entrées du modèle exemple la
  condition initiale U au temps 0, tel que pour U
  donné le modèle a une solution unique X (U))
• Observation X
• l'observation n'est pas dans le même espace
  (géographique et physique) que X, un opérateur
  linéaire C applique l'espace d'état dans celui
  des observations.
• Une fonction)-coût J(U)
• mesure l'écart entre l'état du modèle et
  l'observation

25
(No Transcript)
26
Problème Déterminer U réalisant le meilleur
ajustement aux observations

• Le meilleur ajustement sera obtenu en minimisant
  J par rapport à la variable de contrôle
• Condition d'optimalité
• Grad J( U) 0
• Algorithme
• partir d'une estimation initiale de U
• calculer le gradient de J par rapport à U
• améliorer l'estimation par l'utilisation d'une
  méthode d'optimisation sans contrainte

27
Calcul du Gradient Utilisation de l'état adjoint.
28
(No Transcript)
29
(No Transcript)
30
Algorithme de base

• Partir d'une première estimation de la condition
  initiale U0
• Un Début de l'itération n
• Intégrer le modèle de 0 à T
• Intégrer le modèle adjoint de T à 0
• En déduire le gradient en Un
• Calculer une direction de descente ( gradient
  conjugué, quasi-Newton, BFGS...
• Un1 réalise le minimum de J le long de la
  direction de descente.
• Aller en Un si un test d'arrêt n'est pas vérifié

31
U0
D1
U1
U0
D3
U3

• Uà

U2
D2
32
Difficultés

• Il n'y a pas de commutativité entre la
  détermination de l'adjoint et lea discrétisation
• la détermination de l'adjoint doit être
  rigoureuse pour ne pas inhiber l'optimisation
• Dans la détermination du code adjoint
• opération de linéarisation pas trop de problèmes
• la transposition demande la connaissance de
  toutes les dépendances difficile
• Dans la méthode d'optimisation
• la détermination du pas de descente peut demander
  plusieurs intégrations du modèle
• les systèmes sont de très grande dimension

33
EXEMPLE

• Equation shallow-water
• Discrétisation en différences finies
• 6 000x6 000 km, 30 pas d'espace dans chaque
  direction, pas d'espace 2mn

34
Modèles Adjoints

• Deux opérations de base pour dériver ladjoint
• Dériver
• Partir de lapremière instruction
• Dériver instruction par instruction
• Transposer
• Parir de la dernière instruction
• transposer

35
Dérivation de ladjoint

• le gradient doit être soigneusement vérifié
• Les nonlinearités doivent être repérées et les
  trajectoires associées stockées
• Une stratégie optimale doit être définie entre le
  recalcul et le stockage
• Ladjoint dot être lisible

36
Dérivation automatique de ladjoint

• La dérivation de ladjoint est un travail long et
  fastidieux
• Ladjoint est un outil fondamental de la
  modélisation
• assimilation de données
• étude de sensibilité
• couplage
• identification

37
Cas d'un domaine limité contrôle frontière

• Le modèle s'écrit
• Le modèle adjoint est défini par
• On montre alors que

38
Ajouter des contraintes physiques contrôle des
ondes de gravité

• Par des méthodes de type pénalité
• Par approximation de l'attracteur
• imposer une contrainte sur la condition initiale
  par exemple équation de balance nonlinéaire

39
ApplicationsEtudes de sensibilité

• Le modèle adjoint est un outil pour réaliser des
  études de sensibilité
• Il peut-être aussi utilisé pour l'identification
  de coefficients qui ne sont pas accessibles à la
  mesure physique
• Tendances actuelles de la modélisation en
  météorologie écrire le modèle adjoint en même
  temps que le modèle direct.

40
ApplicationsCouplage de modèles,hiérarchisation
de modèles

• Océan- Atmosphère
• Modèle Global- Modèle mésoéchelle
• Modèles sur un même domaine décomposé
• Algorithme
• O,A et I l'océan, l'atmosphère et l'interface
• méthode itérative
• les données océaniques et atmosphériques sont
  assimilées en parallèle
• puis phase de coordination par l'interface

41
Modélisation et assimilation de données en
océanographie

• Contexte
• Evolution du climat
• Océanographie opérationnelle (projet MERCATOR)
• Outils
• Modèles numériques
• Données dobservation
• Méthodes dassimilation de données
• Méthodes numériques, calcul scientifique
• Contrôle, filtrage

42

• Méthodes numériques - Calcul scientifique
• Schémas compacts
• Raffinement adaptatif de maillage
• Couplage de modèles
• Décomposition de domaine
• Assimilation de données
• Filtre de Kalman de rang réduit (filtre SEEK)
• Contrôle optimal - réduction de lordre des
  méthodes
• Approche mixte contrôle/filtrage
• Assimilation de la couleur de locéan

Collaborations Projet NUMATH (Nancy) LEGI
(Grenoble) CERFACS (Toulouse) Univ. Paris 13 SHOM
(Brest,Toulouse) IFREMER (Brest)
Contrats SHOM Brest Programme MERCATOR
43
Modèle docéan système de modélisation (i.e.
composants en interaction)

• Composant
• Zone géographique
• Physique
• Numérique
• Résolution
• Pb faire interagir ces composants
• Consistance mathématique
• Efficacité mumérique
• Difficulté informatique (approche
• boite noire, implémentation parallèle)

• Etape 1 raffinement adaptatif de maillage
  (même phys et num)
• (thèse L. Debreu)
• Etape 2 emboîtement et couplage de modèles
  (projet qui débute)

44
Raffinement adaptatif de maillage
Développement et validation dun outil général
pour une modélisation multi-résolution de locéan

Contraintes modèles aux diff.
finies indépendant des modèles facile dusage

• Méthode hiérarchique (Berger-Oliger)
• stabilité - convergence
• propriétés de conservation
• contraintes physiques
• adaptativité critères de raffinement

45
AGRIF Adaptive Grid Refinement In Fortran

• Un package Fortran-90 pour transformer aisément
  un code aux différences finies existant en un
  outil multi-résolution
• Utilisé modèles MICOM et OPA (SHOM Toulouse)
• modèle MARS (SHOM et IFREMER, Brest)
• Méso-NH (Nantes)
• modèle ROMS (UCLA)
• Prévu ou contacté
• Princeton Bremerhaven
• Miami
• LODYC Paris
• LMD Paris LTHE Grenoble

46
Assimilation variationnelle de données en océano

• Réduire le coût des méthodes par réduction de la
  dimension de
• lespace de contrôle
• Prise en compte et contrôle de lerreur du
  modèle
• Assimilation de nouvelles données (couleur de
  locéan, données
• lagrangiennes)

47

• Etude de familles de vecteurs caractéristiques
• Mise au point de méthodes de rang réduit
  utilisant ces vecteurs

snapshot of surface height
Exemple un modèle shallow water
5th Lyapunov vector
5th singular vector
5th bred vector
48
Controlling in a low-dimension space...
EOF analysis
Temperature EOF 1
Inertia vs number of EOFs
DATA TAO data array (70 fixed buoys)
49
MODELISATION et ASSIMILATION pour les CRUES
ANFAS
50
Modélisation de la rupture dune digue

• Equations de Saint-Venant 2D
• Frontière libre
• Adaptation à un milieu complexe ( couplage GIS
  pour la topographie et la rugosité)
• Couplage à un modèle 1D
• Assimilation de données ( images ?)

51
(No Transcript)
52
(No Transcript)
53
(No Transcript)
54
Eaux souterraines équation de Richards
55
(No Transcript)
56
Problem Retrieve or forecast the evolution of
alluvial rivers

• Model
• approximation
• empirical parameters
• high dimensional

• Observations
• heterogeneous
• sparse
• with errors

Difficulties
How?
Variational data assimilation techniques
Optimal input for models (IC, BC, Parameters,)
57
Physical phenomena

• fluid and solid transport
• different time scales

58
2D sedimentation modeling
1. Shallow-water equations
2. Equation of constituent concentration
3. Equation of the riverbed evolution
59
Les méthodes sont transposables à d'autres
applications scientifiques.

• algorithmes performants
• parallélisme
• couplage
• contrôle
• processus stochastiques
• ..............................

60
Le développement des sciences de l'environnement
demande un important investissement méthodologique

• méthodes mathématiques pour les systèmes
  hétérogènes
• algorithmes performants
• couplage de modèles
• production d'outils de génie logiciels
• gestion de base de données
• représentation de l'information

61
Contrôle démographique

• Variable détat pyramide des âges
• Evolution EDP non linéaire
• Contrôle fertilité ( coercitive)
• But ajuster au mieux une pyramide donnée à une
  date donnée.

62
Contrôle de la croissance de plantes (
numériques)CIRAD-LIAMA-IDOPT

• Etat description de la plante
• Evolution lois de croissance
• Contrôle eau, luminosité, apports minéraux ( en
  fonction du temps)
• But arriver aussi près dun état donné à une
  date donnée.

63
Contrôle dun écosystème clos ( CNES-IDOPT)

• Concevoir un écosystème fermé pouvant fonctionner
  pendant 3 ans ( Mission Mars)
• Seul apport extérieur énergie.
• Mathématiquement existe til des solutions
  périodiques stables au système (EDO)
• Difficulté jusquoù pousser la description du
  système ( populations bactériennes ?)
• Problème quelle est la taille minimale ?

64
Conclusion

• Les techniques de contrôle optimal permettentune
  approche globale données x modèle
• Elles donnent des outils tous usages
• analyse de sen sibilité
• couplage de modèles
• mise en uvre de méthodes numériques performantes
• Le problème de l'assimilation de données est un
  problème très général de la modèlisation
  numérique il a un caractère sensible en
  météorologie en raison de modèles opérationnels
• De nombreux problèmes restent ouverts.

65
Science - Fiction ?

• Modèles de plus en plus complexes ?
• Limitations en calcul ( Arpège 99)
• Chimie atmosphérique, assimilation de données et
  calcul ?
• Hiérarchie de modèles simples avec outils
  performants de couplage ?
• avec d'autres modèles
• avec d'autres milieux
• avec des données
• vers la prévision à la carte sur le web ? ( PPP
  Paiement Par Prévision)

66
Semi-empirical formulas

• Bed load function

• Suspended sediment transport rate

are empirical constants
67
Initial and boundary conditions
Initial conditions

Boundary conditions

• upstream ( )
• - given
• lateral walls ( )
• - rigid boundary conditions
• downstream ( )
• - open boundary conditions

68
An example of simulation
Initial river bed

• Domain

• Space step 2 km in two directions
• Time step 120 seconds

Simulated evolution of river bed (50 years)
69
Modeling parameters
70
Velocity and concentration fields
T0
T50 years
71
Data Assimilation using optimal control
techniques the ingredients

• State variable X
• describes the evolution of the river,
  dependent on x and t
• Model
• governs the evolution of X
• Control Variable U
• the inputs of models, e.g. U can be the
  initial condition of the model
• Observation Xobs
• the observations does not belong to the same
  space as the state variable
• A cost function J(U)
• measures the discrepancy between the
  observation and the model

72

• Initial condition determination problem
• model

• cost function

• optimality condition

• adjoint system (to calculate the gradient)

73
Data assimilation results
reference
first guess
optimal
74
Parameter identification problem

• Some parameters can not be physically measured
• e.g. empirical parameters
• Models are very sensitive to some parameters
• Can we identify at the same time all parameters
  ?
• - The orders of magnitude of parameters are
  very different
• - Dependency among parameters

75

• Parameter identification controlled system
• model

• cost function to minimize

• optimality condition

• adjoint system (to calculate the gradient)

76
Parameter identification results with
incomplete observations
Cost function
with
Example Observation of the elevation of river
bed in the channel
77
Identification results with prior estimates
Prior estimate for parameters
Cost function
78
Estimation of model errors

• Models are not perfect
• - error sources propagation errors, modeling
  errors, approximation errors
• High dimensionality of the problem
• - position and time dependence

79

• Model error estimation controlled system
• model

• cost function

• optimality conditions

• adjoint system(to calculate the gradient)

80
Reduction of the size of the controlled problem

• Change the space bases

Suppose is a base of the
phase space and is time-dependent
base function on 0, T, so that
then the controlled variables are changed to
with controlled space size
81
Optimality conditions for the estimation of
model errors after size reduction
If P is the solution of adjoint system, we
search for optimal values of
to minimize J
82

• Problem how to choose the spatial base
  ?
• Consider the fastest error propagation direction
• Amplification factor
• Choose as leading eigenvectors of
• Calculus of
• - Lanczos Algorithm

83
Numerical experiments with another base

• Choice of correct model
• - fine discretization domain with 41 times
  41 grid points
• To get the simulated observation
• - simulation results of correct model
• Choice of incorrect model
• - coarse discretization domain with 21
  times 21 grid points

84
The difference of potential field between two
models after 8 hours integration
85
Experiments without size reduction (108348)
the discrepancy of models at the end of
integration
before optimization
after optimization
86
Experiments with size reduction (38048)
the discrepancy of models at the end of
integration
before optimization
after optimization
87
Experiments with size reduction (3808)
the discrepancy of models at the end of
integration
before optimization
after optimization
88
Conclusions

• Validation of data assimilation techniques
• - Initial conditions
• - Parameters identification
• - Estimate of model errors
• Utilizable for prediction or other impact studies
• Difficulties
• - very few data
• - computational cost

89
Parameter identification results with
incomplete observations
Cost function
with
Example Observation of the elevation of river
bed in the channel
90
Identification results with prior estimates
Prior estimate for parameters
Cost function
91
Estimation of model errors

• Models are not perfect
• - error sources propagation errors, modeling
  errors, approximation errors
• High dimensionality of the problem
• - position and time dependence

92

• Model error estimation controlled system
• model

• cost function

• optimality conditions

• adjoint system(to calculate the gradient)

93
Reduction of the size of the controlled problem

• Change the space bases

Suppose is a base of the
phase space and is time-dependent
base function on 0, T, so that
then the controlled variables are changed to
with controlled space size
94
Optimality conditions for the estimation of
model errors after size reduction
If P is the solution of adjoint system, we
search for optimal values of
to minimize J
95

• Problem how to choose the spatial base
  ?
• Consider the fastest error propagation direction
• Amplification factor
• Choose as leading eigenvectors of
• Calculus of
• - Lanczos Algorithm

96
Numerical experiments with another base

• Choice of correct model
• - fine discretization domain with 41 times
  41 grid points
• To get the simulated observation
• - simulation results of correct model
• Choice of incorrect model
• - coarse discretization domain with 21
  times 21 grid points