R

1
Réseaux bayésiens Inférence

• Chap. 14
• Sections 4 5

2
Plan

• Inférence exacte par énumération
• Inférence exacte par élimination de variable
• Inférence par simulation stochastique
• Inférence par Chaîne de Markov Monte-Carlo (MCMC)

3
Tâches dinférences

• Requête simples la probabilité a-posteriori
• E.g.
• Requêtes conjonctives
• Décision optimale le réseau de décision contient
  les informations dutilité. Linférence
  probabiliste requise pour
• Valeur dinformation Quelle évidence à chercher
  ensuite?
• Analyse de sensibilité Quelle valeur de
  probabilité est la plus critique?
• Explication Pourquoi ai-je besoin dun nouveau
  démarreur?

4
Inférence par énumération

• Méthode naïve énumérer tous les cas
• Requête simple sur le réseau du cambriolage
• Légèrement plus intelligent sommer (sum out) sur
  les variables sur une distribution conjointe sans
  construire sa représentation explicite
• Réécrire la distribution conjointe en utilisant
  les CPT
• Peut être implanté avec une recherche en
  profondeur dabord récursive Espace O(n) et
  Temps O(dn)

5
Algorithme par énumération
6
Arbre dévaluation
Calcul répété inefficace
7
Inférence par élimination de variables

• Élimination de variables Effectuer les
  sommations de droite à gauche, stocker des
  résultats intermédiaires (facteurs) pour éviter
  de recalculer

8
Élimination de variables opérations de base

• Sommation (sum out) dune variable à partir dun
  produit de facteurs
• E.g.
• Bouger tous les facteurs constant dehors
• Additionner les sous matrices en produit
  point-par-point (pointwise) pour les facteurs
  restant
• Supposons que ne dépendent pas de
• Produit point-par-point de facteurs f1 et f2

9
Algorithme
10
Variable non pertinente

• Soit la requête
• Sommation sur m donne toujours 1. Ainsi M est non
  pertinente à la requête
• Théorème 1 Y est non pertinente à moins que
• Ici, et
• Donc, est non pertinente

11
Variable non pertinente

• Définition Graphe moral dun réseau bayésien
  marier les parents et enlever les flèches
• Définition A est m-séparé de B par C ssi séparé
  par C dans le graphe moral
• Théorème 2 Y est non pertinent si m-séparé de X
  par E
• Pour
• Burglary et Earthequake sont non pertinentes
• Éliminer ces variables du calcul

12
Complexité de linférence exacte

• Polytree (réseau connecté par des liens simples)
• Chaque paires de nœuds connectés au max. par un
  lien
• Temps et espace sont O(dkn)
• Réseau de connexions multiples
• Peut se réduire à 3SAT ? NP-difficile
• Équivalent à compter les modèles 3SAT ?
  P-complet

13
Inférence par simulation stochastique

• Idée de base
• Tirer N échantillons à partir dune distribution
  déchantillonnage S
• Calculer une probabilité a posteriori
  approximative
• Montrer que ceci converge vers la raie
  probabilité P
• Méthodes
• Échantillonnage à partir dun réseau vide
• Échantillonnage avec rejet rejeter les
  échantillons qui ne se conforme pas avec
  lévidence
• Pondération de vraisemblance utiliser lévidence
  pour pondérer les échantillons
• Chaîne de Markov Monte-Carlo (MCMC)
  échantillonnage à partir dun processus
  stochastique dont la distribution stationnaire
  est la vraie probabilité

14
Échantillonnage à partir dun réseau vide
15
Exemple
16
Exemple
17
Exemple
18
Exemple
19
Exemple
20
Exemple
21
Échantillonnage à partir dun réseau vide

• Probabilité que PriorSample génère un événement
  particulier
• i.e. la vraie probabilité
• E.g.
• Soit le nombre déchantillons générés pour
  lévénement
• Alors nous avons
• donc consistent
• Autrement dit

22
Échantillonnage avec rejet

• est estimée selon les échantillons
  conformes à
• Rejeter les échantillons non conformes
• E.g. Pour utilisant 100 échantillons
• 27 avec
• Dont 8 et 19

23
Analyse échantillonnage avec rejet

• Donc, léchantillonnage avec rejet retourne des
  estimations a posteriori consistantes
• Problème Très coûteux quand P(e) est petite
• P(e) descend exponentiellement avec le nombre de
  variables dévidence !

24
Pondération de vraisemblance

• Idée Fixer les variables évidences,
  échantillonner sur les variables non-évidences et
  pondérer selon la vraisemblance quelles sont
  conformes aux évidence

25
Exemple
26
Exemple
27
Exemple
28
Exemple
29
Exemple
30
Exemple
31
Exemple
32
Analyse de léchantillonnage pondéré

• Échantillonner pour
• Note Surveiller seulement les évidences des
  ancêtres
• Quelque part entre les distributions a priori et
  a posteriori
• Pondérer les échantillons z et e
• Prob. déchantillonnage pondéré est
• Donc la pondération despérance retourne des
  estimations consistantes, mais la performance
  dégrade avec beaucoup de variables dévidence
  parce que seulement quelques échantillons ont
  tout le poids

33
Inférence approximative avec MCMC

• État du réseau les assignations courantes des
  variables
• Générer létat prochain en tirant sur une
  variable étant donné la couverture Markov
• Échantillonner sur chaque variable à tour de
  rôle, en gardant les évidences fixes
• Échantillonnage Gibbs un cas spécial

34
Exemple

• Avec , il y a 4 états
• Laisser airer un moment, et prendre la moyenne

35
Exemple

• Estimer
• Tirer sur et étant donné la
  couverture Markov, et répéter
• Compter le nombre de fois est vrai et faux
  
• E.g. 100 échantillons avec 31 et 69
• Théorème La chaîne Markov approche la
  distribution stationnaire
• Le temps resté sur chaque état dans une longue
  expérience est exactement proportionnel à sa
  probabilité a posteriori

36
Échantillonnage couverture Markov

• La couverture de Cloudy est
• Sprinkler et Rain
• La couverture Markov de Rain est
• Cloudy, Sprinkler et WetGrass
• Probabilité étant donné la couverture Markov
• Peut être implanté comme passage de message dans
  un système parallèle
• Problèmes
• Difficile de déterminer si ça converge
• Peut gaspiller du temps si la couverture Markov
  est large
• ne change pas beaucoup

37
Sommaire

• Inférence exacte par élimination de variables
• Temps polynomial en polytree et NP-difficile en
  général
• Espace temps, sensible à la topologie
• Inférence approximative
• Pondération despérance fonctionne mal quand il
  y a beaucoup dévidences
• Pondération despérance et MCMC généralement non
  sensible à la topologie
• Convergence peut être lente quand prob. proche de
  0 ou 1
• Peut traiter des combinaisons arbitraires des
  variables discrètes et continues