Rseaux de neurones apprentissage supervis

1
Réseaux de neuronesà apprentissage supervisé

• Béatrice Duval
• Master 2 Marketing et NTIC

2
Réseaux de neurones

• Peuvent être utilisés
• pour une tâche de classification
• Pour une tâche destimation

3
Réseaux de neurones

• Réseau d'unités calculatoires simples liées par
  des connexions et qui permettent la
  représentation de fonctions complexes
• Apprentissage des paramètres du réseau (poids des
  connexions) grâce à un ensemble d'exemples

4
Le neurone formel
X0-1
Seuil uw0
5
Perceptron multicouches

• Réseaux où les neurones sont répartis en couches
  successives
• Couche d'entrée les attributs(variables) du
  problème
• Couche de sortie valeur(s) à estimer
• Couches cachées tous les neurones d'une couche
  sont les entrées de chaque neurone de la couche
  suivante

6
Perceptron multicouches
7
apprentissage (entraînement) du réseau

• Echantillon de m exemples (x1,x2, ,xn, c) où les
  xi sont les variables décrivant chaque exemple
  (entrées réelles de 0,1) et c est la variable à
  modéliser (classe ou valeur à estimer un réel de
  0,1 ou un élément de0,1)
• Réseau à n entrées et une (ou plusieurs sorties)
• Choix de l'architecture nbre de couches cachées,
  nbre de neurones par couches
• But minimiser l'erreur quadratique sur tous les
  exemples

8
Apprentissage par rétro-propagation

• 1. Initialisation de la matrice des poids
• 2. Calcul de la sortie associée à une entrée et
  de l'erreur différence entre sortie réelle et
  sortie calculée
• 3. Rétro-propagation de lerreur à travers le
  réseau
• 4. correction des poids pour minimiser lerreur
• 5. retour en 2 jusqu'à atteindre la condition
  d'arrêt

9
Evaluation d'un réseau

• Un réseau construit est évalué sur un ensemble de
  test
• Essayer plusieurs architectures et les mesurer
  sur l'ensemble test

10
Conditions d'arrêt possibles

• Nombre d'itérations sur l'ensemble d'exemples
• Erreur inférieure à un seuil
• erreur moyenne, erreur absolue

11
Utilisation d'un réseau

• Le réseau retenu après évaluation est le modèle
  utilisé pour la prédiction de c pour de nouveaux
  individus
• Calcul de la prédiction très rapide

12
En pratique

• Choix de l'ensemble d'apprentissage
• Doit couvrir l'ensemble des valeurs pour toutes
  les caractéristiques
• Les nbres d'ex d'apprentissage pour chaque valeur
  possible de la sortie doivent être similaires
• Lien entre nbre d'exemples d'apprentissage et
  nombre de poids à déterminer

13
En pratique

• Préparation des données normalisation
• Variable continue un neurone d'entrée
• v devient (v-min)/(max-min)
• Utiliser un découpage ou une transformation
  logarithmique pour lisser une distribution
• Variable discrète ordonnée
• Variable énumérative un neurone d'entrée par
  valeur possible

14
En pratique

• Pas de méthode automatique pour choisir
  l'architecture du réseau
• On peut procéder à des essais avec un modèle
  simple(une couche cachée) et un modèle beaucoup
  plus complexe (2 ou 3 couches cachées)
• Souvent les fonctions sigmoïde et tangente sont
  très efficaces

15
Conclusion

• Avantages
• Méthode robuste au bruit
• Classification ou estimation rapide une fois le
  réseau construit
• Disponible dans tous les logiciels de fouille de
  données
• Inconvénients
• Boîte noire difficile d'interpréter le modèle
  obtenu
• Temps d'apprentissage important
• Difficulté de choix des paramètres