REGRESSION

1
REGRESSION

• Éléments de cours

2
Objectif
La régression multiple vise à expliquer ou
prédire une variable continue (dite variable
dépendante ou à expliquer ou encore
endogène ), à laide dun ensemble de variables
dites explicatives (ou exogènes ).
3
Le modèle linéaire
On dispose dun ensemble de n observations sur
lesquelles ont été effectuées p1 mesures des
variables Y X1, X2, , XP. On veut expliquer
ou prévoir Y à l aide des variables explicatives
ou prédicteurs , X1, X2, , XP, lesquelles
sont supposées connues sans erreur.
4
Le modèle

• Coefficients inconnus du modèle

• Résidus du modèle

• Le modèle matriciel

• Schématisation du modèle linéaire

5
Ajustement par la méthode des moindres carrés
(1/4)
On appelle ajustement du modèle linéaire toute
solution du système déquations
avec i 1,2,3,,n
Ce qui correspond sous la forme matricielle à
Le but de lajustement par cette méthode est de
minimiser les carrés des écarts
6
Ajustement par la méthode des moindres carrés
(2/4)
a) Calcul et propriétés de lajustement des
moindres carrés

• Il sagit de déterminer le vecteur a

• Qui minimise

• Et qui vérifie la condition dextremum

7
Ajustement par la méthode des moindres carrés
(3/4)
b) Approche géométrique dans
Les propriétés algébriques de lajustement vont
nous permettre dinterpréter géométriques
lopération effectuée. Les deux vecteurs Xa et e
sont orthogonaux.

• La recherche de y comme combinaison linéaire des
  

• Revient à définir

• La technique de lajustement des moindres carrés
  consiste à approcher y par sa projection

• Ou

8
Ajustement par la méthode des moindres carrés
(4/4)
c) Coefficient de corrélation multiple

• Son carré peut sexprimer sous différentes
  formes

Variance expliquée
Variance totale

• De façon explicite on a

Variance expliquée
Avec
Variance résiduelle
Variance totale
On maximise R²
En minimisant
9
Lien avec lanalyse canonique (1/5)
Lunique racine canonique
La variable canonique a sécrit
..
avec
Qualité de lajustement
a) Spécification du modèle
10
Lien avec lanalyse canonique (2/5)
Caractéristiques des éléments du modèle
Ce qui implique les relations suivantes
Sous ces hypothèses, les coefficients de
régression ak, (k1 ,, p ), fournis par aK la
technique des moindres carrés, sont les meilleurs
estimateurs 1 des coefficients inconnus.
11
Lien avec lanalyse canonique (3/5)
b) Moyenne et variance des coefficients
des coefficients de régression
Le vecteur
espérance mathématique
matrice des covariances
est la variance théorique des résidus (inconnue).

Son estimateur est
est la variance empirique
est la matrice des covariances empiriques des
variables explicatives supposées centrées
12
Lien avec lanalyse canonique (4/5)
c) Test sous lhypothèse de normalité des résidus
1) - Tests sur les coefficients de régression
Lhypothèse nulle Ho,
Les autres coefficients sont quelconques
La statistique de Student
est lestimateur de lécart-type du kième
coefficient de régression
désigne le kième élément diagonal de
où
Si Ho est vraie, la statistique suit une loi
de Student de (n-p) degrés de liberté 1.soit pc
la probabilité tirée de la distribution de
Student correspond à la valeur tc prise par t
Si
est trop faible on rejette lhypothèse (Ho)
13
Lien avec lanalyse canonique (5/5)
d) Test sur un sous-ensemble de coefficient
L hypothèse Ho se traduit par
(les autres
quelconques)
- (Ho)
- (H1) au moins des q premiers
nest pas nul
Lécriture matricielle des modèles sera
Modèle (complet) sous H1
Modèle (réduit) sous Ho
avec
et