Regresi

1
Regresión lineal simple

• Tema 1

2
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

3
Objetivos

• Construcción de modelos de regresión
• Métodos de estimación para dichos modelos
• Inferencia acerca de los parámetros
• Aprendizaje de utilización de gráficos para
  detectar el tipo de relación entre dos variables
• Cuantificación del grado de relación lineal

4
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

5
Introducción

• Estudio conjunto de dos variables
• Relación entre las variables
• Regresión lineal
• Historia del concepto de regresión lineal

6
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

7
Ejemplo Pureza del oxígeno en un proceso de
destilación
8
Ejemplo Pureza del oxígeno en un proceso de
destilación
9
El modelo de regresión simple

• n pares de la forma (xi,yi)
• Objetivo valores aproximados de Y a partir de X
• X variable independiente o explicativa
• Y variable dependiente o respuesta (a explicar)

10
El modelo de regresión simple
11
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

12
Linealidad datos con aspecto recto
13
Homogeneidad

• El valor promedio del error es cero,

14
HomocedasticidadVaruis2 Varianza de errores
constante
15
Independencia Observaciones independientes, en
particular Euiuj 0
16
Normalidad uiN(0, s2)
17
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

18
Método de Mínimos Cuadrados
Valor observado Dato (y)
Valor observado Dato (y)
Recta de regresión estimada
Recta de regresión estimada
19
Mínimos Cuadrados (Gauss, 1809)

• Objetivo Buscar los valores de b0 y b1 que mejor
  se ajustan a nuestros datos.
• Ecuación
• Residuo
• Minimizar

20
Mínimos Cuadrados (Gauss, 1809)

• Resultado

21
Ajuste regresión simpleDatos pureza oxígeno
22
Ajuste regresión simpleDatos pureza oxígeno
23
Ajuste regresión simpleDatos pureza oxígeno
24
Ajuste regresión simpleDatos pureza oxígeno
25
Ajuste regresión simpleDatos pureza oxígeno
26
Método de Máxima Verosimilitud

• Mismo resultado.
• Estimación de la varianza

27
Ajuste regresión simpleDatos pureza oxígeno
28
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

29
Props. de los coeficientes de regresión
Normalidad
Combinación lineal de normales
Estimador centrado
Varianza del estimador
30
Props. de los coeficientes de regresión
Normalidad
Combinación lineal de normales
Estimador centrado
Varianza del estimador
31
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

32
Inferencia respecto a los parámetros IC
33
Inferencia respecto a los parámetrosContraste de
Hipótesis
34
Ajuste regresión simple pureza oxígeno
35
Descomposición de la variabilidad

• La variabilidad del modelo satisface VT VEVNE
• Comentario fuera de programa
• Contraste de regresión

36
Ajuste regresión simple pureza oxígeno
VE
37
Ajuste regresión simple pureza oxígeno
VNE
38
Coeficiente de determinación
Expresado en , obtenemos el porcentaje de
variabilidad de la variable respuesta explicado
por el modelo.
39
Predicción

• Dos tipos de predicción
• Predecir un valor promedio de y para cierto valor
  de x.
• Predecir futuros valores de la variable
  respuesta.
• La predicción es la misma (a partir de la recta
  de
• regresión) pero la precisión de los estimadores
  es
• diferente.

40
Predicción (promedio)
Estimación de la media de la distribución
condicionada de y para xx0
Intervalo de confianza para la media estimada
41
Ajuste regresión simple pureza oxígeno
La anchura del intervalo aumenta cuando aumenta
42
Predicción para futuros valores
Intervalo de predicción
43
Ajuste regresión simple pureza oxígeno
44
Descripción breve del tema

• Introducción
• El modelo de regresión simple
• Hipótesis del modelo
• Linealidad, homogeneidad, homocedasticidad,
  independencia y normalidad
• Estimación de los parámetros
• Mínimos cuadrados, Máxima Verosimilitud
• Propiedades de los estimadores
• Coeficientes de regresión, varianza residual
• Inferencia y predicción
• Diagnosis e interpretación de los coeficientes

45
Diagnosis

• Una vez ajustado el modelo, hay que comprobar
• si se cumplen las hipótesis iniciales.
• Gráficos de residuos frente a valores previstos.
• Si las hipótesis iniciales se satisfacen, este
  gráfico no debe tener estructura alguna.

46
Ajuste regresión simpleDatos pureza oxígeno
47
Relaciones no lineales
Gráficos de residuos
48
Linealidad

• Soluciones a la falta de linealidad
• Transformar las variables para intentar conseguir
  linealidad.
• Introducir variable adicionales.
• Detectar la presencia de datos atípicos o
  ausencia de otras variables importantes para
  explicar la variable respuesta.

49
Homocedasticidad
Cuando la varianza de las perturbaciones es muy
diferente para unos valores de la variable
explicativa que para otros tenemos
heterocedasticidad
e
.

y
50
Homocedasticidad

• Soluciones a la heterocedasticidad
• Si la variabilidad de la respuesta aumenta con x
  según la ecuación Var(yx) g(x), dividimos la
  ecuación de regresión (y) entre g(x).
• Transformar la variable respuesta y puede que
  también x.
• Si lo anterior no funciona, cambiar el método de
  estimación.

51
Normalidad

• La falta de normalidad invalida resultados
  inferenciales.
• Comprobación mediante histogramas o gráficos
  probabilísticos.
• En un gráfico probabilístico comparamos los
  residuos ordenados con los cuantiles de la
  distribución Normal estándar.
• Si la distribución de los residuos es normal, el
  gráfico ha de mostrar aproximadamente una recta.

52
Normalidad
53
Independencia y Datos influyentes

• Independencia
• Conviene hacer una gráfica de residuos frente a
  tiempo (residuos incorrelados).
• Datos influyentes
• Analizar la presencia de datos influyentes. Los
  atípicos son datos muy grandes o muy pequeños.
  Estudiar su posible eliminación.

54
Transformaciones
Forma funcional que relaciona y con x Transformación apropiada
Exponencial y aexpbx Potencia y axb Recíproca y ab/x Hiperbólica y x/(abx) y lny y lny , x lnx x 1/x y 1/y , x 1/x
55
Interpretación de los coeficientes

• Una vez estudiada la significatividad de los
  mismos
• yabx Un incremento de x en 1 unidad,
  incrementaría y en b unidades .
• ln(y)abx Un incremento de x en 1 unidad,
  provocaría un incremento de y del 100b .
• ln(y)abln(x) Un incremento de x del 1,
  provocaría un incremento de y del b .
• yabln(x) Un incremento de x del 1,
  incrementaría y en b/100 unidades .