Sin ttulo de diapositiva

1
3. Funciones discriminantes para la f.d.p normal.

• El clasificador de mínimo error (Bayes) se puede
  expresar en términos de funciones discriminantes
• Forma general de las funciones discriminantes
  asumiendo f.d.p. normales

2
3. Funciones discriminantes para la f.d.p normal.

• Casos particulares
• - Caso 1. ?i ?2 I (Clasificador . Lineal)
• - Caso 2. ?i ? ( Clasificador Lineal)
• - Caso 3. ?i arbitrarias ( Clasificador
  Cuadrático)

3
3. Funciones discriminantes para la f.d.p normal.

• 3.1 Clasificadores lineales
• 3.1.1 Caso 1 ?i ?2 I
• Variables estadísticamente independientes (no
  correlacionadas) y todas tienen la misma
  varianza, ?2(Homocedasticas)
• Las matrices de covarianza son diagonales con
  valor ?2
• ?i Diagonal(?2 ,,,?2)

4
3. Funciones discriminantes para la f.d.p normal.
Clasificador lineal con ?i ?2 I
5
3. Funciones discriminantes para la f.d.p normal.

• Simplificaciones de las funciones
  discriminantes.
• - En este caso
• Sustituyendo en (10)
• - Considerando que ? es la norma
  Euclídiana

6
3. Funciones discriminantes para la f.d.p normal.
- Si ?i son iguales, no son significativas para
Alternativamente, Regla de mínima
distancia Euclídiana
7
3. Funciones discriminantes para la f.d.p normal.

• Funciones discriminantes lineales
• Superficies de decisión
• donde

8
3. Funciones discriminantes para la f.d.p normal.
Front. de dec. Para un clasificador de mín.
distancia
9
3. Funciones discriminantes para la f.d.p normal.

• 3.1.2 Caso 2 ?i ?
• Las variables no son estadísticamente
  independientes (cor- relacionadas) y las
  varianzas individuales son diferentes.
• Geométricamente patrones distribuidos en
  agrupamientos hiperelipsoidales de igual tamaño y
  forma. Cada agrupamiento centrado en su media
  correspondiente, ?i

Clasif. Lineal con ?i? (?12?0,?1??2)
10
3. Funciones discriminantes para la f.d.p normal.
Clasif. Lineal con ?i? (?120,?1??2)
11
3. Funciones discriminantes para la f.d.p normal.

• Simplificación de las funciones discriminantes.
• Si ?i son iguales, no son significativas para
  
• Alternativamente,
• Regla de mínima distancia Mahalanobis.

12
3. Funciones discriminantes para la f.d.p normal.

• Funciones discriminantes lineales
• Superficies de decisión.

13
3. Funciones discriminantes para la f.d.p normal.

• 3.2 Clasificadores cuadráticos
• 3.2.1 Caso 3 ?i arbitrarias
• Fronteras de decisión expresadas como una
  función cuadrática (círculos, elipses, parábolas,
  hipérbolas).
• Este es el caso más general (?i arbitrarias ),
  del cual se derivan como casos particulares los
  dos estudiados anteriormente.
• ?i ?2 I
• ?i ?

14
3. Funciones discriminantes para la f.d.p normal.
Clasificadores Cuadráticos
15
3. Funciones discriminantes para la f.d.p normal.

• Simplificación de las funciones discriminantes.
• Si ?i son iguales, no son significativas para
  
• Funciones discriminantes cuadráticas
• donde

16
3. Funciones discriminantes para la f.d.p normal.
Fronteras de decisión (en dos dimensiones)
17
4. Diseño de clasificadores de mínima distancia

• Motivación Porqué no usar el caso ?i
  arbitrarias siempre?
• Rpta Dimensión del
  espacio de parámetros
• 1. Considerar los costes computacionales de
  calcular
• Caso 3
• Caso 2
• Caso1

18
4. Diseño de clasificadores de mínima distancia

• 2. Estabilidad de los estimadores
• (Representatividad sesgo,variancia,
  eficiencia robustez)
• Etapas
• 1. Análisis del conjunto de aprendizaje.
• ( Consistencia Número de prototipos )
  
• 2. Aprendizaje.
• ( Estimación de Parámetros)
• 3. Clasificación.
• ( Regla de decisión)

19
4. Diseño de clasificadores de mínima distancia
4.1. Diseño de clasificadores. 1. Análisis del
conjunto de aprendizaje. Estudiar y sacar
conclusiones sobre los conjuntos de aprendizaje
test de normalidad, comprobación de la
suficiencia del número de muestras de
entrenamiento para estimaciones y estudio de la
estructura y propiedades estadísticas
estadísticas de las clases.
En resumen Decidir el clasificador
(casos 1,2 ó 3).
20
4. Diseño de clasificadores de mínima distancia
2. Aprendizaje. Estimación de los parámetros de
cada clase 1.- Caso 1 Estimar ?i (i 1,2,
..., J) y ?2 ? 2.- Si acaso 2 ó 3, Estimar ?i
y ?i para (i 1,2, ..., J) Si ?i ?
Calcular ? 3. Clasificación. Calcular
para i1,2,...,J (según el caso)
21
4. Diseño de clasificadores de mínima distancia
4.2. Clasificadores de mínima distancia. Casos
particulares de los clasificadores estudiados
como los casos 1 y 2 cuando no se consideran las
probabilidades a priori (todas son iguales) 1.
Distancia Euclídea - Variables estadísticamente
independientes - Variables igualmente escaladas
en todas las direcciones ?2 cte 2. Distancia de
Mahalanobis - Variables correlacionadas. -
Variables escaladas de forma diferente (?2
distinto)
22
4. Diseño de clasificadores de mínima distancia
4.2.1 Clasif. de mínima distancia Euclídea.
Cálculo de la distancia Euclídiana
23
4. Diseño de clasificadores. Clasif. de mín.
distancia

• Regla óptima de clasificación
• donde
• Clasificador de mínima distancia Euclídiana

24
4. Diseño de clasificadores de mínima distancia

• Estamos resumiendo una clase por su valor
  medio toda la información de interés de una
  clase (para la clasificación) está concentrada en
  su media

Un clasificador Euclídiana para tres clases
25
4. Diseño de clasificadores de mínima distancia

• Derivación de funciones discriminantes lineales
  para el clasificador de mínima distancia
  Euclídiana

26
4. Diseño de clasificadores de mínima distancia
Expresado en forma de funciones
discriminantes De manera aún más compacta
27
4. Diseño de clasificadores de mínima distancia
Demostración
28
4. Diseño de clasificadores. Clasif. de mín.
distancia

• 4.2.2 Clasif. de mínima distancia de Mahalanobis.
• Distancia de Mahalanobis.
• Regla óptima de clasificación
• donde
• Clasificador de mínima distancia Euclídiana

29
4. Diseño de clasificadores. Clasif. de mín.
distancia
Dist. de Mahalanobis frente a dist. Euclídiana
30
4. Diseño de clasificadores. Clasif. de mín.
distancia
Dist. de Mahalanobis frente a dist. Euclídiana(2)
31
5. El problema de la estimación de parámetros

• En teoría, el error de Bayes decrece conforme la
  dimensionalidad de los datos se incrementa.
• En la práctica, se usa un número fijo de
  muestras, N, para construir el clasificador los
  estimadores están sesgados por las muestras
  disponibles.
• Si suponemos distribuciones normales se
  requiere

- Clasificador. Cuadrático
estimaciones - Clasificador. Lineal
estimaciones
32
5. El problema de la estimación de parámetros

• Fenómeno de Hughes.

33
5. El problema de la estimación de parámetros

• Interpretación
• Existe un valor óptimo de dimensionalidad que es
  función del tamaño del conjunto de entrenamiento.
• Si el número de muestras de entrenamiento es
  suficiente y la dimensionalidad de los datos es
  alta el fenómeno de Hughes se manifiesta debido a
  que los estimadores obtenidos son inestables y
  segados. Este fenómeno es más acusado cuanto
  mayor sea la dimensionalidad.
• Diferencia entre las curvas
• - Clasificador cuadrático proporcional a d2/N
• - Clasificador lineal proporcional a d/N

34
5. El problema de la estimación de parámetros

• Conclusiones
• Aunque la decisión de adoptar un clasificador
  cuadrático o un clasificador lineal depende
  fundamentalmente de la forma de las matrices de
  covarianza de las clases, el clasificador
  cuadrático requiere muchas más muestras de
  entrenamiento que un clasificador lineal para
  conseguir resultados similares.
• Soluciones
• 1. Obtener más muestras de entrenamiento
• 2. Utilizar las variables más relevantes
  (selección y/o extracción de características)

35
6. Detección de puntos dudosos

• Motivación
• Algunos patrones deben descartarse (asignarse a
  w0)

36
6. Detección de puntos dudosos
37
6. Detección de puntos dudosos

• Técnica Umbralización
• Sea wc tal que P(x wc)
• Cálculo del umbral para el clasificador
  cuadrático.
• Sea wc tal que

38
6. Detección de puntos dudosos
La clasificación es aceptable (d(X) wc)
si Sigue una distribución ?2 con d grados de
libertad si X está normalmente distribuida.
39
6. Detección de puntos dudosos
- Procedimiento 1.- Consultar la tabla ?2 para
determinar el valor de (X-
?c)T?c-1(X- ? c) por debajo del cual hay un
determinado porcentaje de puntos. En esta
figura, indicamos el valor de la ?2 que tiene la
probabilidad P de ser sobrepasada (la proporción
de la población con un valor ?2 mayor que un
valor determinado)
40
6. Detección de puntos dudosos
2.- Una vez consultado el valor, ?, 3.- El
valor exacto de Tc se calcula directamente,
conociendo las probabilidades a priori y las
matrices de covarianza de esa clase.
41
(No Transcript)