Introducci

1
Introducción al Diseño de Experimentos para el
Reconocimiento de PatronesCapítulo 6
Combinación de Clasificadores

• Curso de doctorado impartido por
• Dr. Quiliano Isaac Moro
• Dra. Aranzazu Simón Hurtado
• Enero 2006

2
Capítulo 6 Combinación de Clasificadores

1. Introducción.
2. Bagging.
3. Boosting.
4. AdaBoosting y ARCing.
5. Comentarios.

3
Introducción

• Modularización se ha dividido la tarea en
  subtareas y se ha creado un módulo para cada una
  de ellas. Los resultados luego son integrados.
• Ensemble conjunto de clasificadores redundantes
  (todos realizando la misma tarea), quizás por
  diferentes métodos, cuyos resultados luego son
  integrados.
• Votación.
• Media.
• Suma ponderada.
• ...

4
Introducción

• La redundancia de los ensembles es para evitar
  los fallos individuales en la clasificación.
• Los fallos son debidos a la naturaleza limitada
  de los datos de entrenamiento.
• Basado en la variabilidad en la respuesta al
  mismo problema por parte de distintos mecanismos
  de clasificación (o el mismo mecanismo con
  distintos parámetros).
• Se deben de producir esos fallos de clasificación
  en distintos datos para distintos clasificadores.

5
Introducción

• El dilema bias-variance (caso de regresión)
• Error cuadrático medio bias2 Variance
• Bias medida de la habilidad de generalizar
  correctamente (una vez entrenado).
• Variance medida de la sensibilidad del
  clasificador respecto a los datos usados en
  entrenamiento
• Se obtendrían los mismos resultados si
  hubiéramos utilizado otros datos de
  entrenamiento?
• Se busca algún equivalente para el caso de
  clasificación.
• Se habla de bias spread.

6
Introducción

• Al combinar clasificadores lo que se busca es
  disminuir la varianza (dispersión) de las
  estimaciones ofrecidas por cada clasificador,
  considerado éste de manera individual, mientras
  que no se incrementa el sesgo.
• Es una técnica ideal para las RNA.
• Dado un conjunto de datos de entrenamiento, hay
  una multitud de RNAs que pueden ofrecer un error
  bajo en el dicho conjunto de entrenamiento, pero
  errores significativamente altos en la prueba con
  nuevos datos.
• Al combinar las RNAs se disminuye la dispersión.
• Principio de incertidumbre
• ?exactitud ?sencillez_modelo constante
• En modelos sencillos es más fácil justificar los
  resultados.

7
Clasificador base

• Clasificador Base cada uno de los que
  constituyen en ensemble.
• Tiene que haber variabilidad en los
  clasificadores base
• ya sea por la tecnología empleada, o
• por los datos de entrenamiento usados, o
• por los parámetros de aprendizaje empleados.

8
Bagging

• Dado un conjunto de datos de entrenamiento D, se
  crean N clasificadores usando la técnica
  Bootstrap.
• Bootstrap Muestreo aleatorio con reemplazo.
• Pueden encontrarse datos repetidos y no aparecer
  otros.
• La salida
• Originalmente por medio de votación, es decir,
  aquella clase a la que indiquen la mayoría de los
  clasificadores.
• Alternativas
• media,
• sumas ponderadas
• OLC (Optimal Linear Combination)
• etc.

9
AdaBoosting y ARCing

• Bagging ? la selección de un ejemplo de
  entrenamiento es aleatoria (democrática).
• Boosting siguiendo la secuencia de creación de
  clasificadores, procuramos que el nuevo
  clasificador que se cree preste más atención a
  aquellos ejemplos en los que los anteriores han
  producido errores.
• ARCING (Adaptive Reweighting and CombinING)
• Reweighting ? reponderación de las distintas
  probabilidades de selección de los ejemplos de
  entrenamiento.

10
AdaBoosting y ARCing

• Se exige un cierto grado mínimo de eficiencia en
  el clasificador base de partida (siempre mejor
  que la selección aleatoria).
• En problemas de clasificación binaria, el
  clasificador base ha de proporcionar como mínimo
  un 50 de precisión.
• En multiclase la precisión individual (k-1)/k,
  siendo k número de clases.
• Si al crear la secuencia de clasificadores, se
  llega a uno que no ofrece una exactitud mejor del
  mínimo exigido, el proceso se para.

11
Algoritmo Boost1

• Históricamente es la primera técnica de boosting.
• Se obtienen m datos y se crea un clasificador h1
  entrenándole con ellos.
• Mientras no tengamos m patrones en el conjunto C2
• Tirar una moneda al aire
• Si sale cara
• Repetir
• Obtener patrón nuevo y pasarlo por el
  clasificador h1.
• Si el patrón ha sido clasificado erróneamente,
  añadirlo a C2 y pasar al paso 2.
• Si sale cruz
• Repetir.
• Obtener patrón nuevo y pasarlo por el
  clasificador h1.
• Si el patrón ha sido clasificado correctamente,
  añadirlo a C2 y volver a 2.
• Crear un clasificador h2 y entrenarlo con C2.
• Mientras no tengamos m patrones en el conjunto C3
• Obtener un patrón nuevo y pasarlo por h1 y h2.
• Si h1 y h2 discrepan, añadimos el patrón a C3.
• Crear un clasificador h3 y entrenarlo con C3.

12
Algoritmo AdaBoost

• T ti i1, ...N conjunto de entrenamiento, cada
  instancia con una probabilidad de ser escogido
  para entrenar el clasificador p(i)1/N
• En la iteración k se muestrea con reemplazo el
  conjunto T para obtener datos de entrenamiento
  Tk, con una distribución de probabilidad p(i).
• Se crea en clasificador fk y se prueba con TODOS
  los datos de entrenamiento disponibles.
• Sea d(i)1 si el ejemplo i se ha clasificado
  erróneamente, 0 en caso contrario.
• Definimos ?k?d(i)p(i), y
  ?k(1-?k)/?k
• Actualizar los pesos para la iteración k1
• p(i) p(i)?kd(i) / ?p(i)?kd(i)
• La salida del sistema será la votación ponderada
  de todos los fk con pesos log (?k)

13
Comentarios

• Bagging es más rápido.
• En problemas multiclase a veces es difícil
  encontrar un clasificador base con precisión
  mejor que la selección aleatoria.
• Es posible transformar un problema multiclase en
  varios binarios.
• Técnicas de codificación.
• Muchas veces no interesa tener clasificadores
  base muy exactos.
• Se puede extrapolar la idea al caso de los
  problemas de regresión.