Adaptive Resonance Theory

1
Adaptive Resonance Theory

• José Manuel Amo Villar jmav100_at_yahoo.es
• José Manuel Gómez Fraile josegom_at_gmail.com

2
Adaptive Resonance Theory

• Introducción
• Topología
• Algoritmo de aprendizaje
• Fase de inicialización
• Fase de reconocimiento
• Fase de comparación
• Umbral de vigilancia
• Fase de búsqueda

3
INTRODUCCIÓN

• Introducido por el Dr. Stephen Grossberg en 1970
  para analizar el proceso del conocimiento humano
• Motivación
• Dilema de la estabilidad-plasticidad
• Sistema que reaccione de manera plástica a los
  nuevos datos, pero de manera estable a aquellos
  que sean irrelevantes.
• Posibilidad de conmutación automática entre los
  dos estados cuando sea necesario.
• Necesita poseer una forma de estimar cuando un
  dato es irrelevante (Aprendizaje no supervisado)

4
TOPOLOGÍA
Control 2
T
w
Z
Control 1
5
TOPOLOGÍA (II)
6
TOPOLOGÍA (II)

• Tres grupos de neuronas la capa de entrada de
  procesamiento (F1 layer), las unidades cluster
  (F2 layer) y un mecanismo para el control y el
  reset.
• La capa F1 puede se puede considerar que consiste
  en dos partes la entrada F1(a) y la porción de
  interfaz F1(b)
• Para controlar la similitud de patrones colocados
  en el mismo cluster, hay dos conjuntos de
  conexiones, ascendente y descendente entre cada
  unidad en F1(b) y cada unidad de cluster en F2.
• F1(b) combina señales de entrada de F1(a) y F2
  para medir la similitud entre una señal de
  entrada y el vector de pesos para esa unidad
  especifica de clusters.
• La capa F2 es una capa competitiva La unidad de
  cluster con la mayor activación será el
  candidato a aprender del patrón de entrada.
  (winner-take-all).
• Que la unidad de cluster aprenda o no el patrón
  depende de cómo de similares son los pesos
  descendentes comparados con el vector de entrada.
• La decisión es tomada por la unidad de reset y
  otras unidades complementarias que también son
  necesarias para el control del proceso de
  información en las redes ART.

7
ALGORITMO

• 1. Inicializar parámetros.
• 2. Aplicar una nueva entrada
• 3. Computar la concordancia
• 4. Seleccionar el mejor ejemplar concordante
• 5. Test
• Si Ir a 7
• No Ir a 6
• 6. Deshablilitar la mejor concordancia
  (establecer el nodo con la mejor concordancia a
  0)
• Ir a 3
• 7. Adaptar la mejor concordancia
• 8. Repetir
• 9.Habilitar los nodos deshabilitados e ir a 2

8
FASE DE INICIALIZACIÓN

• Control 1
• Determina el flujo de datos para la capa de
  entrada.
• Es un valor binario que tiene dos modos, el de
  entrada y comparación. 1 Cuando la entrada es
  válida y 0 si hay un nodo de reconocimiento
  activo.
• Control 2
• Activa y desactiva los nodos en la capa de
  reconocimiento.
• Es 1 si el patrón es valido y 0 si ha fallado el
  test. Desactiva la capa de reconocimiento y
  reinicia los niveles de activación a 0.
• Vectores de peso W y T
• Los enlaces de realimentación comienzan todos a
  1. Lo que significa que cada nodo de salida está
  conectado con todos los de entrada
• Los feed-forward están inicializados a una
  constante. wi1/1n donde n es el número de
  nodos de entrada.
• Umbral de vigilancia en el rango 0lt?lt1

9
FASE DE RECONOCIMIENTO

• Los nodos de la capa de entrada tienen tres
  parámetros xi, señal de realimentación y la
  señal de control 1. Si dos de ellas están activas
  la salida es 1 en otro caso 0.
• La mejor concordancia se calcula mediante el
  producto escalar del vector de entrada y un
  vector de pesos de cada nodo, el nodo con el
  vector de pesos más cercanos a la entrada
  producirá la mayor salida. Esto quiere decir que
  producirá el mayor efecto inhibidor sobre los
  otros nodos.
• Cada nodo tiene una autorealimentación para
  reforzar su propio valor de salida.
• Estos efectos combinados aseguraran que tan solo
  permanece activo en la capa de salida.
• La salida del nodo ganador se pone a uno y envía
  su patrón de reconocimiento (T) a la capa de
  comparación.

10
FASE DE COMPARACIÓN

• Hay dos vectores en esta fase
• Vector de entrada (X)
• Vector de la capa de reconocimiento (T)
• Entrada de Control 1 a cero durante esta fase
• Obtenemos Z (vector de comparación) como X
  AND T
• No se devuelve a la capa de salida (control 1
  0)
• Pasa al circuito de reset X y Z

11
UMBRAL DE VIGILANCIA

• El circuito de reset prueba la similitud de X y Z
  respecto al umbral de vigilancia
• Cuenta el número de 1s en los vectores, se
  realiza mediante un producto escalar de X y Z.
• Este valor es dividido por el número de 1s en X.
  
• Esto determina el ratio
• Si S gt ? clasificación completa y la clase está
  indicada por el nodo activo de la capa de salida
• Si S lt ? no hemos encontrado el mejor ajuste
  correcto y la red entra en la fase de búsqueda

12
FASE DE BÚSQUEDA

• Intento de buscar un nuevo vector de concordancia
  para X
• El nodo activo de salida es deshabilitado y su
  salida puesta a 0.
• Esto tiene un doble efecto
• No se puede entrar en este nodo para hacer más
  comparaciones para la entrada actual.
• La señal de Control 1 es forzada a 0.
• El vector de entrada (X) es reaplicado a la capa
  de reconocimiento y se recalcula la mejor
  concordancia.
• El proceso es repetido desactivando los nodos de
  la capa de salida hasta que en la capa de
  reconocimiento un nodo concuerde con la entrada
  de acuerdo a los límites del umbral de
  vigilancia.
• Si no se encuentra se declara el vector de
  entrada como desconocido y se destina a un nodo
  que no haya sido ya asignado en la capa de
  salida.

13
BIBLIOGRAFÍA

• R. BEALE, T.JACKSON NEURAL COMPUTING an
  introduction,ed IOP,1991
• Pedro Isasi Viñuela, Inés M. Galván León REDES
  DE NEURONAS ARTIFICIALES, un enfoque práctico,
  ed Prentice Hall, 2004
• http//web.umr.edu/tauritzd/art/
• http//es.wikipedia.org/wiki/Redes_neuronales_arti
  ficiales