Aprendizaje en Agente Aut

1
Aprendizaje en Agente Autónomos

• 2006
• Ulises Cortés

2
Motivación

• The central idea underlying goal-driven learning
  is that because the value of learning depends on
  how well the learning contributes to achieving
  the learners goals, the learning process should
  be guided by reasoning about the information that
  is needed to serve those goals.

3
(No Transcript)
4
Aprendizaje

• La investigación en aprendizaje supervisado en
  inteligencia artificial está basada en argumentos
  computacionales.
• Explosión combinatoria de inferencias
• Restricciones temporales
• Restricciones físicas (recursos limitados)

5
Metas y aprendizaje

• Las metas son importantes para guiar la actuación
  del aprendiz
• Determinar los recursos disponibles para realizar
  la tarea
• Guiar el proceso control y/o búsqueda elegido
  para realizar la tarea
• Guiar los planes de recuperación, la resolución
  de problemas y otros tipos de conocimiento
• Enfocar la atención en ciertos aspectos de la
  información de entrada
• Guiar la evaluación de los resultados de realizar
  una tarea

6
Metas y aprendizaje

• Guiar la tarea aprendizaje
• Especificar el objetivo del aprendizaje
• Seleccionar el algoritmo de aprendizaje
• Restringir el proceso de aprendizaje (ie
  influenciar las políticas bajo las cuales operara
  el algoritmo de aprendizaje)
• Enfocar la búsqueda de información necesaria para
  realizar el proceso de aprendizaje
• Determinar en qué condiciones se debe intentar
  aprender
• Ayudar en la evaluación de los resultados del
  aprendizaje (respecto de los resultados
  esperados)

7
Metas y aprendizaje

• Las metas son importantes para guiar el
  almacenado (de lo aprendido)
• Seleccionar que almacenar
• Determinar como indexar el conocimiento
• Seleccionar que elementos se deben olvidar

8
Recompensas vs. Metas

• Aprender a realizar una tarea no es suficiente en
  muchos casos prácticos.
• Utilizar un sistema de recompensa a base de
  otorgar refuerzos positivo o negativos puede
  ayudar a mejor la efectividad (quizá decidiendo
  aprender otra estrategia de resolución) de un
  sistema a la hora de realizar una tarea.
• La nueva meta del aprendiz, en este caso, es
  maximizar la recompensa y minimizar la
  penalización.

9
Medios y Metas

• Cómo se conectan los medios de que disponemos
  (conocimiento, métodos, etc) con las metas que se
  quiere alcanzar?
• Función ? Estructura
• Medios ? Metas
• Premisa(s) ? Conclusión
• Causa ? Efecto
• Cómo se aprehenden esas conexiones?

10
Aprendizaje

• El aprendizaje supervisado abarca no sólo el
  aprendizaje sobre el mundo sino que también
  implica mejorar el propio modo de razonar del
  sistema
• Un mecanismo de mejora es mantener una traza del
  razonamiento realizado.
• La traza del razonamiento es una base para el
  razonamiento introspectivo o metarazonamiento que
  permite mejorar el propio mecanismo de
  razonamiento

11
Aprendizaje Automático

• Problemas
• Requiere muchos datos (ejemplos)
• Tiene una fuerte inercia (sistemas conservadores)
• ? Difícil de aplicar de forma incremental

12
Generación de metas de aprendizaje
Tarea Situación las metas de la tarea
Selección y aplicación de método de razonamiento
Traza de razonamiento resultado del razonamiento
Proceso de Evaluación
Detección
Fallos en el Razonamiento
Análisis de los fallos
Metas de aprendizaje Especificación de una meta

Especificación de una tarea
13
Aplicando la estrategia adecuada
Metas de aprendizaje prioridades Red de
dependencia entre metas, prioridades y
dependencias
Selección de metas de aprendizaje
Metas activas de aprendizaje
Factores de entorno
Selección de estrategias de aprendizaje
Estrategias de aprendizaje por aplicar
14
Temas abiertos

• Qué es una meta?
• Hay diferentes tipos de metas?
• De qué manera influencian las metas al
  aprendizaje?
• Cuáles son las implicaciones funcionales y
  pragmáticas del aprendizaje supervisado?

15
Metas

• Cualquier sistema que ejecuta un proceso
  (built-in) puede ser visto como poseedor de una
  meta que alcanzar. Y de aquí se puede asumir que
  todo aprendiz es supervisado (goal-driven).
  Barsalou
• Las metas explícitas son aquellas que guían la
  resolución de problema en las que el sistema
  intenta alcanzar un conjunto de metas y ejecutas
  las acciones necesarias.
• Las metas se expresan como especificaciones de un
  objetivo o de un resultado esperado (deseado) en
  la resolución de un problema o en un proceso de
  aprendizaje.

16
Tipos de metas

• Metas de Tareas
• Metas de Aprendizaje
• Especificaciones
• Políticas (heurísticas)
• Restricciones

17
Bibliografía

• Minsky, M. The Society of Mind. Touchstone.
  1988. ISBN 0-671-60740-5
• Rajesh P.N. Rao, Bruno A. Olshausen and Michael
  S. Lewicki (editors). Probabilistic Models of the
  Brain. MIT Press. 2002.
• Ram, A Leake, D. Goal-driven Learning. Mit
  Press. 1995. ISBN 0-262-18165-7