Introduccion al reconocimiento de formas

1
Capítulo 10 Diseño de Experimentos (DoE)
Departamento de Informática Universidad Técnica
Federico Santa María
08
2
Contenido de Temas

• Comparación y evaluación de alternativas de
  diseño de sistemas
• A. 2 Sistemas
• Muestras Independientes
• Muestras Correlacionadas
• B. Sistemas Multiples (gt2)
• Método de Bonferroni
• Modelos de Diseño de Experimental

3
Comparación de 2 Sistemas

• Estudio comparativo del comportamiento de un
  sistema bajo dos escenarios excluyentes. Por
  Ejemplo
• Modelo 1 SC con una línea espera y un servidor
• Modelo 2 SC con una línea de espera y dos
  servidores
• Para comparar los sistemas el analista debe
  seleccionar
• Un largo de corrida, Ti , para cada modelo
  (i1,2)
• Un número de réplicas, Ri, para simular cada
  modelo
• Hipótesis Nula No existe una diferencia
  significativa en el desempeño entre ambos
  diseños.
• Hipótesis Alternativa Existe una diferencia
  significativa.

4
Comparación de 2 Sistemas

• Muestras Independientes
• Procesar diferentes Entidades en cada Escenario
• Variancias Iguales ( ?s iguales )
• Variancias Desiguales ( ?s distintos)
• Muestras Correlacionadas
• Procesar las MISMAS entidades en ambos escenarios
• Analizar las propiedades de la Entidad a su
  llegada

5
Diferencia de dos Medias
Muestras Grandes
La diferencia entre dos medias obedece a una
distribución normal con
I.C. para m1- m2


Supuesto Muestras Independientes con más de 30
observaciones cada una
6
Diferencia de dos Proporciones
Muestras Grandes n1 y n2 gt 30
La aproximación es buena, siempre que ningún
intervalo incluya el 0 o el 1
7
Diferencia de Medias de procesos
Muestras Pequeñas con Variancias Iguales

I.C. para m1- m2
(varianza combinada)
donde
Supuestos 1.- Muestras independientes de
poblaciones normales 2.- Variancias desconocidas
pero iguales
8
Diferencia de Medias de procesos
Pequeñas Muestras, Variancias Desiguales
I.C. para m1- m2
Donde
Asumiendo Independencia y Normalidad
9
I. de confianza para 2 Varianzas
Asumiendo Muestras Independientes de una
Población Normal
10
IC para la diferencia de 2 Medias Muestras
Correlacionadas
Consideremos PARES de observaciones relativas al
factor común de los 2 sistemas (Y1i, Y2i)
Sea di Y1i - Y2i la diferencia observada para
el par i-ésimo I.C. para
donde son la media y la desviación
estándar de una muestra de n diferencias.
Asumiendo Observaciones Aleatorias la
población de las diferencias de los pares sigue
una distribución Normal.
11
Muestras Correlacionadas

• De
• Luego, VCORR VIND -
• VCORR lt VIND (siempre que la
  correlación sea positiva)
• Una correlación positiva está generalmente (NO
  siempre!) inducida por el uso de los mismos
  números aleatorios para generar entidades.

12
Comparación Múltiples

• Muestreo
• Fijo (tamaño de las muestras predeterminado)
• Secuencial (se recogen suficientes datos en la
  muestra hasta que se alcanza una precisión
  predeterminada)
• Metas
• Estimación de cada parámetro (K intervalos de
  confianza)
• Comparación de cada medida de funcionamiento c/r
  de un valor de control (K-1 intervalos de
  confianza)
• Todas las comparaciones posibles (K(K-1)/2
  intervalos de confianza)
• Selección del mejor (el más grande o el más
  pequeño)

13
Múltiples Medidas de Desempeño

• En la mayoría de los modelos de simulación
  reales, se consideran varias medidas de desempeño
  simultáneamente.
• Algunos ejemplos
• Largo promedio de la cola
• Factor Utilización
• Tiempo promedio en el sistema
• Cada medida de desempeño se estima frecuentemente
  con un intervalo de confianza.
• Cualquiera de los intervalos podría fallar en
  relación a su medida de desempeño esperada.
• Se debe tener cuidado con sobredimensionar los
  indicadores
• (ya en tal caso es difícil que todos los
  intervalos contengan sus medidas de
  funcionamiento esperadas simultáneamente).

14
Múltiples Medidas de Desempeño

• Suponga que tenemos k medidas de desempeño y el
  intervalo de confianza para la medida de
  desempeño s para s 1, 2, ..., k, está
• en un nivel de confianza
• Entonces la probabilidad que todos los k
  intervalos de confianza contengan simultáneamente
  su medida real respectiva es
• Esta desigualdad es conocida como la desigualdad
  de Bonferroni o desigualdad de Boole.

todos los intervalos contengan su medida de
desempeño respectiva
P
15
Múltiples Medidas de Desempeño

• Para asegurar que la probabilidad (que los k
  intervalos de confianza contengan simultáneamente
  a su verdadera media) sea por lo menos 100 (
  ) , debemos elegir los s tales que
• Se pueden seleccionar para todos los ?s ?/k, o
  escoger los diferentes s para las medidas de
  desempeño más importantes).

16
Múltiples Medidas de Desempeño

• Ejemplo Si k 2 y quisieramos que el nivel total
  deseado de confianza fuera por lo menos 90,
  podemos construir dos intervalos de confianza del
  95.
• Dificultad Si hay una gran cantidad de medidas
  de desempeño, y deseamos un nivel total razonable
  de confianza (ej., 90 ), los individuales
  podría llegar a ser muy pequeño, haciendo los
  intervalos de confianza correspondientes muy
  amplios. Por lo tanto, se recomienda que el
  número de medidas de desempeño no exceda de 10.

17
Análisis de varios Sistemas

• La mayoría de los proyectos de simulación
  requieren de la comparación de dos o más sistemas
  o configuraciones
• Modificar la arquitectura de redes en centros de
  trabajo
• Evaluar varias políticas de despacho de trabajo
  (FIFO,LIFO, etc.)
• Con dos sistemas alternativos, la meta puede ser
• test de hipótesis v/s
• construir intervalos de confianza para
• Con k gt 2 alternativas, el objetivo puede ser
• construya intervalos de confianza simultáneos
  para varias combinaciones de
• seleccione la mejor de las k alternativas
• seleccione un subconjunto de tamaño m lt k que
  contenga la mejor alternativa

18
Comparación de Sistemas Alternativos

• Formar un intervalo de confianza para la
  diferencia entre las medidas de desempeño de los
  dos sistemas ( ej., ).
• Si el intervalo no contiene al 0, hay una
  diferencia estadística significativa entre los
  dos sistemas.
• Los intervalos de confianza son mejores que los
  test de hípótesis porque si existe una
  diferencia, el intervalo de confianza mide su
  magnitud, no así un test de hipótesis.
• Hay dos maneras levemente distintas de construir
  intervalos de confianza
• Pares-t
• Dos-Muestras-t.

19
I. de Confianza de Pares

• Efectuando n replicas de los 2 sistemas.
• Sea la j-ésima observación del
  sistema I (i 1, 2).
• El par define
  para j 1, 2, , n.
• Entonces , los son v.a. IID
  con
• cantidad para la cúal nosotros deseamos
  construir un intervalo un I.C.
• Sea
• Entonces, el intervalo 100(1- ) es

20
I. de Confianza de 2 Muestras

• Hacer n1 replicaciones del sistema 1 y n2
  replicaciones del sistema 2. Aquí
  
• Nuevamente, para el sistema i 1, 2, queda
• y
• Estimar los grados de libertad como
• Entonces, el I.C. aproximado 100(1- ) por
  ciento es

21
Comparación de los Métodos

• El método de dos muestras-t requiere
  independencia entre e
  mientras que el método de pares -t no requiere
  independencia entre e
• Por lo tanto, en el método de pares-t, números
  aleatorios pueden ser usados para introducir
  correlación positiva entre las observaciones de
  los diferentes sistemas como una forma de reducir
  la variancia.
• En el método de pares-t ,se debe cumplir que n1
  n2, mientras que en el método de dos muestras
  

22
I. de C. para Comparar más de dos Sistemas

• En el caso de más de dos sistemas alternativos,
  hay dos maneras de construir un intervalo de
  confianza en las diferencias seleccionadas
  .
• Comparación con un estándar o testigo
• Comparación de todos los pares
• NOTA Puesto que estamos haciendo k gt 1
  intervalos, para
• tener un nivel total de confianza de
  , debemos
• hacer cada intervalo al nivel
  (Bonferroni).

23
Comparación con un estándar

• En este caso, uno de los sistemas (quizás el
  sistema en operación o la política existente) es
  un estándar. Si el sistema 1 es el estándar y
  deseamos comparar los sistemas 2, 3, ..., k con
  el sistema 1, se deben construir k-1 intervalos
  de confianza para las k-1 diferencias
• Para alcanzar un nivel total de confianza de al
  menos , cada uno de los k-1 intervalos
  de confianza se debe construir en el nivel
• Podemos usar los métodos pares-t o dos-muestras-t
  descritos en la sección previa para hacer los
  intervalos individuales.

24
Comparación de todos los pares

• En este caso, cada sistema se compara a todos los
  otros sistemas para detectar y cuantificar
  cualquier diferencia significativa. Por lo
  tanto, para k sistemas, construimos k (k -1) / 2
  intervalos de confianza para las k (k -1) / 2
  diferencias
• Cada uno de los intervalos de confianza deben ser
  construidos en un nivel de
  para que una confianza total de
  al menos sea alcanzada.
• Nuevamente, podemos usar los métodos pares-t o
  dos-muestras-t para hacer los intervalos de
  confianza individuales.

25
Ranking y Selección

• El objetivo de la selección y el ranking son
  diferentes y más ambiciosas que hacer simplemente
  una comparación entre varios sistemas
  alternativos. Aquí, la meta puede ser
• Seleccionar el mejor de k sistemas
• Seleccionar los distintos subconjuntos de tamaño
  m a partir de los k sistemas
• Seleccionar el mejor subgrupo m
• Seleccionar la mejor Solución dentro del subgrupo

26
Ranking y Selección

• 1. Seleccionar el mejor de k sistemas
• Queremos seleccionar uno de los k sistemas
  alternativos como el mejor.
• Debido a la aleatoriedad inherente en los
  modelos de simulación, no podemos estar seguros
  que el sistema seleccionado es el de menor
  (asumiendo que menor es bueno). Por lo tanto,
  especificamos una probabilidad P de selección
  correcta (como 0.90 or 0.95).
• También especificamos una zona de indiferencia d
  la cual quiere decir que si la mejor media y la
  segunda mejor media difieren por más de d,
  seleccionamos la mejor con probabilidad P.
• Como ejemplo, suponga que tenemos 5
  configuraciones alternativas y queremos
  identificar el mejor sistema con una probabilidad
  de al menos 95.

27
Ranking y Selección

• 2. Seleccionar un subconjunto de tamaño m que
  contenga al mejor de los k sistemas
• Queremos seleccionar un subconjunto de tamaño m
  (lt k) que contenga al mejor sistema con una
  probabilidad de al menos P.
• Este acercamiento es útil en la visión inicial de
  las alternativas para eliminar las opciones
  inferiores.
• Por ejemplo, suponga que tenemos 10
  configuraciones alternativas y deseamos
  identificar un subconjunto de 3 alternativas que
  contengan al mejor sistema con una probabilidad
  de al menos 95 .

28
Ranking y Selección

• 3. Seleccionar el mejor m de k sistemas
• Queremos seleccionar el mejor m (no ordenado) de
  los k sistemas de modo que con probabilidad de al
  menos P las respuestas esperadas del subconjunto
  seleccionado sean iguales a las m respuestas mas
  pequeñas esperadas.
• Esta situación puede ser útil cuando deseamos
  identificar varias buenas opciones, en el caso de
  que la mejor sea inaceptable por alguna razón.
• Por ejemplo, suponga que tenemos 5
  configuraciones alternativas y deseamos
  seleccionar las 3 mejores y tenemos que la
  probabilidad de seleccionar la correcta es al
  menos 90 .

29
Ejem. Comparación de Sistemas

• Para ilustrar el peligro en la generación de un
  sólo paso y calcular visualmente los resultados
  al comparar alternativas, considere el siguiente
  ejemplo
• Comparar
• Alternativa 1 M/M/1 cola con tiempo entre
  llegadas de 1 min., y una máquina rápida con
  tiempo de servicio de 0.9 min., y
• Alternativa 2 M/M/2 cola con tiempo entre
  llegadas de 1 min., y dos máquinas lentas con
  tiempo de servicio de 1.8 min. por cada máquina.

30
Ejemplo. Comparación de Sistemas

• Si la medida del desempeño de interés es el
  retardo medio esperado en la cola de los 100
  primeros clientes, con condiciones iniciales
  vacias y ociosas, usando análisis de colas, los
  retardos medios del estado estacionario en la
  cola son
• Por lo tanto, sistema 2 es mejor
• Si ejecutamos cada modelo apenas una vez y
  calculamos el retardo promedio, , de cada
  alternativa, y se selecciona el sistema con el
  más pequeño, entonces
• Prob(seleccionando sistema 1 (respuesta
  incorrecta)) 0.52
• Razón La aleatoriedad de la salida

31
Ejemp. Comparación de Sistemas

• Solución
• Replique cada alternativa n veces
• Haga retardo medio de la j-ésima
  replica de la alternativa i
• Calcule el promedio de todas las réplicas para la
  alternativa i
• Seleccione la alternativa con el menor
• Si hacemos este experimento muchas veces,
  obtendremos el siguiente resultado

32
Diseño de Experimentos (DoE)ySuperficie de
Respuesta (RSM)
33
Contenido de Temas

• Motivación y Terminología
• Dificultades en la Solución de Problemas de DoE
• Ejemplos de Factores y Respuestas
• Tipos de Diseño de Experimentos
• Diseño Factorial Completo
• Aleatorización de Efectos
• Ejemplos de Diseño Factorial Completo
• Situaciones con Muchos Factores
• Superficies de Respuesta Meta-modelos
• Análisis de Regresión
• Metodología de Superficie de Respuesta (RSM)

34
Motivación y Terminología Cuándo utilizamos DoE?

• Si existen muchas alternativas a considerar
  (i.e., muchos niveles, y un gran número de
  parámetros) para un sistema propuesto
• Dos tipos básicos de variables son factores y
  respuestas
• Factores Parámetros de Entrada de un modelo de
  Simulación
• -controlables o no controlables
• -cuantitativos o cualitativos
• Respuestas Salidas de un un modelo de Simulación
  
• - Naturaleza incierta (Ruido)
• Problema Básico Encontrar los mejores niveles
  (o valores de los parámetros) en términos de las
  respuestas
• Diseño Experimentos nos dice que alternativas
  debemos simular (experimentar), para así obtener
  la información deseada con la menor cantidad de
  simulaciones (corridas)

35
Dificultades en la Solución del Problema Básico
en DoE

• Múltiples Factores (F)
• Múltiples Respuestas (O)
• Respuesta incierta ( Ruido)
• Limitaciones F

O
I
SISTEMA
R
36
Ejemplo de Factores

• 1. Tiempo Medio entre llegadas (Cuantitativa no
  controlable)
• 2. Tiempo Medio de servicio (Cuantitativa
  controlable o no)
• 3. Número de servidores (Cuantitativa
  controlable)
• 4. Disciplina de las colas (Cualitativa
  controlable)
• 5. Reorder point (Cuantitativa controlable)
• 6. Tiempo Medio entre demandas (Cuantitativa no
  controlable)
• 7. Distribución del tiempo entre demandas
  (Cualitativa no controlable)

37
Ejemplo de Respuestas

• 1. Tasa media de producción diaria
• 2. Tiempo medio para los pacientes en el Sistema
  
• 3. Nivel medio de inventario
• 4. Número de clientes que esperan más de 15
  minutos

38
Terminología en DoE

• Réplica - repetición de un experimento básico.
• Tratamiento una combinación específica de
  niveles de los factores.
• Unidad Experimental - la unidad a la cual un
  tratamiento simple es aplicado (one replication
  of the basic experiment).
• Error Experimental - error entre dos unidades
  tratamientos experimentales idénticos que
  producen resultados similares.
• Confundido - el mixing up de dos o más
  factores de modo que es imposible separar los
  efectos.

39
Terminología en DoE

• Aleatorización - Asignación aleatoria de
  tratamientos a las unidades experimentales
  (assures independent distribution of errors)
• Efecto Principal (de un factor) una medida del
  cambio en una variable de respuesta, debido al
  cambio de nivel del factor, promediando los
  efectos de todos los factores restantes
• Interacción es un efecto adicional (sobre la
  respuesta) debido a la influencia de la
  combinación de dos o más factores.

40
Tipos de Diseños de Experimentos Computacionales

• Diseño Completamente Aleatorizado
• Diseño en bloques Completamente Aleatorizado
• Diseño Factorial Completo
• Diseño Factorial Fraccionario
• Diseño Factorial Anidado
• Diseño de cuadrados latinos
• Diseño Jerarquizado
• etc.

41
Diseño Factorial 2k

• Supongamos que tenemos k (k gt 2) factores. Un
  diseño factorial 2k (2k factorial design)
  requiere que dos niveles sean escogidos por cada
  factor, y que n corridas de simulación
  (replicas) se ejecuten por cada una de las 2k
  posibles combinaciones de niveles de los factores
  (design points). Para 3 factores, podemos usar
  la Matriz de Diseño

42
Diseño Factorial 2k

• Matriz de Diseño para 3 Factores
• Factor 1 Factor 2 Factor 3
• Design Point Level Level
  Level Response
• 1 - - - O1
• 2 - - O2
• 3 - - O3
• 4 - O4
• 5 - - O5
• 6 - O6
• 7 - O7
• 8 O8
• se refiere a uno de los niveles de un factor
  y - se refiere al otro nivel . Normalmente,
  para factores cuantitativos , el nivel más grande
  y más pequeño de cada factor elegido.

43
Diseño Factorial 2k Estimación

• El Efecto Principal del factor 1 es el cambio en
  la variable respuesta como resultado del cambio
  en el nivel del factor, promediando los efectos
  de los restantes factores.
• Si el efecto de alguno de los factores depende
  del nivel de cualquier otro factor, se dice que
  estos factores interactúan
• El grado de interacción (two-factor interaction
  effect) entre dos factores i y j está definido
  como

44
Diseño Factorial Completo (2k)

• Consideremos un modelo de simulación de un
  sistema de producción. Las 2 variables de
  decisión o factores a considerar son Presión (P)
  y Temperatura (T) para el sistema de producción.
  Los valores máximos y mínimos admisibles para
  cada factor están dados por
• Supongamos que la variable respuesta de salida
  del modelo es el rendimiento del proceso .

45
Diseño Factorial Completo (2k)

• Una matriz de diseño 22 con los resultados de
  simulación (para 10 replicas en cada punto de
  diseño ) está dada por
• Donde un factor de nivel - indica el
  mínimo valor posible para el factor, y un factor
  en el nivel indica el máximo valor posible
  por ejemplo, para el design point 2 se tiene
  P40 and T 15.

46
Diseño Factorial Completo (2k)

• La respuesta dada es el costo promedio de las 10
  réplicas. El efecto principal es
• El efecto de interacción esta dado por
• Además, el efecto medio de incrementar P de 20 a
  40 es un incremento en el rendimiento de 1.2, y
  el efecto medio de incrementar T desde 15 a 50
  es una reducción en el rendimiento de 5.3. Esto
  podría aconsejar seleccionar el factor T como el
  valor más bajo y el factor P como el más alto.

47
Diseño Factorial Completo (2k)

• También a menudo un efecto de interacción
  positivo, podría indicar que los efectos de los
  factores P y T tienen niveles opuestos.
• Por supuesto que esto se puede inferir de un
  breve análisis de las respuestas para
  combinaciones de diseño.
• Note también que la interpretación del efecto
  principal asume que no hay efecto de interacción.

48
Aleatoriedad de los Efectos

• Observemos que los efectos principales e
  interacciones calculados en el ejemplo previo son
  variables aleatorias. Para determinar si los
  efectos son realmente significativos o si su
  cambio se debe a fluctuaciones aleatorias
  deberíamos calcular los efectos principales e
  interacciones varias veces (10 o más) y construir
  un intervalo de confianza para cada efecto
  principal e interacción.
• Si el intervalo de confianza contiene al cero,
  entonces el efecto no es estadísticamente
  significativo. (Note que la significancia
  estadística no necesariamente implica
  significancia práctica).

49
Situación con muchos Factores

• Cuando existan muchos factores a considerar en el
  diseño factorial completo, se puede recurrir al
  diseño de experimentos factorial fraccionado
  (2k-p , 3k-p , etc).
• Cuando no sea posible utilizar un diseño
  factorial fraccionado es posible recurrir a otros
  diseños por ejemplo diseños sobresaturados
  (Mauro 1986).
• Otra aproximación para reducir el número de
  factores es considerar la técnica de factores
  ocultos o agrupación de factores donde un grupo
  de factores se consideran como si fuesen un solo
  factor (confundido).

50
Superficies de Respuesta y Metamodelos

• Una superficie de respuesta es un gráfico de la
  variable respuesta como una función de varios
  factores.
• Un metamodelo (literalmente, modelo algebraico
  de un modelo de simulación), es una
  representación algebraica de un modelo de
  simulación, con los factores como variables
  independientes (determinísticas o estocásticas) y
  la variable respuesta como variable dependiente.
  La que pueda representar una aproximación de la
  superficie de respuesta.
• Un metamodelo típico usado en aplicaciones de
  simulación es el modelo de regresión.

51
Superficies de Respuesta y Metamodelos

• A través de un metamodelo la metodología de
  superficie de respuesta (RSM) puede encontrar
  la respuesta óptima de un conjunto de factores.
  También puede ser usada para responder otro tipo
  de preguntas (operación evolutiva de procesos).
  La Experimentación con un metamodelo es
  comúnmente menos costosa que usar el modelo de
  simulación directamente.
• Un proceso de diseño de experimento asume un
  particular metamodelo (Lineal model, Quadratic
  model, etc).

52
Conceptos de Análisis de Regresión

• Los métodos de Regresión son usados para
  determinar la mejor relación funcional entre las
  variables.
• Supongamos que la relación funcional puede ser
  representada por
• E(Y) f (X1, ..., Xp / B1, ..., BE)
• donde E(Y) es el valor esperado de la variable
  de respuesta Y los X1, ..., Xp son factores y
  los B1, ..., BE los parámetros de la
  forma funcional e.g.,
• E(Y) B1 B2 X1 B3 X2 B4 X1 X2

53
Conceptos de Análisis de Regresión

• La observación de un valor de respuesta Y, para
  un conjunto de X s, es asumida como una variable
  aleatoria dada por
• Y f (X1, ..., Xp/B1, ..., BE)
• Donde es una variable aleatoria con media
  igual a 0 y varianza . Los valores de
  B1,...,BE son obtenidos por algún método de
  estimación conveniente ( LS, M, GM etc.).

54
Métodos en Superficie de Respuesta

• Fuente (Fu, 1994)
• La metodología de superficie de respuesta
  (Response surface methodology RSM) involucra una
  combinación de metamodelos (i.e., regresión
  lineal y no lineal) y procedimientos secuenciales
  de optimización (iterative optimization).

55

• RSM compreden 2 Etapas
• Ajustar un modelo de regresión lineal a los
  puntos iniciales en el espacio de búsqueda,
  (mediante las réplicas del modelo de simulación).
  Estimar una dirección de descenso para el modelo
  de regresión y un tamaño de salto hasta encontrar
  una nueva (mejor) solución en el espacio de
  búsqueda. Repita el proceso hasta que el modelo
  de regresión lineal resulte inadecuado (indicando
  cuándo la pendiente de la superficie de respuesta
  lineal es aproximadamente cero i.e., cuando los
  efectos de interacción llegan a ser más grande
  que los efectos principales)
• Ajuste de una ecuación de regresión no lineal
  (quadratic) a la nueva área de búsqueda (search
  space). Para luego encontrar el óptimo de ésta
  ecuación.