Diapositiva 1

1
Visión por Computadora
Campos Aleatorios de Markov
Dra. Luz Abril Torres Méndez Robótica y
Manufactura Avanzada CINVESTAV - Saltillo
Cuatrimestre Ene-Abr 2009
2
Contenido

• Bases de los CAM
• Análisis Bayesiano de imágenes
• Teoría de los Campos Aleatorios de Markov
• Equivalencia Markov Gibbs
• Inferencia
• Aprendizaje
• Aplicaciones
• Segmentación de imágenes
• Síntesis de texturas

3
Análisis Bayesiano de Imágenes
Ruido
Transmisión
Imagen original
Imagen degradada (observada)
4
Análisis de Imágenes Bayesiano

• Sea X la imagen observada x1,x2xn
• Sea Y la imagen verdadera y1,y2yn
• Meta encontrar Y y y1,y2 tal que
  P(Y y X) es el máximo.
• Problema de etiquetas con un espacio de búsqueda
  de Ln
• L es el conjunto de etiquetas.
• n observaciones.

5
Primera estimación

• Asume que las etiquetas yi son independientes.
• P(YX) ?ni1 P(yi xi)
• Maximizando P(YX) se reduce a simplemente
  maximizar las probabilidades individuales de
  P(yi).

6
Campos Aleatorios de Markov

• Introducido en los 60s, es un enfoque
  estadístico que incorpora información contextual.
• Funciona dentro del marco Bayesiano.
• Muy utilizado en los 70s, casi desapareció su
  uso en los 80s y finalmente tuvo un gran regreso
  a finales de los 90s.

7
Propiedades estadísticas de imágenes

• Un proceso estocástico está completamente
  definido por su ley de probabilidad
• El modelo más simple considera procesos
  isotrópicos y estacionarios.
• Cómo obtener un comportamiento coherente de las
  muestras o píxeles vecinos (o no vecinos), de
  una manera genérica?

8
Qué valor se espera?
9
Dependencia 2-D

• Los valores de los píxeles frecuentemente
  dependen de sus vecinos, osea

10
Cadenas de Markov (1-D)

• Las cadenas de Markov son series de tiempo (osea,
  hay un claro orden en las observaciones) donde

11
Ejemplo Movimiento Browniano
12
Ejemplo Cachar una pelota
13
Campos Aleatorios (preliminar)

• Consideramos un conjunto de píxeles, y una
  familia de variables aleatorias FF1,,Fn,
  definido sobre este conjunto, en el cual cada
  variable aleatoria, Fi, toma un valor fi entre
  los valores del conjunto de etiquetas L.
• Ejemplos de etiquetas
• Binario
• 1255
• agua, tierra, aire
• RGB 1255 x 1255 x 1255
• Números reales

14
Campos Aleatorios

• Una imagen la podemos ver como una variable
  aleatoria!!

15
Campos Aleatorios

• Considera un conjunto de sitios S, y una familia
  de variables aleatorias FF1,,Fn, definida en
  este conjunto, en el cual cada variable
  aleatoria, Fi, toma un valor fi entre el conjunto
  de etiquetas L.

16
Campo Aleatorio de Markov

• Un campo aleatorio donde
• Ni es la vecindad del sitio i.
• Define la información contextual inter-pixel en
  términos de probabilidades condicionales de un
  pixel dado sus píxeles vecinos.

17
Sistema de Vecindad Neighborhood system

• Dado un conjunto de sitios S, un sistema de
  vecindad N, está dado por
• para el cual se sostiene que
• i no está en Ni.
• i en Nj iff (si y solo si) j está en Ni.

Vecindad de i
18
Análisis de Imágenes

• Podemos representar ambas imágenes imagen
  observada (X) y la imagen verdadera (Y) como
  CAMs.
• E invocar el marco Bayesiano para encontrar P(YX)

X imagen observada
Y image verdadera
19
Detalles

• P(YX) es proporcional a P(XY)P(Y)
• P(XY) es el modelo de datos.
• P(Y) modela la interacción entre etiquetas.
• El siguiente paso es calcular las probabilidades
  iniciales (prior) P(Yy) y la probabilidad
  (likelihood) P(XY).

20
Cliques (agrupaciones)

• Un clique se define como un subconjunto de sitios
  en F, donde cada par de sitios son vecinos. La
  colección de clliques simples, dobles y triples,
  etc. se denotan por C1, C2, C3,
  Cn

21
Cliques

• Un sitio simple
• Conjunto de sitio en que todos son vecinos de
  cada uno.
• 4-neighborhood (vecindad de 4)

cliques
22
Cliques

• Vecindad de 8

Sus cliques
23
Estimación Bayesiana
Con frecuencia, los MRFs se pueden formular
bastante bien
24
Principio

• Una imagen es modelada como un campo aleatorio.
  Si el valor de una posición dada depende sólo de
  sus vecinos actuales, la función de la densidad
  conjunta de probabilidad puede ser modelada
  utilizando la distribución de Gibbs.

25
Distribución Gibbs / Campo Aleatorio

• De mecánica estadística, si f es una realización
  de un campo aleatorio entonces la probabilidad
  conjunta es
• Z es la función de partición, la suma de la
  exponencial sobre todos los posibles estados del
  campo aleatorio.

26
Distribución Gibbs / Campo Aleatorio

• Un campo aleatorio Gibbs es un campo aleatorio
  con distribución de Gibbs. La función de energía
  típica es
• Escogiendo una función de energía U(f) apropiada,
  muchos problemas de procesamiento y análisis de
  imágenes pueden ser reformulados en términos de
  maximizar p(f) o minimizar la función de energía
  U(f).

Potencial del clique
27
Métodos de optimizacion estocásticos

• Cuando se tienen espacios de estados enormes se
  pueden utilizar los métodos de optimización
  estocásticos, como
• Simulated Annealing (Simulado recocido)
• Iterated Conditional Models (Modelos
  Condicionales Iterados)
• Maximizer of Posterior Marginals
• etc.

28
CAM

• Los campos aleatorios de Markov y los campos
  aleatorios de Gibbs son equivalentes.
• Los campos de Gibbs se utilizan con frecuencia
  computacionalmente hablando cuando se trabaja con
  MRFs.

29
Regresando al análisis de imágenes
La probabilidad puede ser modelada como una
mezcla de Gaussianas
El potencial es modelado para capturar el dominio
de conocimiento. Un modelo común es el de ISING
de la forma ßyiyj
30
Inferencia

• Encontrar el óptimo y tal que P(YyX) es el
  máximo.
• La búsqueda espacial es exponencial!.
• Algoritmo exponencial - Simulated annealing
• Algoritmo greedy Modos Condicionales
  Iterativos.
• Existen otras estrategias avanzadas basadas en
  los grafos.

31
Historia

• Físico alemán Ernst Ising era estudiante de
  doctorado (Lenz era su asesor), su tesis era
  sobre un modelo ahora conocido como el Modelo
  Ising.
• Ising trataba de explicar, usando este modelo,
  ciertos hechos observados empíricamente acerca de
  los materiales ferromagnéticos.

32
Modelo Ising

• Considera una secuencia 0,1,2,,n de puntos sobre
  una línea. A cada punto, o sitio, hay un pequeño
  girador el cual en cualquier momento está en
  posición arriba o abajo.

33
Modelo Ising

• Asignamos una medida de probabilidad al conjunto
  de todas las configuraciones posibles. Tal medida
  es llamada un campo aleatorio.
• El espacio de muestras ? lo conforman todas las
  secuencias ?(?0,?1,, ?n) donde ?j o -. Y la
  función ?j definida sobre ? es ?j(?)1 si ?j y
  -1 si ?j -.

34
Modelo Ising

• La medida de probabilidad sobre ? es Para cada
  configuración ? se le asigna una energía U(?)

Suposición Sólo las interacciones entre los
giradores vecinos necesitan ser tomados en
cuenta.
35
Casos

• Caso de atracción Cuando J?0. La interacción
  tiende a mantener los giradores vecinos
  alineados.
• Caso de repulsión J?0. Los giradores están en
  orientación opuesta.

36
Modelo Ising
37
Minimización de Energía

• El primer término contribuye mínima energía
  cuando todos los giradores están alineados en la
  misma dirección
• El segundo término contribuye mínima energía
  cuando todos los giradores están en la misma
  dirección del campo externo.

38
Asignación de probabilidades

• Las probabilidades para las configuraciones ? son
  proporcionales a
• donde T es la temperatura y k es una constante
  universal. La medida de probabilidad sobre ? está
  dada por

39
Asignación de probabilidades

• donde la constante de normalización Z, está
  definida por
• conocida como la función de partición.

40
Utilidad del Modelo

• Asociemos a cada punto i una energía Ui
• entonces

Por lo tanto, la probabilidad relativa de una
configuración se obtiene simplemente
multiplicando todos los puntos y utilizando la
energía en cada punto para determinar el peso de
ese punto.
41
Caso 2D

• Se puede extender para el caso más dimensiones,
  simplemente considerando un lattice de puntos en
  2 o más dimensiones.

Para el caso 2D, un punto tendrá 4 vecinos, a
menos que sea una orilla
42
Aplicaciones

• Desde que el modelo Ising fue formulado se han
  encontrado varias aplicaciones
• En sistemas físicos y biológicos (gases,
  aleaciones binarias, estructuras celulares.)
• Sociología
• Ejemplo grupo de personas de izquierda y de
  derecha. La energía recibiría mejor el nombre
  de tensión, causada por las personas
  interaccionando. El campo externo podría ser
  representado por el gobierno actual. Mínima
  tensión todos están de acuerdo en sus ideas y
  coinciden con el tipo de gobierno. Estableciendo
  las restricciones adecuadas sobre quién es
  vecino de quién

43
Medida de Gibbs

• La medida de probabilidad anteriormente vista, la
  cual es definida por una función de energía U se
  le conoce como medida de Gibbs.

44
Porqué es interesante?

• Entropía cantidad de incertidumbre en un
  resultado.
• Ejemplo Si ? tiene n puntos, la medida con la
  mayor entropía es la que asigna todos los
  resultados una probabilidad semejante.

45
Porqué es interesante?

• La medida de Gibbs con la interacción del vecino
  más cercano tiene la siguiente propiedad

Sea Nj el conjunto de vecinos de un vértice j,
entonces
46
Modelos estadísticos

• Algunas estructuras de las imágenes no son
  determinísticas, y son mejor caracterizadas por
  sus propiedades estadísticas
• Ej.las texturas se pueden representar por su
  orden primero y segundo de estadística
• Las imágenes son distorsionadas por ruido
  estadístico frecuentemente, y es por ello que se
  pueden tratar como procesos aleatorios.

47
Conclusiones

• Es una herramienta teórica efectiva para
  incorporar contexto espacial limitado.
• La inferencia exacta puede ser muy lenta. Aún la
  inferencia aproximada no está cercana al tiempo
  real.
• Utilizar modelos explícitos de probabilidad no
  es una buena idea cuando los datos son pocos.

48
Referencias

• Markov Random Field Modeling in Computer Vision
• Stan Z. Li
• http//www.nlpr.ia.ac.cn/users/szli/MRF_Book/MRF_B
  ook.html

S. Geman and D. Geman. Stochastic relaxation,
Gibbs distributions and the Bayesian restoration
of images. IEEE Trans. on Pattern Analysis and
Machine Intelligence, PAMI-6721741, Nov. 1984.