Redes Bayesianas - Aplica

1
Redes Bayesianas - Aplicação em Recuperação de
Informação Rudini Sampaio DCC / UFLA
2
Bibliografia

• Ricardo Baeza Yates, Berthier Ribeiro Neto,
  Modern Information Retrieval, Addison Wesley,
  1999
• Roberto Fung, Brendan Del Favero, Applying
  Bayesian Networks to Information Retrieval,
  Communications of the ACM, Vol.38, N.3, 1995

3
Notação

• index terms Kk1,,ki,kt
• query q ? K
• N número de documentos dj
• ni número de documentos com ki
• term frequency fi,j
• Ocorrencias de ki em dj (normalizado)
• inverse document frequency idfi
• Termos muito usados não são muito úteis para
  distinguir documentos
• term weighting wi,j

4
Modelo Probabilístico

• Dada uma query q e um documento dj da coleção, o
  modelo probabilístico tenta estimar a
  probabilidade do usuário achar o documento dj
  interessante (isto é, relevante).
• Como calcular esta probabilidade?
• Redes Bayesianas
• Variáveis binarias para documentos, termos e
  queries
• Modelagem
• Inference Network Model
• Belief Network Model

5
Inference Network Model

• Nesse modelo, se um documento dj está sendo
  procurado, então ele ativa seus index terms.
• Termos ativados satisfazem queries que os
  contém.
• Uma rede bayesiana para cada documento dj
• Adiciona evidência à querie e calcula
  probabilidade a posteriori de dj

6
Inference Network Model

• Tabelas de Probabilidade
• Boolean Model
• tf-idf Ranking Strategies

(Noisy OR)
(Noisy OR)
7
Belief Network Model

• Esse modelo é mais formalizado, adotando como
  espaço de probabilidades o conjunto
  Kk1,,ki,kt de termos
• Os documentos e as queries são modeladas
  igualmente como subconjuntos de K
• Se um termo está sendo procurado, ele traz
  relevância para os documentos que o contém
• Uma rede bayesiana para todos os documentos
• Adiciona evidência à querie q e calcula
  probabilidade a posteriori de cada documento

8
Belief Network Model

• Tabelas de Probabilidade
• Vector Model

(Noisy OR)
(Noisy OR)
9
Comparação

• Inference network model é mais intuitivo e é
  usado pelo Inquery System
• Belief network model é mais formal do ponto de
  vista teórico e generaliza o primeiro
• Belief network model is able to reproduce any
  rating strategy generated by the inference
  network model, while the converse is not true

10
Robert Fung and Brendan Del Favero

• Tópicos de Interesse
• Guerras, Guerra do Iraque, Petróleo, Petrobrás,
  Hugo Chavez, PT
• Index terms
• Termos de cada documento
• Rede bayesiana
• Construída a partir da querie
• Análise feita para cada documento
• Variável tj indica relevância do documento com
  o tópico tj
• Variável ki evidência a partir dos termos do
  documento

11
Robert Fung and Brendan Del Favero

• Tópicos relacionados
• Guerras, Guerra do Iraque
• Tabelas de Probabilidades
• P(ki tj) ni,j / nj (noisy OR)
• nj número de documentos relevantes para o
  tópico tj
• ni,j número de documentos relevantes para o
  tópico tj e que contém o termo ki
• Ranking
• Evidências em ki segundo os termos do documento
• Probabilidade a posteriori em tj
• Relevância do documento no tópico tj