Paulo Roberto

1
Recuperação de Informação Multimídia

• Paulo Roberto
• prps_at_di.ufpe.br

2
Roteiro

• Motivação
• Recuperação de informação textual
• Recuperação de informação multimídia
• Conclusões
• Referências

3
Motivação
Crescimento das coleções de textos
digitais (bibliotecas digitais, Internet,
Intranets, ...)

Tempo de busca longo / baixa precisão
Novas técnicas de recuperação de informações (IR)
4
Etapas da Recuperação de Informações (IR)
Coleta da
Seleção da
Apresentação ao Usuário
Informação
Informação
disponível
desejada
5
Paradigmas de IR
6
Busca de Informação na Web

• Como localizar a informação relevante?
• Como modelar o interesse de um usuário particular?

Aprox. 577.032 docs!!!
7
Medidas de Eficácia para Busca e Filtragem

• Recall total de documentos relevantes retornados
  dividido pelo número total dos relevantes.
• Precisão documentos relevantes retornados
  dividido pelo número total de retornados

8
Por que Agentes IR?

• IR se encaixa no modelo de agentes
• Necessidade de acesso a múltiplas fontes de
  informação
• Necessidade de distribuição

9
Agentes de Busca

• Exemplos Radix, AltaVista, Lycos, Excite, ...

10
Agentes que Filtram Informação
ex. Metacrawler, NewsHound, etc.
11
Montando a Base de Índices

• Dado um documento, identificar os conceitos que
  descrevem o seu conteúdo e quão bem eles o
  descrevem.
• Pesos das Palavras como indicação de relevância
• Frequência relativa da palavra no texto (TFIDF)
• Frequência da palavra em relação a outros
  documentos do conjunto que está sendo indexado.
• Colocação da palavra na estrutura do documento
  (título, início, negrito,...)
• Palavras com maiores pesos são selecionadas,
  formando um vetor de representação.

12
Exemplo de Representação
13
Estrutura de Arquivos p/ IR(Montando a Base de
Índices)

• Arquivos de índices invertidos

14
Indexação

• Selecionar palavras da página HTML
• Converter uma cadeia de caracteres em uma cadeia
  de palavras/tokens. (/, -, 0-9,...)
• Stop-list
• Palavras sem conteúdo semântico são retiradas da
  indexação
• Montar o centróide da página
• Palavras-chave que mais aparecem na página

15
Indexação

• Indexação Distribuída, Base compartilhada
• Divisão por Localização Geográfica, Rede,
  Conteúdo,..
• Stemming
• Armazenar apenas o radical da palavra, permitindo
  variações morfológicas dos termos durante o
  casamento

16
Estratégias de Busca

• Ontologias para aumentar precisão e recall.
• Stemming
• String searching
• String matching exato e aproximado (N-Grams)
• Expansão do vocabulário
• a informação buscada pode ser expressada por
  diferentes palavras
• utiliza um dicionário de sinônimos

17
Extração de Informação

• Extrai dados relevantes (para um determinado
  objetivo) a partir de documentos digitais.
• Etapas
• reconhecimento do trecho de informação
• extração da informação.
• Exemplo (projeto de mestrado de Carla)

BD (CNCT) Autor .... Ano
.... Título .... Local ....
18
Agentes para IR

• Transformar o grande número de fontes de
  informação em rede de agentes de informação.
• Organização
• Estruturação dos agentes.
• Conhecimento
• Ontologia ou modelo do seu domínio específico.
• Modelo das fontes de informação.
• Comunicação
• Protocolo de comunicação comum entre os agentes.
• Aprendizado
• Melhorar a exatidão e performance com o tempo.
• Lidar com as mudanças do ambiente

19
Rede de Agentes
20
IR-Multimídia

• Motivação
• Existência de grandes volumes de textos,
  gráficos, narrações, sons e vídeos acessíveis
  em bases de dados distribuídas
• Aplicações
• Diagnósticos médicos (Medical Image Databases)
• Reconhecimento de padrões (faces, impressões
  digitais, assinaturas, riffs e melodias musicais,
  etc.)
• Pesquisa multimídia

21
Convergência Digital
22
Recuperação de Informações Multimídia

• Recuperação baseada em conteúdo
• Mas como indexar áudio/vídeo?
• Problemas...
• Descrevendo imagens/sons através de palavras
  (cada pessoa conta o filme de uma maneira
  diferente...)
• Extraindo informações de uma amostra de áudio...

23
Estado da Arte

• Computação Musical, processamento de som,
  localização frequência-tempo
• Narrações busca direcionada por voz. Dificuldade
  de tornar-se independente do usuário
• Música busca baseada em valores (timbre, altura,
  duração, etc.)

24
Estado da Arte

• visão computacional, reconhecimento de padrões e
  processamento de imagem
• Fotos busca baseada em características.
  Limitações na tecnologia restringem a busca a
  domínios específicos
• Vídeo sofre dos mesmos problemas das fotos.
  Compara quadros adjacentes com mudanças
  estruturais quadro-a-quadro. Parâmetros de
  movimento de câmera (zoom, fading, etc.)

25
Recuperando Áudio

• Categorias de recuperação
• por um trecho específico
• por atributos acústicos mensuráveis
• por propriedades subjetivas do som
• Indexando formas de onda vs.
• Indexando arquivos MIDI

26
Recuperação de Informação Musical Baseada em
Conteúdo

• Uso da tecnologia MIDI facilita o tratamento...
• MIDI nota, instrumento, altura, etc

27
Recuperando Vídeo
Parsing
Extração do conteúdo e indexação
Recuperação e browsing
28
Categorias de Recuperação de Vídeo

• High-level
• Utiliza um conjunto de termos de indexação
  predefinidos para anotação de vídeo.
• Os termos são organizados em categorias
  ontológicas de alto nível como ação, tempo,
  espaço, etc.
• Desenvolveu-se a partir da perspectiva de
  indexação manual
• É indicada para lidar com pequenas quantidades de
  vídeos novos e para acessar bases de dados
  anotadas previamente

29
Categorias de Recuperaçãode Vídeo

• Low-level
• Provê acesso a vídeo baseado em propriedades como
  cor, textura, formas, etc.
• Consiste em extrair características dos dados de
  vídeo, organizar essas características baseado em
  alguma distância métrica e usar casamento por
  similaridade para recuperar o vídeo
• Indexação automática
• Principal limitação ausência de semântica
  associada às características

30
Categorias de Recuperaçãode Vídeo

• Domínio específico
• Combina as duas anteriores high-level para
  restringir a extração e o processamento low-level
• É efetiva no domínio da aplicação
• Ex. parsing e recuperação de vídeos de notícias
• Limitação estreito domínio de aplicabilidade

31
Técnicas de Indexação de Vídeo

• Transformada de Fourier
• Processamento de padrões presentes em imagens
• Descritores de Fourier
• identificação dos contornos de figuras
  geométricas primitivas em imagens
• ex Applet

32
Técnicas de Indexação (A/V)

• Wavelets
• ondas pequenas com determinadas propriedades que
  as tornam adequadas a servirem de base para
  decomposição de outras funções, assim como senos
  e cossenos servem de base para decomposições de
  Fourier.
• Ferramenta matemática para analisar, processar e
  sintetizar imagens e sinais onde o método de
  Fourier não obtém performance aceitável
• Aplicações waveform matching, segmentação de
  sinais e time-frequency localization
• São adaptáveis para a aplicação em questão

33
Query Based in Content (QBIC)

• Ferramenta de busca, IBM
• Realiza consultas em grandes bases de dados de
  imagens baseadas no conteúdo visual dos dados
• Consultas podem ser feitas através de exemplos
• Mostre-me imagens parecidas com esta
• Ou por descrições das propriedades
• Dê-me imagens que contenham muito vermelho

34
Trademark Server

• Permite navegação e busca de padrões de marcas
  registradas.
• O sistema combina o IBM's DB2 Universal Database
  para consultar os campos numéricos e textuais e o
  QBIC(tm) para a consulta das figuras
• Versão demo...

35
Considerações Finais

• Repositórios multimídia precisam mais do que
  armazenagem e acesso em rede
• indexação
• Extração automática completa ainda é impossível
• interface
• Mantra para desenvolvimento Overview first,
  zoom and filter, then details on demand
• Shneiderman

36
Referências - Papers

• Bibliography os Papers on Multimedia Retrieval.
• Seminários sobre Recuperação de Informação. Paulo
  Oliva e Mariana Neves
• Representação e Recuperação Baseada em Conteúdo
  de Partituras Musicais em Bases de Dados
  Orientadas a Objetos. Figueiredo, M.B. Traina, C.
  Traina, ª
• Busca e Recuperação de Informação Musical.
  Miccolis, A. V Simpósio Brasileiro de Computação
  e Música, UFRJ
• Image and Sound Digital Libraries Need More Than
  Storage and Networked Access. Aigrain, P. ISDL95

37
Referências - Links

• QBIC Homepage. http//wwwqbic.almaden.ibm.com/
• Trademark Server. http//wwwqbic.almaden.ibm.com/t
  mdemo/
• Wavelets at LSI. http//www.lsi.usp.br/regis/wlet
  s.html
• Computer-Assisted Perception A Framework for
  Multimedia Interaction with Existing Media
  http//www.irit.fr/ACTIVITES/EQ_AMI/AIGRAIN/manife
  st.html
• Fourier Descriptors. http//www.cim.mcgill.ca/adq
  /fourdescrip/FD.html