Jenny BenoisPineau

1

• Jenny Benois-Pineau
• Philippe Joly
• http//www.irit.fr/ASSTICIM/

SAMoVA
2
Introduction

• Indexation basée contenu
• Contexte international
• XML, MPEG-7
• ESPRIT (PRC 4), IST (PRC 5)
• IST (PRC 6) "Technologies de la connaissance
  appliquées en particulier au traitement des
  contenus"

3
Présentation

• Contexte
• National
• GT10 (ISIS)
• CBMI
• AGIR, Domus Videum, ...

4
Présentation

• Indexation
• domaine transdisciplinaire en informatique
• traitement du signal
• technologies du langage
• gestion des connaissances
• regroupement des traitements texte, image, vidéo
  et audio

5
Présentation

• Objectifs
• sur le plan méthodologique
• Outils intelligents d'analyse et
  d'interprétation
• sur le plan organisationnel
• (Re-)Construire un communauté
• du point de vue pratique
• Intégration, interaction des outils
• Tests et valorisation

6
Présentation

• Objectifs
• Développement d'outils
• Méthodologie pour la mise à disposition d'un
  corpus étiqueté
• Architectures logicielles
• Démonstrateurs
• très (trop ?) ambitieux

7
Présentation

• Participants

8
Présentation

• Participants
• Segmentation et identification Parole, musique,
  bruits
• Description analytique des contenus
• Règles et contraintes liées au mécanismes de
  production
• ...

9
Présentation

• Participants
• Analyse et interprétation des images 2D et 3D
• Structures musicales dans les documents sonores
• Indexation vidéo basée objets
• ...

10
Présentation

• Participants
• Indexation, recherche de données d'image et de
  texte,
• Exploitation (BD, statistiques),
• ...

11
Présentation

• Participants
• Indexation d'images par le contenu,
• Recherche interactive dans de grandes bases
  d'images
• Navigation
• Indexation multimédia (Texte/image)

12
Présentation

• Participants
• Analyse et indexation par traitements
  spatio-temporels de la vidéo MPEG-2 ou 4
• Propriétés de perception de scènes du Système
  Visuel Humain
• ...

13
Présentation

• Participants
• Apprentissage, représentation des connaissances,
  
• Exploitation des connaissances imparfaites
• Méthodes floues possibilistes,
• Aggrégation
• Fouille de données, extraction de connaissances,
  ...

14
Actions

• Corpus
• SFRS
• 7 documents (2h30) audio vidéo
• images fixes
• Outils
• 1 outils d'extraction d'image des fichiers
  MPEG-2 (Labri)

15
Actions

• EOI Réseau d'Excellence Européen
• Knowledge-Based Multimedia
• 23 partenaires publics et privés
• DK, DE, F, G, I, NL, SP, UK
• Extraction d'informations de contenu, gestion
  des connaissances et de données multimédia,
  encodage, édition multimédia, recherche
  d'information, présentation de données,
  évaluation des impacts sociétaux

16
Actions

• Rencontres
• Analyse et Indexation Multimédia
• Le 20 juin à Bordeaux (Labri)
• Analyse et caractérisation de la vidéo
• Indexation automatique de la musique
• Reconnaissance et indexation de la parole
• Fusion des informations pour l'interprétation
  des flux multimédia
• Perspectives et projets de lindexation
  multimédia

17
Actions

• Publications
• J. Benois-Pineau, M. De Sainte Catherine, N.
  Louis A methode for extraction of audio-visual
  leitmotif in movies by cross media analysis,
  Session spéciale Content Based Audio and Video
  Indexing EUSIPCO2002, Toulouse, France,
  September2002
• S.A. Berrani, L. Amsaleg, P. Gros, "Controlling
  the Precision of Approximate Fast
  Nearest-Neighbor Searches", Rapport technique
  N1450, Avril 2002
• Mathieu CARNEC, Dominique BARBA. Faces
  recognition based on both perception and
  behaviour of the Human Visual System. In Proc. of
  DSP2002. Santorin. Grèce. July 2002.
• R. Ruiloba, Ph. Joly Adding the concept of video
  editing levels in shot segmentation, Session
  spéciale Intelligent Systems for Video
  Processing, IPMU2002, Annecy, France, July2002

18
Actions

• Publications
• Detyniecki M. and Marsala C., Fuzzy Multimedia
  Mining Applied to Video News, Proceedings of the
  International Conference on Information
  Processing and Management of Uncertainty in
  Knowledge-Based Systems IPMU'2002, Annecy,
  France, July 2002.
• J. Benois-Pineau, A. Khrennikov, Image
  segmentation in compressed domain by clustering
  methods with euclidean and p-adic metrics,
  Session spéciale Data mining and multimedia
  systems, IPMU2002, Annecy, France, July2002
• Sessions spéciales
• IPMU 2002
• Eusipco 2002

19
Actions

• Eléments de résultats

20
Perspectives

• Vers une "transmédialité"
• Chaînage mono- ou multimédia
• Analyse et caractérisation de laudiovisuel
• Aggrégation / fusion
• Evaluation des résultats
• Interprétation des résultats
• Exploitation des résultats

21
Perspectives

• Vers une "transmédialité"
• chez SAMoVA ?