Prsentation du projet

1

• Présentation du projet
• ImagEVAL
• Techno-Vision

• Contacts
• Inscription participants, informations sur les
  évaluations
• CEA LIST Pierre-Alain MOELLIC
• Mail moellicp_at_zoe.cea.fr
• Informations organisation générale, données,
  contrats
• NICEPHORE CITE Pierre MICHEA
• Mail pierre.michea_at_nicephorecite.com
• TRIBVN Jacques KLOSSA
• Mail jklossa_at_tribvn.com

2

• Présentation générale
• ImagEVAL

3
Historique. Consortium

• Appel à projet Techno-Vision (Ministère de la
  Recherche)
• ImagEVAL proposition en 08/2004
• Projet labellisé le 11/01/2005
• Consortium ImagEVAL composé de
• Comité dorganisation
• Organisateur principal NICEPHORE CITE
• Évaluateur / co-organisateur TRIBVN
• Animateur scientifique CEA-LIST
• Détenteurs de fonds
• Participants

4
Présentation générale dImagEVAL

• Contexte scientifique et économique
• Imagerie numérique
• Internet gt1,000,000,000 images sur Google
• Vagues importantes de numérisation des fonds
  (INA, Musées, )
• Marché de en vaste
• vente de contenus visuels (E-Commerce)
• Getty 630 M de CA
• moteur de recherche sur le web (Google,
  Altavista, )
• protection de la propriété intellectuelle
• veille, filtrage de connaissances (Défense,
  Industrie)
• valorisation de fonds photographiques (musées,
  Culture)
• Importance croissante de lindexation dimages
  dans le monde du traitement dimages CBIR
  (Content Based Image Retrieval)
• Contrairement au  monde du texte  manque
  notable dévaluations des technologies sur des
  bases reflétant les besoins réels

5
Présentation générale dImagEVAL

• Objectifs dImagEVAL
• Réaliser des évaluations portant sur des
  problématiques liées à lindexation, au filtrage
  et à lanalyse du contenu dimages fixes
• Constituer un cadre représentatif des besoins
  concrets
• Impliquer les professionnels de lindexation et
  de la recherche
• Appréhender différentes applications presse,
  édition, recherche, tourisme, éducation, large
  public, ...
• Constituer des bases représentatives par le
  contenu et par la taille
• Évaluer des technologies de laboratoires français
  et étrangers et des solutions logicielles
  industrialisées
• Proposer des axes daméliorations des systèmes et
  ouvrir des nouveaux chantiers de réflexions dans
  la communauté scientifique
• Montrer que des technologies répondent
  aujourdhui à certains besoins et permettre des
  collaborations ou des transferts de technologies

6
Relation dImagEVAL

• Relation avec dautres projets
• Network Of Excellence MUSCLE
• 7 participants actuels sont des membres du NOE
• Contact privilégié avec des laboratoires
  européens
• ImagEVAL dans le WorkPackage Benchmarking de
  MUSCLE
• Rapprochement avec CLEF (ImageCLEF)
• Proposition dévaluation commune pour de futures
  campagnes
• Partage dexpérience

MUSCLE Multimedia Understanding through
Semantics, Computation and Learning CLEF
Cross Language Evaluation Forum ImageCLEF
Cross-language image retrieval track Evaluation
of image retrieval systems for historic
photographic and medical images
7
Consortium, participants

• Actuellement une quinzaine de participants
  intéressés
• Laboratoires
• Mines de Paris
• INRIA (IMEDIA, LEAR)
• UTC
• IRIT
• ENSEA (ETIS)
• ENSICAEN (GREYC)
• Université Tours (RFAI)
• CEA-LIST (LIC2M)
• Vienna university. PRIP (Autriche)
• Université Graz. ICGV (Autriche)
• Université et Hôpitaux de Genève VIPER (Suisse)
• Université Sheffield. Dept Information Studies
  (Angleterre)
• Sociétés
• LTU Tech
• AdVestigo

8

• Comité dorganisation
• NICEPHORE CITE
• TRIBVN
• CEA-LIST

9
Comité dorganisation NICEPHORE CITE

• http//www.nicephorecite.com
• Chalon-sur-Saône lImage
• Invention de la photographie par Nicéphore
  Niépce,
• Implantation de la plus grosse unité européenne
  de Kodak,
• En 1992 réalisation de Cluny 1 avec IBM et
  lENSAM,
• En 1997 création de lInstitut Image, laboratoire
  rattaché à lENSAM Cluny,
• Importance des fonds détenus par le Musée Niépce.
• Origine de la structure NICEPHORE CITE
• Création en 2001 dun Service rattaché à
  lAgglomération de Chalon-sur-Saône,
• Destiné à soutenir le développement économique et
  culturel des acteurs locaux dans le domaine de
  limage du son
• Musée Niépce,
• ENSAM Cluny, et INSTITUT IMAGE,
• EMA, école en Arts Plastiques,
• Conservatoire Nationale de Région.
• Fin 2004, NICEPHORE CITE devient une Société
  dEconomie Mixte dotée
• déquipements innovants dans le domaine de
  lImage du Son,

10
Comité dorganisation NICEPHORE CITE

• Positionnement de NICEPHORE CITE
• Promotion des savoir-faire locaux dans le domaine
  de lImage du Son (Musée Niépce, ENSAM,
  Université de Bourgogne),
• Développement de partenariats au niveau Régional,
  National et International (Réalité Virtuelle,
  Réalité Augmentée, Gestion Valorisation de
  fonds images)
• Mise à disposition de ressources techniques et
  humaines,
• Travail sur lattractivité du territoire.
• Afin daboutir au développement de nouvelles
  activités en Région Bourgogne
• Création de nouvelles sociétés,
• Implantation dactivités,
• Développements du tissu local en terme de
  Recherche Développement

11
Comité dorganisation NICEPHORE CITE

• La Gestion la valorisation des fonds
  photographiques Chalon-sur-Saône
• Musée Niépce fonds de plus de 3 millions
  dimages,
• Implantation de la société ArchivAlpha
  archivage de fonds physiques à partir de
  Chalon-sur-Saône, développement dune activité de
  numérisation.
• Réflexions entamées quant aux facteurs clés de
  succès dune filière Régionale de Gestion
  Valorisation de fonds Images
• Problématiques  économiques  du ROI // phase
  de numérisation, dindexation et de diffusion /
  commercialisation des images,
• Problématiques  techniques  à résoudre par
  rapport une industrialisation de la phase de
  numérisation darchivage,
• Problématiques  techniques  à résoudre par
  rapport lindexation des fonds images quels
  outils pour assister les documentalistes sur
  cette phase
• Dans le cadre de ces réflexions entamées avec le
  musée Niépce, rapprochement avec léquipe du
  LIC2M courant 2004, ainsi que la société TRIBVN.

12
Comité dorganisation TRIBVN

• TRIBVN est une société industrielle spécialisée
  dans
• la numérisation de fonds iconographiques (Musées,
  bibliothèques, fonds industriels et presse),
• le développement de réseau de production d'images
  médicales acquises au microscope.
• TRIBVN développe et commercialise
• Des stations d'imagerie
• Et des solutions sur serveur Internet permettant
  les travaux collaboratifs des sociétés savantes
  médicales.
• TRIBVN a un savoir-faire dans les domaines
  suivants
• la numérisation et le traitement de documents
  iconographiques, ce qui lui a permis d'être un
  prestataire de référence pour des clients
  prestigieux (BNF, INA, ADAGP, RMN, Hachette,
  Cartier, Renault, ).
• le développement de solutions de numérisations
  d'images de haute qualité fonctionnant en réseau
  dans le domaine de la microscopie en lumière
  blanche (réseau de 300 stations en France et 50
  en Italie)
• le développement et l'animation d'applications
  collaboratives en ligne,
• la publication de bases d'images médicales et
  culturelles.

http//www.tribvn.com
13
CEA-LIST Animateur Scientifique

• LIC2M Laboratoire dIngénierie de la
  Connaissance Multimédia Multilingue
• Création en 2002 par Christian Fluhr
• ? 15 personnes (dont 5 doctorants). Deux équipes
• Équipe Image
• Indexation dimages fixes et vidéos
• Analyse du contenu des images (description,
  classification automatique)
• Ontologies images
• Équipe Texte
• Traitement linguistique
• Filtrage et Analyse cross-lingue
• 8 langues fr,ang,all,esp, it, ar,chi,rus
• ImagEVAL
• Animateur scientifique
• Participant

http//www-list.cea.fr
14

• Données et contrats

15
Les détenteurs de fonds

• Acteurs privilégiés pour discuter des attentes et
  des besoins réels
• Assurent la qualité, la variété et la quantité
  des données
• Détenteurs de fonds pour ImagEVAL
• HACHETTE
• Musée Niepce
• EDITING
• ArchivAlpha
• RENAULT
• Réunion des Musées Nationaux (RMN)
• UMR 8586 PRODIG Pôle de Recherche pour
  l'organisation et la Diffusion de l'Information
  Géographique
• Ministère des Affaires Étrangères

16
Tableaux de présentation des fonds
17
Tableaux de présentation des fonds
18
Tableaux de présentation des fonds
19
Tableaux de présentation des fonds
20
Les données images

• La sélection des images sera assurée par TRIBVN
• Pour chaque évaluation, création dune
• Base de test (ou dapprentissage), pour le
  calibrage / apprentissage des systèmes
• Base pour les tests à blanc
• Base pour les évaluations officielles
• Les bases seront validés par lensemble du
  consortium
• Indexation des images sélectionnées, création des
  vérités terrains par TRIBVN

21
Contrats Approche générale

• Les bases d'images restent la propriété de ceux
  qui les ont produites et ne peuvent être
  diffusées librement.
• Les participants restent entièrement
  propriétaires de leur savoir-faire, de leurs
  développements précédents et ne communiqueront
  aucun détail concernant leurs algorithmes
• Les outils logiciels et la plate-forme ImagEVAL
  appartiendront aux membres du comité
  dorganisation
• L'engagement est fait d'avoir au moins la moitié
  de la base disponible, pour la communauté
  scientifique, à la fin de la campagne cessation
  de droits à NICEPHORE CITE
• Deux types de contrats
• Contrats Détenteurs de fonds / Comité
  dorganisation ImagEVAL
• Contrats Comité dorganisation / Participant

22
Contrat Détenteurs de fonds / Comité
dorganisation

• Les détenteurs de fonds cèdent un droit dusages
  concernant
• Des programmes scientifiques dévaluation des
  performances des algorithmes ou logiciels
  danalyse dimages
• Limité dans le temps de 24 à 120 mois maximum
• En échange dun accès aux résultats de lensemble
  des campagnes
• Prise en compte de leurs besoins
• Ce droit dusage est concédé à NICEPHORE CITE au
  titre du Comité dOrganisation et porte sur un
  volume V, dans lequel le comité va déterminer le
  volume V1 dimages afin de réaliser les
  différentes bases pour les campagnes de tests.
• Ce volume V1 sera annexé au contrat avec
  description en sous-ensembles homogènes de
• Nom du fonds, nombre dimages, description, droit
  moral, droit patrimonial,
• Taille, format
• En annexe du contrat sera également joint la
  liste des participants accédant aux images,
• Publication autorisation si publications
  scientifiques uniquement avec mention des droits
  moraux patrimoniaux

23
Contrat Participants / Comité dorganisation
ImagEVAL

• Transmission des données sur DVD-Rom aux
  participants dans le cadre stricte des Campagnes
  ImagEVAL
• En échange de lenvoi des données images, le
  participant ne peut sopposer à la communication
  au sein du consortium ImagEVAL de ses résultats
• Restitution à NICEPHORE CITE des données gravées
  sur DVD-Rom en fin de campagne, et destruction
  des données sur serveurs locaux
• Publication autorisation si publications
  scientifiques uniquement avec mention des droits
  moraux patrimoniaux
• Communication des photos souhaitées pour
  publication à NICEPHORE CITE
• En dehors des campagnes ImagEVAL demande
  réalisée auprès du Comité dOrganisation

24

• Évaluations
• Protocoles
• Métriques

25
Évaluations

• ImagEVAL propose 5 évaluations
• 1. Reconnaissance dimages transformées
• 2. Recherche combinée Texte / Image
• 3. Détection et extraction de zones de texte dans
  une image
• 4. Détection dobjets
• 5. Extraction de sémantiques
• Possibilité de participer à une ou plusieurs
  évaluations et de proposer plusieurs runs
• Nombre max de runs 5
• Finalisation des protocoles fin avril par le
  Comité dOrganisation et lensemble des
  participants

26
Eval. 1 Reconnaissance dimages transformées

• Contexte
• Contexte général de la protection de la propriété
  intellectuelle
• Invariances, robustesse des technologies
• Données
• Noyau de 2500 images représentatives de la
  variété des données à disposition
• Application de ?15 transformations (? 37500
  images)
• Protocole
• Requêtes 50 images du noyau
• Tâche
• Trouver toutes les images transformées
• Métrique Précision / Rappel (MAP)

27
Eval. 1 Reconnaissance dimages transformées

• Les paramètres seront déterminés aléatoirement
  pour chaque image

• Transformations
• 3 rotations
• 2 translations (X,Y)
• Projection sur un plan incliné
• Passage en noir et blanc
• Passage en négatif
• Désaturation
• Effet de tramage

• Filtrage Passe-bas (moyenne)
• Compression de type JPEG
• Ajout de bruit aléatoire ou gaussien
• Incrustation de texte ( ImagEVAL )
• Ajout dun cadre
• Insertion dans une autre image (image du noyau)

28
Eval. 2 Recherche combinée Texte / Image

• Contexte
• La recherche et le filtrage de documents
  multimédia (? recherche dimages sur Internet,
  Cf. Google)
• Utiliser des sémantiques de plus haut niveau pour
  rechercher des images
• Objectif
• Proposer des collaborations entre des techniques
  texte et image
• Tâche expérimentale. Tout est permis et même
  souhaitable (utilisation de données
  supplémentaires)

29
Eval. 2 Recherche combinée Texte / Image

• Données
• Pages Web on ne peut pas demander
  lautorisation des propriétaires des sites ?
  utilisation des URLs
• La base dévaluation sera une liste dURLs.
  Utilisation de WikiPedia (500000 eng, 95000 fr)
• La validité des URLs sera vérifiée avant les
  évaluations
• Le CEA-LIST fournira un programme
• Volume ? 1500 documents
• Données / Requêtes
• Personnages connus acteur, personnage
  historique, politicien, sportif,
• Lieux, bâtiments célèbres
• Évènements    14 juillet ,  carnaval 
• Objets   Hélicoptère ,  Voiture de course  ,
  ...

30
Eval. 2 Recherche combinée Texte / Image

• Protocole
• Requêtes 10 requêtes ( Le Louvre ,  Sophie
  Marceau )
• Tâche
• Trouver toutes les images qui illustrent la
  requête
• Fournir les 50 premières réponses
• Si utilisation de données complémentaires
  fournir des détails sur lorigine et le volume.
• Métrique Précision / Rappel (MAP)

31
Eval 3 Détection Extraction de zones de texte

• Contexte
• Analyse de contenu
• Données
• Volume ? 6000 images
• Cartes postales anciennes
• Images couleurs, NB
• Protocole
• 2 sous-tâches
• T1. Détection dénombrer et localiser les zones
  de texte dans limage
• T2. Extraction extraire les informations
  textuelles
• Possibilité de participer uniquement à la
  première sous-tâche (T1)

32
Eval 3 Détection Extraction de zones de texte

• T1. Toutes les régions seront considérées
• T2. Certaines régions sont trop complexes et ne
  seront pas prises en compte régions
  manuscrites, timbretampon
• Légende OUI Timbre NON
• Référence OUI Tampon NON
• Autres OUI Inscription sur objets OUI
• Annotations manuscrites NON
• Indexation. Vérités terrain (TRIBVN)
• Localisation par une boîte englobante ((X1,Y1)
  (X2,Y2))
• Critères de fusion de boites englobantes définis
  par le comité dorganisation en accord avec les
  participants
• Le texte transcrit respectera la ponctuation, les
  accents, capitales, minuscules

33
Eval 3 Détection Extraction de zones de texte

• T2 Requête
• Donner le contenu de toutes les régions
  (considérées) pour toutes les images
• Métrique
• T1.
• Dénombrement des zones erreur relative Nb_r
  Nb / Nb_r
• moyenne des erreurs sur X1, X2, Y1, Y2, aire
• Précision / Rappel (Utilisation à ICDAR 2003)
• T2. Distance entre deux chaînes de caractères
  (distance de Levenstein)

34
Eval 4 Détection dobjets

• Objectifs
• Peut-on détecter des objets ou classes dobjets
  avec des connaissances relativement réduites sur
  ces objets (dictionnaire dobjets)?
• Données
• Une dizaine dobjets
•  Dictionnaire dobjets  (base dapprentissage)
• composé de plusieurs attributs de chaque objet ou
  classe dobjet. Nombre de représentations en
  fonction du degré dunicité de lobjet (par
  exemple plus de représentations pour  voiture 
  que pour  Tour Eiffel ). On ne dépassera pas
  une cinquantaine de représentants
• Représentation cohérente par rapport à la base
  dévaluation
• Base dévaluation ? 30,000 images
• Images comportant - ou non - un ou plusieurs
  objets considérés

35
Eval 4 Détection dobjets

• Objets
• Objets et classes dobjets. Considérer des choses
  assez générales et les représenter au mieux par
  le dictionnaire
• Proposition dobjets
• Voiture
• Avion
• Arbre
• Fleur
• Chat ou chien (animaux domestiques)
• Église ou mosquée (lieux caractéristiques)
• Tour Eiffel (bâtiments connus)
• Table ou chaise (meubles)
• Ordinateur ou télévision
• Drapeau américain

36
Eval 4 Détection dobjets

• Protocole
• Faire au moins un run en utilisant uniquement le
  dictionnaire dobjets.
• Dautres runs sont possibles avec des données
  complémentaires. Dans ce cas précisions sur le
  volume et lorigine
• Requêtes tous les objets considérés dans le
  dictionnaire
• Tâche Pour chaque objet, donner la liste des
  images de la base dévaluation contenant cet
  objet
• Métrique
• Précision / Rappel (MAP)
• détection correcte (moyenne, pour chaque objet)

37
Eval 5 Extraction de sémantiques

• Contexte
• Description automatique et classification
  dimages
• Données
• Base dapprentissage 7500 images avec leurs
  vérités terrain (appartenance ou non à la dizaine
  de sémantiques choisies)
• Base dévaluation ? 30000 images
• Protocoles
• Tâche On considère toutes les images de la base
  dévaluation. Pour chaque sémantique, quelles
  sont les images pertinentes ?
• Faire au moins un run en utilisant uniquement la
  base dapprentissage.
• Dautres runs sont possibles avec des données
  complémentaires. Dans ce cas précisions sur le
  volume et lorigine

38
Eval 5 Extraction de sémantiques

• Nature
• Photo couleur
• Photo NoirBlanc
• Contexte
• Indoor
• Outdoor
• Nuit

• Photo NB colorisée
• Reproduction artistique
• Scène  Nature 
• Scène  Urbaine 
• Jour

39
Eval 5 Extraction de sémantiques

• (1) Photo couleur 1
• (2) Photo NB 0
• (3) Photo NB colorisée 0
• (4) Reproduction artistique 0
• (5) Indoor 0
• (6) Outdoor 1
• (7) Nuit 0
• (8) Jour 1
• (9) Scène  Nature  0
• (10) Scène  Urbaine  1

Editing

• Métrique
• Précision / Rappel (MAP)
• Pour chaque sémantique classification correcte
• Moyenne globale
• Analyse pour des groupes dattributs (confusion)
  Couleur/NB/NB Colorisée, City / Nature,

40

• Diffusion
• Communication
• Planning

41
Diffusion des résultats

• Au sein du projet ImagEVAL
• Communication à lensemble des participants et
  des détenteurs de fonds des résultats de
  lensemble des participants // aux différentes
  campagnes de tests.
• En dehors du consortium
• Autorisation concédée au comité dorganisation
  dune
• Communication nominative des trois meilleures
  performances aux différentes campagnes de tests
• Communication graphique de lensemble des
  performances des technologies testées
• Diffusion sur le site Internet www.imageval.org
• Lors des workshops conférences organisées par
  le comité dorganisation pendant ImagEVAL après
  ImagEVAL
• Dans le cadre de listes de diffusion auprès de
  lensemble des acteurs scientifiques
  professionnels intéressés

42
ImagEVAL.org

• Site Internet du projet http//www.imageval.org

43
Communication

• Communication des différentes campagnes au
  travers de listes de diffusion portails
  Internet
• Communication destinée aux laboratoires nationaux
  et européens (ex www.Cordis.lu, réseau
  dexcellence, GDR)
• Communication destinée aux détenteurs de fonds
• Réunions et workshops
• Réunion après tests à blanc (Mars 2006),
• Fin des campagnes officielles (Décembre 2006),
• Conférence internationale lors du workshop de fin
  des campagnes officielles (Décembre 2006) à
  NicephoreCite

44

• Planning
• prévisionnel

45
Planning prévisionnel

• T0
• Réunion Comité dOrganisation 28 FEV 2004
• T0 2 (MARS 2005)
• Accord avec les détenteurs des données,
• Réunion plénière. 29 MARS 2005
• Finalisation des procédures métriques
• T04 (MAI 2005)
• Préparation des bases,
• Création des bases dapprentissage.
• T06 (JUILLET 2005)
• Envoi des bases dapprentissage,
• Création des bases de tests à blanc.
• T08 (SEPTEMBRE 2005)
• Campagnes de tests à blanc,
• Envoi des bases de tests à blanc,
• Comité dorganisation  finalisation du test
  officiel,
• Création des bases pour le test officiel.

• T012
• Retour campagnes de tests à blanc,
• Analyse (non officielle).
• T014 (MARS 2006)
• Communication des résultats tests à blanc
  (résultats non publiés),
• Préparation des tests officiels.
• T015 (AVRIL 2006)
• Envoi des bases pour les tests officiels,
• Campagnes de tests officiels.
• T019
• Vérification, et analyse des résultats.
• T022 (OCTOBRE 2006)
• Communication des résultats officiels,
• Rédaction des articles scientifiques.
• T024 (DECEMBRE 2006)
• Workshop et Colloque international (2 jours).

46
Contacts

• Contacts
• Inscription participants, informations sur les
  évaluations
• CEA LIST Pierre-Alain MOELLIC
• Mail moellicp_at_zoe.cea.fr
• Informations organisation générale, données,
  contrats
• NICEPHORE CITE Pierre MICHEA
• Mail pierre.michea_at_nicephorecite.com
• TRIBVN Jacques KLOSSA
• Mail jklossa_at_tribvn.com