Projet SERIBEL Stratgies Expertes de Recherche dInformations Bibliographiques En Ligne

1
Projet SERIBEL Stratégies Expertes de
Recherche dInformations Bibliographiques En
Ligne

• Responsables
• Nicolas Vibert (CNRS UMR 7060 Université René
  Descartes Paris 5)
• Jean-François Rouet (CNRS UMR 6215 Université
  de Poitiers)
• Deux partenaires privés
• Groupe pharmaceutique IPSEN
• Société TEMIS élaboration de systèmes
  informatisés de fouille de textes et de
  classification automatique des extractions.

2
Problématique générale du projet

• La recherche dinformation bibliographique et
  documentaire par les experts cas des
  neurosciences intégratives
• Importance de la recherche d'information pour
  l'accès des experts aux connaissances
  scientifiques
• Augmentation exponentielle de la quantité
  d'information disponible sur le Web (outils
  informatiques)
• 3 volets
• Ergonomie cognitive analyse de lexistant,
  identification des besoins des chercheurs, étude
  des logiciels mis au point et utilisés par nos
  partenaires privés
• Psychologie cognitive modélisation des
  stratégies de recherche, ressources cognitives et
  connaissances mobilisées par les experts
• Informatique conception par le laboratoire
  Signal Image Communication de lUniversité
  de Poitiers dune analyse automatique des
  directions du regard à partir denregistrements
  vidéos basse résolution.

3
Travaux menés à ce jour

• Enquête par questionnaires et entretiens sur la
  recherche dinformation par les experts en
  neurosciences analyse de lexistant. Résultats
  présentés (EPIQUE 2005), en cours de publication.
• Etude comportementale des performances avec
  PubMed de 16 chercheurs en neurosciences et de 16
  biologistes de niveau équivalent, en utilisant
  des scénarios de recherche dinformation en
  neurosciences. Résultats partiellement présentés
  (JETCSIC 2006), publication en préparation.
• Analyse semi-automatique du comportement
  dutilisateurs devant un écran à partir des
  images dune Webcam suivi des mouvements de la
  tête. Résultats présentés dans 3 conférences.
• Evaluation ergonomique de linterface dun
  logiciel de recherche et danalyse
  bibliographique élaboré par TEMIS pour les
  chercheurs en neurosciences du groupe IPSEN (non
  présenté).
• En cours Contrat de prestation de services
• Etude comportementale des performances de
  chercheurs du groupe IPSEN avec le logiciel
  élaboré par TEMIS

4
Analyse de lexistant méthodes

• Questionnaires individuels
• Ciblage des groupes de recherche en neurosciences
  intégratives, envoi et retour des questionnaires
  par courrier électronique (avant le 1er Octobre
  2004)
• Caractéristiques des répondants, expérience de
  linformatique dans le cadre professionnel et
  pour la recherche dinformation, modes de
  recherche dinformation utilisés, outils
  informatiques utilisés.
• Entretiens semi-directifs
• 11 experts représentatifs recrutés parmi les
  répondants au questionnaire
• Entretiens de 30 à 40 minutes réalisés par
  téléphone en Octobre et Novembre 2004,
  enregistrés sur cassette audio
• Grille dentretien pour orienter les
  interlocuteurs vers 4 grands thèmes déterminés à
  lavance
• Analyse du contenu des entretiens par
  catégorisation des éléments du discours
  principe dexhaustivité, relation dexclusion
  mutuelle

5
Questionnaires la population dexperts

• 64 experts du secteur public
• Age moyen 40,7 ans
• 14 années dexpérience en moyenne de
  linformatique dans le cadre professionnel
• 8,5 années dexpérience des outils informatiques
  de recherche dinformation bibliographique et
  documentaire
• Bonne représentativité géographique
• Bonne représentativité des différents organismes,
  corps et grades

6
Fréquences dutilisation des différents modes de
recherche dinformation
Pas de différence significative entre les
différentes catégories dexperts
7
Fréquences dutilisation des principaux outils
informatiques de recherche dinformation
Pas de différence significative entre les
différentes catégories dexperts
8
Conclusions de lanalyse de lexistant(questionna
ires et entretiens)

• Les experts en neurosciences utilisent
  massivement des outils informatiques pour leurs
  recherches dinformation
• PubMed et Google sont les outils standards
• Nécessité de mettre en place des formations à
  lusage de ces outils informatiques spécialisés
  (seuls 3 experts sur 64 ont reçu une formation)
• Discussion le niveau dutilisation des outils
  informatique dépend des disciplines, et serait
  lié à la facilité dutilisation des interfaces et
  à lexhaustivité des bases de données associées

9
Expérience comportementale sur PubMed

• 16 experts en neurophysiologie 4 doctorants, 1
  post-doc, 6 enseignants-chercheurs (4 MCU et 2
  professeurs), 5 chercheurs (4 CR et 1 DR).
• 16 biologistes utilisateurs réguliers de PubMed,
  mais non-experts en neurosciences, et de niveaux
  de formation appariés.
• Aucune différence dexpérience de linformatique,
  dexpérience des outils informatiques de
  recherche dinformation type PubMed, ou de
  formation à ces outils entre les 2 groupes de
  sujets.

10
Méthodologie de lexpérience sur PubMed

• 5 tâches précises de recherche dinformation
  bibliographique dans le domaine des
  neurosciences, à faire en temps limité (15
  minutes chacune)
• Présentation au début, puis à la demande, du
  libellé de la tâche, en français et en anglais
• Utilisation de protocoles verbaux concomitants
  chaque sujet doit verbaliser ses activités et ce
  quil fait avec linterface
• Chaque sujet remplit à la fin un questionnaire
  sur ses connaissances des fonctionnalités de
  PubMed et de son moteur de recherche

11
Les 5 tâches de recherche de références

• Tâche 1   Trouver 1 article de synthèse
  traitant des mécanismes d'action cellulaire de
  l'alcool sur les neurones du système nerveux
  central
• Tâche 2   Trouver 2 articles de 2004 portant
  sur les liens entre neurogenèse et maladie
  d'Alzheimer
• Tâche 3   Trouver 1 article traitant des
  mécanismes neuronaux du pointage visuo-guidé du
  bras 
• Tâche 4   Trouver deux articles de synthèse
  décrivant des modèles animaux de dyskinésies
  tardives 
• Tâche 5   Trouver 1 article abordant
  lutilisation chez l'animal des vecteurs viraux
  pour injecter dans le cerveau le gène du
  neuropeptide Y

12
Lecture du libellé de la tâche

• Temps de lecture initial dépend de la tâche,
  est significativement plus long pour les
  non-experts que pour les experts (p 0.002)

Nombre de relectures dépend de la tâche, est
supérieur pour les non-experts (p 0.039)
13
Requête initiale et temps total de réalisation de
la tâche

• Nombre de mots composant la requête initiale à
  PubMed dépend de la tâche, est supérieur pour
  les non-experts (p 0.014)

Temps total de réalisation de la tâche (en
secondes) dépend de la tâche, mais en général
pas de lexpertise, sauf pour la tâche 3
(interaction significative, p 0.035)
14
Réussite aux tâches, pertinence des références
sélectionnées comme réponses

• Evaluation par deux juges indépendants sur une
  échelle allant de 0 à 5 pour chaque tâche
• Concertation sur 2 tâches où apparaissaient des
  différences significatives (1 et 3) corrélation
  r 0.96 entre les 2 juges

15
Questionnaire de connaissance des fonctionnalités
de PubMed

• La connaissance des icônes présentes à gauche des
  références retournées par PubMed est similaire
  entre experts et non-experts en neurosciences
• Le score de connaissance des fonctions de PubMed
  (sur 24) varie de 0 à 22,5 sur la population, est
  extrêmement variable selon les individus. Il tend
  à être supérieur chez les experts en
  neurosciences (M 10,3, ET 6,6) par rapport
  aux non-experts (M 6,8, ET 2,8), mais ce
  nest pas significatif (p 0.06).

16
Discussion et conclusions

• Efficacité des biologistes utilisateurs de PubMed
  quel que soit leur niveau dexpertise en
  neurosciences
• Lefficacité est indépendante du niveau
  dexpertise de loutil PubMed
• Lexpertise du domaine influence toutefois le
  mode de recherche (et de sélection ?) des
  références
• Hypothèse lexpertise même imparfaite des
  outils tels que PubMed suffirait, pour des tâches
  très précises comme celles que nous avons
  utilisées, à compenser labsence dexpertise du
  domaine.
• Perspective exploitation des protocoles verbaux
  et modélisation des modes de recherche et
  sélection de références mis en uvre par les
  experts et non-experts en neurosciences.
  Publication des résultats.

17
Analyse semi-automatique du comportement
dutilisateurs devant un écran

• Tests préliminaires de la fiabilité du codage de
  la direction du regard par deux juges humains
• Sujets 4 volontaires réalisant 3 tâches simples
  de correction ou recopiage de texte
• Enregistrements vidéo par Webcam placée sur ou
  sous lécran
• Analyse du regard des sujets (écran, clavier,
  gauche et droite de lécran) à laide du logiciel
  Actogram Kronos
• Pourcentages daccord toujours supérieurs à 85,
  la plupart du temps au-dessus de 90
• Ces codages, affinés aux secteurs de lécran,
  serviront de référence pour évaluer lefficacité
  du codage automatique

18
Travaux de mise au point du logiciel menés par
les informaticiens du laboratoire
 Signal-Image-Communication  (1)

• Estimation du mouvement perçu dans une image par
  la méthode du flot optique
• Expression du déplacement de chaque point entre 2
  images par des vecteurs bi-dimensionnels le
  mouvement apparent est défini par un champ de
  vecteurs

Champ vectoriel représentatif d'un mouvement
apparent
19
Travaux de mise au point du logiciel menés par
les informaticiens du laboratoire
 Signal-Image-Communication  (2)

• Projection de chaque composante du champ de
  vecteurs dans des bases de polynômes bi-variables

Exemples de champs représentatifs des polynômes
d'une base
20
Premiers résultats de lanalyse semi-automatique
Déviations angulaires horizontales de la tête


Déviations angulaires verticales de la tête


Ensemble des positions de la tête
21
Interface du logiciel, évaluation de la qualité
du codage

• Les bandes vidéos utilisées pour le codage humain
  ont été soumises à lanalyse par le logiciel, qui
  a été pourvu dune interface
• Selon les conditions et les tâches réalisées par
  les sujets, les pourcentages daccord pour un
  codage simple (écran, clavier, à gauche, à
  droite) varient en général de 70 à 95, malgré
  labsence de calibration.
• Le logiciel doit être affiné par lintroduction
  dun procédure de calibration.
• Pertinence de lapproche de détection des
  mouvements de la tête et du regard par
  modélisation des champs de déplacement entre les
  images successives.

22
(No Transcript)
23
Perspectives pour 2006-2007

• Poursuite de la mise au point du programme
  danalyse automatique du comportement devant
  écran, avec comme objectif le suivi du regard.
  Ajout dune procédure de calibration précise du
  système pour chaque individu.
• Extension des expériences comportementales à des
  chercheurs en neurosciences du secteur privé qui
  travaillent avec un logiciel élaboré par la
  société TEMIS pour le groupe pharmaceutique IPSEN
  (contrat de prestation de services.
• Ajout de mesures des mouvements oculaires aux
  expériences comportementales sur PubMed, en
  utilisant le système TOBII financé par TCAN.
• Demandes de financement envisagées à lANR, dans
  le cadre du CPER Poitou-Charentes, ou de
  partenariats avec des entreprises.