T. Boch - Journ

1
Les standards de lOV,supports de
linteropérabilité

• Thomas Boch CDS

thomas.boch at astro.unistra.fr
2
Interopérabilité

• Capacité que possède un système à fonctionner
  avec dautres systèmes
• Sappuie sur la définition et le respect dun ou
  plusieurs standards
• Exemples dinteropérabilité
• Interopérabilité ferroviaire
• Standards écartement des rails, signalisation,
  électrification
• Interopérabilité électrique
• 230V / 50Hz

3
Interopérabilité des clients de messagerie
Simple Mail Transfer Protocol (RFC 821)
4
Avant lOV
Slide courtesy of Pedro Osuna (ESAC)
5
Utilisation des standards OV
Slide courtesy of Pedro Osuna (ESAC)
6
IVOA

• Alliance des différents projets OV nationaux, qui
  a la responsabilité de discuter et dédicter les
  standards de lOV
• Réparti en working groups
• Data Access Layer
• Semantics
• Data Models
• Grid Web Services
• VOEvent
• VOTable
• Registry
• Applications
• VO Query Language

7
IVOA (suite)

• Discussions par mailing-lists
• Archives consultables http//ivoa.net/forum/
• 2 réunions Interop par an (mi-mai et
  octobre/novembre)
• Prochaine réunion Garching, 9-13 novembre 2009
• http//ivoa.net/

8
Use case recherche dimages
Liste dURLsde services images (SIAP)
Client OV
Registry OV
Images FITS
Liste (en VOTable)des images disponibles
Service SIAP ESO
Service SIAP VO-Paris
Service SIAP SDSS
Service SIAP
Services SIAP
9
FITS

• Flexible Image Transport System
• LE standard de données en astronomie
• Métadonnées et données regroupées dans un même
  fichier
• Largement utilisé dans lOV (images, tables,
  spectres)

10
VOTable

• Standard déchange des données tabulaires
• http//ivoa.net/Documents/latest/VOT.html
• Le premier standard de lOV
• Utilisé par de nombreux autres standards OV
• Conteneur flexible, compatible avec les tables
  FITS
• Formalisme XML contraint par un XML schema
• Un fichier VOTable est constitué de
• Métadonnées, décrivant les données (type, unité,
  etc)
• Données (différents formats possibles)

11
Modèle de données de VOTable

• VOTable hierarchy of Metadata associated
  TableData, arranged as a set of Tables
• Metadata Parameters Infos Descriptions
  Links Fields Groups
• Table list of Fields TableData
• TableData stream of Rows
• Row list of Cells
• Cell Primitive or variable-length list of
  Primitives or multidimensional array of
  Primitives
• Primitive integer, character, float,
  floatComplex, etc

12
Structure dundocument VOTable
13
Elément ltTABLEgt

• Contient
• tag ltDESCRIPTIONgt
• Collection de
• ltFIELDgt description dune colonne
• ltPARAMgt description dune valeur constante
• ltGROUPgt associe de manière logique des FIELDs
  ou PARAMs connectés
• ltDATAgt ensemble de lignes de données. Contient
  les valeurs des FIELD définis auparavant

14
Elément ltFIELDgt

• Décrit une colonne dune table
• Peut contenir des tags ltDESCRIPTIONgt, ltLINKgt et
  ltVALUESgt (domaine de définition dune colonne)
• Attributs
• ID identifie le champ. Requis si le champ doit
  être référencé par ailleurs
• name
• datatype est-ce un entier, un flottant, une
  chaine de caractères ?
• arraysize nombre déléments du tableau
• width et precision information sur la précision
  et le format de la donnée

15
Elément ltFIELDgt (suite)

• unit unité dans laquelle est exprimée la
  quantité décrite
• ucd Unified Content Descriptor. Marqueur
  sémantique décrivant la quantité physique (eg
  pos.eq.ra)
• utype pointeur vers un modèle de données
  externe (eg )
• ref référence vers un autre élement du document
• Exemple
• ltGROUP ID"J2000" utype"stcAstroCoords"gt
• ltPARAM utype"stcAstroCoords.coord_system
  _id" value"UTC-ICRS-TOPO /gt
• lt/GROUPgt
• ltFIELD name"RA" ID"col1" ucd"pos.eq.rameta.m
  ain" ref"J2000" /gt

16
Elément ltDATAgt

• Un seul élément ltDATAgt par ltTABLEgt
• 3 sérialisations possibles des données
• TABLEDATA table XML
• FITS
• ltDATAgtltFITS extnum"2"gt
• ltSTREAM encoding"gzip
• href"ftp//archive.cacr.caltech.edu
  /myfile.fit.gz"/gt
• lt/FITSgtlt/DATAgt
• BINARY

17
Exemple de VOTable
Définition système de cordonnées
Métadonnées
Données
18
Registry

• Pages jaunes, annuaire de lOV
• http//www.ivoa.net/cgi-bin/twiki/bin/view/IVOA/Iv
  oaResReg
• Décrit les ressources disponibles au sein de lOV
• Permet
• De localiser
• Davoir des informations
• Dinterroger
• toute ressource OV disponible

19
Caractéristiques du registry IVOA

• Architecture distribuée
• Interrogeable de différentes manières
• Types de ressources est extensible
• Ressources identifiées par un identifiant unique
• ivo//org.astrogrid/dsa/myCatalogue

protocole
Clé de la ressource
Instance responsable(authority)
20
Types de ressources publiables
21
Registries en production
22
Différents types de registres

• Publishing Registry
• un registry publiant uniquement les ressources
  XML quil gère (eg le registry CDS gère les
  ressource relatives à VizieR et Simbad)
• est harvesté par les full registries
• na pas dinterface de recherche
• Full Registry
• contient lensemble des ressources
• Propose une interface de recherche et de
  harvesting

23
Harvesting

• Réplication de ressources dun registry à un
  autre
• Basé sur le protocole OAI
• Open Archive Initiative permet léchange de
  métadonnées entre différents fournisseurs de
  services/données (origine centres
  documentaires, bibliothèques)
• http//www.openarchives.org/

24
Interrogation dun registry

• Plusieurs possibilités
• Par mot-clé
• Sous-ensemble dADQL
• Xquery (optionnel)
• Interrogation possible via Web service SOAP
• La plupart des implémentations proposent un
  formulaire Web dinterrogation, mais on accède
  généralement aux registries de façon transparente
  via un client VO (Topcat, Aladin, VODesktop, etc)

25
Les standards daccès aux données

• Définis au sein du working group DAL (Data Access
  Layer)
• Accès via HTTP
• Cone Search protocole très simple daccès aux
  données tabulaires
• Standards SAP processus de requête en 2 temps
  
• Récupération dune liste décrivant données
  disponibles correspondant aux paramètres désirés
  (eg liste des images pour M81)
• Choix et récupération dune ou plusieurs données
• TAP protocole évolué daccès aux tables

26
Cone Search

• Protocole simple daccès aux catalogues
  astronomiques comportant des positions
• Paramètres en entrée
• RA (en degrés décimaux)
• DEC (en degrés décimaux)
• SR (rayon de recherche en degrés)
• En sortie VOTable contenant au moins 3 champs
• 1 avec ucdPOS_EQ_RA_MAIN (asc. droite)
• 1 avec ucdPOS_EQ_DEC_MAIN (declinaison)
• 1 avec ucdID_MAIN (identifiant principal)
• Exemple http//simbad.u-strasbg.fr/simbad/sim-co
  ne?

27
Protocoles SAP

• SIAP (images), SSAP (spectres), SLAP (lignes
  atomiques et moléculaires)
• Requête en 2 temps
• Etape 1 on récupère un VOTable contenant une
  liste ditems (métadonnées URL) correspondants
  aux paramètres demandés
• Etape 2 récupération des items désirée
• Standardisation
• Des paramètres de la requête
• Des champs dans le VOTable résultat

28
SIAP

• Simple Image Access Protocol
• http//www.ivoa.net/Documents/latest/SIA.html
• Paramètres de la requête
• Obligatoires POS (position sur le ciel) et SIZE
  (taille de limage désirée/rayon de recherche)
• FORMAT (image/fits, image/jpeg, )
• Autres paramètres spécifiques au service
  (FORMATMETADATA)
• VOTable résultat
• Champs obligatoires
• Nom de limage (ucdVOXImage_Title)
• URL daccès à limage décrite (ucdVOXImage_Acce
  ssReference)

29
SIAP (suite)

• Ascension droite et déclinaison du centre de
  limage (ucdPOS_EQ_RA_MAIN, ucdPOS_EQ_DEC_MAI
  N
• Format de limage (ucdVOXImage_Format)
• Paramètre WCS
• NAXES
• NAXIS
• Image scale
• Champs facultatifs date de lobservation, bande
  spectrale, paramètres WCS complémentaires
• Démo accès au service SIAP SDSS DR7 depuis
  Aladin

30
SSAP

• Simple Spectral Access Protocol
• http//www.ivoa.net/Documents/latest/SSA.html
• Paramètres de la requête
• POS, SIZE similaires aux params SIAP
• TIME requête sur un intervalle temporel
• BAND requête sur un intervalle de longueurs
  donde
• Résolution spatiale, résolution spectrale
• VOTable résultat
• Pointeur (URL) pour charger le spectre
• infos sur lidentification du dataset
• infos sur le curator

31
SSAP (suite)

• Amélioration par rapport à SIA
• Requêtes non positionnelles sont possibles (eg
  liste des spectres entre 500 et 5000nm)
• Sappuie sur un véritable data model
• Métadonnées exprimables dans le VOTable résultat
  très riches
• Références au data model Spectrum se font via les
  attributs utype du Votable résultat
• Est utilisé pour laccès aux spectres théoriques
• Exemple de requête http//archive.stsci.edu/ssap
  /search2.php?idHUTampFORMATMETADATA

32
SLAP

• Simple Line Access Protocol
• http//www.ivoa.net/Documents/SLAP/20090714/
• Sappuie sur le data model Atomic and Molecular
  Line (http//www.ivoa.net/cgi-bin/twiki/bin/view/I
  VOA/SpectralLineLists )
• Requête minimale
• WAVELENGTHltintervalle de longueurs dondegt
• Paramètres supplémentaires
• CHEMICAL_ELEMENT, INITIAL_ENERGY_LEVEL,
  FINAL_ENERGY_LEVEL, TEMPERATURE, EINSTEIN_A,
  PROCESS_TYPE, PROCESS_NAME

33
SLAP (suite)

• Résultat
• VOTable contenant la liste des lignes atomiques
  et moléculaires correspondant aux paramètres
  dentrée
• Au minimum nom et longueur donde de chaque
  ligne

34
(No Transcript)
35
TAP

• Table Access Protocol
• Protocole évolué daccès à des collections de
  tables astronomiques
• En discussion au niveau IVOA
• Mécanisme de découverte de structure des tables
  exposées (description des champs, liens entre les
  tables, clés primaires, etc)
• Permet à un client deffectuer des recherches
  sophistiquées
• Non limitées à la position (contraintes possibles
  sur nimporte quel champ)
• Jointures sur différentes tables

36
TAP (suite)

• Requêtes synchrones ou asynchrones (utile pour
  requêtes longues)
• Possibilité dupload pour requêtes
  multi-positions (par liste)
• Pas encore dimplémentations en production
• 2 languages de requêtes
• Parameter based Query Langage (le plus simple)
• ADQL (Astronomical Data Query Language SQL avec
  extensions spécifiques à lastronomie) --gt le
  plus complet

37
Requête Parameter-Based

• FROMTAP_SCHEMA.tablesPOS180.0,1.0SIZE1.0
• Demande la liste des tables ayant des données à
  une position donnée
• FROMfp_pscPOS180.0,0SIZE0.2WHEREj_m,/10.0
• Demande la liste des objets de la table fp_psc à
  une position donnée et ayant la magnitude j_m lt 10

38
Requêtes ADQL

• Source documentation AstroGrid
• Standard ADQL http//www.ivoa.net/Documents/cove
  r/ADQL-20081030.html

39
Data Models

• Le working group Data Model a la charge de
  modéliser les métadonnées permettant la
  description de données observées ou simulées.
• Ces modèles de données sont ensuite repris et
  utilisés par les autres standards (protocoles
  DAL, registry, etc)
• Exemples de Data Models
• STC , Space Time Coordinates
• Décrit les coordonnées spatiales et temporelles
• Spectrum Data Model

40
STC

• STC est repris dans VOTable pour préciser le
  système de coordonnées utilisé

41
Spectrum Data Model

• Repris partiellement dans SSAP

42
Métadonnées, UCDs, Utypes,

• Les métadonnées
• Décrivent le contenu des pixels/tables/spectres
• Sont utilisés pour localiser/rechercher des
  ensembles de données
• Sont généralement beacoup moins volumineuses que
  les données

43
(No Transcript)
44
Caractérisation dune quantité

• Vélocité héliocentrique radiale 1234.56km/s
• Cette quantité est constituée
• dun UCD (spect.dopplerVelocpos.heliocentric)
• dune valeur (1234.56)
• avec un type de données (float)
• et un format (7.2f)
• dune unité (km/s)
• Tous ces élements peuvent être renseignés dans un
  ltFIELDgt ou un ltPARAM

45
UCDs

• Description sémantique des quantités
• Vocabulaire controlé un document définit la
  liste des mots possibles
• eg ceci est une ascension droite
  ucdpos.eq.ra
• Utilisés dans
• VOTable (FIELD, PARAM)
• Description des tables dans le Registry
• Elément PARAM dans VOEvent
• Applications (les filtres dans Aladin par exemple)

46
UCDs (suite)

• Standard
• http//ivoa.net/Documents/latest/UCD.html
• http//ivoa.net/Documents/latest/UCDlist.html
• Outils
• http//cdsweb.u-strasbg.fr/UCD/
• Le premier mot comporte lessentiel du sens
• phot.magem.opt.V

47
Unités

• Pas encore un standard de lOV (en cours de
  discussion)
• Progrès dans la description des unités
• http//ivoa.net/cgi-bin/twiki/bin/view/IVOA/UnitsD
  esc
• Suit les recommendations de lIAU
• Service en ligne
• http//vizier.u-strasbg.fr/cgi-bin/Unit
• http//vizier.u-strasbg.fr/cgi-bin/Unit?3F
• Bibliothèque de conversion
• http//cdsweb.u-strasbg.fr/cdsdevcorner/units.gml

48
UTypes

• Utypes pointeurs vers des modèles de données
  spécifiques
• utypestcAstroCoords.TimeInstant.ISOTime
• utypestcAstroCoordSystem.CoordFrame.CoordRefPos
  .Position2D.Value2.C1

49
Métadonnées dans le Registry

• Description des ressources
• Curation
• Subject
• Coverage (spatial, spectral)

50
Arbre de métadonnées
51
Footprints
52
SAMP

• Simple Application Messaging Protocol
• http//ivoa.net/samp
• Protocole permettant la communication entre
  applications VO clientes sexécutant sur la même
  machine
• Architecture basée sur un hub central qui joue le
  rôle de routeur de messages

53
SAMP (suite)
Client 2
Client 1
Client 3
Message
Client 4