Image%20Processing%20and%20Scientific%20Workflows%20in%20the%20VO%20context

1
Image Processing and Scientific Workflowsin the
VO context

• Observatoire de Strasbourg (CDS) A. Schaaff,
  J.J. Claudon
• Observatoire de la Cote dAzur E. Slezak

Action Spécifique Observatoires Virtuels France
2
VO Science Cases(from the AstroGrid Top Ten
Science Drivers)
Physical processes within the solar corona
Comparaisons between solar and stellar flares
Brown Dwarf selections Supernova galaxy
environments Detection of low surface
brightness galaxies Deep extragalactic field
surveys Locating clusters of galaxies at a
range of redshift Discovery of high redshift
quasars.
Added-value of federated information
3
Some Relevant Queries
Analysis of catalogues cross-matches
between catalogues (multiple or lack of
counterparts) ? spectral energy
distribution, photometric redshifts departures
from homogeneity, hierarchical relationships
matched filters related to a given regularity
in some properties comparaisons to models
and access to databases (images, spectra).
Analysis of multispectral images from various
detectors optimal detection for objects with
a more or less well-known shape variable
background, overlapping objects, with a hierarchy
of features noise characteristics, sampling,
resolution, magnitude limit, consistency
between measures in different bands, mosaics. gt
mixed queries lt e.g. QSO host galaxies BH
masses
4
but one has to cope with reality ...

• The description levels of the data quality and
  of their calibration
• vary a lot across the databases
• Merging such heterogeneous data is tedious
• The quantity of pixels increases exponentially
  
• Any multi-source multi-? data set is
  intrinsically complex
• gt dedicated algorithms and processing methods are
  required lt
• gt which can operate on (distributed) large data
  sets lt
• gt user-tunable analysis pipelines must be
  available lt

5
The OV-France workflow WG.
Action Spécifique Observatoires Virtuels France
Observatoires de Strasbourg, de Paris, de Lyon,
de la Côte dAzur, Laboratoire dAstrophysique de
Marseille
http//www.france-ov.org/twiki/bin/view/GROUPEStra
vail/Workflow
start 2005
6
Multivariate Image Analysis
multidimensional natural data are complex
(non-gaussianity, inherent sparsity, hidden
correlations)
3) Primitives extraction and classification
7
Multisource Data Fusion
8
Data Analysis Systems
gt capitalisation of the knowledge about the use
of programs lt gt available for users not
specialised in the domain lt
request on the data (goal) ? result (objective)
1) Use of a library of programs
a unique way to configure and execute
programs graphical construction of a fixed
sequence of algorithms
Computational ressources GRID5000, EGEE
AIDA Application
2) Knowledge-based program supervision system
(eg. PEGASE engine /INRIA)
automate the configuration of programs using
operators and rules
9
A basic request for a simple workflow
goals detect and
measure connex objects
in a single mono-band image
(SExtractor). underlying model separated
diffuse sources in emission over a
slowly variable ideal
background. chosen methods
estimate a background map
extract sources by a
thresholding segmentation
elliptical modeling of the
shape of each domain
construction of an azimuthal
brightness profile
computation of compactness and flux
indicators.
10
Astron. Image proc. Distrib. Architecture
chaining (FORTRAN) programs just by a few
click-an-drops
easy integration procedure file describing
I/Os a configuration file
gt action plan lt scheduling on the grid will be
soon available
11
Use within the CDS-Aladin VO portal
a multicolour image with superimposed contours
12
Some Future Developments
Multiband, multisensor, multimodes image fusion
?? ANR Space Fusion / LSIIT
Strasbourg. Extraction and mesurements of fuzzy
superimposed objects ? a webservice is
under construction at OCA. Classification and
data mining on massive multidimensional data sets.
a library of modules from algorithms common to
various use cases fruitful exchanges with the
Astrogrid and STIC communities
gt OV transfer of data vs. transfer of
codes gt Grid load monitoring, submit whole
or part of the workflow gt AIDA ergonomy,
monitoring log file, partial run
13
(No Transcript)
14
Added-Value of Federated Information
crab nebula multiwavelength composite
image credit Chandra X-Ray Observatory
15
Initié en 2005 dans le cadre de lAction
Spécifique  Observatoire Virtuel , le groupe de
travail Workflow a pour but de produire des cas
dutilisation dans plusieurs domaines (image,
spectre, simulation, etc.) et de les confronter
avec des outils, en particulier avec ceux du VO.
Le développement de collaborations avec la
communauté STIC (liens avec les grilles e.g.
EGEE, ...) est également un objectif essentiel.
La dernière réunion plénière (16 juin 2006) était
organisée à lIAP, réunissant plus de 30
participants.

• Le groupe de travail Workflow se consacre à
• la mise en place de cas dutilisation et à la
  formalisation de la connaissance sous-jacente
• la recherche dune structure minimale pour la
  définition dun workflow afin de tendre vers la
  portabilité entre outils (de conception et 
  d'exécution) en se basant sur les standards
  existants.
• lutilisation optimale des algorithmes de
  traitement de données et la construction de
  chaînes de traitements adaptées à la résolution
  de problèmes spécifiques.

Notre définition dun Workflow enchaînement de
tâches réalisé dans un contexte maîtrisé (à
divers niveaux intelligence dans le choix des
algorithmes, contrôle de flux, ), basé sur
létude de  Cas dutilisation , dans une
architecture prenant en compte les standards du
VO.

• Un exemple de requête simple en imagerie
  monobande
• opérations détection et évaluation dobjets
  connexes dans une image mono-bande
• modèle sous-jacent tâches diffuses
  disjointes en émission sur un fond lentement
  variable sans défauts.
• méthode adoptée cartographie du fond
• seuillage
  par segmentation
• 
  ajustement dune ellipse de forme
• 
  évaluation du profil azimutal de brillance
• calcul
  de mesures de forme et de flux.

Les cas dutilisation sont utiles pour juger de
la pertinence respective des différents modèles
envisageables pour un workflow et des conditions
de leur construction avec les outils disponibles
ou en développement (ex. AstroGrid, AÏDA,
WebCom-G, ). Ces outils tendent à rendre
presque transparente lexécution (machine locale,
cluster, grille) et lutilisation des
fonctionnalités VO (Web Services, GRID, VOSpace,
).
et sa solution avec loutil AÏDA
Expérimentation de lutilisation de workflows
dans Aladin, un portail du VO
un pas vers la pérennisation des connaissances
en  traitement d'images des spécialistes de la
communauté.
Extraction dune sous image dun catalogue en
ligne à partir de son identification
astronomique avec WebComG

• Objectifs prioritaires du groupe de travail en
  2006/2007
• Etendre la définition des cas dutilisation à
  dautres domaines
• Définir les différentes  parties (briques)
  communes aux cas d'utilisations (spectres, 
  imagerie...) et tendre vers une bibliothèque de
  modules.
• Poursuivre les échanges avec la communauté STIC
  et AstroGrid
• Promouvoir le travail réalisé lors des réunions
  Interop de lIVOA

Informations, dates des réunions, compte-rendu,
présentations, liens vers les outils, http//www.
france-ov.org/twiki/bin/view/GROUPEStravail/Workfl
ow