Aspects statistiques des essais cliniques - PowerPoint PPT Presentation

1 / 62
About This Presentation
Title:

Aspects statistiques des essais cliniques

Description:

Title: Aspects statistiques des essais cliniques Author: MVaillant Last modified by: CRL_Ub2 Created Date: 11/12/2004 9:56:59 AM Document presentation format – PowerPoint PPT presentation

Number of Views:125
Avg rating:3.0/5.0
Slides: 63
Provided by: MVa49
Category:

less

Transcript and Presenter's Notes

Title: Aspects statistiques des essais cliniques


1
Aspects statistiques des essais cliniques
2
Plan du cours
  • Introduction
  • Techniques statistiques pour le calcul du nombre
    de sujets
  • Randomisation
  • Principes de lanalyse statistique

3
Introduction (1)
  • Justification de lessai thérapeutique
  • Pas dessai si traitement 100 efficace
  • Problèmes dinterprétations des études non
    comparatives
  • Impression fausse sur la valeur du nouveau
    traitement
  • Sélection des patients par rapport à la pratique
    courante

4
Introduction (2)
  • Justification de la randomisation
  • Assurer des groupes comparables
  • Application des tests classiques et jugement de
    signification
  • Différence entre les groupes due au traitement

5
Introduction (3)
  • Maintenir la comparabilité tout au long de
    lessai
  • Simple aveugle le groupe de traitement est
    inconnu du patient
  • Double aveugle le patient et linvestigateur
    nont pas connaissance du groupe de traitement
  • Eviter un comportement différent en fonction des
    groupes de traitement
  • Concerne lensemble du project team

6
Techniques statistiques pour le calcul du nombre
de sujets (1)
  • Raisonnement en 3 questions
  • Quel est lobjectif principal de lessai?
  • Quelle est la principale mesure du critère de
    jugement?
  • Comment seront analysées les données pour
    détecter une différence?

7
Techniques statistiques pour le calcul du nombre
de sujets (2)
  • Quelle est la plus petite différence à ne pas
    manquer et avec quel degré derreur possible?
  • Diminution de lincidence de la maladie de moitié
  • Jugement clinique vs statistique
  • Détection de la différence par le test dans 90
    des cas

8
Techniques statistiques pour le calcul du nombre
de sujets (3)
  • Méthode statistique pour un critère de jugement
    qualitatif
  • Exemple décés/survie, paludisme/pas paludisme
  • p1 de succés espéré avec le traitement
    standard
  • p2 de succés espéré avec le nouveau
    traitement
  • a Erreur de type I
  • 1 ß puissance de détecter la différence p1 -
    p2
  • n
  • Avec f(a, ß)(ea/2 eß)

9
Techniques statistiques pour le calcul du nombre
de sujets (4)
  • Non-compliance et arrêts prématurés
  • q1 darrêts avec le traitement standard
  • q2 darrêts avec le nouveau traitement
  • Hypothèse les non compliants se comportent comme
    les autres sujets
  • Facteur daccroissement du nombre de sujet
  • 1/(1 q1 q2)2

10
Techniques statistiques pour le calcul du nombre
de sujets (5)
  • Exemple diminution de la parasitémie après un
    jour de traitement
  • p1 29 avec le traitement standard
  • p2 59 avec le nouveau traitement
  • a 5, 1 ß 80
  • q1 q2 10
  • Nombre de sujet nécéssaire pour chaque groupe?

11
Techniques statistiques pour le calcul du nombre
de sujets (6)
  • Méthode statistique pour un critère de jugement
    quantitatif
  • Exemple taux de CD4, parasitémie à Pf
  • µ1 moyenne attendue avec le traitement standard
  • µ2 moyenne attendue avec le nouveau traitement
  • s écart-type attendu identique pour les deux
    traitements
  • d µ2 - µ1 différence à détecter
  • a Erreur de type I, pour un test t bilatéral
  • 1 ß puissance de détecter la différence d
    µ2 - µ1

12
Techniques statistiques pour le calcul du nombre
de sujets (7)
  • Exemple prévention de lhypocalcémie néonatale
    chez la femme enceinte, vit. D vs placebo
  • Critère calcémie chez lenfant âgé dune semaine
  • µ1 9 mg/100ml en routine chez enfants de femme
    non traitées
  • µ2 9,5 mg/100ml avec la vitamine D
  • s 1,8 mg/100ml
  • a 0,05
  • 1 ß 0,95
  • Nombre de sujets nécéssaire dans chaque groupe?

13
Techniques statistiques pour le calcul du nombre
de sujets (8)
  • Méthode statistique pour les données de survie
  • Exemple survie, probabilité de ne pas faire un
    épisode fébrile
  • p1 probabilité de survie instantanée avec le
    traitement standard
  • p2 probabilité de survie instantanée avec le
    nouveau traitement
  • Hypothèse p2 gt p1
  • Ratio des risques de décès instantanés
  • Nombre total dévénements avec chaque traitement
  • (pour un test de Logrank au seuil a, avec une
    puissance 1 ß)
  • Nombre de sujet par groupe

14
Techniques statistiques pour le calcul du nombre
de sujets (9)
  • Exemple
  • p1 55 avec le traitement standard
  • p2 75 avec le nouveau traitement
  • a 0,05
  • 1 ß 0,95
  • Nombre de sujet par groupe?

15
Techniques statistiques pour le calcul du nombre
de sujets (10)
  • Méthodes statistiques pour un essai déquivalence
  • Traitements équivalents avec une probabilité 1 -
    ß
  • p pourcentage de succès attendu
  • d limite supérieure de lIC de la différence de
    pourcentages dans les 2 groupes
  • Nombre de sujets par groupe

16
Techniques statistiques pour le calcul du nombre
de sujets (11)
  • Exemple
  • p 70 de succès attendu
  • d 10 avec un IC95
  • a 0,05
  • 1 ß 0,90
  • Nombre de sujet par groupe?

17
Randomisation (1)
  • But attribuer les traitements à lessai au
    hasard pour éviter un déséquilibre dans les
    caractéristiques des patients entre les groupes.
    On contrôle lenvirronement de lessai de manière
    à attribuer la différence attendue au nouveau
    traitement.
  • Méthode tirage au sort réalisé à partir de
    tables de nombre au hasard

18
Randomisation (2)
  • Randomisation simple (1) Allouer à chaque
    traitement un nombre équivalent de chiffres
  • Avantages imprévisible, égalisation du nombre de
    patients dans chaque groupe lorsque n augmente
    (gt200)
  • Inconvénients groupes inégaux, p.ex. 5 de
    chance davoir 4060 pour n100 !
  • Comment y remédier?
  • refaire le tirage au sort jusquà obtention de
    groupes équilibrés (2 à 3 tirages) en spécifiant
    à lavance la différence de patients qui conduira
    à remplacer la liste

19
Randomisation (3)
  • Randomisation simple (2) randomisation
    équilibrée par blocs
  • Assure une randomisation équilibrée à certains
    points dattribution du traitement (blocs)
  • 2 traitements, Blocs de 2 0-4AB5-9BA
  • Blocs de 4 1AABB 2ABAB 3ABBA 4BBAA
    5BABA 6BAAB
  • 3 traitements, blocs de 3 ?

20
Randomisation (4)
  • Randomisation simple (3) randomisation
    équilibrée par blocs
  • Taille des blocs dépend du nombre de
    traitements, de sujets, dune stratification et
    de la taille des strates
  • Inconvénient plus les blocs sont petits plus il
    est facile de prédire le traitement suivant
  • Choisir des blocs de grande taille lorsque pas de
    stratification
  • Faire varier la taille des blocs et ne pas
    indiquer le mode de randomisation dans le
    protocole

21
Randomisation (5)
  • Randomisation stratifiée (1) distribution de
    facteurs importants similaire dans les groupes
  • Ne pas utiliser lorsque ngt400-500, pas danalyse
    intermédiaire, difficile à organiser, facteurs
    mal connus ou indisponibles
  • Étude préalable pour déterminer les facteurs
    importants
  • Limiter le nombre de facteurs

22
Randomisation (6)
  • Randomisation stratifiée (2) randomisation par
    bloc dans chaque strate
  • Liste de randomisation séparée pour chaque strate
  • P.ex. dysfonction érectile et traitement par
    viagra facteurs age strates en fonction du
    nombre de classes dâge
  • Taille des blocs relativement petite
  • Nombre de strates peut augmenter très vite
    risque de surstratification (strates vides)

23
Randomisation (7)
  • Randomisation stratifiée (2) minimisation
  • Équilibrer les totaux marginaux pour chaque
    niveau de chaque facteur pronostique on fait le
    total de patient dans chaque combinaison dun des
    niveaux choisi des facteurs et le prochain
    patient est attribué à la strate la plus faible
  • Si les combinaisons sont égales, randomisation
    simple
  • En pratique, une carte par catégorie, mise à jour
    après chaque nouveau patient (informatisation)

24
Randomisation (8)
  • Essais multicentriques strate centre
  • Préparer les listes de randomisation à lavance
  • Codes sous enveloppe scellée
  • Randomisation centralisée par téléphone, fax,
    minitel voire internet

25
Analyse statistique (1)
  • Importance de la qualité des données
  • Planification dés la rédaction du protocole
  • Equilibre entre rigidité de la planification et
    flexibilité au moment de lanalyse
  • Prévoir des moyens suffisants (GCP)
  • Analyse descriptive
  • Analyse statistique des critères de jugement

26
Analyse statistique (2) Analyse descriptive
  • Populations
  • Nombre de patients recrutés
  • Nombre de patients inclus
  • Nombre de sorties dessai prématurées
  • Population en intention de traiter
  • Nombre de déviations au protocole
  • Population per protocole
  • Population des Completers

27
Analyse statistique (3) Analyse descriptive
  • Patients éligibles non inclus dans lessai
  • Proportion potentiellement importante entrainant
    un biais de sélection
  • Problème des petits centres dans les essais
    multicentriques
  • Intérêt des registres des patients éligibles mais
    difficile à mettre en place
  • Encourager les investigateurs à inclure tous les
    patients éligibles

28
Analyse statistique (4) Analyse descriptive
  • Déviations au protocole patients inclus à tord
  • Irrespect des critères dinclusion et
    dexclusion Profil des patients de lessai
    modifié si les critères sont importants
    (déviations graves)
  • Défaut dorganisation de lessai si élevé
    (gt10) minimiser ce nombre au cours de lessai
  • Détecter les inclus à tord avant la connaissance
    de la réponse au traitement

29
Analyse statistique (5) Analyse descriptive
  • Déviations au protocole patients inclus à tord
  • Planifier linclusion de ces patients dans
    lanalyse en insu du traitement
  • Ne pas inclure si objectif spécifique à un profil
    de patients
  • Inclure si même scénario en pratique courante
  • Inclure si biais de sélection potentiel dû à un
    choix subjectifs de ces patients
  • En pratique ITT et PerPro

30
Analyse statistique (6) Analyse descriptive
  • Déviations au protocole Au cours de lessai
  • Se donner les moyens de les repérer et den
    décrire les raisons
  • Comprendre en quoi elles peuvent affecter les
    résultats
  • Ne pas avoir lespoir que lanalyse statistique
    rattrape le problème
  • Indicateur de la qualité de lessai ou de son
    intérêt
  • Non-compliance, suivi incomplet

31
Analyse statistique (7) Analyse descriptive
  • Déviations au protocole Non compliance
  • Non coopération/compréhension par le patient
  • Survenue deffets indésirables ou évolution de la
    maladie
  • Prévention par information complète et
    consentement à participer, encouragement du
    personnel et suivis rapprochés
  • Contrôle par les comptes des comprimés rapportés,
    les marqueurs dans les prélèvements sanguins ou
    urinaires
  • Suivi et motivation du patient jusquà la fin de
    lessai

32
Analyse statistique (8) Analyse descriptive
  • Déviations au protocole Refus de poursuivre
  • Refus émanant du patient ou du médecin (jugement
    clinique)
  • Raisons non médicales souvent liées à une
    mauvaise réponse au traitement
  • Perdus de vue données manquantes sur le critère
    de jugement dont on peut faire lhypothèse
    quelles surviennent au hasard

33
Analyse statistique (9) Analyse descriptive
  • Déviations au protocole Analyse descriptive
  • Description par groupe de traitement (nb et
    raison)
  • Population en intention de traiter prise en
    compte des patients inclus dans le groupe où ils
    ont été randomisés
  • Que faire des patients qui nont jamais pris le
    traitement
  • Population per protocole patients sans
    déviations majeures au protocole

34
Analyse statistique (9) Analyse descriptive
  • Exemple danalyse sans les patients avec une
    déviation au protocole

Traitement A Traitement B Combinaison
Très efficace 2 6 8
Efficace 4 8 2
Inefficace 3 0 2

Total évalués 9 14 12
Déviants 6 1 8

Total randomisés 15 15 20
35
Analyse statistique (10) Analyse descriptive
  • Événements indésirables
  • Événement non souhaité survenant au cours de
    lessai
  • Événement indésirable grave entraine le décés,
    menace le pronostic vital ou nécéssite
    lhospitalisation ou la prolongation de
    lhospitalisation
  • Codage des EIs pdt lessai à laide de
    dictionnaire spécialisés MEDDRA, WHO-AE,
  • Tabulations des fréquences dEis, comparaison des
    Eis les plus fréquents entre les groupes

36
Analyse statistique (10) Analyse descriptive
  • Types de données recueillies
  • Groupes de traitement
  • Critères de jugement quantitatifs, qualitatifs
    ou délais
  • Facteurs pronostiques mesurés à linclusion
    (caractéristiques des patients à linclusion)

37
Analyse statistique (11) Analyse descriptive
  • Types de données recueillies Caractéristiques
    des patients à linclusion
  • Vérification quil ny a pas de différence
    majeure entre les groupes de traitement
  • En principe, but de la randomisation
  • Premier tableau de résultats dans une publication
  • Inclus lhistoire médicale des patients et les
    traitements pris antérieurement

38
Analyse statistique (12) Analyse descriptive
  • Types de données recueillies critère de jugement
    binaire
  • VIH succés absence dévénement classant SIDA
    pendant au moins 6 mois
  • Paludisme succés charge parasitaire inférieure
    de 75 à 28 jours
  • Tuberculose succés diminution de plus de 70
    des lésions à la radio au bout de 3 mois

39
Analyse statistique (13) Analyse descriptive
  • Types de données recueillies critère de jugement
    ordinal
  • Paludisme réponse complète, partielle ou pas de
    réponse au traitement en fonction dune charge
    parasitaire inférieure de 75, 25-75 et 0-25 à
    28 jours
  • Lymphomes non hodgkiniens Rémission totale,
    rémission partielle, pas de changement,
    augmentation

40
Analyse statistique (14) Analyse descriptive
  • Types de données recueillies critère de jugement
    qualitatif

Traitement Placebo Total
Réponse complète 48 (44) 15 (14) 63 (28)
Réponse partielle 40 (36) 25 (22) 65 (29)
Pas de réponse 22 (20) 72 (64) 94 (43)
Total 110 (49) 112 (51) 222(100)
41
Analyse statistique (15) Analyse descriptive
  • Types de données recueillies critère de jugement
    quantitatif
  • Information plus précise quune variable
    qualitative
  • Evaluation du changement dû au traitement lorsque
    une mesure est faite avant traitement ex. TA
  • Différence absolue TA avant TA après
  • Ratio TA après/TA avant
  • Différence relative ( changement) (TA après
    TA avant)/TA avantx100
  • Mesures répétées TA avant, TA à t1, TA à t2,

42
Analyse statistique (16) Analyse descriptive
  • Types de données recueillies critère de jugement
    quantitatif
  • Vérification individuelle, distribution totale
    (min, max, médiane, étendue)
  • Ex. Hypocalcémie et supplémentation en vitamine D
  • Utilisation de graphiques Histogrammes,
    fréquences cumulées

Calcium plasmatique chez les enfants de 6 jours (mg/100ml) Calcium plasmatique chez les enfants de 6 jours (mg/100ml) Calcium plasmatique chez les enfants de 6 jours (mg/100ml)
Traitement Nb patients Moyenne Ecart-type
Vitamine D 233 9,36 1,15
Témoin 394 9,01 1,33
43
Analyse statistique (17) Analyse descriptive
  • Types de données recueillies critère de jugement
    en délai
  • Exemple délai de survie sous traitement ou
    jusquà événement
  • Probabilité de survie à 6 mois, 1an,
  • Médiane de survie
  • Courbe de survie (Kaplan-Meier)

44
Analyse statistique (18) Analyse des critères
de jugement
  • Analyse simple critère de jugement qualitatif
  • Variable binaire comparaison de pourcentages
    avec un risque relatif, le test du chi2
  • Variable ordinale comparaison de tendances avec
    un risque relatif par rapport à une catégorie, un
    test du chi2 ou un test de tendance (chi2
    dArmitage)
  • Préciser quels pourcentages sont comparés
  • Préciser les intervalles de confiances des
    pourcentages et des risques relatifs

45
Analyse statistique (18) Analyse des critères
de jugement
  • Analyse simple critère de jugement quantitatif
  • Comparaison de 2 moyennes valeur absolue,
    différence (absolue ou relative) de moyennes et
    test de student
  • Comparaison de plusieurs moyennes différence de
    moyennes en choisissant une catégorie de
    référence et test de student
  • Comparaison de 2 distributions médianes et test
    des rang de wilcoxon
  • Préciser la moyenne et lécart-type ou la médiane
    et quartiles
  • Préciser lintervalle de confiance de la moyenne
    et de la différence de moyenne

46
Analyse statistique (19) Analyse des critères
de jugement
  • Analyse simple critère de jugement en délai
  • Comparaison de deux courbes de survie risque
    relatif et test du logrank
  • Comparaison de plusieurs courbes de survie
    risque relatif en choisissant une catégorie de
    référence et test du logrank

47
Analyse statistique (20) Analyse des critères
de jugement
  • Analyse simple interprétation
  • Seuil de signification / degré de signification
  • Jugement statistique / jugement clinique
  • Différence statistiquement significative hasard,
    biais ou traitement ?
  • Intervalle de confiance du risque relatif
    quantifie en quoi les traitements sont différents
    et donne une idée de la précision de lestimation

48
Analyse statistique (21) Analyse des critères
de jugement
  • Analyse complexes Prise en compte de facteurs
    pronostiques
  • Analyse en sous-groupes stratification mais
    difficulté dinterprétation surtout si beaucoup
    de facteurs
  • Ajustement par la prise en compte des facteurs
    pronostiques pas deffet de lajustement si pas
    de différence initiale
  • Méthodes régression logistique, régression
    linéaire, modèle de Cox

49
Analyse statistique (22) Analyse des critères
de jugement
  • Analyse complexes plus de 2 groupes de
    traitement
  • Comparaison par rapport à un groupe de référence
  • Comparaison globale test de tendance (v. qual.),
    analyse de variance (v. quant.)
  • Inconvénients
  • si différence significative, quel est le meilleur
    traitement? Contrastes en anova
  • Manque de puissance pour mettre en évidence une
    différence

50
Analyse statistique (23) Analyse des critères
de jugement
  • Analyse complexes plusieurs critères de jugement
  • Intérêt pour efficacité et tolérance par exemple
  • Correction du p pour tenir compte de la
    multiplicité des tests statistiques
  • Importance relative des critères
  • Réduire le nombre de mesures
  • Prioriser les critères de jugement, choisir un
    principal
  • Combiner les critères en un score

51
Analyse statistique (24) Analyse des critères
de jugement
  • Analyse complexes mesures répétées
  • Tests répétés pour comparer les deux groupes à
    plusieurs temps
  • Comparer la mesures initiale et la mesure finale
    pour les deux groupes de traitement
  • Pour la mesure finale, prendre la moyenne entre
    avant dernière mesure et dernière mesure pour
    tenir compte de la variabilité inter-individuelle
  • Prendre la moyenne de toutes les mesures à la
    place de la mesure finale
  • Comparer lévolution de la mesure entre les deux
    groupes (analyse longitudinale avec GEE ou random
    coefficient analysis)
  • Lanalyse dépend de la question posée

52
Analyse statistique (25) Analyse des critères
de jugement
  • Analyse complexes analyse intermédiaire (1)
  • Idée éthique un patient inclus dans un essai ne
    peut recevoir un traitement connu pour être
    inférieur
  • Inutile de poursuivre leffort dun essai si les
    résultat sont en faveur dune différence claire
  • Prévoir à lavance lanalyse intermédiaire
  • Critère de jugement à court ou moyen terme
  • Qualité des données

53
Analyse statistique (26) Analyse des critères
de jugement
  • Analyse complexes analyse intermédiaire (2)
  • La décision pour lessai nest pas seulement
    basée sur des résultats de tests statistiques
  • Confidentialité des résultats tant que lessai se
    poursuit (analyse par un statisticien
    indépendant)
  • Rester dans la limite des analyses simples
  • Fréquence dépend du taux dinclusion, incidence
    du critère de jugement, fréquence des réunion
    avec les investigateurs
  • Règle darrêt préserver un seuil global à 5, le
    seuil pour chaque analyse doit être divisé parle
    nombre total danalyse
  • Taille de lessai

54
Analyse statistique (27) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (1)
  • Principe séries appariées, le sujet est son
    propre témoin
  • Comparaison intra-patient de chaque séquence
  • Test dun effet période
  • Test dune interaction traitement période

55
Analyse statistique (28) Analyse des critères
de jugement
  • Ex. randomisation de 109 patients pour 2
    antihypertenseurs
  • 55 reçoivent A pdt 4 semaines puis B pdt 4
    semaines
  • 54 reçoivent B pdt 4 semaines puis A pdt 4
    semaines
  • Différence de TA systolique après un exercice de
    5 minutes?

56
Analyse statistique (29) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (2)
  • Comparaison intra-patient de chaque séquence
  • Différence dTAS après A TAS après B
  • Différence moyenne3,9 mmHg, ET
    différence1,7mmHg
  • IC950,6 7,3 mmHg
  • Test t3,9/1,72,4 ddl109-1108 p0,02
  • Conclusion la TAS reste significativement plus
    élevée après exercice physique avec A plutôt que
    B
  • Hyp. pas deffet période, ni dinteraction
    traitement période

57
Analyse statistique (30) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (3)
  • Test dun effet période (1) comparaison des
    différence de moyenne pour les 2 ordres
    possibles
  • Différence moyenne AB5,1 BA2,8
  • Ecart-type AB15,3 BA19,5
  • Effet période moyen (5,1 2,8)/21,1 mmHG plus
    élevé au cours de la première période
  • Test

58
Analyse statistique (31) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (3)
  • Test dun effet période (2) comparaison des
    différence de moyenne pour les 2 ordres
    possibles
  • Test non significatif pas deffet période
  • Avec d3,9 mmHg, t2,3 et p0,02 présence dun
    effet période

59
Analyse statistique (32) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (3)
  • Test de linteraction traitement période (1)
  • Moyenne individuelle m(TAS après A TAS après
    B)/2
  • Moyenne de m AB180,2 BA176,3
  • Ecart-type de m AB26,3 BA26,6
  • Test

60
Analyse statistique (33) Analyse des critères
de jugement
  • Analyse complexes essai en cross-over (3)
  • Test de linteraction traitement période (2)
  • Test non significatif pas dinteraction
    traitement période
  • Manque de puissance
  • Si il avait été significatif on aurait pu en
    déduire un effet de la première période se
    prolongeant sur la seconde, et dons nutiliser
    que la comparaison enrte sujets de la première
    période

61
Conclusion
  • Lanalyse dun essai est simple ne pas oublier
    de répondre à la question posée
  • Lanalyse dun essai est riche
  • Les données recueillies sont multiples
  • Les critères de jugement peuvent être multiples
  • Analyses en sous-groupes
  • La plus grande difficulté linterprétation des
    résultats

62
Références
  • Essais thérapeutiques (module CL1) DEA
    épidémiologie et intervention en santé
    publique université victor segalen bordeaux 2
  • Michel Cucherat, Méthodologie et interprétation
    des essais thérapeutiques Université claude
    bernard Lyon 1, service de biostatistique
    http//www.spc.univ-lyon1.fr/polycop/
  • Paul Landais, Jean-Philippe Jais, Biostatistiques
    clinique, épidémiologie et essais cliniques
    Faculté de medecine Necker-enfants malades
    http//www.educ.necker.fr/cours/poly/biostatistiqu
    e/FACULTE_DE_MEDECINE-NECKER_ENFANTS_MALADES.htm
  • Philippe lechat, Pharmacologie CHU pitié
    salpétrière, service de pharmacologie
    http//www.chups.jussieu.fr/polys/pharmaco/poly/ind
    ex.html
Write a Comment
User Comments (0)
About PowerShow.com