CoBaTrICE

1
CoBaTrICE

• SATI-CEM
• DEPARTAMENTO DE DOCENCIA
• Dr. Eduardo R. Capparelli

2
COMPETENCIAS

• La Competencia Profesional se define como la
  capacidad del profesional para utilizar los
  conocimientos, las habilidades, las actitudes y
  el juicio para solucionar problemas complejos

3
Competency Based Training in Intensive Care
Medicine in Europe (and Elsewhere) ESICM
University of Birmingham Charles University
Picker Institute Europe Intensium Oy
CoBaTrICE is supported by an EU FP6 grant
Leonardo da Vinci Programme. Additional
supporters GlaxoSmithKline SSCM Pfizer (HK)
ESICM
4
Electronic presentationwww.cobatrice.org

• CoBaTrICE Curriculum Map
• Will be available from Sept 25th 2006

5
CoBaTrICE international coverage
The CoBaTrICE collaboration covers 42 countries
from all over the world E.g. Europe, Chile, Costa
Rica, Indonesia, India, Hong Kong, USA
6
Internationallywide variation in structures and
processes of ICM training
7
Acknowledgements
CoBaTrICE Steering Committee Partners A. Augier
G. Libreau (European Society of Intensive Care
Medicine) J.Bion H.Barrett A. Bullock J.
Lonbay S. Field, (University of Birmingham) I
Novak (Charles University) J. Askham A. Hasman
(Picker Institute Europe) A. Kari P. Mussalo,
J. Väisänen (Intensium Oy). CoBaTrICE National
Coordinators, Reporters and Deputies A.Gallesio
(Argentina) C.Krenn (Austria) J.H.Havill
(Australia New Zealand) P.Ferdinande
(Belgium) D. De Backer (Belgium) E.Knobel
(Brazil) I.Smilov (Bulgaria) Y Petkov
(Bulgaria) D Leasa (Canada) R.Hodder (Canada)
V.Gasparovic (Croatia) R.Radonic (Croatia)
T.Kyprianou (Cyprus) M.Kakas (Cyprus) V.Sramek
(Czech Republic) V.Cerny (Czech Republic) O
Palma (Costa Rica) Y.Khater (Egypt) S.Sarapuu
(Estonia) J.Starkopf (Estonia) T.Silfvast
(Finland) P.Loisa (Finland) J.Chiche (France)
B.Vallet (France) M.Quintel (Germany)
A.Armaganidis (Greece) A.Mavrommatis (Greece)
C.Gomersall (Hong Kong) G.Joynt (Hong Kong)
T.Gondos (Hungary) A.Bede (Hungary) S.Iyer
(India) I.Mustafa (Indonesia) B.Marsh
(Ireland) D.Phelan (Ireland) P.Singer (Israel)
J.Cohen (Israel) A.Gullo (Italy) G.Iapichino
(Italy) Y.Yapobi (Ivory Coast) S.Kazune
(Latvia) A.Baublys (Lithuania) T.Li Ling
(Malaysia) A.Van Zanten (Netherlands) A.Girbes
(Netherlands) A.Mikstacki (Poland) B.Tamowicz
(Poland) J.Pimentel (Portugal) P.Martins
(Portugal) J.Wernerman (Scandinavia/Sweden)
E.Ronholm (Scandinavia/Denmark) H Flatten
(Norway) R.Zahorec (Slovakia) J.Firment
(Slovakia) G.Voga (Slovenia) R.Pareznik
(Slovenia) G.Gonzalez-Diaz (Spain) L.Blanch
(Spain) P.Monedero (Spain) H.U.Rothen
(Switzerland) M.Maggiorini (Switzerland) N.Ünal
(Turkey) Z.Alanoglu (Turkey) A.Batchelor (UK)
K.Gunning (UK) T.Buchman (USA). CoBaTrICE
Advisory Board Dr T.Buchman (SCCM) Dr S.Rounds
(ATS) Dr H Van Aken (UEMS) Dr A.Rossi (ERS) Dr
M.Elliott (ERS) Dr J.Besso (Panamerican and
Iberic Federation of Societies of Intensive Care
Medicine) Dr J.Ramet (ESPNIC) Dr HJ.Priebe
(ESA) Dr G.Park (World Federation of Societies
of Intensive and Critical Care Medicine) Dr
D.Zideman (ERC) Dr TS.Koon (WPACCM) Dr N.T.
Mathews ((ANZICS) Dr D.Dreyfuss (CNERM) Dr
W.Hacke (DIVI) Dr L.Cabré (SEMICYUC) Dr F.Esen
(Turkish National Society of Intensive Care
Medicine) Dr JE. Morris (Critical Care
Information Advisory Group, UK) Asst. Prof. J.
Williams (WfCCN). CoBaTrICE Nominal Group Dr A
van Zanten (Netherlands) Dr S Iyer (India) Dr U
Bartels (Germany) Dr A Armaganidis (Greece) Dr
C Gomersall (Hong Kong) Dr A Larsson (Denmark)
Dr F Rubulotta (Italy) Dr P Ferdinande
(Belgium) Prof J Scholes (UK) Dr M Parker
(USA) Dr J.A.Romand (Switzerland) Dr V
Gasparovic (Croatia). CoBaTrICE Delphi
participants CoBaTrICE ICU Representatives Sincere
thanks to the 10 representatives in each
country Italy Spain Denmark UK Switzerland
Netherlands Czech R, Poland. CoBaTrICE
Grant European Union Leonardo da Vinci
Programme Additional supporter GlaxoSmithKline.
8
INTENSIVISTA (Intensivists)

• MÉDICO GENERAL DE MEDICINA AGUDA INSTITUCIONAL
• (general practitioners of acute hospital medicine)

9
Competency-based training

• Defines what a practitioner can do, in terms of
  knowledge, skills, attitudes behaviours
• Workplace-based assessment of training outcomes
• Curriculum determined by competencies, not by
  examination
• Potential criticism of CBT is that it focuses
  attention on the physician solely as craftsman /
  technician
• What distinguishes the craftsman from the
  professional?
• Attitudes, behaviours ethics
• Self-regulation life-long learning

10
ANALIZAR EL OBJETIVO DEL ENTRENAMIENTO

• DESCRIBIR
• REALIZAR BAJO SUPERVISIÓN
• REALIZAR, MANEJAR, ETC

11
2nd round Delphi review process

• 169 competencies presented online for comment
• Expertise simplified to three levels

• Supervision included as a competence statement
• By the end of specialist training, the trainee
  appropriately supervises, or delegates to others,
  the delivery of patient care

12
Final editorial review process

• Common themes merged reduce repetition remove
  discrepancies
• 102 competence statements grouped into 12 domains

13
(No Transcript)
14
An overview of assessment of (clinical) competence

• Assessment of clinical competence from theory to
  practice
• Cardiovascular Foundation Conference
• Thursday, 27 April 2006
• Buenos Aires, Argentina
• Cees van der Vleuten
• University of Maastricht
• School of Health Professions Education (SHE)
• www.she.unimaas.nl

15
A simple model of competence
Does
Shows how
Knows how
Knows
Miller GE. The assessment of clinical
skills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
16
Climbing the pyramid
Does
Shows how
Knows how
Knows
17
Calidad de los Instrumentos

• Confiabilidad indica hasta qué punto pueden
  atribuirse a errores de medición las diferencias
  individuales en los puntajes obtenidos y hasta
  qué punto los puntajes revelan verdaderas
  diferencias en las características evaluadas

18
Calidad de los Instrumentos

• Objetividad varios examinadores frente al mismo
  examen asignan la misma nota
• Número de preguntas
• Homogeneidad
• Dificultad

19
Calidad de los Instrumentos

• Validez una prueba es válida si mide aquello que
  se propone medir
• Validez de contenido es imprescindible una
  precisa especificación de lo que se quiere
  evaluar y consensuar una definición operacional
  del atributo a medir
• Validez predictiva la prueba garantiza el futuro
  desempeño

20
Examen de elección múltiple

•       Es conveniente que el enunciado o base de
  la pregunta contenga un caso clínico sencillo y
  breve.
• Que contengan 4 opciones
• Que en lo posible no sea buscar la opción falsa,
  de hacerlo recalcar en negrita
• Que las 4 opciones tengan largo parecido y
  especialmente la correcta no sea la más larga

21
Examen de elección múltiple

• No incluir opciones todas son correctas o
  todas son incorrectas
• No es conveniente poner en la opción correcta
  dos opciones previas (por ejemplo a y c son
  correctas), es preferible que haya una opción
  exclusiva correcta. El motivo es mantener el
  número de opciones y su dificultad en grado
  similar para todas las preguntas

22
Examen de elección múltiple

• Es conveniente ser homogéneo en el tema de la
  pregunta (por ejemplo sería incorrecto poner
  opciones en una misma pregunta que abarquen
  diferentes temas)
• El tema de las preguntas debe tener adecuada
  validez. Relacionar el contenido del examen con
  el contenido del curso y los objetivos del
  aprendizaje.

23
Reliability as a function of testing time
Case- Based Short Essay2 0.68 0.73 0.84 0.82
Practice Video Assess- ment7 0.62 0.76 0.93 0.93
Mini CEX6 0.73 0.84 0.92 0.96
In- cognito SPs8 0.61 0.76 0.82 0.86
Testing Time in Hours 1 2 4 8
MCQ1 0.62 0.76 0.93 0.93
PMP1 0.36 0.53 0.69 0.82
Oral Exam3 0.50 0.69 0.82 0.90
Long Case4 0.60 0.75 0.86 0.90
OSCE5 0.47 0.64 0.78 0.88
1Norcini et al., 1985 2Stalenhoef-Halling et al.,
1990 3Swanson, 1987
4Wass et al., 2001 5Petrusa, 2002 6Norcini et
al., 1999
7Ram et al., 1999 8Gorter, 2002
24
Confiabilidad (Ebel, 1965)
25
New England Journal of Medicine

• Volume 356387-396
• January 25, 2007 Number 4
• Assessment in Medical EducationRonald M.
  Epstein, M.D.

26
CONCLUSIONES

• Hay muchos métodos de evaluación
• No haga cosas muy complejas
• Cubra la pirámide de competencias entera
• Ningún método es el mejor o el peor, depende del
  contexto
• Tenga un cocktail de métodos o programa de
  evaluación