Facultad de Ingenier

1
Facultad de IngenieríaProgramade prospectiva e
innovación tecnológica
2
Métodos de expertos
Aplicación del método
delphi
Dr. Roberto Igarza Doctor en Comunicación Social
(Universidad Austral), Ingeniero G.C. ETS (Ecole
dingénieurs de Lausanne), Auditor Líder de
Sistemas de Gestión de la Calidad (IMQ-Italia,
IRAM).
3
El método Delphi
Objetivos
El método aplicado Consigna de autoevaluación
Métodos de expertos
4
Sensibilizar sobre la importancia que tiene el
uso de los métodos sistemáticos de intercambio
comunicativo para la construcción de consensos
sobre escenarios futuros en una corporación
científica, empresaria o sectorial.
1
Revisar las claves de éxito en la aplicación del
método Delphi.
2
Objetivos
5
Métodos de expertos
0
6

• Tres grandes categorías de los métodos generales
  de prospectiva
• Métodos correlativos
• Focalizan en los factores que están implicados en
  la evolución del escenario actual y en el grado
  en qué pueden influir en el futuro. Se interesan
  por analizar las posibles líneas evolutivas que
  van a seguir esos factores.

7

• Tres grandes categorías de los métodos generales
  de prospectiva
• Métodos extrapolativos
• Proyectan hacia el futuro la información que se
  posee de la evolución que han tenido las
  variables en el pasado. A partir de la
  información histórica disponible, se establecen
  posibles tendencias o ciclos evolutivos, los que
  arrojarán los posibles entornos futuros.

8

• Tres grandes categorías de los métodos generales
  de prospectiva
• Métodos de expertos
• Se sustentan en la consulta a personas
  reconocidas por
• su gran conocimiento sobre el entorno,
• influir en la toma de decisiones sobre variables
  que afectan los escenarios futuros,
• ser notables referentes en algún componente del
  sistema.

9
Methodology Tree for Forecasting
Knowledge source
Judgmental
Statistical
Univariate
Multivariate
Self
Others
Data- based
Theory- based
Structured
Role
No role
Unstructured
Extrapolation models
Data mining
Intentions/ expectations
Unaided judgment
Role playing(Simulatedinteraction)
Quantitative analogies
Neural nets
Conjoint analysis
Rule-based forecasting
Linear
Classification
Expert Forecasting
Decom-position
Structured analogies
Expert systems
Judgmental bootstrapping
Segmentation
Game theory
Causal models
Methodology Tree for Forecasting forecastingprinci
ples.com JSA-KCG November 2007
10
Sufficient objective data
Judgmental methods
Quantitative methods
No
Yes
Large changes expected
Good knowledge of relationships
Yes
No
Yes
No
Policy analysis
Conflict among a few decision makers
Type of data
Large changes likely
Yes
No
Yes
No
Time series
Cross-section
Yes
No
Highly repetitive with learning
Similar cases exist
Policy analysis
Policy analysis
Good domain knowledge
No
Yes
No
No
Yes
Yes
Unaided judgment
Type of knowledge
No
Yes
Yes
No
Domain
Self
Expert Forecasting (Delphi, NGT, ETE, Markets)
Judgmental bootstrapping/ Decomposition
Conjoint analysis
Intentions/ expectations
Role playing(Simulatedinteraction/ Game theory)
Structured analogies
Expert systems
Rule-based forecasting
Extrapolation/ Neural nets/Data mining
Causal models/ Segmentation
Quantitative analogies
Several methods provide useful forecasts
Yes
No
Single method
Combine forecasts
Omitted information?
Selection Tree for Forecasting Methods forecasting
principles.com JSA-KCG November 2007
Yes
No
Use adjusted forecast
Use unadjusted forecast
11

• Los métodos de expertos utilizan como fuente de
  información un grupo limitado de personas a las
  que se les reconoce como poseedores de un
  conocimiento elevado en la materia.

12
Son de aplicación, en especial, cuando
delphi
13

• Los expertos exponen sus ideas sobre las que se
  elabora un informe en el que se indican cuáles
  son, según sus opiniones, las posibles
  alternativas.

14
Fortalezas
Cada experto puede someter a discusión la idea que tiene sobre la problemática y la resolución desde su área de conocimiento.
La información proveniente de los expertos, aún el más reconocido y versado en el tema, es sometida a contraste por el conjunto.
El número de factores tenido en cuenta por un grupo es siempre mayor del que podría considerar una sola persona.
El modelo resultante surge de un enfoque plural.
El contraste incrementa la posibilidad de que el resultado sea pluriparadigmático.
Debilidades
Puede triunfar el argumento más citado en lugar de ser el de mayor validez.
La presión de la mayoría sobre el conjunto puede hacer renunciar a los demás a la defensa de su opinión.
La compensación entre la falta de información de unos expertos con la que aportan otros no está asegurada.
En función de la procedencia o cultura de los participantes, puede existir un sesgo común a muchos o, incluso, a todos los participantes.
La presión de la mayoría sobre el conjunto puede provocar alineamientos con teorías erróneas.
La posición, la personalidad o las facilidades de comunicación de algunos participantes puede evidenciar la vulnerabilidad informativa o comunicativa del resto y convencerlo.
El grupo hace de su supervivencia un fin, priorizando el acuerdo en lugar de producir una buena previsión.
15
En qué consiste el Método Delphi?
1
16

• El método de estructuración de un proceso de
  comunicación grupal que es efectivo a la hora de
  permitir a un grupo de individuos, como un todo,
  tratar un problema complejo.
• Linstone y Turoff (1975)

17

• Una interrogación iterativa a un número limitado
  de expertos con la finalidad de poner de
  manifiesto las convergencias de opiniones y
  deducir eventuales consensos.
• Astigarraga, E. (2003)

18

• Su capacidad de predicción se basa en el empleo
  sistemático de un juicio intuitivo emitido por un
  grupo de expertos.
• El objetivo de los cuestionarios sucesivos es
  reducir el espacio de opinión que los separa,
  esto es cuánto se desvía la opinión del experto
  de la opinión del conjunto, precisando la mediana
  de las respuestas obtenidas.

19

• Fuente IPTS Institute for prospective
  technological studies. Joint Research Center. UE.

20

• Cómo extraer y maximizar las ventajas que
  presentan los métodos basados en grupos de
  expertos minimizando sus inconvenientes?

21

• Método eficaz de búsqueda de consenso
• El método Delphi busca
• aprovechar el debate de ideas en el grupo,
  eliminando las interacciones no deseadas, para
  obtener un consenso lo más fiable posible del
  grupo de expertos.

22
(No Transcript)
23
Caracterización del Método Delphi
2
24

• 1. Anonimato de los participantes
• Ningún experto que recibe el cuestionario conoce
• la identidad de los restantes ni
• cual ha sido la respuesta individual.
• Sólo el administrador de la encuesta puede
  identificar a cada participante y sus respuestas.

25

• Anonimato de los participantes
• Reducir el posible predominio y las influencias
  de algunas opiniones sobre otras (valor de la
  reputación o peso en una confrontación directa).
• Permitir que cada miembro modifique sus opiniones
  sin que esto implique una pérdida de imagen
  pública, ante el grupo, la comunidad científica o
  la corporación sectorial (un grado de desviación
  significativa con la opinión mayoritaria o el
  cambio de opinión no va a ser identificada por
  los otros).

26

• Una retroalimentación controlada
• El proceso iterativo consiste en presentar varias
  veces el mismo cuestionario.
• Desde la segunda vez, el cuestionario es
  acompañado de los resultados anteriores, poniendo
  en conocimiento de los expertos los distintos
  puntos de vista relevados.

27

• Una retroalimentación controlada
• El experto puede ir modificando su opinión si los
  argumentos que se le presentan le parecen más
  apropiados que los propios.
• La cantidad de rondas no está prestablecida y es
  ajustable.

28

• 3. Respuesta en forma estadística
• Aunque el cuestionario pueda ser de naturaleza
  cualitativa, la medición que se realiza del
  resultado es de carácter cuantitativo.

La información que se presenta a los expertos
comprende todas las opiniones indicando
estadísticamente el grado de consenso o
dispersión que existe en cada respuesta así como
la respuesta mayoritaria del grupo.  
29

• 3. Respuesta en forma estadística
• Permite una apreciación cuantitativa de la
  desviación y del consenso.
• Promueve un análisis menos interpretativo.

30
Implementando el Método Delphi
3
31
Resultados Estadísticas resultantes del
procesamiento de las respuestas anteriores que
acompañan los sucesivos cuestionarios desde la
segunda ronda.
Panel de expertos
Cuestionarios
Método Delphi
conjunto de personas físicas consultadas
lista de preguntas que se envían a los expertos
para revelar su opinión
a. Dirección del método y asesores expertos (no
participarán del proceso). b. Equipo técnico o
monitor (capacidades técnicas necesarias para la
elaboración de los cuestionarios y el análisis
estadístico de las respuestas.
Grupo de trabajo
(ET) Moderador responsable de la interlocución
con el panel.
32
Elaboración 1ºcuestionario
Selección de eventos
Respuesta al 1ºcuestionario
Selección del panel de expertos
Procesamiento de los resultados
Análisis estadístico de los resultados
Análisis comparativo de los resultados
estadísticos con sus respuestas al 1ºc.
Elaboración 2º cuestionario inc. Estadísticas 1ºc.
Respuesta al 2ºc.
Procesamiento de los resultados
Análisis estadístico de los resultados
Análisis de los resultados
33

• La implementación impone previamente a las
  rondas de consultas
• Establecer los horizontes temporales para los que
  se desea realizar la previsión.
• Determinar la cobertura y dimensión del estudio.
• Determinar el número de expertos que conformarán
  el panel.
• Seleccionar el panel de expertos a partir de
  criterios previamente establecidos (asegurando la
  representación plural de planteamientos).
• Explicar a los expertos el método y obtener su
  adhesión.

34

• Determinación del número de expertos
• ! La práctica indica que un porcentaje variable
  -pero siempre elevado o muy elevado- de los que
  comienzan el proceso no lo seguirán hasta el
  final.

35

• Un volumen de respuestas adecuado gt partir de un
  número significativamente mayor que aquel
  considerado como pertinente.
• En muchos casos, el factor de seguridad se eleva
  a más de 3.
• Por ejemplo, si se desea un total de 600
  participantes efectivos, el panel inicial puede
  concernir un total de 2000 expertos.

36

• Se pueden distinguir cuatro fases o circulaciones

37
Eventos
En el primer cuestionario se pide que establezcan
cuáles son las tendencias más importantes que
marcarán el futuro y los eventos que pueden tener
lugar y determinar de alguna manera los
escenarios posibles.
Los cuestionarios devueltos se analizan, se hace
una síntesis y selección, obteniendo un conjunto
manejable de eventos definidos lo más claramente
posible. Sobre este conjunto versará el
cuestionario de la segunda circulación.
38
Tiempos
El 2º cuestionario es acompañado de la
información estadística seleccionada de lo que
respondieron todos y un recordatorio de su
opinión inicial. El experto puede mantener su
opinión inicial o modificarla, y expresarse
libremente acerca de sus ideas si su opinión se
aparta de la media. Se les consulta acerca de la
fecha de cada evento. Se realiza un análisis
estadístico de las previsiones de cada evento.
39

• Este análisis comprende medidas de posición de
  dos tipos
• medidas de posición central que informan sobre
  los valores medios de la serie de datos
• medidas de posición no centrales que informan de
  como se distribuye el resto de los valores de la
  serie.

40

• Medidas de posición central
• Media (valor medio ponderado de la serie de
  datos)
• Mediana (valor de la serie que se sitúa
  justamente en el centro de la muestra, un 50 de
  valores son inferiores y otro 50 son superiores)
• Moda (valor(es) que más se repite(n) en la
  muestra).

41

• Medidas de posición no centrales
• Ofrecen información sobre otros puntos
  característicos de la distribución que no son los
  valores centrales.
• P.e., distribución por cuartiles (3 valores que
  distribuyen la serie ordenada de forma creciente
  o decreciente en cuatro tramos iguales en los que
  cada uno de ellos concentra el 25 de los
  resultados).

42
En el 3º cuestionario los expertos pueden revisar
o reafirmar su previsión anterior. Si ésta se
encuentra fuera de los márgenes de consenso
(mediana más desvíos/en los cuartiles inferior y
superior), se les solicita los argumentos. El ET
analiza los resultados y los argumentos dados
para previsiones que salen de los márgenes
intercuartiles.
43
Tiempo
2012
2005
Rondas o circulaciones
44
Teniendo en cuenta las explicaciones dadas, se
les solicita que hagan nuevas previsiones. Se
pide a todos los expertos que den su juicio en
relación con las discrepancias que han surgido.
45
P2. La posibilidad de acceder a contenidos audiovisuales a través del despliegue masivo de redes de banda ancha puede modificar el escenario de uso educativo de Internet. Cuándo ese escenario será una realidad para la mayoría de los europeos?   P2. La posibilidad de acceder a contenidos audiovisuales a través del despliegue masivo de redes de banda ancha puede modificar el escenario de uso educativo de Internet. Cuándo ese escenario será una realidad para la mayoría de los europeos?  
Resultados de la 1º vuelta Resultados de la 2º vuelta
Deseo que ocurra en Deseo que ocurra en

Ocurrirá en Ocurrirá en

46

• Elaboración del informe final
• Los resultados p.e. las fechas de los eventos
  previsibles- son calculados a partir del análisis
  de las respuestas de los expertos y los
  comentarios realizados.
• Las conclusiones pueden no ser convergentes, es
  decir únicas, ni tampoco uniformes. Sólo indican
  el valor medio al mismo tiempo que informan de
  aquellas opiniones que se encuentran a un lado u
  otro de esta media.

47

• Elaboración del informe final
• Comprensivo, aunque no exhaustivo expresa la
  opinión más generalizada así como también las que
  se desvían de ella y las razones que las
  sustentan.

48

• Elaboración del informe final
• Si no se hubiese obtenido un consenso y
  existieran posturas muy distantes, debe ponerse
  en contraste los distintos argumentos para
  detectar los errores que pudieran haber habido
  durante el proceso.

49

• En general, aun cuando el panel presenta una gran
  diversidad (variedad de zonas geográficas,
  especialidades, etc.), los expertos presentan
  opiniones bastante parecidas.
• En la primera ronda los datos pueden diferir,
  pueden no estar bien definidos y responder a
  tendencias subyacentes.

50

• La convergencia final puede explicarse por
• la existencia de paradigmas compartidos,
• lo convencionalmente establecido o políticamente
  correcto.

51
DT!

• Puede explicarse también (caso La SI en Europa,
  Presente y perspectivas 2002-2005 de Telefónica)
  por una visión común del futuro, una visión
  ideal de cuál es el estado final ... un modelo
  al que queremos llegar y hacia él nos
  dirigimos, si bien existen pequeñas variaciones
  temporales o locales.

52
Limitaciones y problemáticas de la implementación
del método
4
53

• Panel
• Es un aspecto fundamental que exige el máximo
  rigor reglas básicas, principios explícitos.
• Pueden introducirse sesgos que orientarán el
  método hacia resultados más convergentes.
• Sobredimensionamiento de una cierta visión
  disciplinar, paradigmática o axiológica en
  detrimento de otra.
• Inclusión de participantes con posiciones
  dogmáticas reconocidas que dificulten la
  obtención de un consenso.

54

• Panel
• El volumen de la muestra, es decir de los
  expertos convocados y participantes, es uno de
  los factores que más influyen en la determinación
  de un panel.
• El volumen predetermina los equipos de trabajo y
  los recursos requeridos para el procesamiento de
  los datos.
• La cobertura geográfica tanto como la
  disciplinar, la paradigmática y la axiológica
  raramente se resuelven sin tensiones.

55

• Panel
• Los responsables de la comunicación del proyecto
  deberán esforzarse para incrementar la aplicación
  de instrumentos para asegurar la retención de
  expertos en las sucesivas rondas, buscando
  compensar la pérdida de interés por parte de los
  panelistas al responder un cuestionario
  deficiente o largo.

56

• Cuestionarios
• El número y calidad de preguntas que, vinculado a
  los capacidades de procesamiento, no resulta
  ajeno al mantenimiento del interés por parte de
  los expertos.

57

• Cuestionarios
• Los problemas más comunes relevados en los
  formularios suelen provenir de su deficiente
  formulación
• Vaguedad o ambiguedad
• Extensión excesiva
• Carencia/Exceso de información
• Interdependientes
• Escasa diferencia entre las opciones
• Pluriacepciones/semantización/interpretación
• Traducciones
• Códigos disciplinarios

58

• Cuestionarios
• Todas estas incidencias pueden inducir a lecturas
  erróneas por parte de los expertos, y como
  consecuencia de ello, una desviación aumentada de
  las respuestas con respecto a la media.

59

• Cuestionarios
• Los prejuicios pueden llevar a formular preguntas
  orientadas o restringidas que no agotan todas las
  posibilidades de investigación.
• Generalmente, fuerzan un consenso de visiones en
  términos más genéricos de los que podían haberse
  obtenido.

60

• Cuestionario
• Si está excesivamente limitado a la obtención de
  resultados puntuales vinculados con la proyección
  de fechas, no favorecerá la obtención de
  información más amplia.

61
(No Transcript)
62
(No Transcript)
63
(No Transcript)
64
(No Transcript)
65
(No Transcript)
66

• La confiabilidad del cuestionario está sujeta
  también al efectivo tratamiento de los datos
  cuantitativos tanto como a los datos
  cualitativos.
• Es posible extraer más información de la que un
  procesamiento directo de tipo estadístico puede
  proveer, a través, por ejemplo, de técnicas
  complementarias de análisis crítico del discurso.

67

• Cuestionarios
• Elevar la creatividad para que la investigación
  facilite la comprensión y expresión de los
  expertos.
• Cada uno de ellos, a pesar de sus puntos de vista
  diferentes del problema, debe poder emplear los
  cuestionarios para expresarse.
• Los cuestionarios deben presentar diferentes
  estructuras para permitir a los panelistas
  expresarse.

68

• Tratamiento de los datos
• La confiabilidad del cuestionario debe
  prolongarse en un tratamiento eficiente y eficaz
  de los datos. Una manipulación de los datos en la
  evaluación de los cuestionarios introduce
  distorsiones en el feedback, y por tanto en la
  ronda siguiente.

69

• Tratamiento de los datos
• Una exploración y aprovechamiento restringido de
  los desacuerdos, o incluso la ignorancia de los
  mismos, puede otorgar a las minorías una
  ponderación inadecuada.

70

• Plan de ejecución
• El plan establece la duración del proceso y la
  programación de cada fase o circulación.
• La retención de los expertos en el proceso está
  también relacionada con el plan de ejecución.
• Una prolongación excesiva en el tiempo de
  duración puede provocar una mayor deserción de
  panelistas por la pérdida de interés en el tema.

71

• Los métodos sustentados en juicios colectivos
  presentan una limitación de fondo
• el nivel cultural y nivel social de cada
  participante son factores determinantes de esa
  tasa de descuento, que es subjetiva y
  bidimensional, temporal y espacial.

72

• La dimensión temporal está relacionada con el
  horizonte de planificación personal.
• Cuando el método se sirve de la opinión de una
  estructura social amplia, las distorsiones pueden
  provenir de las diferencias entre el horizonte de
  planificación de la elite participante y el de
  los segmentos de la base de la estructura social.

73

• Existen diferencias notables respecto del pasado
  que afectan la visión que los individuos
  construyen del futuro resultan más o menos
  influyentes los acontecimientos recientes y
  alejados de la historia.

74

• La incertidumbre coyuntural también es un factor
  determinante de la capacidad de prospectiva.

75

• Simplificaciones
• La búsqueda de convergencia impone privilegiar la
  simplificación frente a la complejidad.
• Pero el exceso de simplificación representa uno
  de los riesgos más significativos de la
  aplicación del método.

76

• Simplificaciones
• Una simplificación excesiva en los cuestionarios
  puede no facilitar la distinción entre ocurrencia
  deseada y probabilidad de ocurrencia, es decir,
  olvidar que la mayoría de los individuos tienen
  tendencia a confundir la probabilidad de
  ocurrencia con su deseabilidad de ocurrencia.

77

• Simplificaciones
• El lenguaje empleado en los cuestionarios con la
  finalidad de simplificar el código para alcanzar
  a todos los perfiles socio-culturales del panel
  podría también constituir una excesiva
  simplificación. Un código único puede anestesiar
  la pluralidad!

78

• Simplificaciones
• La opinión de los expertos está ciertamente tan
  vinculada a sus horizontes espaciales y
  temporales como a las especificidades del campo
  de especialización en el que trabajan. Su visión
  prospectiva puede difícilmente considerar las
  variables de un macrosistema en el que su sistema
  de implicación natural es sólo una parte. Ello le
  conduce a una simplificación por reducción del
  campo de especialización.

79

• Estudios que se repiten, expertos que se repiten
• Al proliferar los estudios prospectivos sobre
  similares o iguales campos de estudio
  sobredemandan el mismo universo de expertos con
  preguntas análogas.
• Los expertos conocen los resultados anteriores.
• El paradigma se retroalimenta produciendo un
  rendimiento decreciente con escasos aportes de
  conocimiento adicional sobre el tema.

80
Cómo desarrollar el proceso sin morir en el
intento
5
81

• 1. Cómo debe ser el cuestionario?
• Preguntas precisas e independientes.
• Preferentemente, deben poder ser procesadas
  mediante un análisis cuantitativo.

82

• 2. Cuántas rondas?
• El nº de ciclos es variable y es fijado en cada
  caso en función de la materia, de la cobertura y
  del horizonte.
• En una mayoría de casos, dos rondas parecen ser
  suficientes.

83
3. Hasta dónde es personalizable?
Recursos
Plazos
O2
O1
Del proyecto y de los expertos
Procesamiento Análisis!
Objetivos
84

• 4. Solo o acompañado?
• En la mayoría de casos, con una combinación de
  métodos se obtienen mejores resultados que con
  una aplicación monometódica.

85

• 5. Cuántos?
• Factores determinantes
• Comunicación inicial
• Compromiso institucional/corporativo
• Remuneración
• Resultados
• 1º Vuelta 10-50
• 2º Vuelta 3-30

86

• Tensiones latentes
• Comunicación/No comunicación
• Pagos/No pagos
• Rápido/Lento (plazos para responder)
• Continuidad/Análisis (cuánto tardo en comenzar el
  siguiente ciclo?)
• Universo bien seleccionado/Gran universo

87
Roberto Igarzarigarza_at_austral.edu.ar5921.8000
int. 8319