Survey of Benchmarking Methodologies

1

• Survey of Benchmarking Methodologies
• Maria Luisa Corton
• (en colaboración de Sanford Berg y el grupo del
  PURC)
• Public Utility Research Center
• University of Florida
• www.purc.ufl.edu

2
Estudio financiado por el Banco Mundial

• Resumen ejecutivo disponible
• Partes del estudio han sido incorporadas en las
  sección de Methodology del site IBNETThe
  International Benchmarking Network for Water and
  Sanitation Utilities
• http//www.ib-net.org/index.php
• Actualmente se están llevando a cabo otros
  estudios en PURC que podrán apoyar los programas
  de ADERASA

3
Importancia de hacer comparaciones

• Las comparaciones de Performance son necesarias
  pero no suficientes para soportar políticas
  razonables
• Benchmarking es una herramienta importante para
• Documentar desempeño pasado
• Establecer lineamientos para producir mejoras
• Hacer comparaciones en el tiempo y entre empresas
  
• Diseñar incentivos

4
Objetivos del Estudio

• Servir de puente para cubrir el vacio entre
  investigadores especializados y practicantes que
  conduzcan estudios para agencias de gobierno y
  empresas de servicio de agua.
• Promover el uso de herramientas cuantitativas mas
  sofisticadas en el diseño de políticas dirigidas
  a inducir mejoras de desempeño.
• Proveer herramientas que permitan a las partes
  involucradas cuantificar de manera rigurosa el
  progreso de las empresas de servicio en el
  cumplimiento de objetivos.
• Ayudar a los especialistas en agua a identificar
  aquellas empresas de mejor desempeño cuyo patron
  pueda ser adoptado por otras empresas

5
Elementos/Pasos de Benchmarking

• Identificar el problema Que se quiere medir?
• Seleccionar (Preliminar) Metodología
• Recolectar datos
• Determinar el procedimiento de cálculo o
  estimación
• Análisis de resultados/tests de sensitividad
• Comunicación con la audiencia seleccionada
• Desarrollo de políticas

6
Metodologías de Benchmarking

• Indicadores de desempeño (parcial)
• Métodos Totales
• Paramétricos estocásticos y no estocásticos
• No-parametricos DEA
• Enfoque de Ingenieria- empresa modelo
• Procedimientos
• Consumidores

7
1. Indicadores de Desempeño

• Comparaciones con respecto al mejor desempeño.
• Es la forma mas simple de realizar comparaciones
  las tendencias dirigen la atención a áreas
  problema. Los datos provienen usualmente de los
  reportes anuales.
• Ejemplos agua enviada por trabajador, calidad de
  servicio (continuidad, calidad de agua,
  reclamos), agua perdida, cobertura, indicadores
  financieros (gastos operativos con respecto a
  ingresos, cobranzas etc)

8
2. Métodos Totales

• Basado en el análisis de patrones de producción o
  estructura de
• costos. Las comparaciones son respecto a
  frontera.
• Paramétricos Identifica las relaciones entre el
  desempeño de la
• empresa, las condiciones
  del mercado y las caracteristicas
• de los procesos de
  producción a través de funciones.
• No Estocástico pura ineficiencia
• Estocástico se reconoce la presencia de ruido
• No Paramétricos No requiere especificación de
  una forma funcional.
• Data Envelopment Analysis (DEA) Comparación con
  el mejor desempeño Permite multiples insumos y
  productos
• El cálculo se realiza con programación lineal

9
Análisis de Eficiencia
Technical efficiency OB/OA Allocative
efficiency OD/OB Cost Efficiency OD/OA
10
Análisis de Frontera
Output
Frontier From DEA
x
x
x
x
x
x
x
x
x
x
Input
11
3.Ingenieria/Empresa modelo

• Requiere el desarrollo de un modelo económico y
  de ingenieria
• Se diseña una empresa artificial con procesos y
  costos óptimos
• El benchmark es específico a cada empresa
  incorpora patrones de demanda, densidad de red y
  servicio y otros.
• Las relaciones de producción pueden terminar
  siendo transformados en los procesos de
  optimizaciondependera del nivel de agregación y
  segregación que se defina.

12
4.Benchmarking de Procesos

• Se enfoca en análisis los procedimientos
  individuales de producción
• Inspecciones detalladas
• Se definen y analizan las etapas de los procesos
  de producción, transporte, distribución,
  administración de acuerdo a la estructura del
  negocio.
• Generalmente se utilizan las mejores prácticas
  como punto de comparación

13
5.Benchmarking en base a los Consumidores

• Reclamos
• SERVQUAL identifica 5 dimensiones de calidad de
  servicio de acuerdo a la percepción de los
  usuarios
• Características Externas (apariencia de
  instalaciones y personal)
• Confiabilidad (cumplimiento de promesas)
• Respuesta (proveer servicio a tiempo)
• Consideración ( atención y cortesia)
• Empatia (individual atención y cuidado).
• SERVQUAL es la nomenclatura usada a partir de
  1985 luego de la publicación del articulo de
  Parasuraman referente a calidad de servicio.

14
(No Transcript)
15
Benchmarking Total Especificación del modelo

• Se asume que expertos preparan el modelo y
  realizan análisis
• Se cuenta con el software y equipos de
  computacion necesários

• Un solo producto versus varios productos
• Disponibilidad de datos precios y/o cantidades
• Rol del tiempo
• Formato de la función
• Reconocimiento de efectos específicos
• Reconocimiento la presencia de ruido

?Costo vs Producción?
? Panel vs cross section?
?Translog/loglinear/cobbdouglas?
?fixed effects/random effects?

• ?estocástico o no estocástico?

16
Benchmarking Total Proceso de Estimación

• Solo un año
• OLS estimator
• COLS estimator
• Más años
• Panel data
• Fixed effects dummy or within estimators
• Random effects GLS estimator
• Pooled observations
• Fronteras

17
Análisis de Frontera
18
Ejemplo de Especificaciones
Translog
Cobb-Douglas
Distance
19
Ejemplo Ofwat Water Service Model (Y Opex)

• Gastos de Operación (less exceptionals, rates,
  third party services, abstraction charges,
  pumping costs)
• Ln Y 3.57 0.471 Ln X1 0.468 Ln X2
• - 1.575 Ln X3
• X1 water delivered in Ml/day
• X2 length of main in km
• X3 proportion of water delivered to measured
  non-households (Chaplin, United
  Utilities)

20
Tests de Consistencia y Sensitividad

• Lo preciso y robusto de las medidas obtenidas
  son importantes pues los resultados impactan las
  políticas. Como procederbásicamente modificar
  modelo y/o estimación
• Función de costo vs producción
• Función linear vs translog
• Cambiar los productos y los insumos Outputs and
  inputs
• Cambiar metodología (e.g., DEA vs. SFA).
• Combinar método total y parcial

21
Creando Medidas Apropiadas

• El objetivo es inducir resultados comparables con
  aquellos que se obtendrian bajo competencia
• Premiar aquel desempeño que se destaque
• Penalizar aquel desempeño que sea pobre
• Benchmarking provee medidas
• Una nota de Precaución
• Los resultados pueden mal-entenderse y por lo
  tanto mal-usarse. Los intereses de todos las
  partes involucradas son considerables y de alli
  la necesidad de precaución.

22
Resumiendo

• Si el regulador no es capaz de identificar
  tendencias
• pasadas, determinar lineamientos actuales y
  cuantificar el
• desempeño relativo entre las empresas de
  servicio,
• entonces tal como menciona un regulador de la
  India, bien
• podría entonce estar escribiendo poesia
• Esta presentación está disponible en
  www.purc.ufl.edu
• Además alli encuentran una valiosa herramienta
• Banco de Datos de Conocimientos sobre
  Regulación
• (Regulatory Body of Knowledge)