Statistical Thought: A Perspective and History

1
Statistical ThoughtA Perspective and History

• S. K. Chatterjee
• Oxford University Press 2003

2
Es necesario tomar una posición sin dogmatismos
y desapasionada para las posiciones respecto a la
inferencia. Adoptar una actitud ecléctica.
(Que funcione bienen las aplicaciones para
las que fue concebido) No he identificado a
ninguno de los enfoques en estadística como el
correcto. He terminado por aceptar como
legítimos a todos, cada uno en sus supuestos
adecuados
3
La estadística no es una rama de la ciencia en el
sentido de la física, la química, la botánica, la
geología o la economía. No tiene un dominio de
estudio especifico un aspecto de la naturaleza o
la sociedad- como en esas ciencias. Es de
dominio neutral como lo es la matemática pura,
sus conceptos y técnicas permean y aveces inundan
todas las ciencias naturales y sociales. La
estadística se puede ver como una prolongación
del razonamiento inductivo y es una prolongación
de la epistemología.
4
El conocimiento sobre la conclusión esta
contenido en las premisas
Necesidad
Deducción
Premisas
Conclusión
La conclusión trasciende a las premisas, y si es
cierta, es una adición neta a nuestro conocimiento
5

• Tipos de Inducción
• Predicción de algún evento futuro
• Sobre una ley general de la naturaleza, que
  conecta cierto(s) tipo(s) de evento(s) con
  otros.
• Conclusión sobre un todo a partir de una parte
• Conjeturas sobre un hecho relacionado con el
  pasado desconocido.
• Conjeturas sobre un hecho relacionado con una
  parte no observada del presente
• Todo a partir de la evidencia disponible

6

• Inducción
• Abierta.- La proposición por ser inducida es
  sugerida por las premisas de la inducción, sin
  referencia a alguna preconcepción. Es una
  herramienta para el descubrimiento.
• Hipotética.- Comienza con una hipótesis
  preconcebida que es confirmada o rechazada a la
  luz de las premisas. Testing, Contrastación.

Entre las premisas siempre hay una parte que es
empírica, es decir basada en nuestra experiencia
del mundo percibido. Esta parte empírica es
llamada la evidencia
7
El ser humano efectúa inducciones y
deducciones. La deducción fue estudiada
sistemáticamente por los antiguos griegos,
Pitágoras, Platón, Aristóteles y continuó su
estudio durante la edad media. A partir del
renacimiento, la inducción fue usada
Copérnico(1473-1543), Kepler(1571-1630),
Galileo(1564-1642), Newton (1642-1727) Harvey,
Darwin, etc estudiada F. Bacon (1561-1626),
Locke (1632-1704). 1.- Usar toda la información
disponible (evidencia total, estadísticas
suficientes), 2.- Incertidumbre en las
conclusiones y 3.- Una marca por el amor a la
verdad, una proposición es valiosa por su método
de prueba
8
Crítica de Hume(1711-1776) En 1739 Treatise on
Human Nature. Problema de la Inducción. La
inducción no puede ser validada. Se recurre a la
propia inducción para validarla. La conjunción de
dos eventos que ocurre muchas veces no es
garantía de que exista esa conjunción siempre.
Soluciones al Problema Simplista.-
Justificarla deductivamente Mills(1843). Pragmátic
a.- Keynes, Rusell, Carnap. Supuesto de la
uniformidad de la naturaleza, invarianza espacio
temporal. La prueba del budin es
comerselo Estóica.- Popper, no hay inducción,
solo deducción a partir de conjeturas
9
La estadística en todas sus formas trata de
justificarse explicita o implícitamente en
términos de sus éxitos prácticos, de modo que
esta más ligada a la solución pragmática. Hay dos
grandes enfoques Objetivo y
Subjetivo Inferencia inductiva La evidencia es
una colección de hechos contingentes, su
contenido nunca es conocido antes de ser
colectada. Todos las posibles alternativas se
conocen de antemano, el dominio de la evidencia
(Espacio Muestral).
10
Evidencia empírica. Una secuencia de
observaciones sobre características observables
relativas a alguna realidad física. El
orden no es importante. Extensibilidad. La
secuencia de operaciones que genera la evidencia
puede en principio, ser extendida para incluir
una o más operaciones adicionales.
Repetibilidad. Conceptualmente se pueden hacer
repeticiones independientes (sólo en el enfoque
objetivo) Incertidumbre. Evaluada en
términos de probabilidad
11
La incertidumbre en la evidencia puede surgir por
una o más de las siguientes causas variación
natural, errores de medición, variación debida al
muestreo, contingencias no previstas, etc. En el
enfoque subjetivo no hay interés en las
repeticiones de las observaciones. La
incertidumbre únicamente surge por la ausencia de
conocimiento sobre la evidencia.
12
Probabilidad
Enfoque Objetivo La variación impredecible de la
evidencia es tal que la frecuencia relativa con
la que pertenece a cualquier conjunto en el
dominio de la evidencia, tiende a estabilizarse
alrededor de un valor idealizado, la
probabilidad, si el número de observaciones se
hiciera infinitamente grande. Enfoque Subjetivo
La probabilidad sólo existe en la mente y varia
de persona a persona
13
Siempre consideramos que la incertidumbre en la
evidencia puede ser expresada en términos de una
distribución de probabilidades de los
observables. La forma particular de la
distribución de probabilidades es el modelo
probabilístico. La elección del modelo se hace
en base a -- Experiencia anterior. --
Intuición que surge con la familiaridad del
área. -- Conocimiento sobre las leyes
científicas que subyacen en el fenómeno
estudiado. -- Convención y facilidad analítica
14
Nunca se especifica completamente el modelo, el
valor de un parámetro permanece desconocido.
Estadística paramétrica. En el caso no
paramétrico, la distribución completa es el
parámetro desconocido.
Enfoque Objetivo 1.- Objetivo comportamental. (O.
behavioral) 2.- Objetivo en la instancia (O.
instantial) 3.- Objetivo pro-subjetivo. Bayesiano
15
Stephen Jay Gould La grandeza de la vida
(Full House). Crítica Grijalbo Mondadori.
Barcelona. P 243

• No obstante pienso que el modelo de la casa
  repleta nos enseña a amar y atesorar la variedad
  por su valor intrínseco, por contundentes razones
  de teoría evolutiva y de ontología natural, no en
  virtud de una lamentable impotencia del
  pensamiento que lleva a acepar todos los credos,
  en la absurda convicción de que un desacuerdo
  implica falta de respeto. La excelencia no es un
  punto, sino un ramillete de diferencias. El
  morador de cada ubicación de este ramillete puede
  ser un representante excelente o inadecuado, y es
  obligación nuestra luchar por la excelencia en
  cada uno de estos variados domicilios.

16
Enfoque Objetivo 1.- Objetivo comportamental. (O.
behavioral). Neyman, Pearson, Wald. Seleccionar
una acción de acuerdo a una regla. Se considera
que los valores observados son una ocurrencia,
pero se quiere que la regla se considere en todos
los posibles resultados de los observables. La
regla se escoge de manera que la distribución de
probabilidades de las consecuencias sea óptima en
algún sentido. Vg. Pruebas más potentes. ECM.
Admisibilidad. Es como un médico que trata
pacientes diversos y alcanza una tasa de curación
total alta.
17
2.- Objetivo en la instancia (O. instantial).
Fisher El concepto de repetibilidad, se usa
además del modelo probabilístico, para justificar
la inducción. Se basa en la instancia particular
que ocurrió en el estudio. No se especifica nada
sobre , salvo que toma valores en un dominio
especifico . Para muchos problemas estándar de
inferencia, no todos, coincide con el
comportamental. El objetivo de la inferencia no
es la decisión sobre una acción en la práctica,
sino ganar conocimiento sobre el verdadero estado
de las cosas. Por supuesto, si se considera con
gran confianza que cierto estado de cosas es
cierto, se pueden tomar decisiones.
18
Hay una evaluación de la incertidumbre
involucrada en las conclusiones. Pero no es una
evaluación antes del ensayo como en el enfoque
comportamental, sino que es despues del ensayo,
y en consecuencia se pueden tomar en cuenta
cualquiera de las características de la
información disponible. Sin embargo, la medida de
apoyo despues del ensayo que se asocia con la
conclusión no puede ser interpretada como
probabilidad en el sentido objetivo, es de tipo
de la probabilidad subjetiva.
19
En el enfoque de la instancia, hay tres formas
de efectuar la inferencia . 1.- Verosimilitud.
visto como función de 2.- Extensión
de modus tollens. Significancia 3.-
Fiducial 1.- Verosimilitud. Que valores de
hacen más probables los datos obtenidos?
Intervalos de verosimilitud. Verosimilitud
estandarizada mayor que 0.14 (7/50).
Aproximadamente nivel de 5. Razones de
verosimilitud para comparar dos ( o más)
valores de . Estadísticas suficientes
20
El libro de Yudi Pawitan "In all Likelihood.
Statistical Modelling and Inference Using
Likelihood". Clarendon Press. Oxford 2001. En
página 36, señala que valores del parámetro con
verosimilitud normalizada mayores de 0.15
corresponden a intervalos al 95 . Y arriba de
0.04 a intervalos al 99. Royall R. Statistical
Evidence. A likelihood paradigm Chapman and Hall
1997. Propone 1/80.125, para intervalos de
verosimilitud semejantes a los de confianza al
95. Pero hay una justificación basada en el
enfoque comportamental. En un análisis último, la
adopción del principio de verosimilitud es un
asunto de preferencias o de juicio subjetivo.
21
Objetivo en la instancia.
2.- Extensión de modus tollens. Significancia
modus tollens
Extensión del modus tollens ante incertidumbre
22
1.- Una estadística de prueba T(.) que representa
de una manera plausible la discrepancia entre Ho
y las observaciones x. A mayor valor de T más
discrepancia. 2.- La distribución de TT(X) tiene
la misma forma para toda , y es conocida. De
manera que para un resultado en la instancia xo ,
T(xo)to. Entonces se determina Po PHo( T
to). Valor de P El evento T ta se toma como
el consecuente q en el modo extendido de modus
tollens . PHo( T to)1- a. Con a
pequeña ( 0.05 ó 0.01) El rechazo de Ho se
sugiere si Po es muy pequeño. No ocurre q, es
decir no Ho. Si se tiene to
ta. O mejor juzgar el valor de P
23
El rechazo de Ho se sugiere si Po es pequeño. to
es significativo si P0 es menor a 0.05 to es
muy significativo si P0 es menor a 0.01 Si Po no
es pequeño no hay razón para rechazar Ho o
aceptarla provisionalmente, Fisher dijo, sólo
queda entre la clase de hipótesis que son
sostenibles. Los valores de Po se pueden
interpretar como una manera racional y bien
definida de medir la oposición para aceptar la
hipótesis, mientras menor el valor mayor la
oposición. Como un grado de discrepancia entre
datos y Ho
24
No hay una teoría general para encontrar la T,
aunque en condiciones generales, por lo menos con
muestras grandes, se puede usar el criterio de
razón de verosimilitud.
25
Objetivo en la instancia.
3.- Inferencia fiducial.
Si se puede obtener una función ,
tal que para cualquier , su distribución es
la misma y conocida. Para cada x hay una ,
que es solución de A la función se
le llama función pivotal Fisher usó funciones
de estadisticas suficientes o suficientes
minimales. De lo anterior se deriva una
distribución de , condicional a xo, llamada
distribución fiducial. Esta se interpreta como
una credibilidad o como un tipo de probabilidad
subjetiva. Fisher el peso de la evidencia de las
observaciones.
26
Las tres formas de inferencia en la instancia no
tienen una posición filosófica central, como la
comportamental. Sin embargo, los varios modos de
razonamiento de la inferencia en una instancia,
parece que captan la esencia de la forma en que a
menudo realizamos inferencias inductivas en la
vida diaria (p.100)
27
3.- Objetivo pro-subjetivo. Bayesiano Se tiene
como punto de partida el modelo de probabilidad
de los observables Hay además la consideración
de que el parámetro es aleatorio y tiene una
función de probabilidad, o bien se expresa el
grado de incertidumbre sobre ese parámetro con
una función de probabilidad, llamada a priori o
inicial Entonces se usa el teorema de Bayes
para obtener la distribución final, o a
posteriori, actualizada del parametro
28
Teorema de Bayes
con
Caso discreto
Caso continuo