Un p-valor chico suele leerse como señal de que «hay algo». Este laboratorio parte del caso opuesto: no hay nada. Todos los estudios simulados comparan dos grupos que salen de la misma población. Aun así, algunos dan . El experimento muestra cuántos lo hacen y cuánto crece esa cifra cuando el análisis se adapta a los datos.
Qué calcula cada estudio
Cada estudio toma sujetos por grupo, todos con distribución , y aplica una prueba de dos muestras con varianza combinada:
El p-valor es la probabilidad de observar una diferencia al menos tan extrema como la obtenida si la hipótesis nula y el resto del modelo fueran ciertos. Es una afirmación sobre los datos, condicional a una hipótesis. No es una afirmación sobre la hipótesis.
Cada estudio compara dos grupos extraídos de la misma distribución normal. Cualquier «hallazgo» es, por construcción, un falso positivo.
p < 0,05p ≥ 0,05Altura si p fuera uniforme
- Estudios con p < 0,05
- —
- Tasa simulada ± 2 EE
- —
- Tasa teórica
- —
- Semilla
- —
Modo p-hacking: probar m variables, reportar la mejor
Simulada, la mejor de m1 − 0,95m (variables independientes)Simulada, Bonferroni
El histograma muestra el p-valor que reporta cada estudio: el menor de sus m tests o, con Bonferroni, ese valor multiplicado por m (con tope en 1). Cambiar m o la corrección reutiliza los mismos sujetos simulados. Los controles de n y ρ vuelven a simular al soltarlos.
Primeros 50 estudios
| Estudio | Mejor variable | Menor p | p reportado |
|---|
Uniforme bajo la nula
Cuando la hipótesis nula es verdadera y la prueba es exacta, el p-valor tiene distribución uniforme entre 0 y 1:
Por eso el histograma es plano y alrededor del 5 % de los estudios cae en la primera barra. Ese 5 % es la tasa de error tipo I que se acepta al fijar . No indica un defecto de la prueba. Con finito el histograma oscila: el margen EE indica cuánto puede alejarse la proporción simulada del 5 % por puro azar de la simulación.
Probar hasta que salga
Ahora cada estudio mide variables de resultado, prueba todas y reporta la de menor p-valor. Si las pruebas fueran independientes, la probabilidad de que al menos una cruce el umbral sería
Con da 22,6 %; con , 64,2 %. Nadie mintió en ninguna cuenta: cada prueba, por separado, es correcta. El problema es reportar solo la ganadora como si fuera la única que se miró.
El control de correlación hace que las variables se parezcan entre sí. Cuanto más se superponen, menos oportunidades independientes hay y menor es la inflación. Pero no desaparece salvo que las variables sean prácticamente la misma.
La corrección de Bonferroni compara cada prueba con . Por la desigualdad de Boole,
sin importar la dependencia entre variables. El precio es la potencia: un efecto real necesita ser más grande, o la muestra más numerosa, para superar un umbral más exigente. Cuando las variables están muy correlacionadas, Bonferroni se vuelve conservadora: con la tasa simulada queda cerca del 1 %.
Advertencia. no significa que la hipótesis tenga un 95 % de probabilidad de ser cierta, ni que el resultado tenga un 5 % de probabilidad de deberse al azar. La declaración de la American Statistical Association lo dice de forma explícita: los p-valores no miden la probabilidad de que la hipótesis estudiada sea verdadera. Tampoco miden el tamaño de un efecto ni su importancia. Para hablar de la probabilidad de una hipótesis hace falta otro marco, que incluya cuán plausible era antes de mirar los datos.
Qué es ilustrativo y qué no. Los datos son simulados: normales, con varianzas iguales y variables de resultado igualmente correlacionadas. Las tasas de falsos positivos que se ven aquí son exactas para ese modelo, no estimaciones de ninguna disciplina real. La flexibilidad de un análisis real es más variada que elegir entre variables: incluye agregar observaciones hasta que el resultado sale, sumar o quitar covariables, excluir casos o redefinir grupos. Simmons, Nelson y Simonsohn mostraron con simulaciones que combinar esas decisiones puede elevar mucho la tasa de falsos positivos. Su propuesta central no es una corrección estadística sino transparencia: informar todas las variables medidas, todas las condiciones y cómo se decidió el tamaño de la muestra.
Referencias: Wasserstein y Lazar (2016), «The ASA Statement on p-Values: Context, Process, and Purpose», The American Statistician 70(2) y Simmons, Nelson y Simonsohn (2011), «False-Positive Psychology», Psychological Science 22(11).