EDICIóN GENERAL
255 meneos
2977 clics
Grandes expertos en el uso de la estadística proclaman que 0,05 no es el filtro adecuado

Grandes expertos en el uso de la estadística proclaman que 0,05 no es el filtro adecuado

La ciencia padece una crisis de reproducibilidad: a los investigadores les preocupa cada vez más que la bibliografía académica esté plagada de resultados irreproducibles. Muchos científicos temen que el umbral del 0,05 ha hecho que se publiquen muchos falsos positivos. Uno de los estadísticos muestrales más utilizados, el llamado valor p, debería estar sometido a criterios más estrictos, dicen los investigadores.

| etiquetas: estadística , valor p , umbral del 0 , 05 , p-hacking
123 132 5 K 312 cultura
123 132 5 K 312 cultura
Pero es que el valor P tampoco es el santo grial. Sin ir más lejos el otro día con una prueba paired t test en dos series de tiempo tenía un valor de 0,0000 bla bla bla, es decir, muy bajo, y yo sé que la muestra es una mierda como un piano, y eso que son como +100k registros. Muy bien por la recomendación pero el p-hacking no sucede porque sí. Sucede que hay unos incentivos que conduce a cierta gente a hacerlo.
#1 Es la obsesión de cualquier revista/revisor, tienen que haber p-valores. Recuerdo que una vez un estadístico que trabajaba en investigación decía que en una major revision (hecha por un revisor que no era estadístico) le exigieron que hiciera ciertos contrastes de hipótesis porque querían ver los p-valores y el aseguraba que no tenía ningún tipo de sentido lo que le pedían.

Por cierto, en tu caso se debe al número de registros.
El p-valor es lo que es, un límite académico orientativo que no es la panacea para la interpretación de los resultados. Que el resultado de un contraste de hipótesis nos dé un 0,051 no quiere decir que no se pueda rechazar la hipótesis nula ni al contrario, un resultado del 0,049 no tiene porque ser significativo. Depende del tamaño muestral, del procedimiento, de la prueba realizada (paramétrica o no), etc

Como medidor del riesgo que tomas al no rechazar o rechazar la hipótesis nula ya se suele recurrir al tamaño del efecto. Dentro del mundo académico no creo que haya nadie actualmente que no lo pida como complemento al p-valor del contraste.
#2 No sólo eso: hay que recordar que los valores
0,01
0,05
0,10
son valores que se usan tradicionalmente de la época en que no existían ni calculadoras estadísticas ni ordenadores, lo cual tenía como consecuencia que usar estos valores simplificaba la consulta práctica de tablas, pues al ser los valores usados por todo el mundo las tablas correspondientes eran fáciles de conseguir. En cambio, si querías usar otro valor podías hacerlo si podías conseguir o calcular las tablas correspondientes y que los demás te aceptasen valores poco normales (:troll:). Actualmente podrías usar practicamente cualquier valor y con un par de clicks puedes conseguir el valor p, incluso usando una hoja de cálculo.
#4 No creo que tenga nada que ver con la computación, por ejemplo, un seis sigma no es útil para una encuesta robótica aleatorizada para la intención de voto sobre una muestra de 1000 personas (lo que llaman pomposamente barómetro de opinión) y, sin embargo, está muy bien para hallar algo absolutamente inesperado (bosón de Higgs). El problema radica en que muchos investigadores prefieren obviar las limitaciones de un contraste para obtener resultados. Me explico:

Como sabemos, el contraste…   » ver todo el comentario
Al final lo importante más que el p-valor o cualquier otra cosa es saber interpretar la estadística. Los números por si solos pueden hacernos creer algo equivocado.
La final, lo más importante es un buen muestreo. Y eso cuesta dinero...
#3 Así es, hace poco salió en portada el Datasaurus que ilustraba eso a la perfección ;)
Relacionado:  media
Desde hace tiempo se toman como válidas las gráficas y su interpretación en vez de p-valores. Pero sí, el 0,05 es por tradición y no por otro motivo.
De todas formas teniendo un tamaño de la muestra adecuado, el 0,05 puede ser también adecuado. Todo depende de los datos que se tengan.
En estadística multivariante se siguen usando p-valores, pero no siempre son necesarios para tomar una decisión o comprar grupos. Depende de la técnica, la naturaleza de los datos y lo que se desee hacer con ellos.
#7 Cómo las graficas¿ No te entiendo.
#9 existe un artículo muy divertido que tiene por título: " un gráfico vale más que mil valores p" aunque lamentablemente no lo encuentro desde el móvil. Luego está la réplica: " ¿A cuántos baños p equivale exactamente un gráfico?" Y así se crea un rico debate.
Aunque para lo que nos atañe, si tienes curiosidad por el tema te recomiendo cualquier artículo que tenga como referencia "biplot". Aunque la familia de técnicas es muy extensa, podrás encontrar cómo un…   » ver todo el comentario
#36 sí, esa es la réplica, gracias. El artículo es de 1993, este debate como mínimo viene desde entonces.
@fantomax a lo mejor te interesa que yo no me he enterado
#8, te lo resumo yo, la mayoría de los que hacemos matemáticas solemos decir que la estadística no son matemáticas de verdad, por eso en mi facultad había dos departamentos, "Departamento de Matemáticas" y el "Departamento de Estadística e Investigación Operativa", que por algo será, digo yo.

Na, a pesar de que no me guste, la estadística es muy útil. Aquí lo que dice es que el p-valor que se toma para los contrastes de hipótesis, 0.05 (sobre 1) es demasiado grande. Vamos, que haya un 5% de posibilidades de conseguir un falso positivo es mucho, que digamos que uno de cada 20 casos positivos será erróneo. Disminuir el valor de p implica aumentar el tamaño de la muestra y por tanto los costes.
#12 "te lo resumo yo, la mayoría de los que hacemos matemáticas solemos decir que la estadística no son matemáticas de verdad, por eso en mi facultad había dos departamentos, "Departamento de Matemáticas" y el "Departamento de Estadística e Investigación Operativa", que por algo será, digo yo."

Sin ánimo de ofender, ese párrafo al completo es un desvarío. En mi facultad también había un departamento de estadística e I.O....y aparte uno de análisis…   » ver todo el comentario
#16, para empezar queda claro que es una broma. Pero sí seguimos con ello, si no hay un departamento de Matemáticas es porque está troceado e distintos departamentos, así que no sé podría deducir que el álgebra no forma parte de las matemáticas. Pero en mi universidad era así (ahora está distinto), había un departamento que se llamaba tal cual de matemáticas. Así que ahí está lo raro, que haya un departamento de matemáticas y otro aparte de estadística y tal, perteneciendo ambos a la misma facultad.
#18 En ese caso, disculpa por no saber ver que fuera una broma :hug: Con respecto al tema de los departamentos, supongo que la especialización dependerá del tipo de facultad -no será igual una facultad de ciencias que una de empresariales, por ejemplo-
#19, era la facultad de Matemáticas :-P
#12 Yo soy más de estadística bayesiana. De hecho venía hablando de ello en el viaje en coche hace un rato corto.
#8 Gracias, siempre atento.
¿Quieres que te demuestre algo? dame una sería suficientemente grande de datos, que ya te elegiré la muestra
#10 Totalmente, una vez me dio por jugar un poco con la muestra, y es increible lo rapido que pude colocarlo en p<0.05, no tenia ningún incentivo en ello, pero si mi trabajo dependiese de aquel resultado, seria muy tentador dar gato por liebre.
Me cago en la p....!!

No me fastidies que despues de todo lo que sufri para sacarme estadistica en la carrera con sus hipotesis, rangos de confianza, p-valor, regresiones lineales, xi cuadrado, Levine y su madre ... y resulta que no vale??
#13 Sí vale; simplemente cambias el valor de p al comprobar la hipótesis.
yo el mayor problema que me encontraba en mi campo para reproducir experimentos es que los algoritmos tenian heuristicas y parametros de tuning que nadie explicaba en los articulos y que o estaban bien ajustados o funcionaban como el culo
Hola, ¿es aquí donde los listos?
#15 Es aquí donde los que van de listos, porque luego cuando sale un artículo donde hay que aplicar estos conocimientos y ser crítico no sale casi ninguno de estos listos.
He tenido que ver un video para entender la noticia. Mi poder de cuñadismo ha aumentado 10 puntos.
www.youtube.com/watch?v=SWl-9FzWaLY
Es que lo importante no es solo el p-value* si no de qué problema concreto estamos hablando. (*p-value = si ambos valores perteneciesen a la misma distribución de datos cuál es la probabilidad de que apareciese una diferencia entre ellos igual o mayor a la mostrada. Si la probabilidad es muy pequeña lo razonable es asumir que vienen de distribuciones distintas y por tanto esos promedios o porcentajes 'no son iguales')

Por ejemplo, con una muestra muy grande (pongamos 100.000 personas…   » ver todo el comentario
#23 Ese es un ejemplo de "clínicamente significativo"
Ciencias biomedicas: farmaceuticas.
Ciencias Sociales: neoliberales.

Curioso que sean los papers menos fiables.

Yo acuso, a los responsables de la mayor perversion de publicaciones.

La mentira necesita a una autoridad que se pueda comprar. La estadistica es una herramienta cojonuda para ello. A la denuncia de esta gente me remito.
#24 pues nada, que te vaya bien con el trueque y la homeopatía
#25 La homeopatia la fomenta una farmaceutica privada.

Hay vida mas alla del neoliberalismo. Los neoliberales no inventaron el dinero, ni la tecnologia, ni la justicia, ni la libertad, ni la cultura... su contribucion ha sido diseñar un sistema en el que todas esas cosas colaboren para jodernos a todos vivos.
También puede ser que ahora se esté cargando contra el valor 'p' como origen principal de la irreproducibilidad de muchos estudios científicos cuando en realidad lo que hay es una mala praxis con datos retocados, filtrados o directamente inventados para conseguir p-values significativos.

Por otro lado:

(1) si no hay diferencias reales entre los datos sabemos que en 1 de cada 20 veces (p=0.05) aparecerán diferencias estadísticas que no lo son

(2) si en la práctica se publican

…   » ver todo el comentario
Su opinion no es significativa.
@#*! Ahora que acabo de aprobar estadística!
Interesante charla sobre el impacto crítico en medicina de la no publicación de resultados negativos (con p-values no significativos).

www.ted.com/talks/ben_goldacre_what_doctors_don_t_know_about_the_drugs

menéame