Hace 1 año | Por clavícula a xataka.com
Publicado hace 1 año por clavícula a xataka.com

Los investigadores no están exentos de ciertos usos y costumbres sin mucho más trasfondo que el histórico. Este es el caso de un clásico, el nivel de significatividad del 95%. El 95 no es un número mágico que convierte una medida en correcta o no. Entonces, ¿por qué investigadores de todo el mundo las utilizan como si fueran la frontera de la verdad? La respuesta parece ser que por costumbre. Una costumbre con cien años de antigüedad, su origen: una disputa por derechos de autor.

Comentarios

Gilbebo

#2 *hay una ciudad

guaperas

#2 el valor p sirve si tienes dos muestras distintas y haces la misma hipótesis estadística a las dos.

Si te sale un valor p de 0,05 significa que hay un 95% de probabilidad de que la misma hipótesis no funcione para las dos muestras. Ojo no quiere para nada decir que la hipótesis sea verdadera para una y para la otra falsa o para las dos falsas o para las dos verdaderas, o que sea una buenas o mala hipótesis.. simplemente te dice estadísticamente que no te vale la misma hipótesis estadística para las dos muestras. (valga la redundancia)

Por ejemplo si a un grupo le mides insulina vs ingesta de azúcar en ayunas y al otro le das de comer fibra una hora antes del mismo experimento. Comparas y si te sale valor p de 0,02 puedes decir existe una probabilidad del 98% de que la misma hipótesis no te sirva para los dos grupos.

Ojo que eso no significa ni que tus hipótesis esta bien ni que la causa de esos resultados sea realmente por comer la fibra o porque el segundo grupo ha visto un unicornio o cualquier otra cosa o que te hayas equivocado tomando datos o simplente mala suerte. Solo dice que hay un 98% de probabilidad estadística de que la misma hipótesis no te sirva para describir estadísticamente los dos grupos.

En realidad está muy limitado, a veces se sobredimensiona mucho el valor p para sacar conclusiones, al igual que se sobrevalora mucho la correlación para establecer una causalidad.

Gilbebo

#5 La hipótesis estadística que haces, por defecto, es que ambas muestras provienen de una distribución de igual promedio. Es decir que la diferencia esperada de sus medias es nula (ídem si fuesen proporciones).

Si hay tal diferencia (de nivel de insulina) que el p value es 0.02 entonces te está diciendo que SI su diferencia real fuese 0 solo hay un 2% de probabilidades de que te salgan 2 valores tan distintos con lo que te invita a considerar que son seguramente valores de insulina diferentes en la realidad (por el motivo que sea).

guaperas

#9 es otra interpretación, por otra parte el valor p es un parámetro estadístico pero no tiene porque siempre provenir de una distribución donde se pruebe la diferencia entre sus medias o promedio, ese caso es el de por ejemplo una prueba de tipo t de Student que sí se aplica cuando la distribución que sigue la muestra es una distribución normal. Pero existen otros tipos de pruebas como ji cuadrado que son útiles cuando a priori no sabes que tipo de distribución tienes (ni te interesa realmente), por eso se suelen llamar pruebas de independencia, porque te permite estimar estadísticamente si dos distribuciones que en principio serían indiferentes tienen algún tipo de similitud. En este caso tu hipótesis sería que ambas en principio serían sin relación aparente.

Este segundo tipo de pruebas, que también devuelve un valor p puede ser muy útil con variables nominales (por extensión no numéricas) por ejemplo como podría ser si existe alguna relación entre una muestra donde se pregunta el color favorito y la fruta que más te gusta

(se suelen usar por ejemplo mucho en encuestas de tipo test con opción a,b,c,d. o en encuestas de satisfacción donde la distribución normal no se sigue pero aun así quieres sacar conclusiones.

a

#2 #5 Seguramente lo sepáis, pero no siempre se puede hablar de estadística por aquí cry. Me voló la cabeza que, en caso de ser cierta la hipótesis nula (H0), el p-value es uniformemente distribuido entre 0 y 1. Es decir, si H0 es cierta... es igualmente probable que te salga 0.01 que 0.887. Claro está, que justo te caiga en ese p < 0.05.... ya sería mala suerte, precisamente esa mala suerte es la interpretación de la probabilidad de cometer el falso rechazo de H0.

Lo que me queda claro con todo esto es la importancia de replicar experimentos.

guaperas

#10 pero es que rechazar la hipótesis nula también es una interpretación estadística. La pregunta es, ¿como sabemos si es cierta la hipótesis nula? En realidad no lo sabemos por eso en una distribución uniforme nos fiamos de la estadística.

Pero es que en el caso de que lo supiéramos, no tendría absolutamente ningún sentido hacer una prueba estadística, porque ya sabemos lo que hay.

De hecho se rechaza la hipótesis nula porque consideramos poco probable que siendo cierta la hipótesis nula caiga dentro de ese rango.

La cosa es que si conocemos la población y la distribución al 100% con todas sus variables no sería necesario hacer estadística inferencial, todo esto se hace por porque no sabemos qué es la realidad. Por lo tanto nos fiamos de probabilidad, a pesar de no saber si es verdad o no....

Es como la famoso comic, si siempre que miras te dice "nine" "nine" al final haces la inferencia de que no es aleatorio, pero quien sabe.... (de ahí la última viñeta)

distinto sería que supieras que ese generador de números aleatorio es un troll que siempre dice "nine" "nine", entonces no hay que hacer inferencias conoces a la población y la realidad.

a

#15 "pero es que rechazar la hipótesis nula también es una interpretación estadística. La pregunta es, ¿como sabemos si es cierta la hipótesis nula?"

A ciencia cierta 100% nunca... no sé cuándo he dado a entender lo contrario. Ahora bien, si replicamos un experimento hasta la extenuación, y vemos que la distribución del valor de p es uniforme... es un buen indicio. Cuando hablo de la distribución, me refiero a la distribución de p, no de la variable objeto de estudio.

De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0.

guaperas

#21 si, si lo decía porque esa era la autentica pregunta que queremos hacernos

De hecho, intuyo que incluso haciendo lo de replicar el experimento para obtener la distribución del valor de p... habría que poner otro umbral para decidir con cuánta uniformidad se acepta H0

Así es, pero eso no es algo propio a la estadística. Es la propia ciencia en si misma, en sus propios fundamentos, la que es así.

Por ejemplo no se dice que (a) la relatividad de Einstein sea verdad. Lo que se dice desde la ciencia es que (b) con todos los datos y experimentos que tenemos no hemos podido demostrar que la teoría de la relatividad sea falsa. Son cosas distintas,

Es al igual que cuando en un juicio tienes indicios de que alguien es culpable pero no encuentras ninguna evidencia para inculparle, entonces el juez le declara "no culpable" (simplificación de no hemos podido encontrar pruebas para inculparlo). Declarar a alguien "no-culpable" no es lo mismo que declararlo "inocente".

En estadística se usa algo parecido, la hipótesis alternativa es la pretendemos demostrar, por eso decimos "no hemos podido rechazar la hipótesis nula", pero del mismo modo rechazar la hipótesis nula tampoco significa que la hipótesis alternativa sea verdad, simplemente que permite seguir investigando en esa línea. Lo cual como dices, requiere seguir replicando.

oLiMoN63

#2 Creo que la explicación del valor de probabilidad (p value) del artículo deja margen de mejora
Muy de acuerdo.

Maddoctor

#1 Qué recuerdos de tesis ais...

antares_567

#1 bueno. Es que te estas quedando en la p.
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas. Es decir un resultado puede ser estadísticas enteras significativo pero el medicamento nuevo sólo salva a 1 paciente. Con lo que las diferencias clínicas son escasas.
En los estudios vacunales falla la interpretación de la estadística no porque no se conociese que es el p valor, sino porque no se entendieron los resultados que se estaban exponiendo (porque esos resultados no se exponen para el público general)

oLiMoN63

#8 bueno. Es que te estas quedando en la p.
En medicina los estudios se deben mirar por sus diferencias estadísticas y clínicas.

En todas las disciplinas, no sólo en medicina, se debe informar de las significación estadística (valor p) y del tamaño del efecto (valor d, o similar)

antares_567

#12 ne imagino. Yo hablo de mi libro, que es lo que se

oLiMoN63

#1 Le expliqué que la frontera del p=0.05 no tenía sentido biológico, sino que se usaba por motivos históricos, que no era un muro infranqueable y que la interpretación final del resultado dependía del contexto del proyecto.
También pudiste haberle explicado (o recordado) el concepto de error de tipo I y tipo II.

Gilbebo

#16 Este lo explico en clase

espinor

#16 Y hay hasta una página de la Wikipedia dedicada a los malos usos del p-value:

https://en.wikipedia.org/wiki/Misuse_of_p-values

Verbenero

Hace cosa de un año alguien escribió una carta a Nature hablando de la tiranía del 0.95 y de que había que liberarse y ver el Contexto de cada análisis... Al pobre casi se lo comen vivo lol lol
El 0.95 o similares (0.01, 0.001) vivirán para siempre porque los que cortan el bacalao en ciencia es lo que conocen y lo que usaron para llegar a donde están.

M

Mira que me costaba entender lo de los contrastes de hipótesis en un primer momento, luego es una chorrada.

m

Como no puede ser de otra manera, el p valor está explicado mal, cayendo en una tipiquísima confusión que parece que solo morirá cuando muera el p valor.

El p valor no dice nada sobre la probabilidad del valor real del parámetro; para eso tiene que hacer una aproximación bayesiana. El p valor habla sobre la probabilidad de los datos observados; en el ejemplo, donde hay una medida positiva pero el valor real podría ser cero, el p valor es la probabilidad de encontrar esa medida positiva o más extrema, suponiendo que el valor real es efectivamente cero. O lo que es lo mismo, la probabilidad de que hayamos cometido un error de tipo I o falso positivo.

Invariablemente se explica mal este concepto tan, tan, simple, porque la gente tiene la absurda creencia de que la estadística es una ciencia intuitiva. Y lo intuitivo es hablar sobre las probabilidades de los parámetros, no de los datos. Pero la realidad es que lo que se conoce como estadística es la aproximación frecuentista, que no es más que una amalgama de simplificaciones y transformaciones sin hilo conductor alguno, que si bien son técnicamente correctas, parten de una errónea obsesión por no necesitar conocimiento a priori (antes de observar los datos). Y aquí son terriblemente incoherente, casi hipócritas, porque cambian conocimiento a priori explícito como haría una aproximación bayesiana, por una serie de suposiciones implícitas que no dejan de ser un modelo a priori.

m

#18 La buena noticia es que los p valores se están abandonando en las publicaciones científicas. La mala es que se están sustituyendo por intervalos de confianza, que como no puede ser de otra manera se interpretan mal por los mismo motivos que se hacía con los p valores: que la estadística frecuentista es inherentemente una técnica contraintuitiva.

D

#19 Podrías desarroyarlo o dar algun link para leerlo, porque es erroneo no tener conocimiento a priori? Quiero decir, qué pasa si no lo tienes?

m

#24 es erroneo obcecarse en no necesitar conocimiento a priori, que es el motivo por el que se desarrolló la aproximación frecuentista hace 100 años. Y esto fue porque se entendia que asumir un modelo a priori era introducir un elemento subjetivo, mientras que la ciencia tiene que ser objetiva. Y para evitar esto se desarrollaron una serie de técnicas para decir cosas sobre un parámetro desconocido sin decir cosas sobre un parámetro desconocido. Porque la aproximación frecuentista en general solo habla de la probabilidad de los datos, no de los parámetros. Y cuando habla de los parámetros tiene que pasar por Bayes necesariamente, solo que lo hace a escondidas, escondiendo el modelo a priori que es necesario según la formula de bayes para convertir una probabilidad de los datos en una probabilidad de los parametros.

Se han criticado hasta el hartazgo estos métodos, pero las criticas suelen ser las mismas y se dividen en dos: una que la aproximación frecuentista no es una aproximación matemática sino técnica al problema, en el sentido de que proporciona una serie de herramientas inconexas que en el mejor de los casos se aproximan bastante a lo que diría una solución rigurosa: https://www.countbayesie.com/blog/2021/4/27/technically-wrong-when-bayesian-and-frequentist-methods-differ

Y la otra critica, es que estas herramientas con mucha frecuencia son mal usadas y mal interpretadas, propagando "mentiras" científicas, que nos han llevado por ejemplo al problema actual de replicabilidad en estudios sociales, o a que disciplinas enteras rechacen la publicación de p-values: https://en.wikipedia.org/wiki/Misuse_of_p-values