La ciencia está en crisis, repiten unos y otros. Seguro que has escuchado que hay una terrible crisis de reproducibilidad de los resultados de investigación; y, además, que la corrupción y el fraude en ciencia están creciendo de forma desaforada. Sin embargo, los estudios bibliométricos y cienciométricos desmienten esta leyenda urbana. En el último número de PNAS se han publicado doce artículos que discuten estas cuestiones. Sus resultados dejan claro que la ciencia no está en crisis, solo ha crecido mucho y es más transparente gracias a la web
Comentarios
Habrá que esperar que alguien reproduzca y verifique los resultados de esos estudios bibliométricos y cienciométricos que supuestamente desmienten la supuesta leyenda urbana.
Mi experiencia sobre el tema me dice que es efectivamente difícil reproducir los resultados de un estudio a partir del artículo, que se supone debiera describir en detalle los pasos a seguir, de forma que otro investigador pueda repetir el experimento con los mismos resultados.
Anécdota 1, universidad española. Observando a un profesor que estaba preparando una muestra siguiendo supuestamente un protocolo veo que hace algo raro y pregunto por qué. Respuesta: mejora las propiedades mecánicas, no lo incluimos en el artículo porque no podemos patentarlo pero nos da una ventaja frente al resto de grupos.
Anécdota 2, instituto de investigación holandés. Encuentro un paper de un profesor muy reputado de una uni americana, veo que tiene potencial y decido iniciar un proyecto para expandir la idea de ese señor. Empiezo replicando lo expuesto en el paper, y para ello compro exactamente los mismos reactivos, y procedo de un modo muy similar.
Resultado: obtengo un material diferente del que ellos obtuvieron. ¿Se equivocaron ellos, me equivoco yo?
#3 y no contactaste con ellos para que te dijeran cómo habían hecho para que saliese ese compuesto?
#4 Por mi experiencia no contestan o te dan largas hasta que te dan acceso a sus datos, los cuales no están anotados no son crudos, ya están medio analizados y no hay forma de saber qué se les ha hecho. La excusa final suele ser que el PhD que hizo ese experimento ya no está en el grupo, y a correr.
En un artículo, por su formalidad, es difícil, por no decir imposible poner un algoritmo largo y complejo. Mucho menos es poner su implementación en algún lenguaje de programación. ¿Qué hacer? ¿Poner el código en GitHub y un enlace desde el artículo? ¿Cualquier lenguaje vale? ¿Qué licencia se le pone a ese algoritmo?
#12 no va e eso. Muchos de esos estudios no los pueden reproducir ni sus propios autores. Es más sencillo, son una chapuza. Básicamente por falta de pasta. O tienen resultados falsos para conseguir más dinero. Mira el vídeo que he puesto, el tío explica un monton de cosas con datos.
Si el problema es la reproducibilidad, el número de retractos o fraudes no demuestra nada. Aquí hay un fallo lógico bastante gordo.
157 revistas científicas quedan en evidencia tras aceptar un artículo falso sobre la cura del cáncer [EN]
157 revistas científicas quedan en evidencia tras aceptar un artículo falso sobre la cura del cáncer [EN]
157 revistas científicas quedan en evidencia tras ...
news.nationalgeographic.com#2 Eso es otro tema distinto. Hace referencia a revistas de calidad totalmente dudosa que de hecho incluso dudo que esten indexadas en su gran mayoria, y que por lo tanto en realidad para otros estudios científicos no suelen ser tomados en cuenta. Eso que resaltas es una denuncia contra esas revistas que únicamente funcionan por el dinero.
#2 a ver, no lo estas entendiendo. Nadie dice que no haya farsantes en la ciencia y no nos podamos fiar de nada, lo que entiendi del articulo es que siempre ha estado lleno de farsantes y nunca nos podiamos fiar,pero antes no lo sabiamos
Ver Ciencias Sociales...
Básicamente el 50% o hasta el 70% en medicina de los estudios científicos son erroneos o directamente falsos. Principalmente por dos causas a) son una chapuza (por falta de dinero básicamente) b) son directamente mentira, para conseguir más dinero. El problema es que nadie se preocupa en decir que eso es erróneo o falso y si lo dice no le hacen caso. Esos estudios, la mayoría de estudios científicos, siguen teniendo un montón de citas y se siguen usando aunque alguien haya dicho que eso estaba mal.
Este tío explica el tema:
https://www.google.es/url?sa=t&source=web&rct=j&url=https://m.youtube.com/watch%3Fv%3DLUgAAziZO8Q&ved=0ahUKEwjw0KebufbZAhUGECwKHd7HDzYQwqsBCB8wAA&usg=AOvVaw01g0xLTD_IOubF0Knub-lu
Tasas de NO reproducibilidad de los estudios científicos:
chemistry: 90% (60%),
biology: 80% (60%),
physics and engineering: 70% (50%),
medicine: 70% (60%)
Mas info en el link de la conferencia en Google que pongo más arriba. El tio lo explica bien .
#7 El tío que pongo arriba ha escrito un libro sobre el tema centrado en la investigación médica. Se llama "rigor mortis"
"A rewarding read for anyone who wants to know the unvarnished truth about how science really gets done."
--Financial Times
American taxpayers spend $30 billion annually funding biomedical research, but over half of these studies can't be replicated due to poor experimental design, improper methods, and sloppy statistics. Bad science doesn't just hold back medical progress, it can sign the equivalent of a death sentence for terminal patients.
"Rigor Mortis effectively illustrates what can happen when a convergence of social, cultural, and scientific forces . . . conspires to create a real crisis of confidence in the research process."
--Science
#7 este tema también se comento bastante, el mismo autor el gran divulgador francis villatoro lo expone aquí de una manera mas científica y menos titular mediático:
http://francis.naukas.com/2015/05/29/atencion-pregunta-que-pruebas-hay-de-que-la-mitad-de-la-literatura-cientifica-podria-ser-falsa/
"En resumen, no hay pruebas firmes de que la mayoría de los resultados científicos publicados sean falsos, no sean reproducibles, hayan sido aceptados con una revisión por pares liviana, o sean el resultado de un fraude intencionado de los propios autores. Por supuesto, todo el mundo “vende” su artículo destacando las grandes virtudes de sus resultados, que no siempre son tan grandes, pero ello no implica la ausencia de virtudes o la presencia de defectos"
Igual deberían añadir en las webs que publican los estudios las citas al estudio y si se han reproducido los resultados y cuantas veses, linkando los experimentos. Esto ayudaría a diferenciar entre estudios más fiables y menos fiables.