Hace 8 años | Por Piperoman a enchufa2.es
Publicado hace 8 años por Piperoman a enchufa2.es

La versión corta es porque el sistema de valoración de la actividad científica lo desincentiva, al igual que desincentiva otras cosas deseables en las que no voy a entrar en este artículo. Pero para entender el porqué, hay que entender primero cómo funciona este sistema que hemos erigido, uno de los demonios de la ciencia moderna...

Comentarios

m

#1: Tal vez sea ese el problema, que a lo mejor habría que plantearse nuevas revistas de ciencia.

Varlak_

#8 no nuevas revistas, sino un sistema diferente

E

#1 #4 #7 #3 #37 #26

En matematicas/ciencias de la computacion si que se publican los resultados negativos (la no existencia de solucion, la no pertenencia a una clase de complejidad, la imposibilidad de aplicar el teorema X a Y, ...), que no los fallos (no consegui demostrar X de la forma Y). Aunque algunos muy importantes terminan publicados de forma accidental (cuando otra persona encuentra un error en tu prueba).

Pero en este caso es porque los resultados negativos, son indudablemente correctos (tienen una prueba matematica). Mientras que en muchas otras ramas de la ciencia lo unico se se puede probar con alta certeza (nunca absoluta como en matematicas) son los resultados positivos, ya que los negativos no se suele poder descartar que se deban a errores (de concepto, metodologicos, materiales,...).

Tambien hay unos pocos campos en los que se publican los errores, como en Medicina, porque los experimentos son muy largos y costosos (ademas de involucrar vidas humanas), y tienen metodologias muy estrictas.



Pero en general, viene bastante bien que no esten publicados, ya que cualquier problema abierto que investigues, seguramente alguien lo haya intentado con anterioridad de la misma forma que tu lo estas haciendo y haya fallado... si tienes esa publicacion tendrias un bias negativo a no intentarlo (si los autores X, Y y Z no pudieron, porque voy a poder yo).

Mientras que si no conoces los errores anteriores, muchos cientificos empezaran con la misma idea, y se toparan con la misma piedra (y si puede que muchos abandonen en ese punto tambien)... pero en algun momento llegara alguno que sea capaz de sortear la dificultad. El recorrer el camino por ti mismo es normalmente lo que te da la idea feliz cuando te atascas.

La mayoria de las veces los problemas no se solucionan con un metodo totalmente nuevo, sino con un metodo ligeramente diferente. Y el publicar los errores ayuda a lo primero (metodos nuevos), pero desincentiva lo segundo (metodos ligeramente diferentes). Con lo que no tengo yo tan claro que ayudara a reducir los costos o a mejorar la velocidad en los resultados del I+D.

Varlak_

#41 no estoy de acuerdo con tu comentario. si yo fallo y puedo publicar mi error con mi metodologia, si tu quieres intentar lo mismo puedes variar mi experimeento o hacerlo iggual si crees que hice algo mal. si ni sabes en que piedra me tropecé yo es muy probable que tropieces en la misma

p

#41 Los resultados que tú describes como "negativos" son resultados positivos en realidad, porque descubren algo. El "negativo" en este caso está funcionando a otro nivel lingüístico. Así que en el fondo pasa lo mismo que en el resto de disciplinas.

El problema reside en los resultados nulos.

Este es otro ejemplo de que no se deben hacer sistemas de evaluación únicamente atendiendo a criterios numéricos, debe haber un elemento de calidad subjetiva que pueda explicar (con palabras) la relevancia de lo que se hizo.

Arariel

#1 En Mala farma, de Ben Goldacre, autor del libro de éxito Mala ciencia, el autor nos explica cómo las compañías farmacéuticas engañan a los médicos y perjudican a los pacientes.

Al-Khwarizmi

#21 Es que la forma honrada de hacerlo sería que el investigador, cuando pide el proyecto y el ministerio (o la entidad que sea) le requiere que haga un cronograma detallado con todas las cosas que va a hacer y los entregables que va a producir mes a mes, dijese: "no puedo hacer tal cosa porque esto es investigación, no es un proyecto rutinario, difícilmente puedo darles de antemano el mapa exacto de por dónde vamos a ir si vamos a explorar un territorio donde nadie ha estado antes".

Pero a quien dice esto, no se lo financian. Así que la gente se monta una película para contar en la solicitud, y luego tiene que hacer que la realidad coincida con la película. Y las formas más comunes de conseguirlo son las opciones 1 y 2 que mencionas.

Las excepciones se dan en convocatorias que están bien planteadas (por ejemplo las grants del ERC, donde la convocatoria reconoce que existe el riesgo y que muchas propuestas fracasarán, y por lo tanto no te pide que des un plan preconcebido sino más bien unas ideas de por dónde atacar, y planes B si todo se viene abajo) pero en España hay poco de eso.

c

#32

Un cronograma mensual es bastante absurdo, luego nos quejaríamos de pasar más rato haciendo informes que trabajando, y de invertir más dinero en evaluadores que en científicos.

Actualmente hay varios proyectos que pese a ser tri-anuales requieren un cronograma y un seguimiento anual. Si ven que la cosa no progresa pueden suspenderte la financiación. Al final de los tres años también debes presentar informe/publicaciones que te van a condicionar para futuras convocatorias.

Que según explicáis por aquí, parece que en los laboratorios nos dan sacos de billetes a fondo perdido.

Varlak_

#21 y digo yo, no se supoone que en ciencia los proyectos son replicables? si tu engañas con tu investigacion y yo repito el experimento, no se te cae el pelo?

c

#46

Si. Y si varios labs lo prueban y no pueden repetirlo se te retira el trabajo. Ha pasados de una vez.

Pásate por el "Journal Retraction Wach"

p

#21 De hecho lo lógico sería que la inmensa mayoría de los proyectos fracasen u obtengan resultados inesperados o poco relevantes.

Sin darse cuenta, les han colado la necesidad de hacer marketing en la investigación. Mala cosa.

c

#21

Yo llevo 15 años en el mundillo, he estado en 7 laboratorios distintos y nunca vi a nadie mentir ni falsear nada.

Lo que tu dices de proyectos que predicen lo que saldrá tampoco lo he vivido. En cada proyecto que se presenta hay unos resultados preliminares, así que ya se sabe por donde irán los tiros.
Si la cosa no sale como se tenía previsto, nada raro, siempre se pueden "salvar los muebles" desviando un poco la investigación, probando otras cosas, o encontrando un efecto menor o diferente al propuesto.

gustavocarra

#15 no me he expresado bien. Es correcto que la ausencia de prueba no es prueba de ausencia. Quería decir que si resulta que demuestras que la hipótesis nula ( la contraria) es imposible, entonces la tuya es la correcta.

m

#15: Añado esto: https://en.wikipedia.org/wiki/Muon_neutrino
Es lo que quería decir con neutrino de clase 2.

gustavocarra

#11 genial.

D

#5 O por que temen que les pisen la investigacion o las posibles patentes.
Y mas con financiacion privada.

m

#7: Entonces yo intento demostrar la inexistencia de Dios, y como no lo demuestro... ¡Me lo publican! #troll

gustavocarra

#9 Estas equivocado en cuanto a metodología. Si quieres demostrar la inexistencia de dios, para evitar el sesgo confirmativo deberías intentar demostrar su existencia. Y si no puedes, se debe aceptar la contrahipótesis. Yo ya lo he hecho

T

#7 Solo me lo publican si demuestro esa relación, si no la demuestro, no,...

Eso no es un resultado negativo. Un resultado negativo sería demostrar que no existe tal relación dentro del margen de error o la metodología utilizada (Eso es diferente a no demostrarla).

Un ejemplo clásico de resultado negativo importantísimo fue el experimento de Michelson-Morley:
https://es.wikipedia.org/wiki/Experimento_de_Michelson_y_Morley

Al-Khwarizmi

#5 El "patético egocentrismo" no tiene nada que ver, con lo que choca es con el sustento de esos investigadores, porque hay que hacer currículum para no acabar en la calle y ese currículum se hace publicando resultados positivos a mansalva y perdiendo el mínimo tiempo posible en otras cosas. #0 lo explica bastante bien y de forma sintética.

D

#28 Otro que no ha entendido...

D

#5 Ya, pero con la financiación hemos topado. Los proyectos con resultados negativos se mueren por falta de financiación. Ponte tú a publicar lo negativo de lo que has investigado y a la tercera no te financia ni Rita.

p

#5 También hay mucho de eso. En su día Unabomber lo decía en su manifiesto y aunque no se esté de acuerdo con él en sus puntos más radicales, en ese particular (la motivación interna de la gente que se dedica a tareas de alta cualificación) lo clava.

Antes la gente que investigaba lo hacía por que le gustaba en sí (y no había estudios reglados, sino que tenían que aprender por su cuenta).

Hoy la inmensa mayoría lo hace porque cree que con eso va a tener un prestigio o una posición social. De hecho no hay ninguna diferencia psicológica entre la mentalidad de un aspirante a futbolista estrella y un aspirante a investigador estrella si lo hacen por esos motivos (y por eso se ve tanto solicitante de buambulancia porque cree que la humanidad les debe la vida).

Cosa que va muy en detrimento de la investigación, uno de los motivos es este.

Es lo que tiene mercantilizarlo todo y poner a todo el mundo a competir.

z

Es un tema realmente preocupante. Si Michelson y Morley no hubiesen publicado su fracaso a la hora de medir el movimiento de la tierra en el eter, es muy probable que Einstein nunca hubiese abandonado la oficina de patentes. Y así con muchos otros casos en el que un resultado contrario al esperado derivó en grandes avances científicos.

Los burócratas mataron la ciencia.

cayojuliocesar

#29 la mataron mas de lo que crees. A mi me obligan a publicar. A investigar. Y NO ME GUSTA. Pero si no lo hago no tengo puntos para trabajar en lo que si me gusta. Eso concluye en que publicas gilipolleces redundantes que no aportan nada. Porque no te vas a poner a investigar algo profundo que ni te aports nada personalmemte ni es lo qur profesionalmente te sale mas rentable.

sangaroth

He descubierto mil formas diferentes de no hacer una bombilla". Autor: Thomas Alva Edison

Como indica el problema es el sistema de valoración, el nº de publicaciones, prestigio revistas,referencias,etc... como métricas de 'calidad del investigador' lo único que consiguen pervertir todo el sistema.
No se puede aplicar los indicadores que consideramos lógicos de un sistema competitivo (capitalismo) en el ámbito científico, porque simplemente se acaba yendo todo al carajo. Para avanzar como sociedad el conocimiento y descubrimientos han de alejarse de los supuestos competitivos...aunque cada vez avancemos en dirección contraria

Penrose

Yo he leído muchos papers donde el investigador va descartando cosas. No me parece algo raro de encontrarencontrar, aunque es cierto que no lo hace todo el mundo. Yo creo que es más un problema de cómo indexamos la información. Muchas veces encuentras que alguien hizo lo mismo que pretendes de casualidad, aunque hayas buscado, pero porque la info que es relevante para ti no está bien indexada por el motivo que sea.

D

"No se puede traspasar la velocidad de la luz".
A veces los resultados negativos son tan importantes o más que los positivos.

t

Cuando publicas un artículo lo acompaña la SI donde más o menos van estos detalles. Si un experimento fallido no se publica es porque es irrelevante o porque lo quieres retomar. Nadie esta un año haciendo algo para luego decir "no ha funcionando" y tirarlo todo a la basura.

ElSobrinodeMarx

Pues la idea es cojonuda.

Hay que publicar los caminos que no hay que seguir.

D

Yo lo veria logico, se aprende y mucho de los errores y mas gente al leer la publicacion puede encontrar el fallo y solucionarlo.

eltiofilo

Lo que el autor denomina "sistema de valoración de la actividad científica" es anti-ciencia y genera corrupción generalizada a mayor gloria de determinadas empresas.

D

#48 Salvando las distancias, es como el sistema de "meneos" y "karma", al final es el mismo grupito el que vota unos a otros, se pueden desarrollar afinidades, se desarrollan aversiones contra temas comunes, y complica que entren personas nuevas a esos grupos que no sean afines. lol

eltiofilo

#65 Hay que hacerse mainstream.

Findopan

A mí se me ocurre una explicación más sencilla, un descubrimiento positivo abre un camino, uno negativo lo cierra, parece bastante lógico que se tienda a dar más importancia a lo que puede desarrollarse.

Por otro lado, dejar algo para siempre en el olvido porque has obtenido un resultado negativo ¿es deseable? ¿y si a medida que avanza la tecnología y las herramientas de investigación ese resultado cambia?

p

#33 Ni de coña. Un resultado negativo hace algo extremadamente importante: descartar caminos erroneos o ideas equivocadas.

A la larga es mucho más eficiente que todo el mundo sepa lo que no funciona porque evita multiples intentos de abrir lineas de investigación que no conducirán a nada.

Findopan

#55 Hablo de la psicología de las personas: siempre se dará más importancia a un resultado positivo que prometa seguir avanzando, es mucho más excitante que encontrarte con un callejón sin salida.

the1soulhunter

Puede sonar un poco egoísta, pero me pregunto si no tendrá también que ver el hecho de la competitividad... Es decir, si la empresa X está trabajando en un proyecto de investigación, y paralelamente o quizá más adelante en el tiempo la empresa Y también trabaja en un proyecto similar, ponte en la piel de X ¿para que le vas a ahorrar tiempo y dinero a Y, que puede ser tu competidora, e indicarle los caminos que NO debe recorrer? Si Y pierde el tiempo en los mismos sitios que lo perdiste tu, pues mejor para ti...

p

#38 Es que es la madre del cordero. La competición en este ámbito debería estar desterrada porque produce enormes ineficiencias y sesgos inaceptables.

Pero como el pensamiento imperante es la mongolada del liberalismo y el mercao, todo lo resolvemos con el mismo martillo.

the1soulhunter

#56 Por supuesto, si cada persona tiene un remo, es mucho más eficiente ponerlas a remar en el mismo barco y dirección, que meter a cada una en un barco y mirar quien llega antes a meta. Es lo ideal, pero utópico...

PereER

A quien le interese. Podría haber estado en el artículo original. En los metaanalisis esto se estudia muchas veces, el sesgo de no publicación. Con el método y las gráficas Funnel-Plott se ve muy bien.

http://corpet.free.fr/FunnelRatAspirinEMA5.gif

D

pero a ver, como justificar que una investigacion no ha cumplido la hipotesis inicial?, pues diciendolo en positivo "hemos llegado a intuir que el diseño experimental no cumple nuestra hipotesis, por lo tanto hay indicios de que nuestra hipostesis puede ser erronea....

eso de que no se publican articulos negativos es una paja mental del autor, yo estoy mas que harto de leer ariticulos negativos, lo que pasa es que formulan en positivo las cosas negativas, es decir desmentir una hipotesis mediante una prueba experimental se enuncia en positivo "no hemos encontrado pruebas concluyentes que demuestren que....", no tiene sentido decir "soy un mierda, estoy no vale para nada, soy un desastre formulando hipotesis, he pensado una cosa y ha salido otra, por favor sed crueles con mi persona, apalearme y desprestigiar gmi investitacion.....

D

#26 En algunos casos el que no consigas demostrar algo, no implica que puedas negarlo, o que en general puedas afirmar nada sobre tu hipótesis como mucho que ese método no funciona.

polvos.magicos

#0 Por el mismo motivo por el que no debes leer el prospecto del medicamento que te ha recetado tu médico, porque si lo haces no te lo tomas al darte cuenta que mas que curarte te estan matando, si encima te dicen a la cara que experimentan con animales y que las pruebas han matado a cientos de millones de ellos por los resultados negativos, volveríamos a tomar la farmacopea del siglo XVIII, que podía hacer poco y no dar muy bueno resultado, pero cuando te morías no estaba detrás el nombre de una multinacional farmaceutica que se ha forrado a costa de tu salud y de la de millones de seres.

J

Porque practicamente nadie te va a citar.
Es triste, pero a pesar de que hay multitud de resultados no favorables (o negativos) la industria de la investigación (porque no es más que otra industria cualquiera) basa su negocio en publicaciones y citas. Y es más probable que cites algo favorable o que sea positivo que algo que dice que no debes hacerlo así por determinadas razones.

c

Hay un motivo más lógico. A todos nos interesa saber que es lo que pasa, en general, no aquello que no sucede. A menos que sea algo que damos por seguro que es de un modo y nos muestran que no.

Yo no imagino noticias del tipo "hoy no han asesinado a nadie en Málaga" "ayer no llovió en Madrid".

D

A mi me parece demasiado decir que se "desincentiva", simplemente no existe ningún incentivo, y en cierta forma la ciencia está muy segregada como para que hubiera un único repositorio de investigaciones. Quizás sea demasiado de "sentido común" no publicar nada cuando no consigues demostrar algo, así que se convierte en un prejuicio muy propio de nosotros. Además, añadiría que hay muchas formas de no conseguir algo, y no olvidemos que si no demostramos que p -> q, eso no significa que p -> ¬q o que ¬p -> ¬q.


Quizás añadiría que el problema no es solo ahorrar costes para que alguien no repita un estudio que ya se sabe que va por mal camino, el peor problema es algo que ha pasado con medicamentos psiquiatricos. Alguien intenta probar que un medicamento funciona contra una dolencia y consigue probar que no es así, archiva ese estudio y archiva el medicamento. En otro momento, quizás hasta años después, alguien tiene la idea de utilizar ese mismo medicamento para la misma dolencia y lo hace o sin base, o basándose en un estudio propio más débil o con errores.

Así que obtenemos un riesgo para la salud de muchas personas.

D

Yo no entiendo de estos asuntos, pero a lo mejor que los estudios esten financiados por las casas comerciales, pongo un eljemplo:

Soy un multinacional que tiene la patente sobre un medicamento nuevo, que hace exactamente lo mismo que uno viejo, y hago un estudio para demostrar las ventajas pero este estudio demuestra que no, que es lo mismo...

?Publicaria el estudio?

Pues eso.

D

#10 Tampoco te dejarán sacar el medicamento, pero puedes ocultar el estudio y a partir de sus datos haces otro sesgando la muestra, por ejemplo cogiendo solo a mujeres asiáticas de entre 40 y 60 años, que has observado que son el sector en que mejor funciona el medicamento o en el que menos efectos secundarios tiene. Este ejemplo es malo y fácilmente detectable, pero las grandes farmacéuticas tienen expertos en cambiar la metodología o jugar con los datos hasta obtener los resultados deseados y que sea difícil de detectar.
El sector farmacéutico es el que más controlado está, pero esto puedes encontrarlo mucho en otros como el de los suplementos alimenticios. Te estás forrando vendiendo omega 3 con un estudio de mierda sobre su eficacia publicado en una revista financiada por ti mismo que "demuestra" sus enormes beneficios, haces uno serio a ver si te permite ganar aun más y los resultados te perjudican, pues al cajón, ese artículo nunca verá la luz, lo que tú has dicho, luego te enteras de que un investigador independiente está estudiando el tema... le mandas a tus abogados a charlar.

tecnocrata

Al final del día, también tiene mucho que ver con el financiamiento para proyectos. ¿Qué pasa cuando tú mismo haces mala publicidad de tu trabajo? Los malos resultados siempre sirven como referencia histórica de la investigación (y no repetir errores), pero sólo ameritan ser mostrados ante la comunidad científica cuando buscas demostrar un punto negativo.

Varlak_

#39 es que no es mala publicidad

j

La idea es buena: publicar los errores. Pero esa idea es imposible: ¿quién publica sus pifias?
¿Os imaginais una revista "anti-nature", por ejemplo?
¿Cuántos científicos se irían de los laboratorios o de las universidades tras reconocer varios años de trabajo para cometer un error?
De todas formas creo que el sistema acutal (publicar los aciertos) no es malo, pues aquello no publicado es cuestionable.

D

#3 Tu resultado negativo puede ser el acierto de otro. Tu estás buscando unos datos, el experimento sale mal y no obtienes lo que esperabas. Sin embargo otra persona buscando datos totalmente diferentes para un objetivo que no tiene nada que ver con el tuyo puede encontrar que tus datos coinciden con lo que está buscando.

Frederic_Bourdin

Porque quedaría en evidencia el enorme chiringuito de mamandurrias que es hoy en día la ciencia.

pichorro

#22 Otro que no ha entendido nada pero ha entrado a criticar por criticar.

c

#22

No se de dónde sacas esta chorrada.