Publicado hace 4 años por doctoragridulce a theconversation.com

El ritmo de la producción científica se ha disparado en las últimas décadas. Algunos estudios recientes estiman que hoy existen unas 30 000 revistas que publican al año más de 2 millones y medio de artículos científicos, con un índice de crecimiento anual de un 5 %. La presión constante por publicar (el famoso “publica o muere”) fomentada por el exigente sistema de evaluación académico y la mayor competición entre el creciente número de grupos de investigación son algunas de las causas de esta sobreproducción de artículos y revistas.

Comentarios

P

#5 La Universidad ese lugar antiguo lleno de trepillas conformistas y bastante alejado de la realidad( salvo en ciencias puras)
Lo demás: asciende el más pelotas¡

celyo

#33 En Ciencias Puras también tiene sus historias, pero es más complejo colar a pelotas.

gz_style

#7 Sin ánimo de entrar en el fondo del asunto, creo que quién quiere pasar a la historia se dedica mucho tiempo a una cosa. El resto es publicar morralla para ganarse las lentejas.

D

#17 Sí, estoy de acuerdo.
Yo me refiero al por qué ha nacido esta enfermedad de publicar que ha relegado el oficio a un segundo puesto. Por qué las "altas esferas" piden de sus empleados ese afán.

En mis evaluaciones estaba el número de publicaciones en revistas internacionales de alto impacto, el número de ponencias internacionales, etc... pero las evaluaciones de nuestro trabajo no sumaban puntos.
Era deprimente.

D

#10 6 meses, jajaja
Los hay que sacan de 10 JCR o más al año (aunque claro, tienen una legión de becarios a sueldo).

rojo_separatista

#10, quizás es porque los artículos que te lees ahora que escritos en los 60 son los que mejor hab sobrevivido el paso del tiempo debido a su enorme relevancia y por algo será.

BM75

#10 Artículos malos también los había entonces. Lo que pasa es que al tiempo solo sobreviven los mejores.
Exactamente igual que las canciones.

reithor

Recuerdo que ya hace años salían algunos diciendo que este sistema no es bueno para la ciencia, sobre todo teniendo en cuenta que es imposible leerse los artículos que salen de lo tuyo (no digamos ya de áreas cercanas). Lo gracioso es que esos algunos eran ganadores de premios Nobel, u otra serie de altos honores. Que han llegado a esos niveles... publicando como cosacos y con sus ya típicos Nature / Science que por nombre entran suavecitos. Vamos, los que ya están por encima del sistema de evaluación son los que lo critican. Hipocresía total.

D

#6 Bueno, algunos Noveles consiguen su premio por una contribución concreta, que presentaron en apenas uno, dos o tres papers.

Lo de publicar como cosacos es más para ascender en la universidad. Conseguir más proyectos con financiación pública, más sexenios (más sueldo), etc.

D

#12 Joder... Nobeles! Nobeles!

c

#23
Igual habla de gente que lleva poco en ciencia

Al-Khwarizmi

#6 No veo la hipocresía. Un científico de a pie, mientras no ha llegado a ese nivel de Nobel, no tiene más opción que publicar como un cosaco o irse a la puta calle. ¿Querer ganarse la vida es hipocresía?

reithor

#30 No. La hipocresía es renegar de la escalera que te ha llevado a lo más alto cuando estás en lo más alto.

Al-Khwarizmi

#55 La escalera es la que hay. Si no quieres subirla, no es ya que no llegues a lo más alto, es que te vas a la calle. No existe la opción de renegar de ella y seguir siendo científico. Sigo sin ver la hipocresía. Si todo el mundo se comportara de modo "no hipócrita" según tu visión, nadie a quien no le gustara este sistema de evaluación podría ser científico, y por lo tanto nadie lo criticaría nunca.

Supongo que también eres de los que piensan que si uno es comunista, no puede comprar ningún producto capitalista y tiene que morirse de hambre o ir a un bosque a vivir de lo que caza y recolecta con sus propias manos. Esas cosas no son coherencia, son masoquismo.

reithor

#57 Ya sé que la escalera es la que hay, y que no quedan más cojones que usar el sistema que hay.

Supones mal lo que pienso.

Si no ves la hipocresía de que llegue un premio Nobel y cuando lo gana diga "no vuelvo a publicar en Science ni en Nature porque pervierten el sistema", que es el sistema que le ha permitido ganar un premio Nobel, y desde la cumbre se pone a dar lecciones a los que vienen detrás de "no hagáis como yo que es malo", pues que quieres que te diga...

Hablo de este caso:

https://actualidad.rt.com/actualidad/view/113808-nobel-schekman-boicot-tirania-revistas-cientificas

celyo

#6 Te vas haciendo un CV, para que en un momento dado pases a poder dirigir proyectos, y con el peso de de tu Cv, la administración de turno confie en tí en base al mismo, para concederte una financiación y poder hacer proyectos más concreto.

animalDeBellota

#16 Una pieza adicional en larueda son las "revisiones" y "editores" amigos.

rojo_separatista

#4, pues me parece un poco raro porque tanto en las Ramón y Cajal como en las Juan de la Cierva la forma de evaluar no deja demasiado margen al revisor, que simplemente tiene que ceñirse a lo que marcan las tablas de puntuaciones. Es decir, que da lo mismo que tengas un Nature o un Science o cualquier otra publicación en otra revista mientras sea Q1 y estés como primer autor, todo puntua lo mismo. Y dudo que nadie pueda ganar una Ramón y Cajal con solo dos papers Q1.

Otra cosa seria una Marie Curie que dan más margen al revisor a la hora de puntuar.

c

#13

Es que un Q1 ya denota cierta calidad, no es ir "a peso". Aunque siempre hay artistas en eso de buscarle el truco (el mismo trabajo puede ser un Q2 en neurologia y un D1 en geriatria).

La cosa debería ir más allá de muchos o pocos, de If 20 o if 2, o de tener 500 citas o 5, de D1 o Q3. Quizás un algoritmo que las ponderase todas.

El método más justo, que yo sepa, es el que se desarrolla actualmente. El problema (spoiler) es que será difcilmente aplicable. Se está usando en uk para centros o universidades (no recuerdo). Consiste en elegir un par de artículos publicados en el centro años atrás y hacer una narrativa para ver su impacto en la sociedad. Se han producido farmacos gracias a ellos? Diágnósticos? Mejoras en procesos? etc...

Es el mejor modo de ver si un trabajo ha resultado útil. El problema es que hay campos en que se deben esperar 10 o más años.

c

#20
Por cierto, las patentes y las licencias cada vez van a contar más. Y a petición del gran público, la divulgación también.

Al-Khwarizmi

#20 #15 Para mí el método más justo es que tu currículum y papers se los mire un puñado de expertos extranjeros, de tu campo pero que no hayan publicado contigo ni tengan ningún conflicto de intereses, para evitar cuñadeos y comadreos. Y que los evalúen sin baremos ni tablas, básicamente como les salga de los huevos, perdón por la expresión. Porque nadie sabe qué papers valen y cuáles no mejor que un investigador del propio campo. Podría poner ejemplos de papers en revistas Q1 que son una basura infumable que no vale para nada, y papers en revistas Q4 buenísimos. En medicina tal vez no pase, en informática es de lo más corriente (hay revistas Q1 que son puras mafias, te piden que cites papers de la propia revista para inflar el ranking).

Éste es básicamente el método que usan en las convocatorias del ERC*, que son las becas individuales más cuantiosas y de mayor prestigio que se pueden conseguir en Europa, y creo que también en otras convocatorias europeas como las Marie Curie, y va de lujo.

*En las ERC más "junior" éste es el método de la primera fase de evaluación, seguido de una entrevista, que también me parece bien. En las Advanced Grants, se hace sólo esto, sin entrevista.

c

#25
Eso he dicho más abajo.

El mejor sistema el de las ERC

Go to #22

N

#25 ¿Papers en revistas Q4 buenísimos? ¿Qué revistas? Porque en mi experiencia bajando del Q2 la calidad es para echarse a llorar. Y no digo que los cuantiles altos sean garantía de nada, más bien los considero condición necesaria pero no suficiente para encontrar literatura técnica de calidad.

Al-Khwarizmi

#41 Por ponerte un ejemplo, las indiscutibles mejores revistas en procesamiento del lenguaje natural son TACL (que ¡ni siquiera está indexada!) y Computational Linguistics, que es ésta: https://www.mitpressjournals.org/loi/coli

Computational Linguistics es ahora mismo Q3, pero en algún año estuvo en Q4, por ejemplo en 2011.

Este es un ejemplo de paper bueno en esa revista en 2011 (y que por lo tanto, según las evaluaciones españolas, es un paper Q4): https://www.mitpressjournals.org/doi/abs/10.1162/coli_a_00034

Tiene 705 citas en Google Scholar y ha tenido una gran influencia.

También te puedo poner algún ejemplo de paper Q1 que es basura infecta, del nivel de hacer análisis que hasta un alumno de primaria podría darse cuenta de que están mal, pero son españoles y romper el anonimato de mi cuenta puede no ser muy difícil para alguien que realmente se lo proponga. Así que si tienes curiosidad, te lo mando por privado.

Yo sospecho que en campos como medicina, biología... los factores de impacto son fiables, pero en informática podrías usar un generador de números aleatorios y probablemente acertarías más.

N

#48 Hombre, de los journals que citas TACL parece ser bastante nuevo (y por ende aún no indexado) y Computational Linguistics lo que pasa es que es multidisciplinar: un Q2/Q3 en Computer Science y un Q1/Q2 en Linguistics, lo cual parece lógico.

Y como he dicho, tampoco creo que estar en los cuantiles altos sea una garantía de nada.

Al-Khwarizmi

#54 Bueno, es que si eres de informática, los cuartiles del JCR "de letras" ni te los miran, sólo cuenta el Science Citation Index. Está dicho explícitamente en los criterios de sexenios y otras convocatorias. Para mí, el hecho es que ahora mismo la máxima revista en la que puedo publicar en mi campo, de cara a las evaluaciones españolas, es Q3 a fecha de hoy (a veces Q2, y ha llegado a ser Q4). Y te aseguro que no es lógico. Esa revista es muchísimo más exigente que cualquier Q1 a la que haya enviado.

Al final vamos saliendo adelante a base de intentar optimizar según las reglas: publicar en revistas de informática más genéricas, hacer colaboraciones multidisciplinares y publicar en alguna revista de biología, medicina... y al final uno tiene por un lado los papers que realmente quiere que sean leídos (y publica en los sitios que uno sabe que son buenos) y por otro lado los papers "para España", en revistas muy bien valoradas aquí pero que no lee ni el tato.

Cuando me presento a alguna convocatoria europea y me preguntan por mis 5 ó 10 mejores publicaciones, no pongo ninguna de las que pongo cuando me lo preguntan en España (por ejemplo, para los sexenios). Son conjuntos disjuntos.

rojo_separatista

#56, si trabajas en procesamiento del lenguaje natural tienes un montón que son Q1, así a bote pronto la PR, PRL, ESWA o PAMI.

Al-Khwarizmi

#58 Sí, lo dicho, revistas más genéricas, y no las lee ni el tato en la comunidad de procesamiento del lenguaje natural. Échale un ojo a dónde publica la mejor gente del campo:

Chris Manning https://scholar.google.com/citations?user=1zmDOdwAAAAJ&hl=en
Regina Barzilay https://people.csail.mit.edu/regina/papers.html
Lillian Lee https://scholar.google.es/citations?user=oJESe-cAAAAJ&hl=es
Fernando Pereira https://scholar.google.es/citations?user=qWDmIgIAAAAJ&hl=es
Noah Smith https://scholar.google.es/citations?hl=es&user=TjdFs3EAAAAJ
Chris Dyer https://scholar.google.es/citations?hl=es&user=W2DsnAkAAAAJ

Sobre todo congresos, y ocasionalmente alguna revista del tipo de las que he mencionado, que son del campo pero de bajo cuartil. Probablemente no verás ningún Q1.

Por cierto, otra curiosidad... ya que has mencionado ESWA, échale un ojo a las estadísticas de publicaciones en ESWA en el JCR. Desde 2017, 261 papers de España, segundo país sólo por debajo de China. USA tiene 242. ¿Estamos más fuertes en IA en España que en USA? (incluso en términos absolutos, teniendo como 8 veces menos población) Más bien no... lo que pasa es que los papers buenos (como los que se producen en muchas instituciones americanas) no están yendo ahí. Están yendo ahí los papers de los españoles que quieren optimizar cuartil.

rojo_separatista

#20, bueno, hay que tener presente que no toda la ciencia es aplicada y en algunos casos resulta mucho más difícil que en otros el impacto directo en la sociedad. Quizás un sistema más justo sería basarse en el número de citaciones más que de papers publicados, pero también se puede caer en sesgos ya que hay temas en los que investiga mucha menos gente que otros incluso a pesar de ser del mismo campo.

bicha

#35 haz una herramienta de análisis y tendrás miles de citas.

rojo_separatista

#44, o un buen review paper... Pero para evitar estos sesgos están los índices-h.

j

Es una pena el caracter competitivo, en lugar de colaborativo de la ciencia. Distintos grupos compitiendo en secreto para publicar algo antes que el rival. El sistema de incentivos está roto en ese sentido.

c

#15

Evaluaciones continuadas y centralizadas.

En este país somos de apretar el culo 2 meses y dormir 10. Las Cajal y Servet deben estabilizar al tejido científico presente y futuro. Dejarlas a 2-3 folios, sin tener gsrantias de que el qje los ha escrito es el receptor de la beca no es bueno. Que los evaluadores vean un monton en poco tiempo tampoco lo es.

Deberian realizar entrevistas personales de mínimo 2h a cada candidato. Y que contase tanto como las publicaciones o el proyecto escrito. Y los evaluadores 2-3 candidatos en 1 día máximo.

Las ERCs europeas funcionan a base de proyecto escrito+ entrevista , y la gente parece bastante contenta.

rojo_separatista

#22, a ver, solo en Juan de la Cierva aplican más de 4000 candidatos al año y Ramón y Cajal otros tantos, dos horas de entrevista por cada uno es cuanto menos "poco realista". Además, el sistema de entrevistas también tiene sus sesgos.

c

#34

Complementaria.
Con evaluación continuada tampoc es tan grave.

Creo que las Cajal rondan los 2,000. Las Servet si que son 4,000 pero tienen dos modalidades.

Otra seria incrementar el criterio de entrada en base a cv y proyecto y luego perfilar con entrevista. Así se hace en las ERCs

celyo

#34 #39 Lo más objetivo sería tipo oposición, pero eso puede hacer que los tiempo de acceso a las becas sean insufribles, además que como siempre, el tiempo de resolución de las mismas y el tiempo para disfrutar de la beca no casen .....

Opina en el sentido de #39. Al final estimas cuanto tiempo puedes dedicar a entrevistas personales, pongamos que a 10 candidatos (10-15 horas), y se hace un descarte por concurso de méritos que fuera a cv ciego (sin datos personales que te indentifiquen).

Al final hablamos de trabajadores que quieren acceder a un puesto de trabajo, y las empresas al final acaban empleando un tiempo de RRHH para descartar candidatos, aunque al final todo se acaba pervertiendo.

rojo_separatista

#49, tienes que tener presente que mucha gente que aplica para estas becas está investigando en el extranjero, es decir, no todo el mundo puede presentarse físicamente a Madrid o donde sea para hacer una entrevista y ver que tal.

celyo

#52 Con los medios actuales, se pueden realizar entrevistas por Internet o una entrevista telefónica. Si me dijeras hace unos 10 años, te daría la razón en la complejidad.

No digo que sea lo óptimo, pero posible es.

idris

kharmawhores de la ciencia...

d

No veo solución sencilla a este problema, para que la ciencia funcione hay que prestar unos recursos (a personas o en materiales) sin saber ni esperar que finalmente recibas nada de vuelta y debes de prestarlo continuadamente y a largo plazo, de esta manera el científico podría tener la libertad de investigar. Pero claro, el científico también podría tocarse los cantamplines, ser un impostor, perezoso, no merecerlo, etc.

Creo que deberíamos migrar hacía un sistema donde se cuide más la autonomía y libertad de los investigadores, ya sea en el sector privado o público, donde la selección del personal dependa más de entrevistas personales con pruebas de capacidades, conocimientos, etc., que de historiales. Aunque no veo solución sencilla.

rojo_separatista

#42, es que ya existe la figura del investigador con plaza fina de funcionario, que es que debería centrarse en hacer una investigación más independiente y a largo plazo que el predoc o postdoc presionado por el PoP.

baronrampante

En general, deberíamos bajar el ritmo de trabajo en cualquier tipo de actividad.

Elián

Relacionada (ámbito Psicología)
Publicada en Infocop, el portal del consejo general de psicología de España. Basado en un estudio referenciado dentro.

El valor del mercado por encima de la ciencia en Psicología
http://www.infocop.es/view_article.asp?id=8032

J

Ya cuando era aún un doctorando me harté del mundo de la investigación y según iba metiéndome en el mundillo me iba decepcionando más y más. Pero es sobre todo porque conceptualmente está mal enfocado:

La finalidad de la investigación debería ser avanzar el conocimiento de la humanidad y para ello formarte, leer mucho, pensar ideas únicas e innovadoras, intentar resolver problemas complejos que nadie ha conseguido a partir del conocimiento actual, experimentar y validar tus resultados y poner a prueba lo que se da por sabido. Y entonces, si consigues unos resultados que crees que son relevantes para la comunidad científica, escribir tus resultados y publicarlos para que el resto se beneficie.

PERO, en lugar de eso, la finalidad es publicar, publicar y más publicar, y se hace investigación como si ésta fuera un paso secundario necesario para llegar a tal fin. Al final. te sientes más un escritor o periodista que un investigador.

Recuerdo a mis mentores, al poco de proponerles una idea, ya definiendo la estructura de los artículos (secciones y subsecciones), y empezar a escribir la "morralla" de relleno, antes incluso de saber qué resultados íbamos a obtener. Y ya no me quiero meter en los colegueos, favoritismos y demás a la hora de publicar.

Javi-_Nux

Publish or perish

c

Pues no se que le ven de malo al sistema actual.

La gente que publica mierdas no se come un rosco, aunque publique 20.
Los que publican calidad, en cambio, consiguen becas.

c

#2 #3

En biomedicina, en los años que llevo, nunca he visto a nadie con una beca Ramón y Cajal o Miguel Servet empleando 6 artículos mediocres.

En cambio, con un par de buenos artículos he visto unas cuantas.

par

#3 Tambien para tomar riesgos.

En general, cuesta mucho que salga a cuenta empezar una cosa que requiera tiempo y que tiene muchos numeros de salir mal, pero que que si saliese bien, saldria increiblemente bien.

celyo

#11 Yo estoy bastante asqueado con el tema, desmotiva que da gusto.

Mucho ánimo.

rojo_separatista

#3, siempre que surge este debate me interesaría saber que alternativa al sistema actual proponeis. Porque yo no sé que otra forma objetiva hay de evaluar dos candidatos que no conoces de nada.

c

#3
Todo tiene su lado bueno y malo.

Para publicar calidad hay que esperar mucho y por el camino se "aparcan" muchos resultados correctos a la espera de hacerlos crecer más o de que "sea su momento". De este modo mucho dinero publico genera resultados que salen tarde o a veces ni eso.

En el otro extremo, publicar de todo sin filtro satura el mercado de mierdas, hay gente que lo llama "poluciones científicas" en lugar de "publicaiones científicas".

Creo que existe un nicho intermedio, aquel que no es ni Nature ni Plos One en el que tiene cabida buena ciencia.

celyo

#21 El problema es si se está tendiendo a la ciencia a tener que publicar por publicar y justificar al peso su mera presencia en un departamento u otro centro de cara a los burócratas.

Y más cuando muchas veces quien da el visto bueno a tu continuidad es un burócrata de algún ministerio o alguien que ni entiende de lo que haces.

Entiendo que dejar todo a manos de los centros puede hacer que la endogamia se descontrolara, pero que todo pase por un proceso burocrático, que para evaluar a gente de diferentes disciplinas diseñan métodos simplificados y comunes, de manera que puedan "pesar" o evaluar al candidato, hace que la gente se vea en la necesidad de publicar por publicar y tener un CV.

Eso no quita que teniendo una buena beca o algún trabajo excelente, tengas un buen CV, pero si quien lo evalua es un burocrata, lo único que verá es cuantos artículos tienes y el índice de impacto de las revistas donde publicaste.

bicha

#1 En muchos casos es mejor publicar montones de mierda que un buen artículo. La gente tiende a maquillar, cuando no manipular directamente, los resultados para poder publicar. Lo científicos pierden montones de precioso tiempo y dinero intentando reproducir resultados falsos. Cuando sale una "moda" tipo "la inflamación es la causa de todas las enfermedades" todos publican datos confirmándola y "olvidan" los datos que no la confirman para poder publicar.
Hay tanta presión por publicar que no te puedes permitir hacer ningún trabajo sin un resultado positivo.
Si este te parece un buen sistema, es que no entiendes el montón de dinero que va a la basura por culpa del sistema.

guaperas

#1 hay más científicos que velocidad a la que la ciencia puede descubrir. Si es un entorno laboral y competitivo los mejores ganan.

Que se podría plantear de otra forma. Si seguro que también. Pero hay que hacer equipos mas grandes y reducir el ego. Cosa difícil pues los científicos también son humanos y como tal emocionales antes que racionales.