Los estudios científicos son uno de los procesos diseñados por la humanidad para construir el conocimiento. Las aportaciones de equipos de investigación y expertas, que trabajan de manera independiente, van mejorando el conocimiento que tenemos de lo que nos rodea. Esos conocimientos se comparten al publicar estudios científicos. No es un proceso perfecto ni inmutable, tiene debilidades y problemas y no es ajeno al contexto de una sociedad, pero si se hace bien, puede construirse de manera rigurosa, clara, precisa y verificable.
Comentarios
En quien lo financia
#1 nunca un primer comentario de meneame dio tanto en el clavo.
#2 Ni aportó tan poco a la noticia.
#1 Y esa respuesta sirve para toda investigación del tipo que sea
#1 Vas a tejer un pequeño problema porque la gran mayoría de proyectos científicos están financiados por organismos públicos.
Entiendo lo que quieres decir. Pero solo podrás usar ese criterio en una cantidad muy baja de estudios.
Para la inmensa mayoría debes usar algo diferente.
Básicamente son dos cosas:
- Que esté publicado en una revista indexada en JCR o en Scopus.
- Que haya tenido revisión por pares.
(Aunque es cierto que lo primero implica lo segundo).
#5 Lo primero no implica lo segundo ni de coña*.
Mejor que fijarse en métricas, que sin duda pueden ser de ayuda, es comprender el campo que estás estudiando, verificar que existe una relación causal plausible, que la metodología es adecuada y coherente con los datos reportados (que deben ser accesibles). Que es replicable. Que no contiene errores, lagunas o generalizaciones apresuradas, etc
*También existe ciencia que no ha sido revisada por pares y aún así mantiene calidad e integridad.
#6 Uno de los requisitos para que una revista esté indexada en JCR o Scopus es que tengan revisión por pares.
Por supuesto que habrá ciencia de calidad no revisada por pares, pero si no eres un experto es muy difícil de diferenciarla de la que no es de calidad.
Igual que imagino que habrá compuestos que se pueden usar como medicamento sin que hayan pasado nunca una revisión de una agencia de medicamentos oficial. Pero nadie en su sano juicio se la va a tomar si no tiene dicha revisión.
#7 Que un journal aparezca en un listado o que diga que está sujeto a revisión por pares no quiere decir que cada uno de sus artículos efectivamente lo hayan sido o que incluso la calidad de esta revisión no sea por lo general deficiente (esto es especialmente relevante en publicaciones de ínfima calidad con índices de impacto moderadamente altos -ejem... hola, mdpi...-) o prácticamente inexistente. Lo que quiero decir es que esto no es una garantía de nada ni un sustituto en absoluto de una lectura cuidadosa.
#8 No se trata de que "aparezca en un listado", seamos serios en lo que decimos. Se trata de estar indexado en JCR o Scopus. No son dos "listados" cualquiera, sino que son los índices en los que todas las revistas quieren estar, y cuyo requisito es que los artículos publicados que sean de investigación tengan revisión por pares. Si me vas a decir que los artículos de opinión, que si tal o si cual, entonces estás yéndote a particularidades para no aceptar lo evidente, que es que los artículos de investigación de revistas de esos índices sí tienen revisión por pares, hecha por expertos en ese campo preciso.
Otra cosa es que la revisión por pares sea más menos rigurosa. O que unas editoriales (mdpi si quieres) pongan más o menos empeño que otras en el proceso. Pero es lo único que tienes como sello de confianza para los estudios de investigación publicados.
Y digo lo único, porque una lectura cuidadosa solo te va a servir cuando aquello que lees está dentro de tu campo de experencia, que suele ser muy limitado comparado con todos las disciplinas de las que se publican resultados. Todo lo que esté fuera de aquello que manejas, ya lo puedes leer lo cuidadosamente que quieras que, o bien no vas poder saber si es un trabajo bien hecho o no, o te va a costar la misma vida.
No sé cuál es el tu campo (porque doy por hecho que tienes relación con la investigación), pero yo tengo muy claro cuál es el mío y sé lo que pasa cuando leo artículos muy alejados de dicho campo.
#9 "una lectura cuidadosa solo te va a servir cuando aquello que lees está dentro de tu campo de experencia, que suele ser muy limitado comparado con todos las disciplinas de las que se publican resultados. Todo lo que esté fuera de aquello que manejas, ya lo puedes leer lo cuidadosamente que quieras que, o bien no vas poder saber si es un trabajo bien hecho o no, o te va a costar la misma vida"
Así es pero, ah, la vida es así de jodida...
#10 Pues mira, te voy a enseñar algo que pensaba que sabías. Para que la vida no sea así de jodida y puedas tener algo que te diga si lo que lees es de fiar o no, incluso cuando no es de tu campo de experiencia, se estableció y se usa la revisión por pares.
Así de facil.
#11 Estás asumiendo hipótesis sobre mí de las que no tienes ninguna evidencia. Pretender que la revisión por pares es una garantía de algo y no el soporte de una decisión informada que normalmente recae en el editor es un error de concepto muy extendido (sobre todo en España), pero un error al cabo. Existe una gran cantidad de bibliografía al respecto (y organizaciónes que gravitan alrededor de esta idea -la revisión por pares no es una garantía de calidad- o que incluso la adoptan como principio fundacional como Cochrane, CASP o el Centre for Evidence-Based Medicine).
Que en la práctica la gente pueda asociar ciertas publicaciones o factores a determinados standards de calidad puede ser incluso razonable y, sin duda, ahorrar tiempo y esfuerzo pero no deja de ser una forma de principio de autoridad.
Quizás yo sea un poco raro en este sentido pero suelo llevarlo a la práctica. He provocado unas cuantas retractaciones (suelo darlo todo muy masticado para que sea fácil de comprender). Y no diré que no me proporciona cierto placer cabrón y diversión tirar una publicación si hay deshonestidad por medio (no así el caso de un error genuino, que puede ser incluso subsanable), pero todo esto también conlleva cierto esfuerzo.
No quiero ser duro y durante la lectura cuidadosa de un artículo los errores también son comunes, pero pretender sustituír la comprensión profunda de un campo por una métrica que ni siquiera fue diseñada para eso es una absoluta barbaridad.
#12 Que el editor (y el equpo editorial de la reivista) es el que tiene la última palabra en el proceso de revisión por pares es una obviedad que poco aporta aquí, ya que la revisión por pares no implica solo a los revisores externos sino también al mencionado editor. Marear la perdiz.
Que la revisión por pares no es perfecta también es una obviedad que nunca ha sido objeto de discusión por mi parte. Que no hay una opción de mejor encima de la mesa también es cierto. Si la hubiera me parecería perfecto usarla en vez de la que hay.
Lo que digo y sigo diciendo es que la mejor garantía de calidad de una publicación cientíica, a día de hoy es la revisión por pares en revistas indexadas. Hay un consenso bastante amplio en la comunidad científica ya que es el estándar usado en todo el mundo.
La lectura cuidadosa te vale para, siendo generoso, 100 o 200 artículos al año de los miles y miles que se publican anualmente.
Y las conclusiones que saco sobre ti son fruto de tus afirmaciones y no tienen más evidiencia que lo has dicho en tu conversación conmigo.
#15 No será tan obvio cuando es una métrica que no sirve para lo que dices. Yo procuro examinar y comprender todo lo que leo (y a veces me equivoco) y es relevante. Hay gente que no lo hace y no los tengo por muy competentes.
Por ahí hay mucho escrito sobre el tema, si buscas en google lo primero que sale es un editorial de un blog de Cochrane: https://s4be.cochrane.org/blog/2018/01/16/peer-review-and-publication-does-not-guarantee-reliable-information/
En el fondo me da igual discutir esto. No tiene relevancia práctica. Pero el público general, e incluso supuestos postdocs, acaban creyendo que la investigación es hacer marcas en una lista de comprobación. No, la ciencia es jodida (y maravillosa), y la vida es jodida, y hay atajos... que tienen un coste.
#18 La revisión por pares ni siquiera es una métrica. Lo que sí es, es el estándar de aceptación de publicaciones científicas. En la mayoría de los campos yo me fío mucho más de expertos en dichos temas que en mi critero ya que no tengo la formación para poder fiarme de él. En mi campo la cosa cambia como es normal.
Ya te he dicho que no es perfecta, pero el lo mejor que hay hasta fecha, y como también te he dicho no le tengo especial cariño, solo lo uso.
Yo solo pongo de manifiesto el consenso que hay en la comunidad científica. La revisión por pares es insustituible a día de hoy y es lo que se usa para aceptar o no un avance. La gran mayoría lo piensa así y por eso se usa. Hasta tú lo usas.
Que tú te fías más de tu criterio hasta en campos que no conoces, pues perfecto.
#19 Lo que precisamente estoy intentando defender es precisamente que yo no me fío de mi criterio ni en mi propio campo.
Por eso la evaluación y la reevaluación es necesaria.
No me lo tomes a mal, esto es una discusión informal y he llevado las cosas al extremo cuando realmente hay grados intermedios. Hay cuestiones sobre las que no necesito un grado elevado de confianza (y en cualquier caso yo tampoco soy un caso habitual). Es evidente que es muy útil saber que probablemente no pensarás que has perdido diez minutos de tu vida tras leer algo en Cell, o en NEJM o en PRL pero sí en el boletín semanal de la flat earth society... Pero creo que es importante dejar claro que tampoco es una garantía, an absoluto, de que no te vayan a dar el palo.
#11 Valen pares de cualquier cosa, como zapatos?
#14 Es más, sirven hasta impares si de lo que estamos hablando es de número
#16 Pues yo no me fiaría mucho de una revisión por primos.
#7 Por referees que sigan criterios cientficos revisando metodología, herramientas, resultados etc. La revista francesa "Social text" de filosofía postmodernista que era un insulto a la ciencia e inteligencia y para probarlo el físico Alan Sokal les envió un truño de esa jerigonza titulado "Trasgrediendo los límites: hacia una nueva hermenéutica de la gravedad cuántica" y pasó los controles porque sus revisores lo que comprobaban era si era de estilo de la jerigonza que se publicaba en la revista sin importar que fueran pajas mentales sin sentido.
#1 Estoooo. No... No como lo primero porque puede estar bien hecho. Y de hecho quien descubrió que las petroleras estaban envenenando a todo el planeta con el plomo añadido a la gasolina estaba pagado por esas petroleras a pesar de ellas. Por ejemplo. Los hechos sin sesgar ni deformar son más relevantes. Y como buena parte de la investigación básica está pagada por los estados encima... Y mal pagada a menudo
En realidad no, en todo estudio hay que fijarse en el director del mismo porque indefectiblemente afectará su resultado, es así y no es broma, está estudiado valga la refunfundancia
Yo lo primero que miro es si contiene la palabra "patriarcado". En caso de detección positiva, descartar artículo.