Problemas de las publicaciones científicas

Para las personas que no están familiarizadas con el proceso científico, la importancia de los artículos científicos puede no estar muy clara. La publicación no es solo la difusión de información, sino también la verificación de los resultados de la investigación, y también la medida más importante de la eficacia del trabajo científico.



La importancia de las publicaciones para los científicos se describe mediante la expresión " Publicar o morir " - "Publicar o morir". Son todo tipo de indicadores bibliométricos los que son la base para obtener becas, ascender en la escala profesional y, en última instancia, el éxito científico. Y por tanto, los problemas de las publicaciones científicas afectan negativamente a toda la ciencia en su conjunto.

Introducción - ¿Por qué las publicaciones científicas?

¿Cómo funciona el sistema de publicaciones científicas? Todo comienza con el hecho de que tiene un estudio completo que desea publicar. Debes preparar texto e ilustraciones según el modelo aceptado en la revista a la que quieres enviar tu artículo. Al principio, el manuscrito va al editor, él puede rechazarlo de inmediato, considerando que el artículo no es interesante, no es lo suficientemente nuevo o no es adecuado para el tema de la revista. Si su manuscrito pasa este primer filtro, el editor lo envía para revisión por 2-3 académicos en el campo relevante. Esta etapa se denomina revisión por pares y es la etapa principal de la publicación científica. Los revisores revisan cuidadosamente su trabajo y brindan comentarios, y sugieren cambios y experimentos adicionales. Si todos los revisores calificaron el manuscrito negativamente, la revista no publicará el artículo.Pero incluso con una evaluación positiva, por lo general es necesario realizar cambios. Después de eso, el artículo se envía a la segunda ronda de la revisión. Esto se puede repetir varias veces hasta que los revisores estén satisfechos con el resultado final.



¿Por qué se necesita un sistema así? Asegura que los expertos hayan revisado el manuscrito y que se hayan cumplido todos los estándares requeridos. Precisamente así es como los artículos se diferencian de los preprints (por ejemplo, en arxiv.org y biorxiv.org), que aún no han sido revisados, y no se puede garantizar la calidad del trabajo científico.



Se necesita una introducción tan detallada para que comprenda en qué se diferencia una publicación científica de, por ejemplo, un artículo sobre Habré.



¿Cuáles son los problemas con las publicaciones científicas? Hay muchos de ellos. Y afectan significativamente a todo el proceso de investigación, porque, como decía al principio, los artículos son la principal medida de la eficacia del trabajo de los científicos. Curiosamente, muchos problemas se heredan de la antigüedad, cuando no existía Internet y las formas de difundir la información eran radicalmente distintas.



Vamos a empezar. El problema más visible es, por supuesto

Dinero

Por el momento, hay dos formas principales de "monetizar" una revista científica: suscripción (muro de pago) y acceso abierto (acceso abierto). En el primer caso, debe comprar un artículo por separado o una suscripción anual a la revista. El acceso abierto permite a cualquier persona desde cualquier lugar descargar un artículo en Internet.



Consideremos ambas opciones con más detalle.

Acceso pagado (paywall)

Esta es una de esas características que surgieron hace cien años. Cuando las revistas de papel eran la única forma de difundir información, tenían que imprimirse y enviarse. Las personas y organizaciones se suscribieron como cualquier otra publicación periódica. Algunas revistas científicas todavía tienen versiones en papel, pero la mayoría de las veces, su único uso es hojearlas durante el almuerzo.



Es obvio que ahora la mayoría de las publicaciones científicas se distribuyen a través de Internet. Y cuando se trabaja con información se utilizan sistemas de búsqueda automática (por ejemplo, Scopus o Pubmed). Es decir, ahora no estoy buscando un artículo en una revista, estoy buscando un artículo por palabras clave o autores. Pero a menudo, después de encontrar la investigación que necesita, puede encontrarse con un muro de pago.





^{Artículo autoirónico en Nature ...}



Muchas revistas científicas ahora requieren una suscripción para acceder al artículo. Dado que el costo de un artículo individual puede ascender a varias decenas de dólares, y cada empleado necesita acceso a cientos de publicaciones, los editores acuerdan con las instituciones científicas y educativas suscribirse a un gran paquete de sus revistas durante mucho tiempo. En este caso, los empleados pueden acceder a todas las revistas de la editorial. Sin embargo, incluso "con un descuento" para un gran volumen, el costo sigue siendo muy alto. Se desconoce exactamente cuánto dinero gasta cada organización en suscripciones, los editores no divulgan estos datos. Pero las universidades de muchos países, incluida, por ejemplo, Alemania, rechazan las suscripciones debido a su alto costo. Nuestro instituto dejó de suscribirse a Elsevier y, como resultado, perdimos el acceso legal a una gran cantidad de revistas. En general, a muchas instituciones científicas no les gusta Elsevier,ya que quieren mucho dinero para una suscripción.



Otro inconveniente es que la suscripción solo funciona en las direcciones IP de la universidad o instituto. Es decir, no puede leer artículos desde casa o mientras viaja sin una VPN. ¡Y a veces el acceso a las revistas se limita a las computadoras de la biblioteca únicamente! Esto es muy inconveniente, por lo que incluso los científicos que tienen acceso legal a las revistas suelen utilizar SciHub.







El principal problema es que la mayoría de las personas no pueden acceder a los artículos. Pero más de la mitad de la investigación científica es financiada por el estado, es decir, por nuestros impuestos. Y a menudo es imposible leer el artículo con los resultados. Ni el colegio, ni el periodista, ni el interesado ordinario tienen suscripción y por tanto acceso al artículo.

Acceso abierto

Los problemas de “monetizar” mediante suscripción se han hecho evidentes para la comunidad científica desde hace mucho tiempo. Y con el desarrollo de Internet, aparecieron revistas que solo se encuentran en línea (una de las editoriales más famosas es PLOS). Por tanto, la monetización también ha cambiado. Ahora la persona que lo publica, es decir, el investigador, paga el artículo. Y los precios te sorprenderán "gratamente" . Un artículo (dependiendo de la revista) cuesta entre $ 1,500 y $ 5,700. 





Es importante entender aquí que esto es solo un pago por publicación. El dinero de la universidad o las subvenciones se gastan en investigación y la revista recibe contenido listo para usar de forma gratuita. Puedes comparar este sistema con youtube, como si los bloggers tuvieran que pagar para subir un video. Lo más interesante es que al final es la misma persona la que paga antes (la institución, y por tanto más a menudo el estado). Pero en el sistema de acceso abierto, todos pueden leer el texto completo del artículo. Este cambio simplifica enormemente la interacción con los registros. Por lo tanto, muchos apoyan la transición de todos los artículos al acceso abierto ( programa OA2020 ).



Sin embargo, en este sistema, las instituciones aún gastan enormes sumas de dinero para publicar investigaciones. Por ejemplo, Reino Unido ahorrará 8 millones de euros si pone todos los artículos en el dominio público: 45 millones frente a los 53 millones que están pagando ahora. Solo 44 millones es también una cantidad bastante grande.





^{Qué constituye el costo del artículo. Hay dos puntos importantes a tener en cuenta en esta figura. Primero, el trabajo del revisor supone un tercio del costo, pero no se paga. En segundo lugar, ¡el beneficio de las revistas científicas es del 15-20%! Y según algunas estimaciones, puede llegar al 35%.}

Una gran cantidad de revistas y estándares diferentes.

Otro tema importante es que todas las revistas y editoriales tienen estándares diferentes. Esto es especialmente notable si el editor rechaza el artículo. Lo hace sin un análisis detallado del artículo, centrándose solo en el interés y la novedad de la investigación, así como en cómo el artículo se ajusta al formato y al tema de la revista.



La revisión editorial de un artículo puede llevar de una semana a un mes. Si un editor rechaza un artículo, los autores lo envían a otra revista. Normalmente, esto requerirá un gran cambio en el formato del artículo. La cantidad de caracteres en el texto, la cantidad de imágenes e incluso la capacidad de usar imágenes en color, la cantidad de fuentes de literatura y mucho más deben cambiarse al cambiar la revista. El cambio puede llevar bastante tiempo, por ejemplo, reduciendo el texto de 6.000 palabras a 4.000 e incluso manteniendo el significado y la precisión de la redacción.



Si el artículo no cabe en la siguiente revista, deberá volver a cambiarlo. A veces pueden ocurrir hasta 5-6 de estas entradas. Y para cada revista, se pierde tiempo cambiando el texto y revisándolo por el editor. En casos particularmente desafortunados, se necesitarán varios meses y bastantes cambios de texto inútiles antes de que el artículo sea revisado. Es importante señalar que estos cambios no afectan la calidad del artículo de ninguna manera, solo son necesarios para ajustarse al formato de la revista.



Vale la pena señalar que, a pesar de la ausencia de límites razonables en el tamaño de las revistas modernas, se publican en línea, el número de revistas diferentes solo está creciendo. Todos los editores crean cada vez más revistas. Al mismo tiempo, como se señaló anteriormente, tal diversidad no se justifica por la aparición de nuevas áreas de conocimiento: los científicos modernos no leen la revista completa, sino que buscan los artículos necesarios en bases de datos especiales (como Scopus o PubMed).

Calificación del editor

Agregaré algunos comentarios sobre la evaluación del editor del artículo. Un editor es una persona que decide si la revista publicará su trabajo. Puede negarse en cualquier momento y por cualquier motivo. El editor está interesado en los artículos más exitosos que serán citados activamente. Esto significa que los editores seleccionan artículos según determinadas características, mientras que otros artículos, por el contrario, se encuentran en una posición muy desventajosa. Los editores se sienten atraídos por temas publicitarios, nombres notables de científicos, correspondencia de los resultados con el curso actual, nuevos métodos y grandes cantidades de datos que otros investigadores pueden utilizar. Por el contrario, los campos estrechos de la ciencia, los autores desconocidos y los métodos simples pueden convertirse en un factor negativo. Cabe señalar que, a menudo, esto no tiene nada que ver con la calidad de la investigación, sino que solo refleja su tema.



El editor toma una decisión después de leer el artículo (o parte de él), pero por lo general no recibirá comentarios detallados de él. Si el editor rechaza el artículo, a menudo la razón es novedad científica insuficiente, inconsistencia con el tema de la revista. El trabajo del editor es completamente opaco: no se sabe si leyó el artículo completo o solo un resumen, en base a qué criterios evalúa la novedad de la investigación, etc. También es imposible discutir con el editor si el artículo es rechazado por el editor, normalmente se envía a otra revista.



También se puede señalar aquí que la relación personal del editor con los autores del artículo a veces puede influir en su decisión.

Revisión (quién, por qué y cuánto)

La revisión por pares es la parte más importante del proceso de publicación científica. Es a través de la revisión por pares que podemos confiar en el resultado de la investigación hasta cierto punto. Sin consultar el artículo, uno podría simplemente subirlo a Habr (y, quizás, la cobertura sería aún mayor). Por tanto, sorprende que todo el coste de la publicación vaya al funcionamiento de la revista y al beneficio. Los revisores trabajan gratis y no reciben nada por su trabajo. Además, los revisores lo hacen en su tiempo libre, porque ellos mismos son científicos y necesitan realizar su investigación. Dicho sistema funciona debido a la responsabilidad colectiva: hoy revisa el artículo y mañana necesitará la revisión. Pero el hecho es que la revista recibe de forma gratuita no solo contenido, sino también la competencia de los revisores.



¿Cómo funciona la revisión? El editor, después de haber examinado su artículo, selecciona revisores adecuados: científicos que no colaboran con los autores del artículo, pero que trabajan en el mismo campo. Los revisores reciben el texto del editor y le envían sus comentarios. La identidad de los revisores no se revela a los autores del artículo, toda la correspondencia es anónima.





Después de estudiar detenidamente el artículo, los revisores sugieren cambios que deben realizarse: correcciones en la redacción, controles y experimentos adicionales. Un buen revisor puede mejorar mucho un artículo. Depende mucho de quién esté revisando tu artículo. ¿Qué tan de cerca revisará el revisor los cálculos? ¿Cómo examinar cuidadosamente los materiales y las bases de datos adicionales? ¿Verificará las pruebas y métodos estadísticos utilizados? Dado que siempre hay dos o tres revisores, el papel de cada uno es muy importante.



También hay lugar para el abuso. Un revisor puede pedirle que cite su artículo o escriba críticas negativas porque no está de acuerdo con su posición sin depender de la calidad real de la investigación.



Los autores pueden debatir con los revisores; no es necesario aceptar completamente todos sus cambios. Pero publicar el artículo en su forma original, completamente sin correcciones, es casi imposible. En la mayoría de las revistas, se hacen correcciones al texto del artículo y la correspondencia con los revisores no está disponible para nadie excepto para los autores. Es decir, no puede averiguar qué cambiaron exactamente los revisores.





^{Eliminé casi todos los cómics debajo del spoiler, pero esta imagen explica perfectamente lo que sucede después de la revisión.}

Tiempo de espera

¿Qué hacen los autores mientras se realiza la revisión? Pero nada, están esperando comentarios. Por supuesto, en este momento, la investigación continúa sobre los siguientes proyectos, pero se hace muy poco en el artículo sobre la auditoría de experimentos.



¿Cuánto tiempo se tarda? La revisión del artículo por parte del editor (antes de enviarlo a los revisores) toma de una semana a un mes. A veces vale la pena recordarle al editor sobre su artículo, luego el proceso se acelera. La auditoría puede durar de un mes a seis meses. Debe entenderse que el trabajo del revisor no se paga, por lo que muchos se niegan a realizar una revisión. Además, puede resultar difícil encontrar un revisor sin un conflicto de intereses y un experto en el campo del artículo. Por lo tanto, en algunos casos, se necesita mucho tiempo para encontrar revisores. En situaciones excepcionales, el editor no puede encontrar revisores y esto retrasa aún más el proceso.



¿Por qué podría ser esto un problema? Cabe señalar aquí que los artículos a menudo son necesarios para informes sobre becas, los estudiantes de posgrado necesitan publicaciones para la defensa, a veces el autor de un artículo cambia pronto de lugar de trabajo; a menudo hay una fecha límite para la publicación de la investigación. Está claro que está mal publicar un artículo inacabado. Pero el diferencial en términos de hasta seis meses hace que sea muy difícil planificar el trabajo.



La revisión puede durar varias rondas. Una vez realizados los cambios, los revisores pueden solicitar experimentos adicionales. Como resultado, la revisión puede llevar varios años.





^{Y no es una broma.}

Reproducibilidad

Este es un problema muy grande para el proceso científico en sí mismo. La "crisis de reproducibilidad", especialmente en las ciencias médicas, es uno de los obstáculos más importantes para el desarrollo rápido y de alta calidad de la ciencia. Este tema ya se ha discutido con suficiente detalle en Habré ( uno y dos ), por lo que aquí solo discutiremos la influencia del sistema de publicación actual en esto.





^{Factores que dificultan la reproducción de los resultados. Las flechas oscuras son algo que se puede corregir durante la revisión y publicación. Las flechas claras indican factores indirectamente relacionados con las publicaciones.}

Y esta influencia es grandiosa. En la imagen, las flechas indican las principales razones de la baja reproducibilidad, que están asociadas con el funcionamiento de los cargadores. Es el editor del artículo quien debe verificar la presencia del código, la disponibilidad de datos en la base de datos, la descripción de los métodos y todos los materiales necesarios. Sin embargo, muchas revistas limitan severamente el alcance del artículo y los métodos detallados simplemente no encajan en el texto principal. Los autores lo incluyen en materiales complementarios, pero están mucho menos controlados por el editor y los revisores, son más difíciles de encontrar por referencia y pueden estar en cualquier formato; todo queda a discreción de los autores.





Curiosamente, es en las revistas más interesantes donde se publican artículos con mucha frecuencia en los que los métodos no se describen con suficiente detalle, los enlaces a las fuentes no funcionan, el código no está disponible y los archivos más importantes no están en las bases de datos. 





La estructura misma de los artículos y el proceso de publicación conduce a una reproducibilidad deficiente: si no sabe lo que hicieron los autores, entonces no puede repetirlo. Pero otros dos hechos juegan un papel aún mayor.



Publicar o perecer. Escribí esto al principio, así es como funciona toda la ciencia ahora. Esto obliga a los científicos a buscar los resultados más publicitados y publicarlos lo más rápido posible. Al hacerlo, los ganadores son aquellos que escriben muchos artículos, no aquellos que hacen investigación cualitativa. La presión de buscar subvenciones lleva al hecho de que es más rentable publicar con más frecuencia, incluso si los resultados no se pueden reproducir más tarde. Ya no importa, el artículo ha sido publicado. Y en algunos casos, esto puede llevar a fraude: tanto pequeñas travesuras con imágenes (como las que se encuentran en Retraction Watch) como falsificación de los resultados de artículos completos.





Y un hecho no menos importante: nadie está interesado en repetir los experimentos de otras personas. Estos trabajos son muy difíciles de publicar y es casi imposible obtener una subvención para ello. Todo el mundo quiere nuevas investigaciones. Es especialmente beneficioso para las revistas publicar artículos que obtengan tantas citas como sea posible. La repetición de resultados conocidos generará mucho menos interés. Curiosamente, la reproducción de la investigación de otras personas es difícil de publicar independientemente de los resultados, usted confirmó el artículo anterior o lo negó.

Usar artículos como medida de frescura

Un problema muy importante del sistema moderno no está directamente relacionado con los artículos. Como decía al principio, las publicaciones son una medida del éxito del trabajo científico y el principal criterio para recibir subvenciones. Esto no es un problema en sí mismo. La pregunta es la implementación: ¿cómo evaluar la frescura del artículo? Hay muchos indicadores bibliométricos diferentes. Los más importantes son el número de citas del artículo y el factor de impacto de la revista.



El recuento de citas de artículos muestra cuántas veces se ha mencionado su investigación en otros artículos revisados ​​por pares. Esta es una característica importante que evalúa la relevancia de la investigación en la comunidad científica, un indicador bastante objetivo, pero no exento de inconvenientes. El principal problema con este parámetro es que la cita de un artículo se acumula solo después de unos meses (para un trabajo muy destacado) o varios años (la versión habitual). Es decir, inmediatamente después de la publicación de una publicación, su importancia e influencia no pueden estimarse por el número de citas.



El factor de impacto de una revista es la cita promedio durante un año de todos los artículos publicados en los dos años anteriores. Es decir, es la medida promedio de citación de artículos en la revista. ¿Cuáles son los problemas con este parámetro? La media es muy sensible a los valores atípicos, por lo que una pequeña cantidad de los artículos más citados tiene la mayor influencia en el factor de impacto.



Pero el problema principal es que el factor de impacto de una revista dice muy poco sobre la calidad de un artículo en particular en esa revista. Sin embargo, este parámetro se usa con mucha frecuencia específicamente para evaluar artículos. Impact Factor está disponible de inmediato y muchas subvenciones lo utilizan para dar a un artículo un valor de calidad.



¿Cuál es el problema con este enfoque? Como ya sabe, la decisión de publicar en la revista (o rechazar) la toma una persona: el editor. Y si encuentra que el artículo es poco interesante, no es lo suficientemente exagerado o inapropiado para cualquier otro parámetro, la publicación será rechazada. Esto significa que el artículo se enviará a otra revista con un factor de impacto menor. Es decir, el contenido del trabajo no ha cambiado, pero su valoración ha disminuido, y no por la calidad del estudio. 

Intercambio e interacción de información

Al final, me gustaría discutir no el problema más importante, sino más bien indicativo. De hecho, en el siglo XXI, los artículos científicos no son muy diferentes de lo que eran hace cien años. Sí, podemos descargar el artículo de Internet (si tiene acceso a él), pero sigue siendo un documento de texto con imágenes. La calidad de las imágenes ha mejorado (aunque algunas revistas todavía tienen que pagar más por las fotografías en color), han aparecido hipervínculos a fuentes bibliográficas (que por alguna razón no funcionan muy bien), pero eso es todo. Y lees el texto dispuesto en columnas, como a finales del siglo XIX.





^{Artículo del primer número de la revista Nature. Quienes estén familiarizados con esta revista reconocerán el formato Carta. Todavía se usa hoy en día, aunque es completamente inconveniente para publicar datos científicos modernos.}

La función principal de la revista ahora es el alojamiento de PDF. Esto es menos de lo que hace, por ejemplo, Wikipedia. Al mismo tiempo, por un servicio de este tipo, debe pagar varios miles de dólares por un documento, probablemente el alojamiento más caro del mundo.



Está claro que estoy exagerando, pero hoy en día hay tantas oportunidades para reseñas, calificaciones y agregación de artículos. Puede proporcionar una plataforma para que los científicos discutan directamente los artículos directamente en el sitio y los traigan allí. Si tomamos a Habr como ejemplo, los comentarios no suelen ser inferiores al artículo en sí.



Ahora algunas revistas tienen la capacidad de comentar, pero casi nadie la usa. Por un lado, porque esta función no es muy conveniente y se implementa peor que en las aplicaciones habituales, por otro lado, porque la revista no gasta energía en atraer científicos y desarrollar dicha plataforma.



Me parece que las experiencias modernas de diferentes campos que organizan una gran cantidad de datos - redes sociales, sitios de directorios (como Kinopoisk), Wikipedia y muchos otros - cambiarán la forma en que intercambiamos información científica. Los editores están dando tímidos pasos en esta dirección, pero están satisfechos con la situación actual, no necesitan cambiar nada.





Al final, me gustaría invitar a todos a una discusión. Anote si ha tenido experiencias negativas con las revistas. ¿O tal vez está completamente satisfecho con el sistema moderno? Me encantaría escuchar su opinión sobre las publicaciones científicas en los comentarios.



Y sobre cómo se están resolviendo algunos de los problemas descritos y qué más se puede hacer y cuáles son las perspectivas de desarrollo, hablaremos con usted la próxima vez ( segunda parte del artículo ).

Expresiones de gratitud

Muchas gracias a Olga Zolotareva por las discusiones e ideas para este artículo. Gracias a Sofya Kamalyan por ayudarme a revisar el texto. Y también a todos los compañeros con los que discutimos los problemas de las publicaciones científicas.