¿Cómo solucionar los problemas de las publicaciones científicas?

En la primera parte de este artículo, analizamos los problemas del sistema de publicación científica que dificultan la investigación y la difusión de datos. Estoy muy contento de que este tema resultó ser interesante y atrajo muchas ideas y comentarios interesantes.



Esta vez discutiremos qué soluciones ya se han inventado, implementado y desarrollado. Finalmente, describiré mi visión de un sistema óptimo para el intercambio de información científica.

Sistemas de recuperación de información científica 

El hecho de que ahora puedas encontrar cualquier artículo científico en línea ya no es sorprendente. Sin embargo, hace solo un par de décadas, las cosas estaban lejos de ser simples.





Ahora puede encontrar cualquier artículo por autor, título, año de publicación o palabras clave del resumen. Basta con abrir Scopus, PubMed, Google Scholar u otro sistema.



Sin embargo, indudablemente hay margen de mejora. La mayoría de los sistemas buscan solo por anotaciones, aunque la búsqueda de todo el texto dará acceso a una cantidad mucho mayor de información. Esto plantea el problema de que a menudo el texto completo no está disponible públicamente (debido al muro de pago). Además, serían útiles las capacidades de búsqueda por métodos utilizados en el trabajo y experimentos individuales.



El uso de motores de búsqueda es un factor importante en la creación de nuevas revistas o archivos preimpresos. A menudo, muchos científicos utilizan un servicio de búsqueda popular en un campo en particular (por ejemplo, en biología y medicina, es PubMed). En este caso, los artículos publicados sobre recursos que no están indexados por dichos motores de búsqueda resultan prácticamente invisibles para la comunidad científica.

Acceso abierto 

Uno de los problemas más importantes de las revistas científicas modernas es la restricción de acceso a los artículos mediante suscripción (muro de pago). Cualquiera que haya trabajado con artículos al menos una vez se ha encontrado con esto.





El problema del acceso a los artículos es generalmente reconocido y la comunidad científica está haciendo grandes esfuerzos para traducir todos los artículos en acceso abierto.



La solución al problema se conoce desde hace mucho tiempo: cuando se envía un artículo para su publicación, los autores pagan una tarifa única y el artículo se distribuye gratuitamente. Cualquiera puede descargar el artículo gratuitamente. Los costos de publicación son un tema de discusión por separado, pero incluso a los precios actuales, publicar todos los artículos en el dominio público será más barato que las suscripciones para todas las universidades.



Lo más interesante es que también es beneficioso para las revistas: no necesitan mantener el sistema de suscripción, simplemente toman dinero de los autores.





Además, los artículos de dominio público pueden tener muchos más lectores (ya que el acceso a dichos artículos no está limitado por nada), lo que significa que es más fácil para ellos obtener citas. Nuevamente, esto es beneficioso para todos, tanto para los autores como para las revistas, porque aumenta el factor de impacto.

Presentación previa

Muchas revistas tienen sus propios estándares para dar formato al texto, las ilustraciones y otras partes del artículo. Esto puede provocar un problema muy molesto. No todo el mundo se enfrenta a este problema, pero si tiene mucha mala suerte, puede perder seis meses haciendo un trabajo completamente improductivo y esperando sin ninguna mejora en la propia investigación. Se trata de la necesidad de rehacer por completo el diseño de la revista, si el editor rechazó el artículo de la revista anterior. Los cambios a menudo pueden ser significativos y requerir mucho tiempo. Y también el artículo se puede rechazar más de una vez.





Para evitar reescribir por completo el artículo completo, las revistas ofrecen a los autores un envío previo. Los autores solo envían una breve descripción de su artículo al editor, quien toma una decisión preliminar. Si el artículo no se ajusta a la revista, puede enviarlo a otra revista sin perder tiempo preparando todo el diseño. Si el editor está interesado en su trabajo, entonces comienza la presentación habitual del texto completo para su revisión. Actualmente, muchas editoriales brindan a los autores esta oportunidad.



El preenvío puede parecer una pequeña mejora, pero en la situación actual con una gran cantidad de revistas, puede facilitar la vida de los autores y ahorrar mucho tiempo. 

Preinscripción del estudio (preinscripción)

La editorial PLoS lanzó un proyecto piloto bastante interesante. Puede registrar su proyecto en la revista al comienzo del trabajo . En este caso, estamos hablando solo del concepto, al registrarse no hay resultados finales o un texto ya hecho. Esta preinscripción es una oportunidad interesante para recibir comentarios de otros académicos y posibles revisores desde el principio. Este enfoque ayuda a optimizar el trabajo y agiliza la revisión cuando se envía a la revista.



Otro plus del registro preliminar es la publicación de los resultados, independientemente de si se pudo confirmar o no la hipótesis planteada. El hecho es que ahora es casi imposible publicar resultados negativos. Esto conduce a un sesgo en la percepción de los hechos científicos: solo se publican las hipótesis que han sido confirmadas, las que fallaron se publican muy raramente. El registro previo puede solucionar este problema. Si has registrado tu proyecto desde el principio, el resultado final se publicará independientemente de que sea positivo o negativo.



Existen desventajas obvias en el registro preliminar de proyectos. Algunos estudiosos creen que de esta manera será posible "ocupar" temas interesantes y luego explorarlos lentamente. En general, la cuestión de la prioridad en tal sistema se vuelve muy controvertida. En muchas áreas de la ciencia, no es tanto la idea inicial lo que es importante como su verificación experimental. Es decir, es fácil proponer un proyecto, pero mucho más difícil de implementar. La preinscripción puede fomentar la presentación de más proyectos de los que el grupo puede investigar.



Pero también hay una desventaja más obvia de este sistema. Las revistas que utilizan el registro previo están en desventaja en comparación con las revistas tradicionales. Después de todo, la preinscripción requiere que abras los detalles de tu proyecto, así como desde el principio elegir una revista en la que publicarás tu investigación. Otros académicos pueden usar las ideas de su proyecto y publicar su investigación en una revista tradicional. Es decir, el sistema de prerregistro puede funcionar de manera eficaz solo si todas las revistas participan en él.

Revisión de artículos

La revisión es la parte más importante del proceso de publicación; sin ella, no puede estar seguro de que la información ha sido verificada. Sin embargo, este es un proceso largo y laborioso. A continuación, se muestran algunas formas de optimizar su reseña.

Preprints

Una preimpresión es un texto científico de autor que aún no ha sido revisado por revisores. Los autores pueden publicar su investigación en sitios específicos como arxiv.org y biorxiv.org.



Los servicios de preimpresión se han vuelto muy populares últimamente. Desde el punto de vista de la difusión de información científica, no son de ninguna manera inferiores a los artículos ordinarios: cualquiera puede descargar el manuscrito y leerlo. La principal diferencia es que la preimpresión no se ha verificado. Pero si un especialista lo lee, este problema no es demasiado importante: el lector actúa como revisor por sí mismo. Pero la preimpresión se puede publicar mucho antes, lo que acelera el intercambio de información.



La mayoría de las veces, los preprints se envían a una revista científica regular al mismo tiempo. Es decir, después de un tiempo, la preimpresión se convierte en un artículo regular revisado por pares. En algunos casos, las preimpresiones pueden ayudar a resolver el problema del acceso cerrado, así como a obtener comentarios de colegas sobre el artículo mientras aún está en revisión.

F1000Investigación

La revista F1000Research combinó ambas posibilidades: el manuscrito se publica primero como preimpresión y, después de la revisión, recibe el estado de artículo verificado. En mi opinión, esta es una dirección prometedora, pero hasta ahora muy pocas revistas la utilizan.



Esta revista también le permite publicar carteles y diapositivas con asignaciones de doi. Es decir, resulta más fácil buscar estos materiales y, si es necesario, cotizar.



Estoy muy cerca de la posición de esta revista indicada en su página de inicio:

Publique todos sus hallazgos, incluidos resultados nulos, notas de datos y más.

Interactúe con sus revisores de forma abierta y transparente.

Acelere el impacto de su investigación.

Curiosamente, se eligió un modelo similar para JMIRx : revistas asociadas con biorxiv, medrxiv y psiarxiv. Los autores suben un artículo al archivo y los editores de JMIRx seleccionan algunos artículos y los envían para su revisión. Los propios autores pueden solicitar la revisión de su artículo. Las ediciones propuestas por los revisores también se cargan en el archivo.



Así es como se describe la idea en JMIRx:

Los investigadores podrían enviar artículos electrónicos de tipo 1 [preimpresiones no revisadas por pares] a servidores de preimpresión para su discusión y revisión por pares, y los editores y editores de revistas seleccionarían y ofertarían por los mejores artículos que quisieran ver como "artículos de tipo 2" [ versión del registro] en su diario.

En mi opinión, este es un gran ejemplo de un nuevo enfoque para publicar resultados. No estoy de acuerdo con todo en sus decisiones, por ejemplo, se invita a los revisores principalmente según las propuestas de los autores del artículo, pero creo que el principio de introducir innovaciones es muy correcto.

Revisión por pares antes del envío a la revista

Recientemente, varias revistas se han unido para que los científicos envíen su artículo no a una revista específica, sino a una revisión general para todos . Después de pasar la revisión, se seleccionará la revista óptima para su publicación. En este proceso también participa el editor, quien en este caso representa a todo el sindicato.



Este formato de revisión le da la confianza de que el artículo no será rechazado por una revista en particular en el proceso. Esto significa que los autores no perderán tiempo en reenvíos, porque la elección de una revista en particular para su publicación ocurre después de la revisión.



El desarrollo obvio de tal esquema será la consolidación de más y más revistas. Sin embargo, la competencia entre editores puede convertirse en un obstáculo para este proceso. En el marco de una editorial, no es muy difícil encontrar la revista adecuada sobre el tema. Además, diferentes editoriales tienen revistas con temas similares y, a menudo, se acercan en términos de factor de impacto.

Publicar reseñas

Algunas revistas (como eLife y Nature ) publican reseñas de pares. Creo que es correcto, porque la revisión es una parte importante del proceso científico. Si un revisor sugirió buenos experimentos y notó inexactitudes importantes, contribuyó al desarrollo del estudio. Por otro lado, a veces los requisitos de los revisores pueden ser completamente ilógicos, entonces también es útil ver las revisiones para entender qué se agregó y qué sugirieron originalmente los autores. Al mismo tiempo, la publicación de la revisión no impide que los revisores permanezcan en el anonimato.



La cuestión de la necesidad de revisiones anónimas no tiene una respuesta clara. En la mayoría de los casos, se utiliza el método semi-ciego, cuando se conocen los nombres de los autores y los revisores son anónimos. En Nature, se propuso una variante de revisiones doble ciego, cuando ni los autores ni los revisores revelan sus nombres (después de la revisión, se abren los nombres de los autores, por supuesto). Al mismo tiempo, la tarea de asegurar el anonimato del artículo recae en los autores, y esto no es nada fácil. A menudo, por tema, objeto y método de trabajo, es posible identificar con precisión el laboratorio que realizó la investigación.





Y el F1000Research ya mencionado, por el contrario, apoya el enfoque opuesto: la revisión es completamente abierta. Tanto los autores como los revisores conocen los nombres de los demás. No tengo una opinión definitiva sobre qué enfoque es mejor. Cada uno de ellos tiene sus propias ventajas. En un punto, muchos participantes en la discusión están de acuerdo en que la revisión anónima probablemente sea más crítica.

Remuneración de los revisores

Uno de los problemas obvios, en mi opinión, es que el trabajo de los revisores no se paga.





Está claro que las revistas no están interesadas en cambiar ese sistema. Pero a pesar de esto, se están produciendo pequeños avances. Algunas revistas, como mínimo, están discutiendo la posibilidad de publicaciones gratuitas para revisores activos. Los pasos en esta dirección son muy pequeños, pero parece que la comunidad está empezando a reflexionar seriamente sobre las fallas del modelo existente.

Factor de impacto como medida de frialdad

Un problema muy importante del proceso científico moderno en su conjunto es cómo evaluar el éxito y la eficacia del trabajo científico. Este es un tema eterno que se puede discutir desde todo tipo de lados, pero hoy es importante para nosotros cómo las publicaciones científicas influyen en esto.



La cuestión es que los artículos son la principal medida del éxito de un científico. La gran mayoría de las métricas de éxito utilizan algún tipo de métricas relacionadas con las publicaciones. Todos los que estaban ligeramente conectados con la ciencia escucharon sobre el índice de Hirsch, el número de citas y el factor de impacto. Este último se utiliza con mayor frecuencia cuando se informa sobre subvenciones y cuando se reciben nuevas (es decir, determina cuánto dinero tendrá un científico). Esto significa que el factor de impacto afecta más claramente el éxito de los investigadores.





El Factor de Impacto es la suma de las citas de un año, de todos los artículos publicados en los dos años anteriores. Es decir, es la medida promedio de citación de artículos en la revista. Por lo tanto, sigue el inconveniente más importante de este parámetro: el factor de impacto es una característica de una revista y no de un artículo separado. Hasta cierto punto, estos valores están correlacionados: un artículo malo no se publicará en una revista destacada. El problema es que esta es una estimación muy indirecta. No sabemos a qué revistas los autores enviaron su artículo, tampoco sabemos en qué se guió el editor cuando aceptó o rechazó el artículo. Esto puede ser la calidad o la novedad del artículo, o un tema publicitario o un científico conocido entre los autores. No sabemos por qué el artículo terminó en una buena revista; esta es una medida acumulativa que combina todas las ventajas y desventajas del artículo. Además,la decisión final la toma una sola persona: el editor, y la evaluación de la calidad de un artículo científico depende de su decisión. Todo esto hace que el factor de impacto sea una medida muy opaca y difícil de analizar de la calidad de un artículo individual.



La cuestión misma de la calidad del trabajo científico es muy complicada. ¿Qué es más importante, la alta calidad de los experimentos o la novedad? ¿O quizás la popularidad momentánea del tema? Pero el factor de impacto oculta todos estos parámetros (y muchos otros) en una figura, calculada para todos los elementos durante dos años. 





Muchos científicos se oponen al uso de factores de impacto, por ejemplo, la combinación de DORA y ASAPbio , que abogan por la abolición de los factores de impacto. El premio Nobel Randy Sheckman, uno de los fundadores de la revista eLife, también pide el abandono de esa métrica. Curiosamente, eLife inicialmente no quería indexar su revista en esta calificación. Pero los compiladores de la lista de factores de impacto, Thomson Reuters, no tuvieron en cuenta su opinión.





Sin embargo, los más importantes son los principios de evaluación utilizados por los grandes donantes. Si deciden abandonar el factor de impacto en favor de un método de evaluación diferente, esto puede cambiar rápidamente el statu quo.

Reproducibilidad

Este es el problema más importante que enfrenta ahora toda la comunidad científica. No existe una solución única para este problema, y ​​los donantes, las revistas y los propios científicos deben trabajar juntos para mejorar la confiabilidad de los datos. Sin embargo, las publicaciones científicas juegan un papel importante en este proceso. La revisión por pares más estricta de los artículos para validar los métodos de investigación y la disponibilidad de datos debería ser el punto de partida definitivo para mejorar la reproducibilidad.





Una forma de organizar descripciones de métodos, materiales y datos es a través de varios formularios estándar. Actualmente no existe un estándar único para describir métodos, pero algunas revistas ofrecen sus propias pautas de diseño. Por ejemplo, Cell Press utiliza los llamados métodos STAR y la tabla de recursos clave. Esta es una lista de criterios para describir métodos y especificar con precisión todos los materiales utilizados. Estos criterios no son ideales, pero son un gran paso adelante. Cell tampoco permite que los métodos se transfieran a Supplementary, lo que también ayuda a estandarizar la descripción.



También cabe destacar la aparición de una gran cantidad de recursos exclusivamente para el intercambio de protocolos de investigación (por ejemplo, protocolos.io ). Para ello, se fabrican revistas especiales con procedimientos muy detallados. Y por ejemplo una revistaJoVE (Journal of Visualized Experiments) publica no solo descripciones textuales de los procedimientos, sino también videos que muestran los detalles del proceso, que pueden ser muy útiles para reproducir experimentos complejos.





Cuando se trata de reproducibilidad, por supuesto, se debe mencionar el reloj de retracción . Este es un intento de resolver el problema desde el otro lado. Buscan modificaciones de imagen, irregularidades experimentales y otras falsificaciones en artículos ya publicados. Es importante comprender que incluso los revisores más atentos y responsables pueden perder un error o inexactitud. Y aquí es donde la comunidad ayuda al marcar artículos sospechosos.



A menudo, como resultado de las acciones de Retraction Watch, la revista recuerda artículos con falsificación. Cabe señalar aquí que el siguiente paso en el sistema moderno casi nunca se da. Nadie revisa otros artículos que los mismos revisores hayan verificado, por ejemplo. Incluso si un editor de una revista encuentra un revisor sistemáticamente sin escrúpulos, otras revistas no se enterarán.

Interacción de científicos

La última vez, la oportunidad de comentar artículos científicos provocó una animada reacción. Anteriormente, se generalizó un género especial de publicaciones: "Comentario al artículo". Es decir, un científico escribió una pequeña nota a la revista, donde discutió el artículo de otros autores. Esta es una buena oportunidad para la discusión académica, pero bastante lenta.



Ahora casi no encuentro tales notas. Hay una sección con comentarios en sitios de revistas, pero casi nadie la usa. Me siento muy inspirado al respecto por Habr, ya que aquí los comentarios sirven como una valiosa fuente de información adicional que desarrolla las ideas del artículo. Está claro que los comentarios en una revista científica deberían funcionar de manera diferente, pero se demanda la posibilidad misma de publicar pequeños artículos experimentales o discusiones.





Aquí hay que tener en cuenta que la mayoría de los lectores del artículo son especialistas en el mismo campo. Muchos de ellos quieren utilizar los datos o enfoques experimentales del artículo. Es decir, su opinión puede ser valiosa tanto para los autores como para otros lectores del artículo. Y los científicos ahora usan una variedad de herramientas para facilitar dicha comunicación.





Sorprendentemente, Twitter sigue siendo una de las plataformas más populares. Los científicos no solo comparten enlaces a sus artículos, sino que también organizan debates bastante extensos. Me parece que esto no es muy conveniente (al menos por el límite en la cantidad de caracteres), pero la plataforma ya se ha convertido en una especie de red social para científicos.



Pero también están evolucionando plataformas más especializadas . Probablemente la red social más famosa para científicos sea ResearchGate . Este es un sitio bastante fácil de usar con una amplia funcionalidad. Aquí puede cargar artículos y preimpresos, suscribirse a actualizaciones de científicos que le interesan, crear proyectos WIP con experimentos no publicados, escribir comentarios sobre artículos. También hay un sistema de clasificación, que consta de publicaciones, preguntas, respuestas y el número de suscriptores.



Elsevier tiene su propia red social para académicos basada en el programa de bibliografía de Mendeley . Sorprendentemente, incluso después de comprar Elsevier, el programa sigue siendo gratuito. Este es un administrador de referencias bastante conveniente, pero como red social no lo usé.

Cómo veo la revista del futuro

De hecho, te engañé en el título de esta sección. No hay nada particularmente futurista en este concepto. No estoy sugiriendo reemplazar a los científicos con robots para recopilar datos automáticamente o usar blockchain para protegerse contra la manipulación. Todo lo que sugiero usar ya está ahí y en uso. Solo estoy sugiriendo que combinemos los conceptos que funcionan juntos.

idea principal 

La idea es crear un archivo unificado de información donde los autores puedan cargar investigaciones sobre cualquier tema. Al mismo tiempo, combina las ventajas de las revistas científicas, ¡pero funciona (casi) automáticamente!



El sistema se basará en un programa como JANE . Si no está familiarizado con este tipo de programas y tiene a mano un breve texto científico sobre temas biomédicos, le recomiendo que siga el enlace y lo pruebe. JANE busca artículos similares y, basándose en esto, selecciona las revistas adecuadas y enumera los autores que trabajan en este tema. Los detalles se describen aquí en este artículo .





Me parece que un programa de este tipo es ideal para el papel de un editor automático. Podrá verificar categorías de temas y palabras clave, así como encontrar revisores.



El autor del artículo carga el manuscrito en el servidor, el programa encuentra revisores adecuados y les envía correos electrónicos. Los revisores revisan el artículo, toman una decisión, marcan el estado del artículo en el sitio y envían los comentarios necesarios a los autores. Con base en los resultados de las correcciones, los revisores autorizan la publicación del artículo y le dan una calificación.



Por lo tanto, obtenemos una revista revisada por pares por el precio de un archivo preimpreso.



Estas no son todas las características que me gustaría ofrecer, pero esta es la idea más básica. Es fácil agregarle funciones adicionales necesarias. Veamos en detalle cómo podría verse un servicio de este tipo.

Detalles

Dar formato a las notas

El servicio debe estar disponible para todos, cualquier documento debe estar disponible públicamente .



Me gusta mucho el concepto de la revista F1000Research que mencioné anteriormente. Por lo tanto, inmediatamente después de la carga, el texto está disponible como preimpresión . Al mismo tiempo, se indica específicamente que la revisión aún no ha pasado. Después de la revisión, el estado del artículo cambia al artículo revisado.



Normalmente, un artículo consta de varias secciones , que a menudo representan diferentes hipótesis, experimentos o partes del trabajo. Encuentro útil agregar palabras clave a dichas secciones e incluso experimentos individuales para que sea más fácil encontrarlas. También cabe mencionar a los autores que realizaron y analizaron este experimento.



Para cada experimento, se hace referencia a los métodos utilizados, que se describen con referencias a los protocolos completos . Dichos protocolos se pueden publicar por separado en sitios especiales (por ejemplo, protocol.io ).



Todos los datos deben cargarse en servicios independientes. Los enlaces vinculan cada experimento a archivos de resultados específicos.



Para un mayor control y reproducibilidad, puede agregar un requisito para el acceso abierto a la revista electrónica del laboratorio para el proyecto (un ejemplo de dicha revista es la evaluación comparativa). Ahora bien, esto no requiere ningún esfuerzo, pero puede reducir significativamente la falsificación, mejorar la descripción de los experimentos. Sin embargo, las revistas de laboratorio electrónicas aún no se han convertido en un estándar, por lo que el requisito puede ser demasiado estricto en este momento.



Proporcione enlaces a otros artículos de diferentes tipos . Es decir, ahora no solo se considerarán las citas del artículo, sino que algunas citas se indicarán como referencias, algunas como base para la investigación y algunas se citan para indicar contradicciones. Los diferentes tipos de citas contribuirán de manera diferente a la evaluación del artículo citado. Las menciones y los enlaces principales se pueden determinar automáticamente (por el número de citas en el artículo). En este artículo se describe un enfoque interesante para diferentes tipos de enlaces , y lo discutiré con más detalle a continuación.



Agregue citas a secciones específicas de artículos (al menos para enlaces internos). Es decir, cuando citas otro artículo, indicas en qué sección de este artículo se encuentra la información necesaria. Esto simplificará enormemente la búsqueda de hechos en el artículo y la verificación de fuentes bibliográficas.

registro

Cualquiera puede leer artículos y comentarios. Pero solo los usuarios registrados pueden subir artículos, escribir comentarios y reseñas.



Para registrarse, debe ser el autor de un artículo en una revista revisada por pares o recibir una recomendación de un científico con publicaciones. Tal sistema sirve como una cierta garantía de los especialistas para la posibilidad de publicación.



A cada participante se le asigna una calificación. Al registrarse, la calificación se determina en base a indicadores bibliométricos (número de artículos, citas, índice de Hirsch).

Revisión y edición automática

Cuando los autores suben su artículo al servidor, el sistema analiza el resumen y selecciona palabras clave y revisores. Al seleccionar los revisores, se tienen en cuenta sus coautores y afiliaciones para evitar conflictos de intereses.



Los revisores se seleccionan con calificaciones diferentes, pero no demasiado bajas. Es decir, el sistema intentará encontrar un revisor con una calificación alta y media. La búsqueda de revisores se realiza no solo entre los usuarios registrados, sino entre todos los científicos que tienen publicaciones en la base de datos.



Los revisores seleccionados reciben correos electrónicos de la revista invitándolos a revisar el manuscrito. La carta contiene un resumen, un enlace al texto completo y un enlace a un canal anónimo de comunicación con los autores. Si el revisor acepta la propuesta, lee el artículo y escribe su reseña a los autores. Si se niega, el sistema busca más.



El trabajo del revisor en este caso difiere solo en la evaluación del manuscrito de acuerdo con varios indicadores. Por lo demás, el revisor también describe las ventajas y desventajas del artículo, sugiere experimentos adicionales. Los comentarios del revisor están inmediatamente disponibles para los autores, pueden corregir el artículo y realizar experimentos adicionales. En este caso, no es necesario esperar las respuestas de todos los revisores, los autores reciben una respuesta inmediata de inmediato.



Todos los usuarios registrados pueden escribir reseñas de "usuarios" y calificar el artículo. Esta calificación se puede considerar independientemente de la calificación de los revisores seleccionados, o se pueden combinar teniendo en cuenta el posible conflicto de intereses y calificación.

Clasificación

Todos los usuarios registrados son calificados. La calificación se obtiene para los artículos, incluso en otras revistas, para las revisiones, para los comentarios. Idealmente, la clasificación debería ser semiautomática.



Es importante que todas las acciones del usuario se registren y para cada acción, la calificación del usuario se puede aumentar o disminuir. Por ejemplo, un revisor recibe puntos por cada revisión. Si la revisión resultó ser parcial o si se omitió un error obvio, el revisor recibirá un signo menos en la calificación. Por una buena revisión recibirá puntos adicionales más. A continuación describiré cómo se tratan los casos polémicos que surgen a la hora de evaluar artículos.

Comentarios 

La revisión y las respuestas de los autores se convierten en el primer nivel de comentarios. Al mismo tiempo, los revisores pueden permanecer en el anonimato o abrir sus nombres a su propia discreción.



Todos los usuarios registrados pueden dejar comentarios sobre cualquier artículo. Estos pueden ser reseñas de “usuarios”, hilos de discusión gratuitos, reproducción de experimentos (tanto exitosos como fallidos), quejas sobre métodos insuficientemente detallados y datos no disponibles.



Dichas quejas pueden ser semiautomáticas: puede dejar una queja haciendo clic en el botón y describiendo la esencia de la queja. Los autores pueden corregir ese error ellos mismos, entonces su calificación no disminuye. Si los autores no responden a la queja, se asigna un revisor adicional y los autores y revisores originales del artículo pierden calificación.



Los comentarios con experimentos individuales reciben su propia ID (doi) y pueden ser revisados ​​por un revisor. Los autores también pueden publicar experimentos adicionales en su artículo en forma de comentarios. Esto suele ser útil, ya que los experimentos que no se ajustan a la línea de un artículo generalmente no se incluyen en el manuscrito. Esta oportunidad le permitirá hacer un pequeño trabajo basado en el artículo, que no se prolonga hasta una publicación completa. Por ejemplo, esto puede resultar útil para proyectos de estudiantes.

Red

En esta versión del servicio, puede aprovechar al máximo las redes con una gran cantidad de usuarios. Por ejemplo, podrá obtener recomendaciones de artículos que leen personas con el mismo historial de búsqueda.



O suscríbase a un científico famoso. Entonces, solo mediante el uso de sus evaluaciones de los artículos se puede obtener una parte de su opinión sobre los trabajos publicados. Es decir, cada científico se convierte, en cierto sentido, en editor, pero selecciona los artículos después de su publicación y no antes.



Además, tal red de interacciones permite encontrar conflictos de intereses.

La resolución de conflictos

Está claro que pueden surgir conflictos en cualquier sistema. Esto se puede ver en el ejemplo de edit wars en Wikipedia y en otros recursos. Los algoritmos se pueden utilizar para identificar y resolver conflictos, pero en algunos casos se necesita una decisión humana. Los moderadores pueden trabajar de forma permanente o ser voluntarios. En el segundo caso, los usuarios activos con una buena calificación pueden recibir mensajes pidiéndoles que revisen un artículo o comentario específico. Es decir, pueden trabajar como revisores, pero para abordar un tema específico.



La búsqueda de conflictos en muchos casos se puede automatizar. Se pueden considerar varias violaciones potenciales típicas de la integridad.



Escuelas opuestas- Hay ocasiones en las que varios grupos sostienen diferentes teorías y tratan de rebajar el punto de vista opuesto. 



Esta situación se puede determinar mediante el gráfico de enlaces: citas, calificaciones y afiliaciones. Los grupos opuestos estarán representados por clics aislados en el gráfico, y las puntuaciones de los artículos de cada uno serán opuestas. En este caso, puede marcar calificaciones, comentarios y reseñas de otro grupo con una etiqueta especial; no puede simplemente desecharlos, pueden contener información valiosa. Pero estas revisiones tampoco pueden considerarse imparciales.



"Amigos" : a veces ocurre la situación opuesta, los colegas o conocidos se sobreestiman entre sí. Esto también se puede calcular a partir del gráfico de enlaces y citas. Estas evaluaciones también se pueden etiquetar con una etiqueta especial.



Quejas... Como ya escribí en la sección de comentarios, puede quejarse de un artículo si encuentra una falla grave en él. Esto puede ser descripciones de métodos insuficientemente detalladas, códigos faltantes o referencias de datos, o puede haber un problema más serio: manipulación de imágenes, falsificación o teorías pseudocientíficas. El autor puede corregir una pequeña queja sin la participación de un moderador. Una infracción grave es tratada por un moderador independiente (o varios) que toman una decisión. Dependiendo de esta decisión, la calificación de los autores, revisores y comentaristas cambia.

Promoción

Darksnake describió un sistema similar en su comentario sobre la primera parte . También compartió una idea sobre una forma de promover dicha revista.

Exactamente como un archivo de preimpresión. Hay muy pocos de ellos ahora. Sobre la base del archivo de preimpresiones, puede hacer un diario formal. No es realista hacer tu propia revista desde cero. Pero hacer una revista basada en una base de publicaciones ya preparada es bastante realista.

Me parece que dicho modelo de promoción también es adecuado para el sistema descrito. De hecho, desde el punto de vista del usuario, no difiere mucho del archivo de preimpresión. En este caso tampoco hay ningún costo adicional para el personal editorial.

Pago por el trabajo de los revisores 

Describí una opción de servicio gratuito para lectores y autores. Por supuesto, se requiere una cierta cantidad de dinero para mantener y desarrollar la infraestructura y otros gastos necesarios. Sin embargo, por el precio del servicio de preimpresión, obtenemos una revista revisada por pares.



En el futuro, puede agregar la remuneración de los revisores, por ejemplo, 100-200 euros por revisión. Aun así, el costo total para los autores será mucho menor que el costo promedio de una publicación de acceso abierto. Hay una variedad de opciones: se puede pagar a los revisores en función de la calidad de su revisión y calificación. El pago por la publicación en la revista puede ser de acuerdo al esquema de "pague lo que pueda" o cualquier otro, pero en cualquier caso por mucho menos dinero que los costos de acceso abierto ahora.

Problemas

En las discusiones sobre este sistema, me he encontrado con varios problemas potenciales. Analicemos algunos de ellos (estoy seguro de que habrá más en los comentarios).

Demasiada carga de trabajo para los revisores

Existe la preocupación de que se envíen demasiados artículos a los revisores sin una selección previa por parte del editor. Me parece que este es un problema con solución.



Primero, es fácil realizar un seguimiento de cuántos artículos se enviaron a cada revisor y no enviar nuevos si ya hay demasiados.



En segundo lugar, existe una reserva bastante grande de científicos a los que generalmente no se envían artículos para revisión: postdoctorados y estudiantes de posgrado. A menudo, son ellos los que revisan artículos en revistas no muy interesantes, pero reciben una oferta de su supervisor, que se considera formalmente un revisor del artículo. Muchas personas se muestran escépticas acerca de la revisión por pares por parte de los científicos al principio de sus carreras, pero me parece que muchos de ellos pueden hacer frente a la tarea tan bien como sus colegas mayores.



En tercer lugar, en mi experiencia, no todos los revisores leen el artículo completo antes de enviarlo para su revisión. En este caso, el potencial revisor puede decidir si tomar el artículo o no leyendo el resumen y mirando las imágenes. Un revisor siempre puede negarse a aceptar un artículo si no está interesado en él, si no se considera lo suficientemente competente en el campo requerido o si no tiene tiempo.



En cuarto lugar, el sistema de clasificación debería ayudar a resolver este problema. Por lo tanto, los científicos con una calificación más alta pueden obtener una ventaja al encontrar un revisor. Y la calificación se puede mostrar incluso con comunicación anónima. Por el contrario, los usuarios con una calificación baja tendrán una capacidad limitada para enviar artículos (por ejemplo, no más de una vez cada pocos meses), ya que anteriormente se notó que enviaban datos de baja calidad.

Afilado de artículos "me gusta"

Esto significa que los científicos ajustarán sus artículos tanto como sea posible a cualquier sistema de clasificación introducido. Y si propone calificar un artículo con "me gusta" condicionales de otros científicos, entonces los artículos se optimizarán para obtener más de estos me gusta. Este es un problema perenne que surge en cualquier sistema de clasificación. En un comentario sobre el artículo anterior , jungeschwili mencionó el efecto cobra y la ley de Goodhart , que describen muy bien el problema. No obstante, se pueden proponer varias formas de compensar este efecto.



Primero, la calificación no pretende ser la única medida de la calidad del artículo. Propongo solo alejarme de la evaluación del factor de impacto y también agregar una evaluación obvia de los revisores.



En segundo lugar, la búsqueda automática de conflictos de intereses le permite evitar una parte notable de "me gusta" de "amigos" o "enemigos" del autor, que pueden ser menos objetivos.



En tercer lugar, es óptimo tener comentarios: si un científico evalúa artículos de mala fe, el precio de su evaluación cae.

Necesitamos ir más profundo

Microartículos

El problema que es la premisa de este párrafo, no lo analicé la última vez. Consiste en cómo evaluar a todos los autores del artículo. En biología, se considera que el primer autor es el más importante, quien hizo la mayor contribución al trabajo. Pero puede haber muchas gradaciones y puede resultar difícil dividir el grado de participación entre un gran número de autores. Algunas revistas piden indicar directamente la contribución de los autores al final del artículo.



Sin embargo, existe una solución más interesante. Si el artículo se publica no como un todo, sino como un conjunto de experimentos separados, entonces cada uno puede recibir una lista separada de autores. Y además, no puedes citar todo el artículo, sino solo las partes que te interesan.



Hay una serie de ventajas interesantes en este concepto. Peter Lidsky describió el concepto con gran detalle e incluso el proceso de transición a él en este artículo.... Si está interesado en ver una de las opciones para el desarrollo de futuras revistas, le recomiendo que lea.

Integración de la información recibida

Uno de los problemas más importantes no es ni siquiera la mejor manera de publicar un artículo científico, la organización del conocimiento científico en general. Después de todo, cada artículo es solo una pequeña pieza de un gran rompecabezas que estamos tratando de armar sin un diagrama.



Las revisiones son ahora una de las pocas formas de combinar estudios dispares. Los científicos los escriben sobre la base de varios trabajos experimentales. Sin embargo, incluso las mejores reseñas quedan obsoletas con la suficiente rapidez, y cada semana aparecen nuevos artículos.



En los comentarios ( uno , dos) al artículo anterior sugirió usar el formato wiki para mantener las reseñas actualizadas por la comunidad. En mi opinión, esta es una idea bastante interesante. Además, ya se utiliza en versiones ligeramente diferentes en varias bases de datos. Sin embargo, aquí también hay espacio para el desarrollo.



Así es como mi colega, Zoya Chervontseva, describe su visión sobre los problemas de las publicaciones científicas:

Me parece que el mayor problema de las publicaciones biológicas ahora es un lío en la parte semántica, no en la organizativa. Hay muchas declaraciones privadas (la proteína A hace esto y aquello en tales y tales condiciones) que no se correlacionan entre sí de ninguna manera. Las revisiones intentan satisfacer esta necesidad, pero faltan. El sistema ideal de publicaciones, en mi humilde opinión, debería escribir explícitamente sus nuevas declaraciones en alguna estructura (¿gráfico?) De conocimiento previo.



Una dificultad separada radica en el hecho de que muchas declaraciones son ahora probabilísticas: no la proteína A hace algo, sino la proteína A, tal vez, según los resultados de nuestro nuevo protocolo súper sofisticado, con tal o cual valor p se une a este sitio en el ADN, y tanto para miles de sitios en el genoma. Es decir, resulta ni siquiera una unidad de información, sino la densidad de probabilidad de la información)). Además, por supuesto, el efecto por lotes y los errores en los programas de análisis, sí, pero parece que la irreproducibilidad aquí no es tan mala como el hecho de que, en principio, no podemos integrar correctamente este tipo de información ahora.

Hoy en día, varias bases de datos realizan una función similar. Pero todavía están lejos de ser ideales. Sin mencionar la creación de una estructura de datos que describa una gran parte de la ciencia a la vez. Sin embargo, estoy seguro de que esta dirección seguirá desarrollándose activamente en un futuro próximo.

Papel de las revistas clásicas en el futuro 

Está claro que las revistas clásicas no desaparecerán de la noche a la mañana. Pero esto no es necesario. Es posible que funcionen en paralelo con el sistema de acceso abierto.



Por ejemplo, pueden seleccionar científicos eminentes y comisionarlos para que revisen diferentes áreas de especialización. O haciendo periodismo científico. O para presentar la investigación más fácilmente a los no especialistas.

Una pequeña conclusión

Estas son las direcciones para el desarrollo de publicaciones que me parecen prometedoras. Creo que en un futuro próximo incluso esos pronósticos pueden resultar bastante modestos: existe un enorme potencial de desarrollo en esta área y quién sabe qué formato de presentación de información será el más eficaz. Solo estoy seguro de que necesitamos desarrollar publicaciones científicas y aprovechar las oportunidades disponibles.





Y me gustaría agradecerles por leer este artículo e invitarlos a una discusión en los comentarios. Estoy seguro de que tiene ideas interesantes y estaré encantado de discutirlas.

Expresiones de gratitud

Muchas gracias a Olga Zolotareva por las discusiones e ideas para este artículo. Gracias a Sofya Kamalyan por ayudarme a revisar el texto. Gracias a todos los que participaron en la discusión sobre la primera parte del artículo, especialmente: Peter Lidsky, Nadezhda Vorobyova, Omar Kantidze, Zoya Chervontseva, Alexei Savchik. Para usuarios de Habr: rg_software, Jerf, CactusKnight, qvan, technic, darksnake, nnseva, damewigit y muchos otros. Y también a todos los compañeros con los que discutimos los problemas de las publicaciones científicas.



La primera parte del artículo.