Revisión académica por pares

La revisión académica por pares (también conocida como arbitraje) es el proceso de someter el trabajo académico, la investigación o las ideas de un autor al escrutinio de otros expertos en el mismo campo, antes de que se publique un artículo que describe este trabajo en una revista, actas de conferencias o como un libro. La revisión por pares ayuda al editor (es decir, al editor en jefe, al consejo editorial o al comité del programa) a decidir si el trabajo debe ser aceptado, considerado aceptable con revisiones o rechazado.

La revisión por pares requiere una comunidad de expertos en un campo determinado (y a menudo estrechamente definido), que estén calificados y puedan realizar una revisión razonablemente imparcial. La revisión por pares generalmente se considera necesaria para la calidad académica y se utiliza en la mayoría de las principales publicaciones académicas, pero de ninguna manera impide la publicación de investigaciones no válidas.^[1]​ Se han asimismo identificado debilidades en las prácticas comunes de revisión por pares, lo que lleva a los críticos a argumentar en favor de reformas.

Se han propuesto varios sistemas alternativos de revisión por pares para abordar problemas conocidos en el proceso de arbitraje.^[2]​ ^[3]​ Tradicionalmente, los revisores pares han sido anónimos, pero hay varios ejemplos de revisión por pares abierta, donde los comentarios son visibles para los lectores, generalmente con las identidades de los revisores también reveladas, por ejemplo, F1000, eLife, BMJ y BioMed Central .

Historia

El primer registro de una revisión editorial previa a la publicación es de 1665 por Henry Oldenburg, el editor fundador de Philosophical Transactions of the Royal Society en la Royal Society of London.^[4]​^[5]​^[6]​

La primera publicación revisada por pares podría haber sido Ensayos y observaciones médicas publicados por la Royal Society of Edinburgh en 1731. El sistema actual de revisión por pares evolucionó a partir de este proceso del siglo XVIII,^[7]​ comenzó a involucrar a revisores externos a mediados del siglo XIX,^[8]​ y no se convirtió en algo común hasta mediados del siglo XX.^[9]​

La revisión por pares se convirtió en una piedra de toque del método científico, pero hasta finales del siglo XIX a menudo la realizaba directamente un editor en jefe o un comité editorial. ^[10]​ ^[11]​ ^[12]​ Los editores de revistas científicas en ese momento tomaban decisiones de publicación sin buscar aportes externos, es decir, un panel externo de revisores, lo que les daba libertad a los autores establecidos en su discreción periodística. Por ejemplo, los cuatro documentos revolucionarios de Annus Mirabilis de Albert Einstein en la edición de 1905 de Annalen der Physik fueron revisados por pares por el editor en jefe de la revista, Max Planck, y su coeditor, Wilhelm Wien, ambos futuros ganadores del Premio Nobel y juntos expertos en los temas de estos documentos. En una ocasión mucho más tarde, Einstein fue muy crítico con el proceso de revisión externa, diciendo que no había autorizado al editor en jefe para mostrar su manuscrito "a especialistas antes de que se imprima", y le informó que "publicaría el documento en otro lugar " -lo cual hizo, y de hecho más tarde tuvo que retirar la publicación-.^[13]​

Si bien algunas revistas médicas comenzaron a nombrar revisores externos de manera sistemática, es solo a partir de mediados del siglo XX que esta práctica se ha extendido ampliamente y que los revisores externos han recibido cierta visibilidad dentro de las revistas académicas, incluido el agradecimiento de autores y editores.^[10]​ ^[14]​ Un editorial de 2003 en Nature declaró que, a principios del siglo XX, "la carga de la prueba recaía generalmente en los opositores más que en los defensores de nuevas ideas". ^[15]​ Esta revista instituyó la revisión formal por pares solo en 1967. ^[16]​ Revistas como Science y American Journal of Medicine recurrieron cada vez más a revisores externos en las décadas de 1950 y 1960, en parte para reducir la carga de trabajo editorial. En el siglo XX, la revisión por pares también se hizo común para las asignaciones de fondos científicos. Este proceso parece haberse desarrollado independientemente del de la revisión editorial por pares. ^[4]​ ^:221

El primer Congreso de Revisión por Pares se reunió en 1989. ^[17]​ Con el tiempo, la fracción de artículos dedicados a la revisión por pares ha disminuido constantemente, lo que sugiere que, como campo de estudio sociológico, ha sido reemplazado por estudios más sistemáticos de sesgos y errores. ^[18]​ Pragmáticamente, la revisión por pares se refiere al trabajo realizado durante la selección de los manuscritos enviados. Este proceso alienta a los autores a cumplir con los estándares aceptados de su disciplina y reduce la difusión de hallazgos irrelevantes, reclamos injustificados, interpretaciones inaceptables y puntos de vista personales. Es probable que las publicaciones que no hayan sido revisadas por pares sean consideradas con sospecha por académicos académicos y profesionales. ^{[cita requerida]} Los trabajos no revisado por pares contribuyen menos al crédito académico de los académicos, como el índice h, aunque esto depende en gran medida del campo.

Procedimiento

En el caso de las publicaciones propuestas, el editor ( editor en jefe o el consejo editorial, a menudo con la ayuda de los editores correspondientes o asociados) envía copias anticipadas del trabajo o las ideas de un autor a investigadores o académicos expertos en el campo (conocidos como "árbitros" o "revisores"). La comunicación es normalmente por correo electrónico o mediante un sistema de procesamiento de manuscritos basado en la web como Open Journal Systems. Dependiendo del campo de estudio y de la revista específica, generalmente hay de uno a tres árbitros para un artículo determinado. Por ejemplo, Springer afirma que hay dos o tres revisores por artículo.^[19]​

El proceso de revisión por pares implica tres pasos: ^[20]​

Paso 1: Evaluación de escritorio. Un editor evalúa el manuscrito para juzgar si el documento se pasará a los árbitros de la revista. En esta fase, muchos artículos reciben un "rechazo de escritorio", es decir, el editor elige no pasar el artículo. Los autores pueden o no recibir una carta de explicación.

El rechazo de escritorio está destinado a ser un proceso simplificado para que los editores puedan descartar rápidamente manuscritos no viables y brindar a los autores la oportunidad de buscar una revista más adecuada. Por ejemplo, los editores de European Accounting Review someten cada manuscrito a tres preguntas para decidir si un manuscrito pasa a los árbitros: 1) ¿El artículo es adecuado para los objetivos y el alcance de la revista? 2) es el contenido del artículo (por ejemplo, revisión de literatura, métodos, conclusiones) es suficiente y el documento hace una valiosa contribución a la mayor cantidad de literatura, y 3) ¿sigue el formato y las especificaciones técnicas? Si "no" a cualquiera de estos, el manuscrito recibe un rechazo de escritorio. ^[21]​

Las tasas de rechazo de escritorio varían según la revista. Por ejemplo, en 2017 los investigadores del Banco Mundial compilaron las tasas de rechazo de varias revistas de economía mundial; la tasa de rechazo de escritorio varió de 21% ( Economic Lacea ) a 66% ( Journal of Development Economics ). ^[22]​ La American Psychological Association publica las tasas de rechazo de varias publicaciones importantes en el campo, y aunque no especifican si el rechazo es una evaluación previa o posterior, sus cifras en 2016 oscilaron entre un mínimo del 49% y un máximo del 90% . ^[23]​

Paso 2: revisión a ciegas. Si el documento no es rechazado, los editores envían el manuscrito a los árbitros, quienes son elegidos por su experiencia y distancia de los autores. En este punto, los árbitros pueden rechazar, aceptar sin cambios (raro) ^[24]​ o indicar a los autores que revisen y vuelvan a enviar.

Las razones varían para la aceptación de un artículo por parte de los editores, pero Elsevier publicó un artículo donde tres editores evalúan los factores que impulsan la aceptación del artículo. Estos factores incluyen si el manuscrito: ofrece "una nueva visión de un tema importante", será útil para los profesionales, avanza o propone una nueva teoría, plantea nuevas preguntas, tiene métodos y conclusiones apropiados, presenta un buen argumento basado en la literatura y lo presenta de forma atractiva y clara.^[25]​

Estos árbitros devuelven una evaluación del trabajo al editor, señalando debilidades o problemas junto con sugerencias de mejora. Por lo general, la mayoría de los comentarios de los árbitros finalmente son vistos por el autor, aunque un árbitro también puede enviar comentarios solo al editor; Las revistas científicas observan esta convención casi universalmente. El editor luego evalúa los comentarios de los árbitros, su propia opinión sobre el manuscrito antes de pasar una decisión a los autores, generalmente con los comentarios de los árbitros. ^[26]​

Las evaluaciones de los árbitros generalmente incluyen una recomendación explícita de qué hacer con el manuscrito o la propuesta, a menudo elegida entre las opciones proporcionadas por la revista o la agencia de financiación. Por ejemplo, Nature recomienda cuatro cursos de acción: ^[27]​

• aceptar incondicionalmente el manuscrito o la propuesta,
• aceptarlo en caso de que sus autores lo mejoren de cierta manera
• rechazarlo, pero alentar la revisión e invitar a volver a enviar
• rechazarlo directamente.

Durante este proceso, el papel de los árbitros es de asesoramiento. El editor generalmente no tiene la obligación de aceptar las opiniones de los árbitros, ^[28]​ aunque a menudo lo hará. Además, los árbitros en publicaciones científicas no actúan como un grupo, no se comunican entre sí y, por lo general, no son conscientes de las identidades o evaluaciones de los demás. Los defensores argumentan que si los revisores de un documento son desconocidos entre sí, el editor puede verificar más fácilmente la objetividad de las revisiones. Por lo general, no existe el requisito de que los árbitros logren un consenso, y la decisión a menudo la toman los editores en función de su mejor juicio de los argumentos.

En situaciones donde múltiples árbitros discrepan sustancialmente sobre la calidad de un trabajo, hay una serie de estrategias para llegar a una decisión. El documento puede ser rechazado por completo, o el editor puede elegir qué punto del revisor deben abordar los autores. ^[29]​ Cuando un editor recibe críticas muy positivas y muy negativas para el mismo manuscrito, el editor a menudo solicitará una o más revisiones adicionales como un desempate. Como otra estrategia en el caso de los empates, el editor puede invitar a los autores a responder a las críticas de un árbitro y permitir una refutación convincente para romper el empate. Si un editor no se siente seguro para sopesar la persuasión de una refutación, el editor puede solicitar una respuesta del árbitro que hizo la crítica original. Un editor puede transmitir comunicaciones de ida y vuelta entre los autores y un árbitro, lo que en efecto les permite debatir un punto. ^[30]​

Algunas revistas han comenzado a publicar en Internet el historial previo a la publicación de cada artículo individual, desde la presentación original hasta los informes de los revisores, los comentarios de los autores y los manuscritos revisados. Por ejemplo, el British Medical Journal ^[31]​ y algunas publicaciones de Nature Research, como Nature Communications . ^[32]​

Tradicionalmente, los revisores a menudo permanecen anónimos para los autores, pero este estándar varía tanto con el tiempo como con el campo académico. En algunos campos académicos, la mayoría de las revistas ofrecen al revisor la opción de permanecer en el anonimato o no, o un árbitro puede optar por firmar una revisión, renunciando así al anonimato. Los artículos publicados a veces contienen, en la sección de agradecimientos, gracias a árbitros anónimos o nombrados que ayudaron a mejorar el documento. Por ejemplo, las revistas de Nature ofrecen esta opción. ^[27]​

Paso 3: revisiones. Si el manuscrito no ha sido rechazado durante la revisión por pares, vuelve a los autores para su revisión. Durante esta fase, los autores abordan las preocupaciones planteadas por los revisores.

En una revista o editorial de libros, la tarea de elegir revisores generalmente recae en un editor.^[33]​ Cuando llega un manuscrito, un editor solicita revisiones de académicos u otros expertos que pueden o no haber expresado su voluntad de arbitrar para esa revista o división de libros. Las agencias otorgantes generalmente reclutan un panel o comité de revisores antes de la llegada de las solicitudes.^[34]​

Se supone que los árbitros deben informar al editor de cualquier conflicto de intereses que pueda surgir. Las revistas o los editores individuales pueden invitar a los autores de un manuscrito a nombrar personas que consideren calificadas para arbitrar su trabajo. Para algunas revistas, este es un requisito de presentación. Los autores a veces también tienen la oportunidad de nombrar candidatos naturales que deberían ser descalificados, en cuyo caso se les puede pedir que proporcionen justificación (generalmente expresada en términos de conflicto de intereses). Un obstáculo potencial en el reclutamiento de árbitros es que generalmente no se les paga, en gran parte porque hacerlo crearía un conflicto de intereses . Además, la revisión le quita tiempo a sus actividades principales, como su propia investigación. Para la ventaja del posible reclutador, la mayoría de los posibles árbitros son autores, o al menos lectores, que saben que el sistema de publicación requiere que los expertos donen su tiempo. Servir como árbitro puede ser incluso una condición de una subvención o membresía de una asociación profesional. ^{[cita requerida]}

Diferentes estilos

Anónimo y atribuido

Para la mayoría de las publicaciones académicas, la identidad de los revisores se mantiene anónima (también llamada "revisión por pares ciegos"). La alternativa, la revisión por pares atribuida implica revelar las identidades de los revisores. Algunos revisores optan por renunciar a su derecho al anonimato, incluso cuando el formato predeterminado de la revista es una revisión por pares ciega.

En la revisión anónima por pares, el editor de la revista o el organizador de la conferencia conocen a los revisores, pero sus nombres no se dan al autor del artículo. En algunos casos, la identidad del autor también puede ser anonimizada para el proceso de revisión, con la información de identificación que se elimina del documento antes de la revisión. El sistema está destinado a reducir o eliminar el sesgo. ^[12]​

Otros apoyan la revisión a ciegas porque ninguna investigación ha sugerido que la metodología puede ser dañina y que el costo de facilitar tales revisiones es mínimo. ^[35]​ Algunos expertos propusieron procedimientos de revisión a ciegas para revisar temas de investigación controvertidos. ^[36]​

La revisión "doble ciego", ha sido diseñada por revistas de sociología en la década de 1950^[37]​ y sigue siendo más común en las ciencias sociales y las humanidades que en las ciencias naturales. ^{[cita requerida]}. En esta, la identidad de los autores se oculta a los revisores y viceversa, para que el conocimiento de la autoría o la preocupación por la desaprobación del autor no sesgue su revisión.^[38]​ Los críticos del proceso de revisión doble ciego señalan que, a pesar de cualquier esfuerzo editorial para garantizar el anonimato, el proceso a menudo no lo hace, ya que ciertos enfoques, métodos, estilos de escritura, anotaciones, etc., permiten identificar a un cierto grupo de personas en un tema de investigación, e incluso una persona en particular. ^[39]​

En muchos campos de la "gran ciencia", los cronogramas de operación públicamente disponibles de los principales equipos, como telescopios o sincrotrones, harían que los nombres de los autores fueran obvios para cualquiera que quisiera buscarlos. Los defensores de la revisión doble ciego argumentan que su desempeño no es peor que el simple ciego, y que genera una percepción de equidad e igualdad en el financiamiento académico y la publicación. ^[40]​ La revisión simple ciego depende en gran medida de la buena voluntad de los participantes, pero no más que la revisión doble ciego con autores fácilmente identificables.

Un estándar más riguroso de arbitraje se conoce como auditoría. Debido a que a los revisores no se les paga, no se puede esperar que dediquen tanto tiempo y esfuerzo a una revisión como lo requiere una auditoría. Es por ello que revistas académicas como Science, organizaciones como la American Geophysical Union y agencias como los National Institutes of Health y la National Science Foundation mantienen y archivan datos y métodos científicos en caso de que otro investigador desee replicar o auditar la investigación después de publicación. ^[41]​ ^[42]​ ^[43]​

Revisión por pares abierta

Artículo principal: Revisión por pares abierta

La revisión por pares anónima tradicional ha sido criticada por su falta de responsabilidad, la posibilidad de abuso por parte de los revisores o de quienes administran el proceso de revisión por pares (es decir, editores de revistas), ^[44]​ su posible sesgo y su inconsistencia ^[45]​ junto con otros defectos. ^[46]​ ^[47]​ Eugene Koonin, investigador principal del Centro Nacional de Información sobre Biotecnología, afirma que el sistema tiene "males conocidos" y defiende la "revisión por pares abierta". ^[48]​

A partir de la década de 1990, varias revistas científicas comenzaron a experimentar con procesos híbridos de revisión por pares, lo que permite las revisiones por pares abiertas en paralelo al modelo tradicional. La evidencia inicial de los efectos de las revisiones por pares abiertas fue mixta. La identificación de los revisores para los autores no tiene un impacto negativo y puede tener un impacto positivo sobre la calidad de las revisiones, la recomendación con respecto a la publicación, el tono de la revisión y el tiempo dedicado a la revisión. Sin embargo, la tasa de aceptación a las invitaciones a revisar es mayor. ^[49]​ ^[50]​ Informar a los revisores que sus revisiones firmadas podrían publicarse en la web y estar disponibles para el público en general no tuvo un impacto negativo en la calidad de las revisiones y recomendaciones con respecto a la publicación, pero condujo a un mayor tiempo dedicado a la revisión, además de una disminución de los revisores. ^[31]​

Redes sociales y revisión informal por pares

Investigaciones recientes han llamado la atención sobre el uso de tecnologías de redes sociales y blogs de ciencia como un medio de revisión por pares informal, posterior a la publicación, como en el caso de la controversia #arseniclife (o GFAJ-1 ). ^[51]​ En diciembre de 2010, un artículo publicado en Scienceexpress (la versión anticipada de Science ) generó tanto entusiasmo como escepticismo, ya que sus autores, liderados por la astrobióloga de la NASA Felisa Wolfe-Simon, afirmaron haber descubierto y cultivado ciertas bacterias que podrían Reemplace el fósforo con arsénico en sus componentes fisiológicos. En el momento de la publicación del artículo, la NASA emitió comunicados de prensa que sugerían que el hallazgo afectaría la búsqueda de vida extraterrestre, provocando entusiasmo en Twitter bajo el hashtag #arseniclife, así como críticas de colegas expertos que expresaron escepticismo a través de sus blogs personales. ^[52]​ En última instancia, la controversia en torno al artículo atrajo la atención de los medios, ^[53]​ y una de las críticas científicas más vocales, Rosemary Redfield, publicada formalmente en julio de 2012 ^[54]​ respecto al intento fallido de ella y sus colegas de replicar los hallazgos originales de los científicos de la NASA. .

Crítica

Varios editores han expresado críticas a la revisión por pares. ^[55]​ ^[56]​

Alegaciones de sesgo

La interposición de editores y revisores entre autores y lectores puede permitir que los intermediarios actúen como guardianes . ^[57]​ Algunos sociólogos de la ciencia sostienen que la revisión por pares hace que la capacidad de publicar sea susceptible al control de las élites y a los celos personales. ^[58]​ ^[59]​ El proceso de revisión por pares puede suprimir el disenso contra las teorías " convencionales " ^[60]​ ^[15]​ ^[61]​ y puede estar sesgado contra la novedad. ^[62]​ Un análisis lingüístico de los informes de revisión sugiere que los revisores se centran en rechazar las solicitudes buscando puntos débiles y no en encontrar ideas innovadoras de alto riesgo / alta ganancia que puedan estar en la propuesta. ^[63]​ Los revisores tienden a ser especialmente críticos con las conclusiones que contradicen sus propios puntos de vista, ^[64]​ ^[65]​ e indulgentes con los que coinciden. Al mismo tiempo, los científicos establecidos son más propensos que otros a ser buscados como árbitros, particularmente por revistas / editoriales de alto prestigio. También hay signos de sesgo de género, que favorecen a los hombres como autores. ^[66]​ Como resultado, las ideas que armonizan con los expertos establecidos tienen más probabilidades de verse impresas y aparecer en revistas de primer nivel que las iconoclastas o revolucionarias. Esto concuerda con las conocidas observaciones de Thomas Kuhn sobre las revoluciones científicas . ^[67]​ Se ha establecido un modelo teórico cuyas simulaciones implican que la revisión por pares y el financiamiento de investigación sobrecompetitivo fomentan la opinión dominante al monopolio. ^[68]​

Las críticas a la revisión por pares anónima tradicional alegan que carece de responsabilidad, puede conducir al abuso por parte de los revisores y puede ser parcial e inconsistente. ^[47]​ ^[45]​ ^[69]​

Fallas

La revisión por pares falla cuando un artículo revisado por pares contiene errores fundamentales que socavan al menos una de sus conclusiones principales y que podrían haber sido identificados por revisores más cuidadosos. Muchas revistas no tienen ningún procedimiento para tratar las fallas de revisión por pares más allá de publicar cartas al editor. ^[70]​

La revisión por pares en revistas científicas supone que el artículo revisado ha sido preparado con honestidad. El proceso ocasionalmente detecta fraude, pero no está diseñado para hacerlo. ^[71]​ Cuando la revisión por pares falla y se publica un documento con datos fraudulentos o irreproducibles, el documento puede retirarse .

Un experimento de 1998 sobre la revisión por pares con un manuscrito ficticio encontró que los revisores no detectaron algunos errores del manuscrito y la mayoría de los revisores pueden no notar que las conclusiones del documento no están respaldadas por sus resultados. ^[72]​

Falso arbitraje

Ha habido casos en los que se afirmó que se realizó una revisión por pares, pero en realidad no se realizó; esto se ha documentado en algunas revistas de acceso abierto depredadoras (por ejemplo, el asunto ¿Quién tiene miedo de la revisión por pares? ) o en el caso de las revistas patrocinadas por Elsevier . ^[73]​

En noviembre de 2014, un artículo en Nature expuso que algunos académicos estaban enviando detalles de contacto falsos para revisores recomendados a las revistas, por lo que si el editor contactaba con el revisor recomendado, ellos eran el autor original que revisaba su propio trabajo con un nombre falso. ^[74]​ El Comité de Ética de Publicaciones emitió una declaración advirtiendo de la práctica fraudulenta. ^[75]​ En marzo de 2015, BioMed Central retiró 43 artículos ^[76]​ y Springer retiró 64 artículos en 10 revistas en agosto de 2015. ^[77]​ La revista Tumor Biology es otro ejemplo de fraude de revisión por pares. ^[73]​

Plagio

Los revisores generalmente carecen de acceso a datos sin procesar, pero sí ven el texto completo del manuscrito, y generalmente están familiarizados con publicaciones recientes en el área. Por lo tanto, están en una mejor posición para detectar el plagio de la prosa que los datos fraudulentos. Algunos casos de tal plagio textual por parte de historiadores, por ejemplo, han sido ampliamente publicitados. ^[78]​

En el aspecto científico, una encuesta de 3.247 científicos financiados por los Institutos Nacionales de Salud de EE. UU . Encontró que 0.3% admitió datos falsos y 1.4% admitió plagio. ^[79]​ Además, el 4.7% de la misma encuesta admitió auto-plagio o autoplagio, en el que un autor vuelve a publicar el mismo material, datos o texto, sin citar su trabajo anterior.

Abuso de información privilegiada por los revisores

Una forma relacionada de mala conducta profesional es un revisor que utiliza la información aún no publicada de un manuscrito o solicitud de subvención para beneficio personal o profesional. Se desconoce la frecuencia con la que esto sucede, pero la Oficina de Integridad de Investigación de los Estados Unidos ha sancionado a los revisores que han sido sorprendidos explotando el conocimiento que obtuvieron como revisores. ^{[cita requerida]} Una posible defensa para los autores contra esta forma de mala conducta por parte de los revisores es publicar previamente su trabajo en forma de preimpresión o informe técnico en un sistema público como arXiv. La preimpresión puede usarse más tarde para establecer la prioridad, aunque las preimpresiones violan las políticas establecidas en algunas revistas. ^{[cita requerida]}

En la cultura popular

En 2017, la Escuela Superior de Economía de Moscú presentó un "Monumento a un crítico anónimo". Toma la forma de un gran cubo de hormigón, o dados, con "Aceptar", "Cambios menores", "Cambios mayores", "Revisar y volver a enviar" y "Rechazar" en sus cinco lados visibles. El sociólogo Igor Chirikov, quien ideó el monumento, dijo que si bien los investigadores tienen una relación de amor y odio con la revisión por pares, los revisores no obstante hacen un trabajo valioso pero en su mayoría invisible, y el monumento es un tributo para ellos. ^[80]​

Véase también

• Revista científica
• Revisión por pares
• Sesgo de publicación
• Método científico

Referencias

1. KupferschmidtAug. 17, Kai (14 de agosto de 2018). «Researcher at the center of an epic fraud remains an enigma to those who exposed him». Science | AAAS. Consultado el 11 de agosto de 2019. 
2. Cosgrove, Andrew; Cheifet, Barbara (27 de noviembre de 2018). «Transparent peer review trial: the results». Genome Biology 19 (1): 206. ISSN 1474-760X. PMC 6260718. PMID 30482224. doi:10.1186/s13059-018-1584-0. 
3. Patterson, Mark; Schekman, Randy (26 de junio de 2018). «A new twist on peer review». eLife 7: e36545. ISSN 2050-084X. PMC 6019064. PMID 29944117. doi:10.7554/eLife.36545. 
4. Steinzor, Rena (24 de julio de 2006). Rescuing Science from Politics. Cambridge University Press. p. 304. ISBN 978-0521855204. 
5. Committee on Science, Engineering, and Public Policy, National Academy of Sciences, National Academy of Engineering, and Institute of Medicine On Being a Scientist: A Guide to Responsible Conduct in Research National Academies Press, Washington, D.C., 1995,82 pages, ISBN 0309119707
6. The Origin of the Scientific Journal and the Process of Peer Review House of Commons Select Committee Report
7. «The ups and downs of peer review». Advances in Physiology Education 31 (2): 145-52. June 2007. PMID 17562902. doi:10.1152/advan.00104.2006. «p. 145 – Scientific peer review has been defined as the evaluation of research findings for competence, significance, and originality by qualified experts. These peers act as sentinels on the road of scientific discovery and publication.» 
8. Blow, Nathan S. (January 2015). «Benefits and Burdens of Peer-Review» 58 (1). p. 5. doi:10.2144/000114242. 
9. «Benefits and Burdens of Peer-Review» 58 (1). January 2015. p. 5. 
10. Pontille, David; Torny, Didier (2014). «From manuscript evaluation to article valuation: the changing technologies of journal peer review». Human Studies 38: 57-79. doi:10.1007/s10746-014-9335-z. 
11. «Peer review: Troubled from the start». Nature 532 (7599): 306-8. April 2016. Bibcode:2016Natur.532..306C. PMID 27111616. doi:10.1038/532306a. 
12. «The history of the peer-review process». Trends in Biotechnology 20 (8): 357-8. August 2002. PMID 12127284. doi:10.1016/S0167-7799(02)01985-6. 
13. Kennefick, Daniel (September 2005). «Einstein versus the Physical Review». Physics Today 58 (9): 43-48. Bibcode:2005PhT....58i..43K. doi:10.1063/1.2117822. 
14. Baldwin, Melinda (1 de septiembre de 2018). «Scientific Autonomy, Public Accountability, and the Rise of "Peer Review" in the Cold War United States». Isis 109 (3): 538-558. ISSN 0021-1753. doi:10.1086/700070. 
15. «Coping with peer rejection». Nature 425 (6959): 645. October 2003. Bibcode:2003Natur.425..645.. PMID 14562060. doi:10.1038/425645a. 
16. Tan, Meng H. (2018). «Chapter 7: Peer review – Past, Present and Future». En Markovac, Jasna; Kleinman, Molly; Englesbe, eds. Medical and Scientific Publishing: Author, Editor, and Reviewer Perspectives. Academic Press. pp. 55-68. ISBN 978-0-12-809969-8. 
17. «Three Decades of Peer Review Congresses». JAMA 319 (4): 350-353. January 2018. PMID 29362775. doi:10.1001/jama.2017.20606. 
18. «Biomedical publishing. Secretive and subjective, peer review proves resistant to study». Science 341 (6152): 1331. September 2013. PMID 24052283. doi:10.1126/science.341.6152.1331. 
19. «Peer Review». www.springer.com. Consultado el 17 de abril de 2018. 
20. Spicer, Andre. «Explainer: what is peer review?». Consultado el 17 de abril de 2018. 
21. Stolowy, Herve (2017). «Letter from the Editor: Why Are Papers Desk Rejected at European Accounting Review». European Accounting Review 26 (3): 411-418. doi:10.1080/09638180.2017.1347360. 
22. McKenzie, David (21 de febrero de 2017). . Impact Evaluations. Archivado desde el original el 18 de abril de 2018. Consultado el 17 de abril de 2018. 
23. «Summary Report of Journal Operations, 2016». American Psychologist 72 (5): 499-500. 2017. PMID 28726464. doi:10.1037/amp0000172. 
24. Insights, Editage (11 de abril de 2013). «Peer review process and editorial decision making at journals». Editage Insights(04-11-2013). 
25. Elsevier. «8 reasons I accepted your article». Consultado el 17 de abril de 2018. 
26. «How to review a paper». Advances in Physiology Education 27 (1–4): 47-52. December 2003. PMID 12760840. doi:10.1152/advan.00057.2002. 
27. «Peer-review policy : authors & referees @ npg». www.nature.com. Consultado el 17 de abril de 2018. 
28. «Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly work in Medical Journals.». ICMJE. 16 de diciembre de 2014. Consultado el 26 de junio de 2015. 
29. «What should editors do when referees disagree?». 2 de septiembre de 2014. Consultado el 17 de abril de 2018. 
30. Coleman, Andrew M. (1979). «Editorial role in author-referee disagreements». Bulletin of the British Psychological Society 32: 390-1. 
31. van Rooyen, S.; Delamothe, T.; Evans, S. J. (November 2010). «Effect on peer review of telling reviewers that their signed reviews might be posted on the web: randomised controlled trial». BMJ 341: c5729. PMC 2982798. PMID 21081600. doi:10.1136/bmj.c5729. 
32. «Guide to referees». Nature Communications. Consultado el 17 de abril de 2018. 
33. Lawrence O'Gorman (January 2008). «The (Frustrating) State of Peer Review». IAPR Newsletter 30 (1): 3-5. 
34. Schwartz, Samuel M.; Slater, Donald W.; Heydrick, Fred P.; Woolett, Gillian R. (September 1995). «A Report of the AIBS Peer-Review Process for the US Army's 1994 Breast Cancer Initiative». BioScience 45 (8): 558-563. Bibcode:1985BioSc..35..499W. doi:10.1093/bioscience/45.8.558. 
35. Armstrong, J. Scott (1982). «Barriers to scientific contributions: The author's formula». Behavioral and Brain Sciences 5 (2): 197-199. doi:10.1017/S0140525X00011201. 
36. Armstrong, J. Scott (1982). «Research on scientific journals: Implications for editors and authors». Journal of Forecasting 1: 83-104. doi:10.1002/for.3980010109. 
37. Pontille, David; Torny, Didier (2014). «The Blind Shall See! The Question of Anonymity in Journal Peer Review». Ada: A Journal of Gender, New Media, and Technology 4. doi:10.7264/N3542KVW. 
38. Cressey, Daniel (2014). «Journals weigh up double-blind peer review». Nature. doi:10.1038/nature.2014.15564. 
39. «Working double-blind». Nature 451 (7179): 605-606. 2008. Bibcode:2008Natur.451R.605.. PMID 18256621. doi:10.1038/451605b. 
40. «Peer review--the newcomers' perspective». PLoS Biology 3 (9): e326. September 2005. PMC 1201308. PMID 16149851. doi:10.1371/journal.pbio.0030326. 
41. «Policy on Referencing Data in and Archiving Data for AGU Publications». American Geophysical Union. 2012. Consultado el 8 de septiembre de 2012. «The following policy has been adopted for AGU publications in order to ensure that they can effectively and efficiently perform an expanded role in making the underlying data for articles available to researchers now and in the future.» 
42. «Data Management & Sharing Frequently Asked Questions». National Science Foundation. 30 de noviembre de 2010. Consultado el 8 de septiembre de 2012. 
43. Moore, R.W.; Rajasekar, A.; Wan, M. (2005). «Data Grids, Digital Libraries, and Persistent Archives: An Integrated Approach to Sharing, Publishing, and Archiving Data». Proceedings of the IEEE 93 (3): 578-588. doi:10.1109/JPROC.2004.842761. 
44. Bingham, Craig (2000). «Peer review and the ethics of internet publishing». En Jones, Anne Hudson; McLellan, Faith, eds. Ethical Issues in Biomedical Publication. Baltimore: Johns Hopkins University. pp. 85-111. ISBN 9780801863158. 
45. «Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone?». Brain 123 (9): 1964-9. September 2000. PMID 10960059. doi:10.1093/brain/123.9.1964. 
46. «The Peer Review Process». Consultado el 4 de enero de 2012. 
47. Alison McCook (February 2006). «Is Peer Review Broken?». The Scientist. 
48. Koonin, Eugene (2006). «Reviving a culture of scientific debate». Nature. doi:10.1038/nature05005. 
49. van Rooyen, S.; Godlee, F.; Evans, S.; Black, N.; Smith, R. (January 1999). «Effect of open peer review on quality of reviews and on reviewers' recommendations: a randomised trial». BMJ 318 (7175): 23-7. PMC 27670. PMID 9872878. doi:10.1136/bmj.318.7175.23. 
50. «Open peer review: a randomised controlled trial». The British Journal of Psychiatry 176 (1): 47-51. January 2000. PMID 10789326. doi:10.1192/bjp.176.1.47. 
51. Yeo, Sara K.; Liang, Xuan; Brossard, Dominique; Rose, Kathleen M.; Korzekwa, Kaine; Scheufele, Dietram A.; Xenos, Michael A. (2017). «The case of #arseniclife: Blogs and Twitter in informal peer review». Public Understanding of Science 26 (8): 937-952. PMID 27229853. doi:10.1177/0963662516649806. 
52. Redfield, Rosemary (4 December 2010). "Arsenic-associated bacteria (NASA's claims)". RR Research blog]. Retrieved 4 December 2010.
53. Zimmer, Carl (7 December 2010). "Scientists see fatal flaws in the NASA study of arsenic-based life". Slate. Retrieved 7 December 2010.
54. Reaves, M. L.; Sinha, S.; Rabinowitz, J. D.; Kruglyak, L.; Redfield, R. J. (July 2012). «Absence of detectable arsenate in DNA from arsenate-grown GFAJ-1 cells». Science 337 (6093): 470-3. Bibcode:2012Sci...337..470R. PMC 3845625. PMID 22773140. arXiv:1201.6643. doi:10.1126/science.1219861. 
55. Rennie, Drummond; Flanagin, Annette; Smith, Richard; Smith, Jane (2003). «Fifth International Congress on Peer Review and Biomedical Publication». JAMA 289 (11): 1438. doi:10.1001/jama.289.11.1438. 
56. «Genetically modified food: consternation, confusion, and crack-up». The Medical Journal of Australia 172 (4): 148-9. February 2000. PMID 10772580. doi:10.5694/j.1326-5377.2000.tb125533.x. 
57. Bradley, James V. (1981). «Pernicious Publication Practices». Bulletin of the Psychonomic Society 18: 31-34. doi:10.3758/bf03333562. 
58. "British scientists exclude 'maverick' colleagues, says report" (2004) EurekAlert Public release date: August 16, 2004
59. Higgs, Robert (7 de mayo de 2007). «Peer Review, Publication in Top Journals, Scientific Consensus, and So Forth». Independent Institute. Consultado el 9 de abril de 2012. 
60. Martin, Brian (1997). «Suppression Stories». Fund for Intellectual Dissent. Wollongong: Fund for Intellectual Dissent. ISBN 978-0-646-30349-9. 
61. Campanario, Juan Miguel; Martin, Brian (Fall 2004). «Challenging dominant physics paradigms». Journal of Scientific Exploration 18 (3): 421-38. Bibcode:2008atcr.book...11C. 
62. Boudreau, K. J.; Guinan, E.C.; Lakhani, K.R.; Riedl, C. (October 2016). «Looking Across and Looking Beyond the Knowledge Frontier: Intellectual Distance, Novelty, and Resource Allocation in Science». Management Science 62 (10): 2765-2783. PMC 5062254. PMID 27746512. doi:10.1287/mnsc.2015.2285. 
63. van den Besselaar, Peter; Sandström, Ulf; Schiffbaenker, Hélène (October 2018). «Studying grant decision-making: a linguistic analysis of review reports». Scientometrics 117 (1): 313-329. ISSN 0138-9130. PMC 6132964. PMID 30220747. doi:10.1007/s11192-018-2848-x. 
64. «Malice's wonderland: research funding and peer review». Journal of Neurobiology 14 (2): 95-112. March 1983. PMID 6842193. doi:10.1002/neu.480140202. «... they may strongly resist a rival's hypothesis that challenges their own». 
65. Grimaldo, Francisco; Paolucci, Mario (14 de marzo de 2013). «A simulation of disagreement for control of rational cheating in peer review». Advances in Complex Systems 16 (7): 1350004. Bibcode:2005AdCS....8...15L. doi:10.1142/S0219525913500045. 
66. Budden, A. E.; Tregenza, T.; Aarssen, L. W.; Koricheva, J.; Leimu, R.; Lortie, C. J. (January 2008). «Double-blind review favours increased representation of female authors». Trends in Ecology & Evolution 23 (1): 4-6. PMID 17963996. doi:10.1016/j.tree.2007.07.008. 
67. Petit-Zeman, Sophie (16 de enero de 2003). «Trial by peers comes up short». The Guardian. 
68. Fang, H. (2011). «Peer review and over-competitive research funding fostering mainstream opinion to monopoly». Scientometrics 87 (2): 293-301. doi:10.1007/s11192-010-0323-4. 
69. Rowland, Fytton (2002). «The peer-review process». Learned Publishing 15 (4): 247-258. doi:10.1087/095315102760319206. 
70. Afifi, M. «Reviewing the "Letter-to-editor" section in the Bulletin of the World Health Organization, 2000–2004». Bulletin of the World Health Organization. 
71. Lee, Kirby (2006). «Increasing accountability». Nature. doi:10.1038/nature05007. 
72. Baxt, W. G.; Waeckerle, J. F.; Berlin, J. A.; Callaham, M. L. (September 1998). «Who reviews the reviewers? Feasibility of using a fictitious manuscript to evaluate peer reviewer performance». Annals of Emergency Medicine 32 (3 Pt 1): 310-7. PMID 9737492. doi:10.1016/S0196-0644(98)70006-X. 
73. A case of peer review fraud in Tumor Biology papers (Retrieved April 25, 2017)
74. Ferguson, C.; Marcus, A.; Oransky, I. (November 2014). «Publishing: The peer-review scam». Nature 515 (7528): 480-2. Bibcode:2014Natur.515..480F. PMID 25428481. doi:10.1038/515480a. 
75. «COPE statement on inappropriate manipulation of peer review processes». publicationethics.org. 
76. «Inappropriate manipulation of peer review». BioMed Central blog. 26 de marzo de 2015. 
77. Callaway, Ewen (2015). «Faked peer reviews prompt 64 retractions». Nature. doi:10.1038/nature.2015.18202. 
78. «Historians on the Hot Seat». History News Network. 23 de abril de 2010. 
79. Weiss, Rick (9 de junio de 2005). «Many scientists admit to misconduct: Degrees of deception vary in poll». Washington Post. 
80. Schiermeier, Quirin (2017). «Monument to peer review unveiled in Moscow». Nature. doi:10.1038/nature.2017.22060. 

•   Datos: Q7096397