IA | ¿Puede la IA ayudar en la revisión inter pares?

El proceso de revisión por pares desempeña un papel crucial en el mantenimiento del rigor y los estándares de calidad en la investigación académica. Sin embargo, el constante crecimiento de la producción investigadora ha sometido a este sistema a una enorme presión, ya que cada año aumenta el número de trabajos que requieren la evaluación de expertos. Los revisores dedican cada vez más horas a examinar los trabajos presentados y los retrasos siguen aumentando. La productividad de la investigación se resiente, por lo que los científicos buscan formas de agilizar la revisión por pares sin comprometer su utilidad. ¿Podría la inteligencia artificial (IA) ofrecer una solución ayudando a los revisores o automatizando determinadas tareas?  

Un nuevo estudio de investigadores de Italia y el Reino Unido explora esta cuestión mediante el desarrollo de un sistema de IA que analiza las decisiones anteriores de revisión por pares y predice los resultados de nuevos artículos basándose en características superficiales como la elección de palabras, la legibilidad y el formato. Sus conclusiones sugieren que la IA puede desempeñar un papel de apoyo, reduciendo potencialmente la carga de trabajo de los revisores sin sustituir el juicio humano. Sin embargo, los investigadores también plantean importantes consideraciones sobre los sesgos que este método podría introducir inadvertidamente si no se supervisa adecuadamente.

El equipo recopiló más de 3.300 artículos de conferencias, junto con las puntuaciones de los revisores y las decisiones de aceptación de años anteriores. Se centraron en dos importantes conferencias sobre IA a través de la plataforma de revisión abierta OpenReview.net, así como en una conferencia sobre comunicaciones inalámbricas. Para cada artículo, extrajeron características superficiales como frecuencias de palabras, métricas de legibilidad y detalles de formato, en lugar de profundizar en el contenido. A partir de estos datos, entrenaron una red neuronal para inferir reglas que relacionaran las características con los resultados de las revisiones.

Para probar el modelo, examinaron hasta qué punto podía predecir las recomendaciones de los revisores humanos para artículos no vistos basándose únicamente en atributos superficiales. Sorprendentemente, la precisión fue a menudo alta, lo que sugiere una fuerte correlación entre las cualidades superficiales y los resultados generales de la evaluación. Los artículos con una redacción más clara y un formato adecuado, por ejemplo, solían recibir críticas más positivas en general.

Según los investigadores, esta correlación indica que estos indicios superficiales pueden servir como indicadores creíbles de la calidad general. Los artículos bien presentados tienen menos probabilidades de contener defectos más profundos, por lo que evaluar las presentaciones en parte a través de la legibilidad y la apariencia podría ayudar a agilizar la selección. La IA podría señalar problemas para su revisión temprana sin necesidad de revisiones completas, lo que podría evitar los sesgos que introducen los problemas superficiales. También podría asesorar a los revisores inexpertos indicándoles los niveles de calidad esperados.

Por supuesto, el estudio tiene limitaciones. Su enfoque es limitado y no intenta replicar plenamente el complejo juicio experto de la revisión por pares. Además, el enfoque corre el riesgo de propagar los sesgos existentes si se permite una supervisión injusta, ya que los modelos heredan las tendencias de sus datos de entrenamiento.

Los investigadores sugieren varias aplicaciones para reducir esos riesgos y beneficiar el proceso en general. Las explicaciones de la IA podrían descubrir los motivos implícitos que subyacen a las decisiones, lo que ayudaría a hacer frente a los prejuicios. Los autores podrían conocer los aspectos que influyen inconscientemente en los revisores para mejorar sus posibilidades de éxito en el futuro. Los editores también podrían extraer reglas generales para una mejor gestión.

Se necesitan experimentos controlados que integren las recomendaciones de la IA en la revisión en vivo para comprender plenamente los efectos de la interacción. Los modelos también deberían analizar los textos completos de las reseñas y los comentarios en lugar de las frecuencias de palabras clave para obtener una perspectiva más rica. También es importante tener en cuenta las normas disciplinarias, ya que difieren de un campo a otro en la presentación de la investigación.

Si se construye y aplica con cuidado y supervisión, los investigadores sostienen que la IA podría ayudar directamente a los editores a seleccionar las propuestas con mayor rapidez. Además de detectar fallos de formato y estilo que deban subsanarse sin más evaluación, la IA también podría emparejar mejor los artículos y los revisores en función de su experiencia. La reducción de las revisiones redundantes mediante rechazos más informados podría también ahorrar incontables horas de trabajo a los revisores cada año.

Al mismo tiempo, debe darse prioridad a la transparencia, de modo que los fundamentos de las decisiones se expliquen claramente y sean verificablemente imparciales. Una IA opaca y de "caja negra" corre el riesgo de perder la confianza de los usuarios y propagar sesgos involuntarios. También son necesarias pruebas vigilantes para evitar que, con el tiempo, surja discriminación contra grupos de investigadores históricamente marginados a medida que los sistemas se perfeccionan dinámicamente. Las prácticas generales de diseño y revisión de proyectos basadas en principios de equidad pueden ayudar a maximizar los beneficios de la IA y evitar los perjuicios.

Aunque dista mucho de sustituir a los expertos, la IA se muestra prometedora como apoyo a la revisión por pares mediante recomendaciones explicables sobre tareas comunes pero que requieren mucho tiempo. Si se gestiona concienzudamente con supervisión, puede aliviar las crecientes tensiones del sistema sin comprometer las funciones básicas de garantía de calidad. Unos estudios cuidadosos que integren la ayuda de la IA en flujos de trabajo de revisión reales en el futuro deberían revelar hasta qué punto puede estar cerca de hacerse realidad este enfoque para aliviar las importantes, aunque cada vez más gravosas, responsabilidades de la revisión por pares.

Referencia(s)

1. Checco, A., Bracciale, L., Loreti, P. et al. AI-assisted peer review. Humanit Soc Sci Commun 8, 25 (2021). https://doi.org/10.1057/s41599-020-00703-8

Pulse TAGS para ver artículos relacionados :

AI | REVISIÓN POR PARES | INVESTIGACIÓN | SOCIEDAD