IA | ¿Disminuirá la IA el rigor de la revisión por pares?

Los académicos han ido adoptando progresivamente las ayudas informáticas como medio para acelerar la producción escrita y las tareas analíticas. Sin embargo, a medida que aumenta la competencia de estos sistemas automatizados, también lo hace su potencial para dirigir sutilmente los debates intelectuales. Un grupo de investigadores de la Universidad de Stanford llevó a cabo una de las primeras inmersiones cuantitativas en profundidad para examinar la omnipresencia del impacto de los modelos lingüísticos en determinados ámbitos académicos.

El equipo analizó las críticas enviadas a destacadas conferencias sobre aprendizaje automático y los artículos publicados en una distinguida serie de publicaciones científicas, tanto antes como después del debut de ChatGPT en noviembre de 2022. Mediante el desarrollo de técnicas estadísticas novedosas para medir la probabilidad de que un texto determinado haya sido modificado o generado de forma significativa por un instrumento de IA, hallaron pruebas irrefutables de que los LLM se utilizan en el contenido de las críticas, aunque varían de un ámbito a otro.

Lo más destacable es que sus estimaciones proponen que entre el 6,5 y el 16,9% de las frases de las revisiones de ICLR, NeurIPS, CoRL y EMNLP del año pasado podrían haber experimentado una alteración significativa por parte de la IA más allá de la corrección básica. Por otro lado, no detectaron desviaciones estadísticamente significativas en las evaluaciones publicadas en las publicaciones sobre la naturaleza. Estos descubrimientos concuerdan con las expectativas de que los expertos en aprendizaje automático hayan sido los primeros en adoptar la tecnología, dados sus conocimientos y su acceso a herramientas capaces.

Los análisis complementarios arrojan luz sobre cómo y cuándo parece surgir la aplicación del LLM. Las revisiones enviadas cerca de las fechas límite o por árbitros menos inclinados a entablar un debate con los autores se correlacionaron con una mayor implicación prevista de la IA. Las críticas que carecían de referencias académicas o que mostraban una menor variación en cuanto al contenido entre las valoraciones de un artículo se coordinaban de forma similar con señales de IA amplificadas.

Aunque la investigación no puede demostrar relaciones causales, estos patrones suscitan dudas sobre si la facilidad y la presión del tiempo pueden estar influyendo en los juicios de algunos árbitros y sesgando potencialmente el proceso de revisión. En términos más generales, la homogeneización de los contenidos que se observa a gran escala en los casos en los que existe IA suscita una mayor preocupación por los conocimientos técnicos representativos y la diversidad que durante tanto tiempo ha reforzado la evaluación por pares.

Los creadores subrayan que se trata de los primeros descubrimientos de una metodología novedosa, y que sigue siendo imprescindible un esfuerzo interdisciplinar adicional. No obstante, sus estimaciones de alto nivel y sus pistas lingüísticas constituyen un valioso punto de partida para inspeccionar metódicamente la influencia cada vez mayor, aunque delicada, de la IA en las conversaciones académicas y la formación de información. Sólo a través de métricas transparentes como éstas podemos garantizar que estos potentes instrumentos aumenten la toma de decisiones y el intercambio humanos en lugar de dirigirlos de forma inapropiada.

Referencia(s)

1. https://doi.org/10.48550/arXiv.2403.07183

Pulse TAGS para ver artículos relacionados :

AI | REVISIÓN POR PARES | INVESTIGACIÓN | SOCIEDAD