AI | 人工智能能否协助同行评审？

同行评审程序在保持学术研究的严谨性和质量标准方面发挥着至关重要的作用。然而，随着需要专家评审的论文数量逐年增加，研究成果的持续增长给这一系统带来了巨大压力。审稿人发现自己花在梳理投稿上的时间越来越多，而投稿积压的时间也在不断延长。由于研究效率因此受到影响，科学家们一直在寻找既能简化同行评审，又不影响其实用性的方法。人工智能（AI）能否通过协助审稿人或自动执行某些任务来提供解决方案？  

意大利和英国的研究人员开展了一项新研究，通过开发一种人工智能系统来分析过去的同行评审决定，并根据选词、可读性和格式等表面特征预测新论文的评审结果，从而探讨了这一问题。他们的研究结果表明，人工智能确实可以发挥辅助作用，有可能在不取代人类判断的情况下减轻审稿人的工作量。不过，研究人员也提出了一些重要的考虑因素，即如果监督不当，这种方法可能会无意中引入偏见。

该团队收集了 3300 多篇会议论文以及往年的审稿人评分和录用决定。他们通过公开评审平台 OpenReview.net 重点关注了两个主要的人工智能会议以及一个无线通信会议。对于每篇论文，他们提取的是词频、可读性指标和格式细节等浅层特征，而不是深入研究内容。他们在这些数据上训练了一个神经网络，以推断出将特征与评审结果联系起来的规则。

为了测试该模型，他们研究了该模型在多大程度上可以预测人类审稿人仅根据表面属性对未见论文的推荐。出乎意料的是，准确率往往很高，这表明表面质量与总体评价结果之间存在很强的相关性。例如，写作思路清晰、格式正确的论文往往会获得更多的正面评价。

研究人员认为，这种相关性表明，这些表面线索可以作为一般质量的可信代用指标。表现良好的论文不太可能包含更深层次的缺陷，因此部分地通过可读性和外观来评估投稿有助于简化筛选。人工智能可以在不进行全面审查的情况下为早期返工标记问题，从而有可能避免表面问题带来的偏差。它还可以通过提示预期质量水平，为缺乏经验的审稿人提供建议。

当然，这项研究也有局限性。它关注的范围很窄，没有尝试完全复制同行评审复杂的专家判断。此外，如果允许不公正的监督，这种方法有可能传播现有的偏见，因为模型会继承其训练数据的倾向。

研究人员提出了几种应用方法，以降低此类风险并使整个过程受益。人工智能解释可以揭示决策背后的隐含动机，帮助解决偏见问题。作者可以深入了解那些无意识地左右审稿人的问题，从而提高未来的成功机会。编辑也可以提取一般规则，以便更好地进行管理。

要全面了解交互效应，需要进行将人工智能推荐整合到实时评论中的对照实验。为了获得更丰富的视角，模型还应该分析完整的审稿文本和反馈，而不仅仅是关键词频率。考虑学科规范也很重要，因为不同领域的研究展示规范各不相同。

研究人员认为，如果在监督下谨慎构建和应用，人工智能可以直接帮助编辑更快地筛选投稿。除了能捕捉格式和文体上的瑕疵，无需进一步评估就能进行补救，人工智能还能更好地根据专业知识匹配论文和审稿人。通过更明智的案头拒稿来减少冗余的审稿，每年同样可以为审稿人节省数不清的时间。

与此同时，必须将透明度放在首位，这样才能清楚地解释决策原理，并在可核查的情况下做到公正。不透明的 "黑箱 "人工智能有可能失去用户的信任并传播意外的偏见。随着时间的推移，随着系统的动态完善，还需要进行严格的测试，以防止出现对历史上被边缘化的研究人员群体的歧视。以公平原则为指导的整体项目设计和审查实践有助于最大限度地发挥人工智能的优势并避免其危害。

虽然人工智能远不能取代专家，但它通过对常见但耗时的任务提出可解释的建议，显示出支持同行评审的前景。如果在监督下认真管理，它可以减轻系统日益增长的压力，同时又不影响核心的质量保证功能。未来，将人工智能协助整合到实际评审工作流程中的细致研究将揭示，这种方法距离实现减轻同行评审重要但日益繁重的责任有多近。

参考文献

1. Checco, A., Bracciale, L., Loreti, P.et al. AI-assisted peer review.Humanit Soc Sci Commun 8, 25 (2021).https://doi.org/10.1057/s41599-020-00703-8

单击 TAGS 查看相关文章 ：

AI|同行评审|研究|社会