AI | Wird AI die Strenge der Peer Review beeinträchtigen?

Wissenschaftler haben sich nach und nach computergestützte Hilfsmittel zu eigen gemacht, um ihre schriftlichen Arbeiten und analytischen Unternehmungen zu beschleunigen. Doch mit der zunehmenden Leistungsfähigkeit dieser automatisierten Systeme steigt auch ihr Potenzial, intellektuelle Diskussionen auf subtile Weise zu lenken. Eine Gruppe von Forschern der Stanford University führte eine der ersten quantitativen Tiefenuntersuchungen durch, in der die Auswirkungen von Sprachmodellen in ausgewählten Bereichen der Wissenschaft untersucht wurden.

Das Team untersuchte Kritiken, die bei prominenten Konferenzen zum Thema maschinelles Lernen eingereicht wurden, sowie Artikel, die in einer angesehenen wissenschaftlichen Zeitschriftenreihe veröffentlicht wurden, sowohl vor als auch nach dem Debüt von ChatGPT im November 2022. Durch die Entwicklung neuartiger statistischer Verfahren zur Bewertung der Wahrscheinlichkeit, dass ein bestimmter Text von einem KI-Instrument erheblich verändert oder erstellt wurde, fanden sie unbestreitbare Beweise dafür, dass LLMs in Rezensionen eingesetzt werden, wenn auch in unterschiedlichem Maße.

Besonders bemerkenswert ist, dass ihren Schätzungen zufolge zwischen 6,5 und 16,9 % der Sätze in den ICLR-, NeurIPS-, CoRL- und EMNLP-Bewertungen des letzten Jahres durch KI über ein einfaches Korrekturlesen hinaus sinnvoll verändert worden sein könnten. Andererseits wurden keine statistisch signifikanten Abweichungen bei den in den Natur-Publikationen veröffentlichten Bewertungen festgestellt. Diese Entdeckungen stehen im Einklang mit der Erwartung, dass Experten für maschinelles Lernen aufgrund ihrer Kenntnisse und ihres Zugangs zu leistungsfähigen Werkzeugen möglicherweise schon früh die Technologie übernommen haben.

Ergänzende Analysen geben Aufschluss darüber, wie und wann die LLM-Anwendung zustande kommt. Rezensionen, die kurz vor dem Stichtag eingereicht wurden oder von Gutachtern, die weniger geneigt waren, mit den Autoren zu diskutieren, korrelierten mit einer höheren prognostizierten KI-Implikation. Kritiken ohne wissenschaftliche Referenzen oder mit weniger inhaltlichen Unterschieden in den Beurteilungen einer Arbeit korrelierten ebenfalls mit verstärkten AI-Signalen.

Auch wenn die Untersuchung keine kausalen Zusammenhänge nachweisen kann, werfen diese Muster die Frage auf, ob Bequemlichkeit und Zeitdruck die Urteile einiger Gutachter beeinflussen und den Begutachtungsprozess möglicherweise verzerren. Allgemeiner ausgedrückt: Die Homogenisierung der Inhalte, die in den Bereichen, in denen es KI gibt, auf breiter Ebene zu beobachten ist, gibt Anlass zu Bedenken hinsichtlich des repräsentativen Know-hows und der Vielfalt, die seit langem die Beurteilung durch Fachkollegen unterstützt haben.

Die Autoren betonen, dass es sich hierbei um erste Erkenntnisse aus einer neuartigen Methodik handelt und dass zusätzliche interdisziplinäre Anstrengungen unerlässlich sind. Nichtsdestotrotz liefern ihre Schätzungen auf hohem Niveau und ihre linguistischen Hinweise einen wertvollen Ausgangspunkt für die methodische Untersuchung des sich ausbreitenden, aber heiklen Einflusses der KI auf wissenschaftliche Konversationen und Informationsbildung. Nur durch transparente Metriken wie diese können wir garantieren, dass diese starken Instrumente die menschliche Entscheidungsfindung und den Austausch ergänzen und nicht unangemessen steuern.

Hinweis(e)

1. https://doi.org/10.48550/arXiv.2403.07183

Klicken Sie auf TAGS, um verwandte Artikel zu sehen:

KI | PEER REVIEW | FORSCHUNG | GESELLSCHAFT