Mensen die ChatGPT vaak gebruiken voor schrijftaken zijn nauwkeurige en robuuste herkenners van door AI gegenereerde tekst

In dit artikel onderzoeken we hoe goed mensen in staat zijn teksten te herkennen die zijn gegenereerd door commerciële grote taalmodellen, waaronder GPT-4o, Claude en o1. We laten beoordelaars 300 Engelstalige non-fictieartikelen lezen, die zij classificeren als door een mens geschreven of door AI gegenereerd; daarnaast geven zij bij elke beslissing een toelichting van ongeveer één alinea. Onze experimenten laten zien dat beoordelaars die regelmatig LLM’s gebruiken voor schrijftaken bijzonder goed zijn in het herkennen van AI-gegenereerde tekst, zelfs zonder enige gespecialiseerde training of feedback. De meerderheidsbeslissing van vijf van zulke ‘expertbeoordelaars’ classificeerde zelfs slechts 1 van de 300 artikelen verkeerd. Daarmee presteerden zij aanzienlijk beter dan de meeste commerciële en opensourcedetectoren die wij evalueerden, ook wanneer ontwijkingstechnieken zoals parafraseren en ‘humaniseren’ van tekst werden toegepast. Een kwalitatieve analyse van de vrij geformuleerde toelichtingen van de experts laat zien dat zij weliswaar sterk steunen op specifieke lexicale aanwijzingen (‘AI-woordenschat’), maar tevens gevoelig zijn voor complexere tekstuele kenmerken, zoals formaliteit, originaliteit en helderheid, die voor geautomatiseerde detectoren moeilijk te beoordelen zijn. We stellen onze geannoteerde dataset en code openbaar beschikbaar om verder onderzoek naar zowel menselijke als geautomatiseerde detectie van AI-gegenereerde tekst te stimuleren.