Can humans detect AI-written text?

Untrained readers identify text written by frontier LLMs like GPT-4 at roughly 50%, chance, in a binary task. Clark et al. (ACL 2021) found untrained evaluators at 49.9% on GPT-3 text. Jones & Bergen (NAACL 2024) found GPT-4 judged human 54% of the time in a five-minute Turing test. Trained domain experts reading familiar genres reach 60–70% (instructors on college essays, surgeons on medical abstracts). No published study shows reliable >80% human accuracy on current frontier-model output.

Does training improve human detection accuracy?

Marginally. Clark et al. 2021 tested untrained vs trained (instructions, annotated examples, paired examples) and saw accuracy rise from ~50% to ~55%, not statistically significant. One study (educators on college essays) found 70% accuracy, but those raters had domain expertise rather than detection-specific training.

← Forschung

Forschung

Erkennen Menschen KI-Texte?

Sechs Studien, zwei entgegengesetzte Schlüsse. Ungeübte Leser:innen liegen bei Frontier-Modellen auf Zufallsniveau; geübte Expert:innen in vertrauten Genres erreichen 60–70%. Wir gehen jede durch, inklusive derjenigen, die der Schlagzeile widerspricht und im Marketing der Detektor-Anbieter begraben liegt.

Die kurze Antwort

Ungeübte Leser:innen identifizieren moderne Frontier-LLM-Texte auf Zufallsniveau, etwa 50%. Geübte Fachexpert:innen, die vertraute Genres lesen (Essays, die sie benoten, Abstracts, die sie begutachten), erreichen 60–70 %. Keine peer-reviewte Studie hat bei aktuellem Frontier-Output eine zuverlässige menschliche Trefferquote über 80 % nachgewiesen. Genre und Bewertende zählen mehr als irgendeine stabile „menschliche Fähigkeit“.

Die folgenden Studien sind die in der Debatte am häufigsten zitierten, inklusive mehrerer aus herstellerseitigen Argumenten, dass Menschen KI nicht zuverlässig erkennen. Wir nehmen auch die Studie auf, die diese Zusammenstellungen meist weglassen: die Bildungsstudie, in der Dozierende 70% erreichen.

Die Studien

Clark et al. 2021, „All That's Human Is Not Gold“ (ACL)

arXiv:2107.00061 · 255 Kurzgeschichten, ~2.111 Nachrichtenartikel, 50 Rezepte, GPT-2 und GPT-3 gegen menschlich verfasste Texte. Ungeübte Bewertende erreichten 57,9% bei GPT-2 und 49,9% bei GPT-3, also buchstäblich Zufall. Training (mit Anweisungen, annotierten und gepaarten Beispielen) hob die Genauigkeit auf ~55 %, nicht signifikant höher als bei den Ungeübten. Das ist der stärkste peer-reviewte Anker für die „Menschen auf Zufallsniveau“-Behauptung, weil ACL eine Top-NLP-Konferenz ist und die Stichprobe genre-divers.

Jones & Bergen 2024, Turing-Test mit GPT-4 (NAACL)

arXiv:2405.08007 · 500 Teilnehmende, fünfminütige konversationelle Turing-Tests. GPT-4 wurde in 54% der Fälle als Mensch eingestuft; echte Menschen in 67%; ELIZA in 22%. Die Pass-Rate von GPT-4 war statistisch nicht von Zufall zu unterscheiden (z = 0,14, p = 0,48). Vorbehalt: Es geht um interaktives Chatten, nicht um die forensische Prüfung eingefügter Texte; die Dynamik ist anders.

Die Bildungsstudie, Dozierende bei 70%

International Journal for Educational Integrity (2023), 140 Dozierende + 145 Studierende, ChatGPT-generierte College-Essays. Dozierende erreichten 70% Genauigkeit; Studierende 60%. Das ist die Studie, die der „Menschen können nicht erkennen“-Schlagzeile widerspricht. Geübte Bewertende, die ein vertrautes Genre lesen (Essays, die sie wöchentlich benoten), schlagen jede allgemeine „menschliche Fähigkeit“-Rahmung.

Chirurgische Abstracts (Arthroscopy-Journal)

Akademische Gutachter:innen, ChatGPT-generierte Abstracts in der Schulter- und Ellenbogen-Chirurgie (Arthroscopy, 2023): 62% Genauigkeit mit einer Falsch-Positiv-Rate von 38% (echte menschliche Abstracts als KI markiert). Sehr enge Domäne.

Plastische Chirurgie, Motivationsschreiben

Canadian Society of Plastic Surgeons (2023), GPT-4, 11 KI- + 11 menschliche Motivationsschreiben, bewertet von zwei pensionierten Chirurg:innen mit 20+ Jahren Erfahrung: 65,9% Genauigkeit. Winziges N, im Grunde eine Fallstudie.

Zahnmedizinische Forschungs-Abstracts (Nature Scientific Reports, März 2026)

150 Abstracts, sechs Nachwuchs-Akademiker:innen, ChatGPT 3.5 (mittlerweile drei Generationen alt). Genauigkeit reichte von 44% bis 76%, extreme Inter-Rater-Varianz, bei einem Modell, das niemand seit Jahren mehr erkennen muss.

Was die Literatur insgesamt sagt

Ungeübt × Frontier-Modell × neutrales Genre ≈ Zufall (Clark, Jones).
Geübt × Frontier-Modell × vertrautes Genre ≈ 60–70% (Dozierende bei Essays, Gutachter:innen bei Abstracts). Über dem Zufall, aber weit weg von zuverlässig.
Keine der veröffentlichten Studien misst die Fähigkeit, KI-Haftigkeit auf einer kontinuierlichen Skala zu quantifizieren; alle sind binäre Forced-Choice-Tests. Diese Lücke ist der Grund, warum wir einen kontinuierlichen Score mit Erklärungen pro Merkmal entwickelt haben.

Übersichten der Anbieter sorgfältig lesen

Die Detektor-Branche hat ein kommerzielles Interesse an der Rahmung „Menschen können KI nicht zuverlässig erkennen“: Das ist das Argument für den Tool-Kauf. Die am häufigsten zitierten Studien sind real, aber herstellerseitige Beiträge stellen die für Menschen ungünstigsten Befunde voran (Clark 2021, Jones 2024) und begraben die Bildungsstudie mit 70%. Oft fehlt Liang et al. 2023, die Stanford-Studie, die zeigt, dass Detektoren 61 % der menschlich verfassten Essays von Nicht-Muttersprachler:innen des Englischen falsch als KI markieren. Diese Studie zeigt in derselben Debatte in die andere Richtung, und sie ist der Grund, warum die Grenzen der KI-Erkennung zählen, bevor man sich auf irgendein einzelnes Tool verlässt.

Was das für den Slop Score bedeutet

Wir beschäftigen uns nicht mit der Frage „Ist das KI?“. Der Grund: Die Frage lässt sich nicht sauber auflösen, und die Produkte, die sie zu beantworten versuchen, schleppen eine Genauigkeitsschuld mit sich, die jedes Mal wächst, wenn ein Gericht ihre Methodik liest. Das Slop-Register ist unabhängig von Autorschaft messbar — Menschen produzieren es, sorgfältige KI-Rewrites vermeiden es. Wir bewerten das Register und zeigen die Stellen; die schreibende Person entscheidet, was damit zu tun ist.