Wie funktionieren KI-Textdetektoren und sind sie genau?

ChatGPT hat zur Entstehung eines ganz neuen Ökosystems von Produkten und Services rund um die KI-Texterstellung geführt. Passend dazu sind viele KI-Inhaltsdetektoren als Gegenspieler mit kühnen Behauptungen aufgetaucht.

Heute gehen wir der Sache auf den Grund. Stimmt das? Können sie den Unterschied zwischen von Menschen geschriebenen und KI-generierten Inhalten erkennen? Und wenn ja, wie funktioniert das?

Wir sagen dir alles, was du über diese Softwaretools wissen musst und ob es sich lohnt, sie einzusetzen.

Wie funktionieren KI-Textdetektoren?

KI-Textdetektoren funktionieren ähnlich wie KI-Textgeneratoren: Sie basieren auf Wahrscheinlichkeiten.

KI-Generatoren vervollständigen Phrasen auf der Grundlage des wahrscheinlichsten Ergebnisses. Hier sind drei Beispiele:

• "Das ist ein kleiner Schritt für einen Mann, ein großer Sprung für die ____" - KI würde wahrscheinlich "Menschheit" ergänzen.
• "Die Liebe zum Geld ist die Wurzel allen ____" - Die Bibel und unzählige andere Publikationen, auf die KI trainiert wurde, würden darauf hindeuten, dass "bösen" die richtige Antwort ist.
• "Ich mache ihm ein Angebot, das er nicht ____ kann" - Jeder, der "Der Pate" gesehen hat, weiß, dass die Antwort "ablehnen" lautet. Aber das ist auch das, was aus jeder Perspektive am meisten Sinn ergibt.

Und jetzt wird es interessant. KI-Detektoren nutzen diese Wahrscheinlichkeiten ebenfalls. Wenn du das wahrscheinlichste nächste Wort in deinem Satz verwendest, kann es sein, dass er als KI-generiert gekennzeichnet wird. Das ist unser erstes Warnsignal, denn du möchtest die Bedeutung deines Satzes nicht ändern, nur um nicht als KI-generiert markiert zu werden.

KI-Detektoren berücksichtigen bei der Bewertung eines Textes auch zwei Faktoren: Perplexität und Burstiness.

Perplexität

Perplexität bedeutet, dass der Text nicht vorhersehbar ist. Wenn der Detektor von der nächsten Wortwahl "überrascht" ist, wird er denken, dass es sich um einen menschlichen Text handelt. KI-Sprachmodelle werden so trainiert, dass sie Texte mit geringer Perplexität produzieren. Die verwendeten Wörter sind so, wie du sie erwartest, aber das macht sie auch vorhersehbarer.

Das bedeutet, dass ein normaler Satz, den jedes Publikum verstehen kann, mit größerer Wahrscheinlichkeit markiert wird. Um dem Vorwurf der Perplexität zu entgehen, musst du etwas mit hoher Perplexität schreiben, wie zum Beispiel: "Die geschwätzige Katze hockte auf der samtigen Plüschmöblierung und ihre Miene verströmte einen Hauch von unbekümmerter Zufriedenheit."

Igitt.

KI-Detektoren gehen auch davon aus, dass Menschen zwar kreativere Formulierungen wählen, aber auch mehr Tippfehler machen. Aber was ist mit Grammarly? Jeder Autor, der etwas auf sich hält, lässt seinen Text durch eine Software laufen, um Fehler zu korrigieren.

Die Unternehmen, die hinter den KI-Detektoren stehen, haben zugegeben, dass Texte als grammatikalisch korrekt gekennzeichnet werden, vor allem wenn sie mit einem Softwaretool wie Grammarly korrigiert werden. Die Begründung dafür ist, dass der Text mit KI bearbeitet wurde und dadurch unnatürlich und unmenschlich wirkt.

Burstiness

Die Häufigkeit bezieht sich auf die Anzahl der verwendeten Wörter und die Struktur der Sätze in einem Text. KI-Inhalte haben oft eine geringere Burstiness als menschlicher Text. Deshalb wollen die Detektoren, dass einige sehr kurze Sätze und andere sehr lange Sätze als von Menschen geschrieben angesehen werden. Lange, komplizierte Sätze sind jedoch nicht zu empfehlen, wenn Inhalte geschrieben werden, die für ein breites Publikum lesbar sein sollen.

Das wirft die Frage auf, ob KI-Inhaltsdetektoren nach Dingen suchen, die gegen viele gute Schreibpraktiken verstoßen.

Sind KI-Detektoren genau?

Mit einem Wort: Nein. Sie sind nicht genau. Kritiker sehen in den KI-Textdetektoren Unternehmen, die aus unserem Kontrollbedürfnis Kapital schlagen und die Illusion erwecken, Kontrolle über KI-Texte zu haben, ohne konkrete Beweise, dass die Software zuverlässig funktioniert.

In einem Fall hat ein Nutzer die US-Verfassung und das biblische Buch Genesis durch einen KI-Detektor laufen lassen, und der Text wurde als KI-generiert gekennzeichnet. Nach dieser Logik gab es im Jahr 1787 Roboter, die beim Verfassen der Verfassung halfen.

Würdest du einem Berater vertrauen oder ihn bezahlen, der sich so in den Fakten irrt?

OpenAI Statement

Wenn du mehr Beweise brauchst, vertraust du vielleicht eher den Pionieren der generativen KI selbst: OpenAI. Sie sind das Team hinter ChatGPT und hatten sogar mal einen eigenen KI-Detektor, den sie aber schnell wieder abgeschafft haben.

In einer Erklärung, die sich vor allem an Lehrkräfte richtete, die diese Tools nutzen, um Schüler ungerechterweise durchfallen zu lassen, gab OpenAI zu, dass KI-Detektoren nicht funktionieren.

Abhängig von der Industrie

Es ist wichtig zu wissen, dass manche Branchen von Natur aus eine förmlichere Sprache als andere verwenden und einen ruhigeren, ernsteren Ton anschlagen. Wenn du einen technischen Text schreibst, machst du dir keine Gedanken über Perplexität oder Burstiness. Du legst Wert auf Sachlichkeit.

Ebenso sind Tippfehler in akademischen Arbeiten inakzeptabel, also entfernst du sie alle und nimmst dir keine Freiheiten, sondern hältst dich genau an die deutschen Sprachregeln. So wird dein Text auch leichter gekennzeichnet.

Originalität AI Falsche Behauptungen

Manche Unternehmen, wie Originality AI, lügen auch ganz offen. Ihr Ansatz, das Produkt zu verkaufen, basiert auf der Verwendung von Statistiken, um die Zuverlässigkeit zu beweisen.

Genauer gesagt verwenden sie Prozentzahlen, um Falschmeldungen und erfolgreiche KI-Erkennung darzustellen. Diese Zahlen scheinen mit sehr kleinen Datensätzen (die ausschließlich dem Unternehmen gehören und von ihm kontrolliert werden) aus der Luft gegriffen zu sein.

Als das Modell 2.0 ihrer Software herauskam, verkündeten sie stolz, dass es eine Erfolgsquote von 99 % hat. Dann, weniger als ein Jahr später, brachten sie ein neues Modell heraus: Turbo 3.0, das irgendwie besser sein sollte. Doch auch dieses hat eine "99%ige Erfolgsquote", und jetzt geben sie zu, dass die Version 2 eine Erfolgsquote von 90% hat.

Da die Rechnung nicht aufgeht, kann das nur bedeuten, dass das Unternehmen seine Erfolgsquote aufgebläht und die Kunden in die Irre geführt hat.

Topcontent Forschung

Topcontent ist eine 2013 gegründete Plattform zur Erstellung von Inhalten. In der Hoffnung, ein gutes Tool zur "KI-Erkennung" zu finden, hat Topcontent Forschungen durchgeführt. Dazu haben sie verschiedene Versionen von Texten verwendet, die 2016 auf ihrer Plattform geschrieben wurden (lange bevor es KI gab).

Was sie herausfanden, war wirklich interessant. Je besser der Text war, desto höher war die "KI-Bewertung", die er von den Detektoren erhielt. Ein erster Entwurf, der von einem Menschen geschrieben wurde, würde eine niedrige "KI-Wahrscheinlichkeit" erhalten. Aber nachdem ein Redakteur den Text aufpoliert und Korrektur gelesen hatte, stufte der Detektor ihn mit höherer Wahrscheinlichkeit als von einer KI generiert ein.

Das ist widersprüchlich, aber wenn wir noch einmal auf unseren vorherigen Abschnitt über die Funktionsweise von KI-Inhaltsdetektoren zurückkommen, ergibt das einen Sinn. KI-Textgeneratoren werden auf menschliche Texte und Grammatikregeln trainiert. Wenn also ein Redakteur kommt und diese Regeln anwendet, folgt der Detektor nur seinem Training, indem er den Text als KI-generiert kennzeichnet.

Die Folgen des Verlassens auf KI-Detektoren

Was passiert, wenn du dich auf KI-Detektoren verlässt? Nun, zum einen verschwendest du Geld für etwas, das nicht funktioniert. Aber die Folgen können noch viel gravierender sein. Im Internet gibt es unzählige Berichte über Schüler, die von Lehrkräften, die sich auf diese Tools verlassen, fälschlicherweise beschuldigt wurden und deren Zukunft ruiniert wurde.

Glücklicherweise deaktivieren einige Schulen wie die Vanderbilt University den Einsatz des KI-Detektors von Turnitin.

Wenn du versuchst, deinen Text zu ändern, nur um der KI-Erkennung zu entgehen, kann es passieren, dass dein Text unnatürlich klingt, mit Fehlern übersät ist und insgesamt von geringerer Qualität ist. Da Google und andere Suchmaschinen vor allem auf Qualität Wert legen, würde dein Ranking darunter leiden.

Apropos Google: Auch sie sind mit Gemini in das KI-Spiel eingestiegen und es gibt keine SEO-Strafen für den Einsatz von KI in deinen Webinhalten, solange sie dem Leser einen Mehrwert bieten.

Zusammenfassend

Was die Zuverlässigkeit von KI-Detektoren angeht, lass uns noch einmal festhalten: Nein, KI-Detektoren arbeiten nicht genau.

Ein echter Detektiv sucht nach konkreten Hinweisen. KI-Detektoren sind eher wie Hellseher, die Menschen aufgrund einer Ahnung oder Intuition (Wahrscheinlichkeiten) ins Gefängnis bringen. Es gibt kein Wasserzeichen, keinen Daumenabdruck und keine konkreten Hinweise, die man "aufspüren" kann.

Unabhängig davon, ob du KI-Inhalte verwendest und wofür du sie einsetzt, solltest du sicherstellen, dass dein Text immer auf die gewünschte Weise rüberkommt. So wie du einen Text unnatürlich klingen lassen kannst, kann die KI das Gleiche von Anfang an tun, wenn deine Aufforderungen nicht präzise sind.