AI Text Classifier – 4 Tools zum Erkennen von KI-Texten

geändert am 30. November 2023

Sie wollen wissen, ob ein Text vom Menschen oder von der KI stammt? KI Texte erkennen funktionierte bisher mit dem „AI Text Classifier“ von OpenAI. Leider ist der AI Text Classifier derzeit vom Netz. Welche Alternativen gibt es? Allerdings sollten Sie sich für deutsche Texte nicht zu viel erhoffen, denn die Wahrscheinlichkeit den Text richtig zu klassifizieren ist noch äußerst bescheiden.

Update zum AI Text Classifier – KI Texte erkennen

Ab dem 20. Juli 2023 ist der KI-Klassifikator aufgrund seiner geringen Genauigkeit nicht mehr verfügbar. Open AI meint dazu: „Wir arbeiten daran, das Feedback zu berücksichtigen, und erforschen derzeit effektivere Verfahren zur Herkunftsbestimmung von Text. Außerdem haben wir uns verpflichtet, Mechanismen zu entwickeln und einzusetzen, die es den Nutzern ermöglichen, zu erkennen, ob Audio- oder visuelle Inhalte KI-generiert sind.“

Die deutschen Texte von neuroflash* sind kaum von menschlichen zu unterscheiden. Einfach kostenlos testen. (Werbung)

AI Text Classifier Deutsch

OpenAI gibt an, dass bei Testläufen mit englischen Texten lediglich in 26 Prozent der Fälle korrekt erkannt wurde, ob sie menschengemacht sind oder vom Computer stammen. In neun Prozent der Fälle ordnete die Software Texte von Menschen fälschlicherweise einem Computer zu. Aus diesem Grund empfiehlt OpenAI derzeit, sich bei der Bewertung von Texten nicht ausschließlich auf die Einschätzung des „AI Text Classifiers“ zu verlassen. Die Entwickler geben jedoch an, dass die Weiterentwicklung und Verbesserung des Programms fortlaufend voranschreiten. Bei deutschen Texten reduziert sich die Wahrscheinlichkeit einer korrekten Zuordnung noch mehr.

Die KI-Texte vom deutschen Hersteller Mindverse unterscheiden sich kaum von menschlichen Texten. (Werbung)

Der AI Text Classifier lässt sich so einfach wie ChatGPT handhaben. Einfach den Text in das Fenster von „AI Text Classifier“ kopieren, danach erscheint das Ergebnis.

Der KI-Text-Klassifikator ist ein fein abgestimmtes GPT-Modell, das vorhersagt, wie wahrscheinlich es ist, dass ein Text aus einer Vielzahl von Quellen, wie z. B. ChatGPT, von KI generiert wurde. Der Klassifikator ist als kostenloses Tool verfügbar. Aktuelle Einschränkungen sind:

mindestens 1.000 Zeichen, was ungefähr 150 – 250 Wörtern entspricht
Der Klassifikator ist nicht immer genau; er kann sowohl KI-generierten als auch von Menschen geschriebenen Text falsch kennzeichnen
KI-generierter Text kann leicht bearbeitet werden, um AI Text Classifier zu täuschen
Bei von Kindern geschrieben Texten und Texte, die nicht in Englisch verfasst sind, liegt der Klassifikator wahrscheinlich falsch. Die Entwickler trainierten die Software hauptsächlich mit englischen, von Erwachsenen geschrieben Inhalten

Leider lässt sich der AI Text Classifier derzeit nicht testen.

Weitere KI-Erkennung-Tools zum KI Texte erkennen

Neben AI Text Classifier gibt es am Markt weitere KI-Detektoren, die KI Texte erkennen, teilweise sogar besser, aber nicht immer gratis oder derzeit nur als Demo-Version verfügbar:

Originality.ai*
AI Detektor Deutsch von GhostWriter
GPTZero*
AI Content Detector* von copyleaks
Scribbr (Englisch kostenlos, Deutsch in der Premiumversion)
Frauenhofer Institut
DetectGPT (derzeit keine Demoversion verfügbar)

Originality.ai

Originality.ai* gehört zu den besten Erkennungsprogrammen. Gemäß Herstellerangaben erkennt die Software Texte, die mit GPT-3, GPT-3.5 und GPT-4 generiert wurden.

Neben dem Entlarven von KI führt Originality.ai* gleichzeitig einen Plagiatscheck durch. Es ist schwierig das KI-Erkennungstool auszutricksen, es erkennt auch durch KI umgeschrieben Text und solchen, dem Texter Rechtschreib- und Grammatikfehler zugefügt haben. Die Verwendung von Synonymen oder das Einfügen von Satzzeichen spürt die Software ebenfalls auf.

Allerdings ist das übersichtliche Tool zum KI Texte erkennen nicht gratis. Dafür gibt es zusätzlich eine API. Die Bezahlung erfolgt über Credits. Ein Credit kostet 0,01 US$ und reicht für 100 Wörter KI-Testung oder Plagiatsprüfung. Für einen Text von 1.000 Wörtern müssen Sie für KI-Erkennung und Plagiatscheck rund 0,20 US$ hinblättern.

AI Text Classifier Alternative AI Detektor Deutsch von Originality.ai, Preise

Wer riesige Textmengen überprüfen will, sollte sich für die API-Schnittstelle entscheiden.

AI Detektor Deutsch von GhostWriter

Der AI Detektor Deutsch von GhostWriter basiert auf Originality.ai*. Hier können Sie kostenlos deutsche Texte zwischen 100 und 500 Wörter auf KI testen. Das ist ideal, um kurze Artikel zu überprüfen, aber für längere Texte empfiehlt es sich bei Originality.ai* entsprechenden Credit zu kaufen.

Ich habe einen alten Artikel von mir und einen KI-Text getestet, der Detektor hat beide zu 99 % richtig erkannt. Einen überarbeiteten KI-Text erkannte er als 69 % menschlich und 31 % KI. Nicht schlecht.

GPTZero

GPTZero* ist derzeit vermutlich die am meisten genutzte Software zur KI-Erkennung. Die Erkennungsrate ist recht hoch, allerdings kommt es nicht ganz an Originality.ai ran. Kleine menschliche Abänderungen im KI-Text führen schnell zu einer falschen Einschätzung. GPTZero bietet eine Chrome-Erweiterung und für Unternehmen eine API.

Das Tool gibt es als abgespeckte Variante gratis oder als Bezahlversion. Bis 5.000 Zeichen, also rund 500 bis 600 Wörter sind kostenlos, ebenso ein Add-on für Word.

Hier die Preise:

AI Content Detector copyleaks

Gemäß einer Studie ist der KI-Inhaltsdetektor* von CopyLeaks der genaueste LLM-generierte Textdetektor. In dieser Arbeit untersuchten die Autoren 124 Einsendungen von Informatikstudenten vor der Erstellung von ChatGPT. Anschließend liessen sie ChatGPT 40 Beiträge erstellen, um acht öffentlich verfügbare LLM-generierte Textdetektoren anhand von Genauigkeit, Fehlalarmen und Widerstandsfähigkeit zu bewerten. Die Texte waren auf Englisch, aber der AI Content Detector scheint auch gut mit deutschen Texten zurechtzukommen. Probieren Sie es selbst aus, um deutsche Texte zu überprüfen müssen Sie allerdings ein Konto anlegen.

Fünf Seiten sind bei copyleaks kostenlos. Brauchen Sie mehr Seiten, so können Sie dies als monatliches Abo bestellen. Der Preis erhöht sich bei 3.000 Seiten auf $20.82, bei 6.000 auf $34.16 und bei 12.000 auf $63.32. Das Abo lässt sich bis auf 120.000 Seiten im Monat erweitern.

Scribbr – deutsche KI Texte erkennen gegen Gebühr

Derzeit bietet Scribbr englische Texte bis 500 Wörter kostenlos zum Austesten an. Ziel ist, den KI-Anteil in folgenden Texten zu erkennen:

Blogbeiträge
Allgemeine Texte
Hausarbeiten
Bachelorarbeiten
Masterarbeiten

Der AI-Detector von Scribbr erkennt ChatGPT3.5, GPT4 und Google Bard in Sekundenschnelle, allerdings ist nicht bekannt, auf welchem KI-Erkennungstool der AI-Detector basiert.

Frauenhofer Institut

Auch das Frauenhofer Institut SIT setzt sich mit dem Thema KI-Texterkennung auseinander. Laut ihrer Website beschreitet das Institut folgenden Weg: „Unsere textforensischen Expert*innen arbeiten dabei unter anderem mit einer selbst entwickelten Methode zur Autorschaftsverifikation, COAV: Ursprünglich wurde es genutzt, um beispielsweise Plagiate in wissenschaftlichen Arbeiten zu erkennen. Da COAV Texte auf stilistischer Basis vergleicht, lässt sich diese Methode auch für die Erkennung von einem bestimmten „Autor“ nutzen, nämlich ChatGPT.“

Das Institut weist auch auf ein Vorschlag von Forschenden der Universität Maryland hin: Watermarking for Large Language Models. Dabei geht es darum, KI-Texte mit einem Wasserzeichen zu versehen.

DetectGPT

Eric Anthony Mitchell, Informatikstudent im vierten Jahr an der kalifornischen Stanford University, befasst sich in seiner Doktorarbeit sich mit der Entwicklung einer KI-Erkennungs-Software, die zwischen von Menschen und Large Language Models (LLM) generierten Texten unterscheidet. In ersten Experimenten identifizierte das Tool die Herkunft in 95 % der Fälle bei fünf beliebten Open-Source-LLMs genau.

Das Tool befindet sich noch im Anfangsstadium, doch Mitchell hofft, es so weit verbessern zu können, dass es der Gesellschaft zugutekommt.

Mitchell und Forscher der Stanford University entwickeln derzeit eine neue Methode, um LLM-Texte sofort zu erkennen. Dieser Ansatz vermeidet das Training eines neuen Modells und verwendet einfach das LLM, das den Text wahrscheinlich generiert hat, um seine eigenen Ergebnisse zu erkennen. Das Forscherteam nimmt an, dass sich menschliche und von KI-erzeugte Texte mathematisch klar unterscheiden.

„Mag“ die LLM den Text, stammt er vermutlich aus diesem Modell. Und dies belegt eine einzige Zahl: die Wahrscheinlichkeit, dass bestimmte Wortfolgen im Modell vorkommen. Wenn nicht, stammt es nicht aus dem Modell.“ Und dieser Ansatz funktioniert laut Mitchell recht gut: „Er ist viel besser als zufälliges Raten.“

Sein Team führte einige Experimente mit AI Text Classifier, basierend auf CPT-2, durch. Bei englischen Nachrichtenartikeln funktionierte der Check gut, bei PubMed-Artikeln aus medizinischen Fachartikeln schnitt er schlecht ab und bei deutschsprachigen Nachrichtenartikeln versagte er komplett. Diese gemischten Ergebnisse sind bei vortrainierten Modellen üblich, sagt Mitchell. Im Gegensatz dazu funktionierte DetectGPT in allen drei Bereichen ohne Probleme.

DetectGPT ist leider nicht mehr als Demo verfügbar. Aber hier ist das paper dazu.

Transparent.ai von Textbroker

Die KI-Textgenerierung mit ChatGPT & Co. macht es immer schwieriger, KI-generierte Inhalte von menschlich verfassten zu unterscheiden. Transparent.ai ist nun ein von Textbroker entwickeltes webbasiertes Tool, das Autoren dabei unterstützt, die Echtheit und den Aufwand hinter ihren Texten transparent zu machen.

Transparent.ai erfasst den Entstehungsprozess eines Textes und erstellt Zertifikate, die die Arbeitsleistung des Autors aufschlüsseln. Das Tool verfolgt, welche Teile des Textes eigenständig geschrieben, per Copy & Paste eingefügt oder während des Schreibens verändert wurden.

Was bedeutet dies für Autoren?

Arbeiten mit Transparent.ai ähnelt der Nutzung herkömmlicher Textverarbeitungsprogramme. Sie können Text formatieren, Überschriften setzen, Listen erstellen und Links einfügen. Das Tool zeichnet jeden eingegebenen Buchstaben auf und erstellt nach Fertigstellung des Textes ein Zertifikat. Dieses Zertifikat enthält Statistiken über den Arbeitsprozess, wie die Anzahl der selbst geschriebenen Wörter, die Anzahl der kopierten Wörter und den Anteil von Copy & Paste.

Es gibt zwei Arten von Zertifikaten: Das „Limited Certificate“ zeigt grundlegende Statistiken wie die endgültige Wortzahl und den Anteil von selbst verfassten Worten. Das „Full Certificate“ bietet detailliertere Angaben, einschließlich Startzeit des Schreibens, gelöschter Wörter und des Anteils von Copy & Paste.

Vorteile für Kunden

Transparent.ai ermöglicht es Autoren, ihre Arbeitsleistung nachvollziehbar zu dokumentieren und Kunden zu zeigen, dass ihre Texte tatsächlich von Menschen geschrieben wurden, trotz der fortschrittlichen KI-Textgenerierung.

Risiko durch Fiverr – neuer Markt für „Tippsen“?

Das Programm Transparent.ai zählt jeden einzelnen Anschlag, den Autoren über die Tastatur eintippen. Mal sehen, wie lange es dauert, bis erste Freelancer aus Billiglohnländern über Fiverr ihre Dienste für € 5 zum Abtippen von KI-generierten Texten anbieten. Bei entsprechender Textlänge für Autoren durchaus lohnend.

Warum KI Texte erkennen?

Hier habe ich einmal ChatGPT zu seiner Meinung befragt. Hier mein Prompt: „Nenne mir vier Gründe, warum ich KI-Texte erkennen sollte. Bitte kurz und bündig.“

Glaubwürdigkeit: KI-generierte Texte können von menschlich verfassten Texten schwer zu unterscheiden sein. Das Erkennen von KI-Texten hilft dabei, Fehlinformationen und irreführende Inhalte zu vermeiden.
Kritische Analyse: Die Fähigkeit, KI-Texte zu identifizieren, ermöglicht es, Informationen kritisch zu hinterfragen und fundierte Entscheidungen zu treffen, anstatt blind zu vertrauen.
Authentizität: In einer digitalen Welt, in der Manipulation von Informationen zunimmt, hilft die Erkennung von KI-Texten dabei, die Authentizität von Inhalten zu wahren.
Verhinderung von Plagiat: Beim Schreiben oder Recherchieren ist es wichtig, Originalität zu bewahren. Das Erkennen von KI-Texten kann verhindern, dass unbeabsichtigt auf KI-generierte Quellen zurückgegriffen wird, ohne sie angemessen zu kennzeichnen.

KI im Unterricht erlauben?

Was ChatGPT nicht erwähnt hat – gut ich wollte nur vier Gründe wissen – ist die Problematik an Schulen. Viele Lehrer sind schlicht überfordert, noch zu erkennen, was von ihren Schülern stammt und was KI dazu beigetragen hat. Aber zum Glück sorgt KI im Unterricht nicht nur für Probleme, sondern bietet auch Vorteile. Hier ein Beitrag, wie sich künstliche Intelligenz an Schulen sinnvoll einsetzen lässt und wie Schüler den richtigen Umgang damit lernen.

ChatGPT & Co an Universitäten zulassen?

Ähnlich wie an Schulen sieht es an Universitäten aus. Ging es früher darum nur Plagiate zu entlarven, kommt heute die KI-Problematik hinzu. Schließlich sollen Lehrer und Professoren die Arbeit und das Wissen von Schülern und Studenten bewerten und nicht das, was sich ChatGPT zusammenreimt. Hier braucht es klare Regeln, was erlaubt ist und was nicht, ähnlich wie früher die Nutzung eines Taschenrechners während einer Klausur. Bei schriftlichen Abschlussarbeiten wird es natürlich schwieriger den Rückgriff auf KI zu erkennen., insbesondere, wenn die Nutzung verboten ist. Besser ist eine klare Kennzeichnungspflicht, ähnlich wie jede genutzte herkömmliche Quelle.

Erkennen Suchmaschinen wie Google KI-Texte?

Ein weiterer Punkt sind Google & Co. „Nichts genaues weiß man nicht“. Straft Google KI-Texte ab oder nicht. Angeblich soll es keine Rolle spielen, wer den Text kreiert hat – solange er gut ist. Und wie sollte Google erkennen, ob der Text vom Menschen oder einer KI stammt, die Suchmaschine bräuchte einen zuverlässigen KI-Detektor. Hat Google einen?

Wie kann ich selbst KI-Texten auf die Schliche kommen?

Ich habe schon zahlreiche KI-Texte von ChatGPT generieren lassen, dabei ist mir insbesondere aufgefallen, dass ChatGPT den Passiv liebt, auch wenn ich die KI im Prompt dazu auffordere aktiv zu schreiben. Die Formulierungen sind oft im Wikipedia-Stil – lieblos und wenig einfallsreich.

Es existieren bestimmte Hinweise, anhand derer man KI-Texte identifizieren kann:

Wiederholung von Texte und Schlüsselwörtern: Falls ein Text wiederholt dieselben Schlüsselwörter oder Ausdrücke nutzt, kann dies als Anhaltspunkt für KI-Generierung dienen. KI-Systeme verwenden häufig gleiche Keywords, um die Relevanz des Textes zu einem bestimmten Thema zu erhöhen.
Wort- oder Phrasenwahl eingeschränkt: Menschliche Texte enthalten eine größere Vielfalt an verwendeten Wörtern und Phrasen. Menschen mischen in guten Texten gerne Formal- und Umgangssprache und nutzen auch mal ein Sprichwort oder Zitat. Auch kreieren sie neue Wörter.
Unnatürliche Syntax: KI-Systeme sind eventuell nicht in der Lage, komplexe Satzstrukturen und Grammatikregeln präzise anzuwenden. Daher können unnatürliche Formulierungen und Grammatikfehler auftreten, letztere kommen aber allerdings eher selten vor.
Rechtschreibung: Menschen machen Fehler, die KI weniger. Das soll allerdings nicht heißen, dass Menschen diese fortan einbauen sollen, um KI zu kaschieren.
Begrenzter Informationsgehalt: Von KI erstellte Texte erinnern mich oft an Politiker. Viel geschwätzt und nichts gesagt. Insbesondere kommt das Wort „könnte“ sehr oft vor, ChatGPT vermeidet gerne konkrete Aussagen.
Fehlender persönlicher Stil: KI-Systeme sind nicht dazu fähig, einen individuellen Stil oder eine persönliche Stimme im Text zu entwickeln. Falls ein Text keine erkennbare persönliche Note aufweist, hat ihn mit hoher Wahrscheinlichkeit eine KI generiert.

Können Texter und Blogger KI-Texte kaschieren?

Gerade Blogger möchten nicht unbedingt, dass ihre Leser merken, dass der Text von einer KI stammt und nicht von ihnen persönlich. Da heißt es, die vorangegangenen Punkte zu beherzigen. ChatGPT & Co. sollen bei der Arbeit helfen, aber sie sollen nicht den Menschen dahinter gänzlich ersetzen.

Fazit: KI-Detektoren liefern Indizien, aber keine Beweise

Derzeit ist es äußerst schwierig mit KI-Detektoren KI-Texte von vom Menschen geschriebenen Texten zu unterscheiden. Die Trefferhäufigkeit ist nicht immer zuverlässig. Gerade Lehrer und Professoren sollten sich nicht alleine auf die Ergebnisse verlassen, denn so können schnell Fehlurteile entstehen, sie sollten immer noch andere Faktoren, wie die eigene Einschätzung hinzuziehen. Dies ist wie beim Arzt, der sich bei der Krebsdiagnose nicht alleine auf Tumormarker verlässt. Es sind handfeste Indizien, aber keine Beweise. Vielleicht sollten Lehrpläne im Bildungsbereich wieder mehr auf mündliche Prüfungen zurückgreifen.