OpenAI hat AI-Classifier eingestellt, Alternativen sind auch ungenau
von Mike Leitner | 3 Kommentare
OpenAI hat sein eigenes ChatGPT-Erkennungstool AI-Classifier von seiner Website entfernt. Als Grund wird die schlechte Genauigkeit angegeben. Gerade im akademischen Bereich werden solche Tools aber dringend benötigt, AI-Classifier sollte ChatGPT-Texte ab 1000 Zeichen erkennen. Im eigenen kurzen Versuch fiel auf, dass tatsächlich die meisten Tools sehr ungenau sind.
ZeroGPT wahr im Minitest am wahrscheinlichsten richtig. Aber auch dieses Tool hat einige Texte als KI-generiert deklariert, die es nicht sind. Sogar der Text, der vollständig von GPT-4 generiert wurde, wurde nur als „Der größte Teil Ihres Textes ist AI/GPT-generiert“ und 59 % KI-generiert angezeigt. GPTZero wirbt mit großen Worten, dass ihr Tool der Goldstandard sei. Es hat den GPT-4 Text vollständig als menschlich entlarvt. OriginalityAI war teils ein Würfelspiel und echte Texte wurden teilweise als KI erkannt und Standardtexte wie Transparenzinformationen veränderten den Score stark. Tatsächlich war es aber auch das einzige getestete Tool, das den GPT-4 Text vollständig als KI-generiert erkannte, ebenso der GPT-3.5 Text. Für diese Art der Texte ist es also gut geeignet. Contentforscale versagte komplett und zeigte alle Texte als von Menschen geschrieben an.
Ein bestimmtes Muster war aber auffällig. Die Tools erkannten Texte, die von GPT selbst auf der Grundlage von Stichpunkten erstellt wurden, mit größerer Wahrscheinlichkeit als Texte, die von GPT-3.5 oder GPT-4 nur angepasst wurden. Ob der Text aus GPT-3.5 oder GPT-4 stammte, hatte keinen Einfluss auf das Ergebnis.
Die Tests wurden primär mit GPT-4 durchgeführt, der Chatverlauf von GPT-3.5 kann hier nachgelesen werden, und hier GPT-4.
OpenAI hat sein eigenes Tool erst mit einem Update der ursprünglichen Ankündigung eingestellt. Dort steht: „Ab dem 20. Juli 2023 ist der AI-Classifier aufgrund seiner geringen Genauigkeit nicht mehr verfügbar. Wir arbeiten daran, das Feedback zu berücksichtigen, und erforschen derzeit effektivere Verfahren zur Herkunftsbestimmung von Text. Außerdem haben wir uns verpflichtet, Mechanismen zu entwickeln und einzusetzen, die es den Nutzern ermöglichen, zu erkennen, ob Audio- oder visuelle Inhalte KI-generiert sind“.
Kennt ihr noch gute Tools, die Text von ChatGPT oder anderen KIs erkennen können?
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
KI generierte Texte mit KI erkennen ist praktisch nicht möglich.
Das Ziel dieser KIs ist ja gerade Menschliche Texte nachzuahmen, daher je besser die KI, je schwieriger die Erkennung.
Und wenn das nicht reicht kann man die generierende KI einfach darauf trainieren die prüfende KI auszutricksen.
Ohne Vertrauen geht es nicht, schon immer konnte man Freunde oder Verwandte einspannen oder so. Täuschungsmöglichkeiten gibt’s schon immer.
Letztlich muss einfach der ganze Text im Zusammenhang gewürdigt werden. Man merkt ja wenn im Fließtext der Sprachstil wechselt und dergleichen. Außerdem spuckt ChatGPT nicht einfach eine fertige Arbeit mit 100.000 Zeichen aus. Abgesehen davon, dass die Hauptarbeit wissenschaftlicher Arbeiten in Recherche und Quellenarbeit besteht, darin ist ChatGPT unterirdisch, ist das Textfenster und der Speicher einfach begrenzt usw.
Das ist ja nicht so als ob man nur oben ein Thema eingibt und dann gibt einem die KI eine fertige Arbeit.
Der Nutzen ist eigentlich marginal und da man eh alles nachprüfen muss ist am Ende fraglich ob man wenigstens Zeit spart, denn die KI muss ja auch bedient werden, bis der richtige prompt gefunden ist usw.
Ich habe meine Versuche als sehr unproduktiv empfunden. Letztlich viel hype der höchstens für einen primitiven Schulaufsatz als Hausaufgabe in der Schule taugen würde und da werden die Lehrer schnell ein Auge dafür entwickeln, wenn sie ständig die selben Textpassagen von Schülern bekämen.
Ein Kollege studiert berufsbegleitend. Er hat sich eine Seminar Arbeit letztens komplett generieren lassen und eine 1,0 bekommen. Benötigt hatte er dafür 4 Stunden. Die meiste Zeit ging für das Literaturverzeichnis und sonstigen Tätigkeiten drauf. Die Literaturverweise hat er rückwärts über die Bücher Suche von Google gelöst. Ich fand’s super, immerhin war er dringend auf unserem Projekt benötigt.
Bei uns auf der Arbeit erleichtert GPT4 und Github Copilot enorm die Arbeit bei der Software-Entwicklung, wir schaffen seit dem die doppelte Anzahl Storypoints und haben weniger Bugs durch Flüchtigkeitsfehler in Reviews.