Google DeepMind: Neue Studie spricht von einem „superhuman“ KI-System zur Fakten-Prüfung
von Olli | 18 Kommentare
Die auf das Thema Künstliche Intelligenz spezialisierte Einheit von Google mit dem Namen Google Deepmind hat eine neue Studie mit dem Namen „Long-form factuality in large language models“ veröffentlicht. In dem Paper spricht man von einer neuen Methode namens „Search-Augmented Factuality Evaluator“ (SAFE). Diese kann genutzt werden, um die Aussagen von Texten der großen Sprachmodelle (LLMs) in verschiedene Teile herunterzubrechen und dann per Google Suche auf Fakten zu überprüfen.
„SAFE verwendet ein LLM, um eine lange Antwort in eine Reihe einzelner Fakten zu zerlegen und die Richtigkeit jedes Fakts mithilfe eines mehrstufigen Argumentationsprozesses zu bewerten, der das Senden von Suchanfragen an die Google-Suche und die Feststellung, ob ein Fakt durch die Suchergebnisse unterstützt wird, umfasst,“
Deepmind geizt dabei nicht mit Superlativen, man spricht von übermenschlichen Fähigkeiten im Bereich der Fakten-Prüfung erreicht werden KÖNNEN. Gegenüber menschlichen Prüfern in einem Probe-Datenset von 16.000 Fakten lag SAFE in 72 Prozent in Übereinstimmung mit den Menschen. In einer Stichprobe von 100 Meinungsverschiedenheiten lag die Korrektheit von SAFE bei 76 Prozent.
On a quick read I can’t figure out much about the human subjects, but it looks like superhuman means better than an underpaid crowd worker, rather a true human fact checker? That makes the characterization misleading. (Like saying that 1985 chess software was superhuman).…
— Gary Marcus (@GaryMarcus) March 28, 2024
Der KI-Forscher Gary Marcus stellt diese Behauptung infrage, denn um das Ganze wirklich mit Fakten belegen zu können, müssen die Prüfer auch Experten sein und entsprechend bezahlt werden. Erst dann werde das Experiment aussagefähig.
In jedem Fall kann SAFE dabei helfen, Kosten im Bereich der Fakten-Prüfung zu sparen. Gerade Netzwerke wie X und Co. könnten derlei LLMs einsetzen, um Dinge wie Community Notes abzulösen.
Der Code und das Datenset kann bei GitHub von anderen Einrichtungen und Forschern für die weitere Arbeit genutzt werden.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Es ist begrüßenswert in diese Richtung zu forschen, denn eine Falschbehauptung ist schnell in der Welt, die Fakten zu prüfen oft zeitaufwändig und bis zum Faktencheck haben dann genügend Leute die krude Ideologie gelesen und dann bleibt sie in ein paar Köpfen und schlummert und wächst, bis es zur Gefahr wird. In den letzten Jahren konnte man fabelhaft dabei zuschauen, wie manche das Vertrauen zu Ärzten, Behörden und Experten verloren haben und hinter allem eine wirre, größere Sache, vermuteten. Für mich erschreckend, wer den Rattenfängern gefolgt ist.
Spannende Frage. Ebenso spannend ist, warum Berichte und Protokolle des RKI erst eingeklagt und dann auch noch geschwärzt werden müssen.
Ich habe keine Frage gestellt. Wenn die Frage von Herbert Leininger gemeint ist, was das „Wörtchen“ Fakt im Jahr 2024 noch bedeute, dann verstehe ich die Frage nicht. Ein Fakt ist eine Tatsache, ein wirklicher, nachweisbarer, bestehender, wahrer oder anerkannter Sachverhalt. Zählt in diesem Jahr genau so wie die letzten Jahre und die kommenden. Widerliche Menschen werden weiter versuchen durch Missinformation zu verunsichern und Feindbilder zu generieren. Zum Thema RKI:
Ein für Desinformation und Verschwörungsmythen bekannter Blog hat vor Gericht die Veröffentlichung der RKI-Sitzungsprotokolle des Corona-Krisenstabs erstritten. In den jetzt „RKI-Files“ genannten Dokumenten steht aber kaum Neues oder Skandalöses. Insgesamt zeigten die Protokolle, dass das RKI die Vor- und Nachteile einzelner Maßnahmen sorgfältig abwog und dass die letztendlichen Entscheidungen über die Umsetzung von Maßnahmen bei der Politik lagen.
Mit großer Verzweiflung versuchten die Verschwörungsideologen dennoch, einen Skandal daraus zu inszenieren, jedoch ohne jegliche Grundlage für ihre Behauptungen.
Lesenswerter Artikel dazu: https://www.volksverpetzer.de/faktencheck/rki-files-querdenker-inszenierung/
Danke für die Klarstellung, was Fakten sind und woher diese ausschließlich kommen.
Über die Schwurbler vom Volksverpetzer sollte unbedingt auch mal ein Facktenchecker drüber laufen. Die verfolgen nämlich auch nur ihre Agenda und wurden schon zu oft mit falschen Behauptungen erwischt. Aber solange es Leute wie dich gibt, ist die Welt ja in Ordnung.
Schwurbler? So so… Und was für eine Agenda? Ich frag mich ja immer, ob solche Leutchen mal darauf kommen, warum es keine Faktenchecks zum Volksverpetzer gibt.
Wow, hast Du mal selbst recherchiert oder plapperst Du hier einfach den Schwurbelblog Volksverpetzer nach? Multipolar liefert definitiv besseren Journalismus als dieser ideologische Blog… und ich beziehe das nicht auf Corona. Jesus, vielleicht einfach mal den offenen Brief der 150 ÖRR-Journalisten lesen, vielen von denen haben sich nicht einmal getraut mit echtem Namen zu unterschreiben weil sonst Konsequenzen drohen. Entweder Du passt in das vorgegebene Narrativ oder Du wirst diffamiert, als rechts & Schwurbler bezeichnet (durch so Hilfssheriffs wie VP) und dann entfernt. Ist das einer Demokratie würdig?
Hier Zitat:
„Seit geraumer Zeit verzeichnen wir eine Eingrenzung des Debattenraums anstelle einer Erweiterung der Perspektive. Wir vermissen den Fokus auf unsere Kernaufgabe: Bürgern multiperspektivische Informationen anzubieten. Stattdessen verschwimmen Meinungsmache und Berichterstattung zusehends auf eine Art und Weise, die den Prinzipien eines seriösen Journalismus widerspricht. Nur sehr selten finden relevante inhaltliche Auseinandersetzungen mit konträren Meinungen statt. Stimmen, die einen – medial behaupteten – gesellschaftlichen Konsens hinterfragen, werden wahlweise ignoriert, lächerlich gemacht oder gar ausgegrenzt. Inflationär bedient man sich zu diesem Zwecke verschiedener „Kampfbegriffe“ wie „Querdenker“, „Schwurbler“, „Klima-Leugner“, „Putin-Versteher“, „Gesinnungspazifist“ und anderen, mit denen versucht wird, Minderheiten mit abweichender Meinung zu diffamieren und mundtot zu machen.“
Und das kommt aus dem ÖRR!
Hier ist der offene Brief:
https://meinungsvielfalt.jetzt/manifest.html
Und hier eine Berichterstattung mit weiteren Einschätzungen von Experten und Professoren:
https://multipolar-magazin.de/meldungen/0035
Ach der offene Brief vom Typen, der hinter beiden Quellen steckt und vom SWR gefeuert wurde.
Meinungsvielfalt ist ja auch erwünscht, nur Falschbehauptungen sind keine Meinungen.
Ähm, nein – Du verbreitest hiermit nachweislich Fake News. Der Brief den Du meinst ist aus 2021 von einem einzelnen namens Ole Sambrak. Der verlinkte Brief ist nagelneu und von so einigen mehr unterzeichnet.
Aber es war ja klar: diejenigen, die meinen die Weisheit mit Löffeln gefressen zu haben und alle anderen diffamieren zu können, die haben nicht einmal die Hausaufgaben gemacht und selbst recherchiert. Das disqualifiziert diese Leute dann halt auch. Lustigerweise sind das immer die, die am lautesten schreien und am wenigsten Ahnung haben 😉
Belustigend, auf der einen Seite die Unterstellung Fake News zu verbreiten, auf der anderen Seite einen offenen Brief aus 2021 von einem Typen meinen, der im Impressum deiner Quelle steht. Dass da nun ein weiterer Brief vom gleichen Typen ist, der dann noch auf Unterschriftenjagd gegangen ist (bzw. Anonym unterzeichnen kann man ja auch selbst), damit die üblichen Verdächtigen (nius, reitschuster) dann darüber berichten können, herzallerliebst.
Ich wiederhole nochmal, andere Meinung haben: gern! Falschen Müll in die Welt hauen: blöd!
Informiert euch, was die Leute wirklich von euch wollen, was in der letzten Zeit von den behauptungen denn so eingetreten ist und wie die aktuellen Zahlen sind. Hinterfragt eure Quellen. Mache ich auch immer wieder.
Eine KI, die dann einen Faktencheck macht, ist wirklich begrüßenswert.
Und die „FAKTEN“ werden dann am Ende von so einer NGO wie Correctiv! festgelegt. Was bedeutet das Wörtchen Fakt eigentlich 2024 noch?
Oder vom CCDH…
Anhand der Kommentare erkennt man schnell die Notwendigkeit, da direkt das RKI, Correctiv und CCDH in ihrer Arbeit angezweifelt wird. Das geschriebene einzuordnen (RKI soll was verstecken, Correctiv bestimmt Wahrheit etc.) und das behauptete mit Fakten aufzuräumen, ist genau das, was ich meine: ein Haufen Arbeit, das gerne auch KI übernehmen kann.
Danke für die Richtigstellung der Quellen für die Einzig Wahre Wahrheit.
Wenn du mal deine Bubblebrille abnimmst und anfängst Dinge zu hinterfragen um merkst, dass man alleine für Fragen gecancelt wird oder sonstige Repressalien befürchten muss, dann kann es mit der Wahrheit und den Fakten deiner Institutionen ja nicht soweit her sein.
Ich schicke nochmals den Link zu einem offenen Brief von Journalisten des ÖRR – ist lang aber jeder sollte das gelesen haben und darüber nachdenken:
https://meinungsvielfalt.jetzt/manifest.html
Auch die gesammelten Statements der ÖRR-Mitarbeiter sind überaus erschreckend, einfach mal durchklicken, es ist wirklich schlimm und beängstigend was in diesen Redaktionen los ist.
An die Moderation: sorry für den zweiten Kommentar und die Mehrarbeit aber auch für Euch -> bitte lesen und vielleicht auch darüber berichten, denn ARD, ZDF, Spiegel usw. werden es leider nicht tun.
Bubblebrille… Ich frag mich, ob man so noch in den Spiegel gucken kann, wenn man sich auf andere projeziert.
Für Fragen gecancelt werden… Naja, ich bezweifle mal, dass man für Fragen gecancelt wird. Wenn die Fragen keine Fragen sind, sondern Falschbehauptungen als Frage getarnt, dann dreh ich dir auch den Rücken zu.
Ich bin skeptisch. Wir haben seit ein paar Wochen Microsoft Copilot (GPT-4, Dall E 3…) in der Firma. Vielleicht erwarte ich zu viel, aber in 8 von 10 Fällen liefert das Ding einfach nur Blödsinn ab.