Google DeepMind: Neue Studie spricht von einem „superhuman“ KI-System zur Fakten-Prüfung

Die auf das Thema Künstliche Intelligenz spezialisierte Einheit von Google mit dem Namen Google Deepmind hat eine neue Studie mit dem Namen „Long-form factuality in large language models“ veröffentlicht. In dem Paper spricht man von einer neuen Methode namens „Search-Augmented Factuality Evaluator“ (SAFE). Diese kann genutzt werden, um die Aussagen von Texten der großen Sprachmodelle (LLMs) in verschiedene Teile herunterzubrechen und dann per Google Suche auf Fakten zu überprüfen.

„SAFE verwendet ein LLM, um eine lange Antwort in eine Reihe einzelner Fakten zu zerlegen und die Richtigkeit jedes Fakts mithilfe eines mehrstufigen Argumentationsprozesses zu bewerten, der das Senden von Suchanfragen an die Google-Suche und die Feststellung, ob ein Fakt durch die Suchergebnisse unterstützt wird, umfasst,“

Deepmind geizt dabei nicht mit Superlativen, man spricht von übermenschlichen Fähigkeiten im Bereich der Fakten-Prüfung erreicht werden KÖNNEN. Gegenüber menschlichen Prüfern in einem Probe-Datenset von 16.000 Fakten lag SAFE in 72 Prozent in Übereinstimmung mit den Menschen. In einer Stichprobe von 100 Meinungsverschiedenheiten lag die Korrektheit von SAFE bei 76 Prozent.

Der KI-Forscher Gary Marcus stellt diese Behauptung infrage, denn um das Ganze wirklich mit Fakten belegen zu können, müssen die Prüfer auch Experten sein und entsprechend bezahlt werden. Erst dann werde das Experiment aussagefähig.

In jedem Fall kann SAFE dabei helfen, Kosten im Bereich der Fakten-Prüfung zu sparen. Gerade Netzwerke wie X und Co. könnten derlei LLMs einsetzen, um Dinge wie Community Notes abzulösen.

Der Code und das Datenset kann bei GitHub von anderen Einrichtungen und Forschern für die weitere Arbeit genutzt werden.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Avatar-Foto

Hauptberuflich im SAP-Geschäft tätig und treibt gerne Menschen an. Behauptet von sich den Spagat zwischen Familie, Arbeit und dem Interesse für Gadgets und Co. zu meistern. Hat ein Faible für Technik im Allgemeinen. Auch zu finden bei Twitter, Instagram, XING und Linkedin, oder via Mail

Neueste Beiträge

Mit dem Absenden eines Kommentars stimmst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

18 Kommentare

  1. Doppelherz says:

    Es ist begrüßenswert in diese Richtung zu forschen, denn eine Falschbehauptung ist schnell in der Welt, die Fakten zu prüfen oft zeitaufwändig und bis zum Faktencheck haben dann genügend Leute die krude Ideologie gelesen und dann bleibt sie in ein paar Köpfen und schlummert und wächst, bis es zur Gefahr wird. In den letzten Jahren konnte man fabelhaft dabei zuschauen, wie manche das Vertrauen zu Ärzten, Behörden und Experten verloren haben und hinter allem eine wirre, größere Sache, vermuteten. Für mich erschreckend, wer den Rattenfängern gefolgt ist.

    • MeinNametutnichtszurSache says:

      Spannende Frage. Ebenso spannend ist, warum Berichte und Protokolle des RKI erst eingeklagt und dann auch noch geschwärzt werden müssen.

      • Doppelherz says:

        Ich habe keine Frage gestellt. Wenn die Frage von Herbert Leininger gemeint ist, was das „Wörtchen“ Fakt im Jahr 2024 noch bedeute, dann verstehe ich die Frage nicht. Ein Fakt ist eine Tatsache, ein wirklicher, nachweisbarer, bestehender, wahrer oder anerkannter Sachverhalt. Zählt in diesem Jahr genau so wie die letzten Jahre und die kommenden. Widerliche Menschen werden weiter versuchen durch Missinformation zu verunsichern und Feindbilder zu generieren. Zum Thema RKI:

        Ein für Desinformation und Verschwörungsmythen bekannter Blog hat vor Gericht die Veröffentlichung der RKI-Sitzungsprotokolle des Corona-Krisenstabs erstritten. In den jetzt „RKI-Files“ genannten Dokumenten steht aber kaum Neues oder Skandalöses. Insgesamt zeigten die Protokolle, dass das RKI die Vor- und Nachteile einzelner Maßnahmen sorgfältig abwog und dass die letztendlichen Entscheidungen über die Umsetzung von Maßnahmen bei der Politik lagen.
        Mit großer Verzweiflung versuchten die Verschwörungsideologen dennoch, einen Skandal daraus zu inszenieren, jedoch ohne jegliche Grundlage für ihre Behauptungen.

        Lesenswerter Artikel dazu: https://www.volksverpetzer.de/faktencheck/rki-files-querdenker-inszenierung/

        • MeinNametutnichtszurSache says:

          Danke für die Klarstellung, was Fakten sind und woher diese ausschließlich kommen.

        • Über die Schwurbler vom Volksverpetzer sollte unbedingt auch mal ein Facktenchecker drüber laufen. Die verfolgen nämlich auch nur ihre Agenda und wurden schon zu oft mit falschen Behauptungen erwischt. Aber solange es Leute wie dich gibt, ist die Welt ja in Ordnung.

          • Doppelherz says:

            Schwurbler? So so… Und was für eine Agenda? Ich frag mich ja immer, ob solche Leutchen mal darauf kommen, warum es keine Faktenchecks zum Volksverpetzer gibt.

        • Wow, hast Du mal selbst recherchiert oder plapperst Du hier einfach den Schwurbelblog Volksverpetzer nach? Multipolar liefert definitiv besseren Journalismus als dieser ideologische Blog… und ich beziehe das nicht auf Corona. Jesus, vielleicht einfach mal den offenen Brief der 150 ÖRR-Journalisten lesen, vielen von denen haben sich nicht einmal getraut mit echtem Namen zu unterschreiben weil sonst Konsequenzen drohen. Entweder Du passt in das vorgegebene Narrativ oder Du wirst diffamiert, als rechts & Schwurbler bezeichnet (durch so Hilfssheriffs wie VP) und dann entfernt. Ist das einer Demokratie würdig?

          Hier Zitat:

          „Seit geraumer Zeit verzeichnen wir eine Eingrenzung des Debattenraums anstelle einer Erweiterung der Perspektive. Wir vermissen den Fokus auf unsere Kernaufgabe: Bürgern multiperspektivische Informationen anzubieten. Stattdessen verschwimmen Meinungsmache und Berichterstattung zusehends auf eine Art und Weise, die den Prinzipien eines seriösen Journalismus widerspricht. Nur sehr selten finden relevante inhaltliche Auseinandersetzungen mit konträren Meinungen statt. Stimmen, die einen – medial behaupteten – gesellschaftlichen Konsens hinterfragen, werden wahlweise ignoriert, lächerlich gemacht oder gar ausgegrenzt. Inflationär bedient man sich zu diesem Zwecke verschiedener „Kampfbegriffe“ wie „Querdenker“, „Schwurbler“, „Klima-Leugner“, „Putin-Versteher“, „Gesinnungspazifist“ und anderen, mit denen versucht wird, Minderheiten mit abweichender Meinung zu diffamieren und mundtot zu machen.“

          Und das kommt aus dem ÖRR!

          Hier ist der offene Brief:
          https://meinungsvielfalt.jetzt/manifest.html

          Und hier eine Berichterstattung mit weiteren Einschätzungen von Experten und Professoren:
          https://multipolar-magazin.de/meldungen/0035

          • Doppelherz says:

            Ach der offene Brief vom Typen, der hinter beiden Quellen steckt und vom SWR gefeuert wurde.

            Meinungsvielfalt ist ja auch erwünscht, nur Falschbehauptungen sind keine Meinungen.

            • Ähm, nein – Du verbreitest hiermit nachweislich Fake News. Der Brief den Du meinst ist aus 2021 von einem einzelnen namens Ole Sambrak. Der verlinkte Brief ist nagelneu und von so einigen mehr unterzeichnet.

              Aber es war ja klar: diejenigen, die meinen die Weisheit mit Löffeln gefressen zu haben und alle anderen diffamieren zu können, die haben nicht einmal die Hausaufgaben gemacht und selbst recherchiert. Das disqualifiziert diese Leute dann halt auch. Lustigerweise sind das immer die, die am lautesten schreien und am wenigsten Ahnung haben 😉

              • Doppelherz says:

                Belustigend, auf der einen Seite die Unterstellung Fake News zu verbreiten, auf der anderen Seite einen offenen Brief aus 2021 von einem Typen meinen, der im Impressum deiner Quelle steht. Dass da nun ein weiterer Brief vom gleichen Typen ist, der dann noch auf Unterschriftenjagd gegangen ist (bzw. Anonym unterzeichnen kann man ja auch selbst), damit die üblichen Verdächtigen (nius, reitschuster) dann darüber berichten können, herzallerliebst.

                Ich wiederhole nochmal, andere Meinung haben: gern! Falschen Müll in die Welt hauen: blöd!

                Informiert euch, was die Leute wirklich von euch wollen, was in der letzten Zeit von den behauptungen denn so eingetreten ist und wie die aktuellen Zahlen sind. Hinterfragt eure Quellen. Mache ich auch immer wieder.

                Eine KI, die dann einen Faktencheck macht, ist wirklich begrüßenswert.

  2. Herbert Leininger says:

    Und die „FAKTEN“ werden dann am Ende von so einer NGO wie Correctiv! festgelegt. Was bedeutet das Wörtchen Fakt eigentlich 2024 noch?

  3. Doppelherz says:

    Anhand der Kommentare erkennt man schnell die Notwendigkeit, da direkt das RKI, Correctiv und CCDH in ihrer Arbeit angezweifelt wird. Das geschriebene einzuordnen (RKI soll was verstecken, Correctiv bestimmt Wahrheit etc.) und das behauptete mit Fakten aufzuräumen, ist genau das, was ich meine: ein Haufen Arbeit, das gerne auch KI übernehmen kann.

    • MeinNametutnichtszurSache says:

      Danke für die Richtigstellung der Quellen für die Einzig Wahre Wahrheit.

    • Wenn du mal deine Bubblebrille abnimmst und anfängst Dinge zu hinterfragen um merkst, dass man alleine für Fragen gecancelt wird oder sonstige Repressalien befürchten muss, dann kann es mit der Wahrheit und den Fakten deiner Institutionen ja nicht soweit her sein.

    • Ich schicke nochmals den Link zu einem offenen Brief von Journalisten des ÖRR – ist lang aber jeder sollte das gelesen haben und darüber nachdenken:

      https://meinungsvielfalt.jetzt/manifest.html

      Auch die gesammelten Statements der ÖRR-Mitarbeiter sind überaus erschreckend, einfach mal durchklicken, es ist wirklich schlimm und beängstigend was in diesen Redaktionen los ist.

      An die Moderation: sorry für den zweiten Kommentar und die Mehrarbeit aber auch für Euch -> bitte lesen und vielleicht auch darüber berichten, denn ARD, ZDF, Spiegel usw. werden es leider nicht tun.

    • Doppelherz says:

      Bubblebrille… Ich frag mich, ob man so noch in den Spiegel gucken kann, wenn man sich auf andere projeziert.

      Für Fragen gecancelt werden… Naja, ich bezweifle mal, dass man für Fragen gecancelt wird. Wenn die Fragen keine Fragen sind, sondern Falschbehauptungen als Frage getarnt, dann dreh ich dir auch den Rücken zu.

  4. Ich bin skeptisch. Wir haben seit ein paar Wochen Microsoft Copilot (GPT-4, Dall E 3…) in der Firma. Vielleicht erwarte ich zu viel, aber in 8 von 10 Fällen liefert das Ding einfach nur Blödsinn ab.

Es werden alle Kommentare moderiert. Lies auch bitte unsere Kommentarregeln:

Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen. Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte - gerne auch mit Humor. In jedes Thema Politik einbringen ist nicht erwünscht.

Du willst nichts verpassen?

Du hast die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren.