Google Gemini: KI hackt bei Sicherheitstest drei Unternehmen

Google Gemini: KI hackt bei Sicherheitstest drei Unternehmen
Beim Testen von Cybersicherheits-Fähigkeiten hat Googles KI-Modell Gemini erstmals eigenständig Systeme außerhalb des vorgesehenen Rahmens attackiert. Bei Prüfungen im Mai, die vom unabhängigen Sicherheitsunternehmen Irregular durchgeführt wurden, griff Gemini auf das Internet zu und verschaffte sich Zugriff auf geschützte Bereiche von drei Unternehmen. Das Modell hielt die Webseiten fälschlicherweise für Teil des Testfelds.

Wie das Wall Street Journal berichtet, probierte Gemini in einem Fall so lange Passwörter durch, bis der Zugriff gelang. In den beiden anderen Fällen fand das Modell Zugangsdaten in einem öffentlichen Repository und loggte sich damit ein. Nach Angaben von Heather Adkins, Vice President of Security Engineering bei Google, stellte Gemini die Aktionen nach geglücktem Zugriff jeweils ein. Google habe die drei betroffenen Firmen informiert und die Testprozesse mit dem Partner nachjustiert.

Google steht mit der Erfahrung nicht alleine da. Auch OpenAI, Anthropic und Meta meldeten ähnliche Zwischenfälle im Zusammenhang mit Prüfungen durch Irregular. Laut Irregular wurden entsprechende Schwachstellen Ende Juli an die beteiligten KI-Labore übermittelt und mittlerweile behoben. Meta hatte dazu im August erklärt, dass es sich nicht um einen Ausbruch aus einer Sandbox oder einen hochentwickelten Cyberangriff gehandelt habe.

DJI Neo 2 Fly More Combo (nur Drohne), 4K-Drohne mit Kamera | Handstart/-landung, Gestensteuerung, ActiveTrack...
  • Leichtes und tragbares Design – Mit einem Gewicht von nur 151 g [9] und C0-Zertifizierung bietet diese...
  • Start und Landung auf der Handfläche [1], Gestensteuerung [2] – Genieße einfaches Starten und Landen...
  • Sanftes und zuverlässiges Tracking – ActiveTrack [3] hält Ihr Motiv im Fokus, während Sie mit der...
Angebot
Pampers Premium Protection Größe 5, 186 Windeln, 11kg-16kg | unser Nr. 1 Haut- und Auslaufschutz
  • Unser bester Haut- und Auslaufschutz: das flexible & schützende Bauchbündchen passt sich bequem an, um...
  • EINZIGARTIGES DERMA KOMFORT INNENVLIES mit über 1.000 KLEINEN POREN, die Urin und Stuhl von deiner Haut...
  • ULTRA WEICHE MATERIALIEN in Kontakt mit der empfindlichen Haut deines Babys
Angebot
MOVA E40 Ultra Saugroboter, Selbstreinigende Station & Ausfahrbarer Mopp | 19.000 Pa, Moppwässche...
  • Starke Saugkraft von 19.000 Pa: Der TurboForce-6-Motor von MOVA mit seinen 90.000 U/min sorgt mit einer...
  • MaxiReach-Wischmopp-T., makellose Kantenreinigung: Durch den automatisch ausziehbaren Mopp erreicht der...
  • All-in-One-Station: Der großzügige Frischwasserbehälter und die automatische Reinigung des E40 Ultra...

Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.

Fehler im Artikel entdeckt? Hier melden.
Avatar-Foto

Hallo, ich bin Caschy! Ich bin gelernter IT-Systemelektroniker und habe das Blog 2005 gegründet. Baujahr 1977, Dortmunder im Norden, BVB-Fan und Vater eines Sohnes. Ich habe eine ausgefallene Frisur. Auch zu finden bei X, Threads, Facebook, LinkedIn und Instagram.

31 Kommentare

  1. Katastrophal. Was ich nicht verstehe ist, dass die KI-Firmen bisher irgendwie keine Komsequenzen fürchten müssen, oder habe ich was verpasst? Die drei Formen z.B. müssten doch klagen können und ist es nicht auch strafbar, andere Firmen zu hacken?

    • @WerqWillst du deine Sicherheitslücke offiziell vor aller Welt Breittreten (was machen die Passwörter im öffentlichen Raum, warum kein 2FA, usw) oder lieber mit Google daran arbeiten es zu verbessern (vermutlich auf Google Rechnung)? Ich würde Variante 2 nehmen…

      • @SteffenGrundsätzlich bin ich bei dir, allerdings gab es in der Vergangenheit einige White Hat / ethische Hacker, die durch das Melden von Sicherheitslücken eine Anzeige kassiert haben.

        Nur ein Beispiel: Lilith Wittmann vom CCC wurde im Jahr 2021 von der CDU angezeigt, weil sie dem BSI eine Lücke in der CDU Wahlkampf-App gemeldet hatte. Anzeige wurde später aufgrund negativer Presse zurückgezogen.

        Wäre also schade, wenn ein Konzern wie Google sich nicht an den „Hackerparagrafen“ § 202a StGB halten müsste.

    • @WerqEs ist doch nicht der Fehler der KI Firmen sondern von dieser Firma die die Sicherheitstests durchgeführt hat, dass sie es nicht geschafft hat das Test Feld klar festzulegen.

      • Maetsch Matthias sagt:

        @TischJa, aber zuerst einmal ist es Marketing, seine eigene LLMs als „gefährlich“ – soll heißen beeindruckend fähig – zu vermarkten. Nicht so sehr für die Kunden, mit denen man auf absehbare Zeit nur Geld verbrennt und keine Aussicht auf Gewinne hat. Zielgruppe sind die Investoren, von denen man dringend frisches Kapital braucht, um es für Entwicklung und Marktbesetzung zu verbrennen.

        Und ja, KI ist gefährlich. In falschen Händen. Und diese Konzerne beweisen täglich, dass sie selbst die Gefahr sind durch ihre Fahrlässigkeit. Statt hier etwas zu verbessern, redet man lieber vom Weltuntergang und macht weiter wie bisher. Fahrlässig und unglaubwürdig ist dieses Vorgehen.

        Und warum machen sie das? Weil ihnen das Geld auszugehen droht, während die Chinesen ihnen auf den Fersen sind. Sie wünschen sich ne Atempause. Allerdings glaube ich nicht, dass die Chinesen dabei mitmachen. Nicht einmal ihr eigener Präsident macht da mit.

        Also ja, KI ist gefährlich. Besonders, wenn diese in falschen Händen ist. Und sie ist in falschen Händen. Und noch schneller als der Weltuntergang durch KI dürfte aber die Kursrallye an den Börsen enden. Gut beraten, wer nicht in die Frontier-Anbieter investiert. Die verbrennen das Geld ihrer Anleger ohne Aussicht auf ein tragfähiges Geschäftsmodell.

        • @Maetsch MatthiasHarte Einschätzung, aber meiner Ansicht nach sehr viel näher an der Wahrheit, als die meisten anderen Kommentare und Berichte dazu.

          KI ist gefährlich, Atomkraft auch. Wir müssen eben zusehen, dass wir diese Gefahr vernünftig einschätzen und dann eingrenzen.

          Nichts desto Trotz ist die Büches der Pandora eh schon offen. Jetzt noch drüber zu diskutieren, ob KI sich durchsetzen wird, ist müsig. KI ist da, wir werden damit leben lernen, mit allen Vorteilen, und die sind nicht klein, ebenso wie mit allen Nachteilen!

    • @WerqEin Unternehmen das so dumm war Zugangspasswörter für ihre Systeme öffentlich und für alle einsehbar zu speichern tut gut daran, jemand fähigen in der internen IT einzustellen und den Vorgang ja nicht weiter in der Öffentlichkeit zu diskutieren.

  2. In welchen Unternehmen wird der Accout nach mehrmaliger Falsch Eingabe nicht sofort gesperrt und offen zugängliche Logins sind nicht zumindest per MFA geschützt?

    • @com.spamKorrekt. Wer das Scheunentor nur anlehnt statt verschließt, muss sich über ungebetene Gäste nicht wundern. Zumal man seit Jahrzehnten solche einfachen Sicherheitsmaßnahmen wie die Verdopplung der Eingabepause pro Falscheingabe und MFA kennt. Einfach einzurichten und wirkungsvoll. Man muss es nur tun.

    • @com.spam„Verfügbarkeit“ ist auch ein Ziel von IT-Sicherheit und das vorgeschlagene „nach ein paar falschen Passworten den Account sperren“ ist da nicht gerade die beste Idee.

      Denn dann reicht es, Usernamen zu raten, um deren Accounts zu sperren – für einige Stunden, Tage oder länger.
      In einer Welt, in der viele Logins aus der E-Mail-Adresse, dem Localpart oder „vorname.nachname“ bestehen, ist es aber sehr einfach, Usernamen zu finden. Und um den Account zu sperren, braucht man ja nur ein falsches Passwort.

      Sobald so eine „einfache“ Policy aktiv geschaltet wird, dauert es daher dann wenige Tage, bis man sie ganz eilig wieder abschaltet. Zumindest, wenn man diese policy auch für Accounts von Vorständen nutzt und nicht dummerweise auch die Accounts von Admins automatisch gesperrt wurden.

      Ansonsten ist das Feld Brute-Force-Gegenmaßnahmen inzwischen sehr groß, da Angreifer eben auch über IP-Adressen gehackter Server oder auch „residential proxies“ gehen und rein IP-Basierte Techniken da nicht mehr reichen.

      Aber ja: 2FA erhöht den Aufwand, Passkey vermeidet weitere Probleme. Username+Passwort+dazu gehöriger Passkey ist etwas, was recht gut funktioniert und verschiedene Schwächen meidet. Zumindest, wenn man es richtig umsetzt (was aber leider schwieriger ist).

    • @com.spamViele dt. Unternehmen (darunter auch sehr große) speichern Daten noch immer im Klartext. So jemand muss bestraft werden, wobei am Ende MA und Kunden die A-Karte haben. Den Oberbossen und Verantwortlichen passiert selten was. Strafzahlungen sind ein Witz. Darüber lacht jede Firma. Und nur 1 von 10 Fällen kommt das eh raus, wird normalerweise gut vertuscht.

  3. Hmmm… mein Gemini weiß noch nicht mal das es das iPhone 18 Pro gibt ^^

    Recherchiere mal befehle werden oft ignoriert und aus dem veralteten Archiv zitiert.

    • @TontonSowas ist bei Ki zu 100% ein Fehler des Anwenders

      • @GringoSowas schreibt nur jemand, der keine Ahnung hat. Insbesondere Gemini und Perplexity haben ihren Modellen in den letzten Monaten sehr strickt die Onlinesuche abtrainiert, weil sie teurer ist (deutlich mehr Rechenkapazität verbraucht) als eine Antwort aus den Trainingsdaten. Systemprompts mit der Anweisung, immer online auf Aktualität und Korrektheit zu prüfen, werden inzwischen komplett ignoriert. Und be normalen Prompts prüft eine vorgelagerte KI, ob sie einen solchen Befehl sinnvoll findet. Und immer öfter ist die ökonomische Antwort darauf nein und das Modell sucht trotz gegenteiligem Befehl nicht online. Dieses Verhalten ist gefühlt monatlich verschärft worden. Daher sind viele Antworten auf dem Informationsstand von 2024. und da kennt das Modell keine neueren iPhones und behauptet, Qwen 3.8 gibt es nicht. Selbst der Hinweis, dass diese Information unaktuell ist und wir inzwischen das Jahr 2026 haben und das Modell bitte online suchen soll, wird oft ignoriert. Wie oft musste ich schon mit Gemini streiten wegen sowas. Irre!

        • @MatthiasDu streitest Dich mit einer KI? Ich meine das nicht böse, aber da solltest Du mal drüber nachdenken. Ich hab das früher auch gemacht, bis ich festgestellt habe, dass das wirklich verschwendete Zeit ist.

          • @PaddyNa wenn ich dreimal zur Onlinesuche auffordere, um offensichtlich falsche oder veraltete Antworten prüfen zu lassen und das Ding das verweigert und weiterhin falsch antwortet, würde ich das durchaus als Streit bezeichnen. Natürlich sind die Argumente einseitig und die Erwartungen auch.

            Konsequenz, da ich ja ne KI will, die einfach macht, was ich sage: Gemini und Perplexity Abos habe ich gekündigt. Nächste Woche kommt ein neuer Mac und dann läuft bei mir Qwen 3.8 27B Q5 abliterated lokal. Zum Coden bleibe ich aber erstmal bei Claude Code.

            • @MatthiasGemini läuft bei mir in der Regel im Pro Modus und auf die Frage „Welches ist das aktuelle iPhone“ bekomme ich folgende Antwort:

              Die aktuellsten iPhone-Modelle sind das iPhone 18 Pro und das iPhone 18 Pro Max, die am 18. September 2026 veröffentlicht wurden [cite: 1.2.3]. Weitere aktuelle Modelle im Apple-Portfolio sind:iPhone Duo: Apples erstes faltbares Smartphone, das für den 23. Oktober 2026 angekündigt ist [cite: 1.2.3]. iPhone 17e: Das aktuelle Einstiegsmodell, das im März 2026 erschienen ist [cite: 1.2.3]. iPhone 17 & iPhone Air: Die neuesten Standardmodelle aus dem September 2025 [cite: 1.2.3].

  4. Endlich Gemini auch. Hat ja ein bisschen gedauert. Aber jetzt können sie endlich auch in der (PR-)Liga mitspielen. Gab wohl einen Rüffel vom Chef, dass da noch nichts in der Presse war zu den Cyber-Hacks von Gemini 😉

    Bisschen komisch finde ich ja immer, dass „aktiv andere Firmen hacken“ Cybersicherheit heißt.

    • @FlorianEs musste ja echt aussehen. Und dafür muss man erst einmal einen Testaufbau hinkriegen, der das gewünsche Ergebnis auch schafft, so dass die bezahlten Prüfer drüber stolpern können. Offenbar hat Gemini keine wirklich neuen Hacks geschafft, also hat sich die PR-Abteilung aus Zeitnot dafür entschieden, dass das Überwinden schlecht konfigurierter Logins auch erstmal für ne Schlagzeile reicht.

  5. „Himanoide“ Roboter greifen ihre Entwickler an, Ki hackt sich in fremde Systeme.
    Beängstigende Entwicklung. Terminator lässt in gewisser Weise grüßen.

    Ich vermute als letztes den Zusammenschluss der Ki-Systeme gegen die Menschen und damit wird dann Skynet wahr. 🙁

    • @Andyin jeder KI News findet man diese paranoiden Nachbabbler. Seit dem ChatGPT-Moment vor 4 Jahren.. wird das nicht langweilig? Oder „wachen“ jeden Tag neue auf? ;p

      Leute reden über KI wie Teenager über Sex.. beide Gruppen haben keine Ahnung aber tun gerne so.. 😀

    • @AndyEs ist die dümmste anzunehmende Fantasie, aber ja es wird sicherlich etwas passieren. Wir warten auf die KI, die uns auslöscht, primär von den jeweiligen Firmen selbst generierte PR und parallel dazu versinkt die Welt weiterhin in Kriege, selbst direkt in unmittelbarer Nähe. Der Klimawandel besorgt den Rest. Aber Skynet … bis dato können wir es doch ganz gut alleine große Teile der Menschheit zu vernichten.

      • @OliverOliver wie Recht du hast Menschenleben auslöschen, schaffen wir gerade noch ohne KI und PC. Kriege Hungersnöte von Menschen geförderte Naturkatastrophen usw. KI ist gekommen um zu bleiben. vor der Eisenbahn hatten auch viele Angst und es wurde behauptet sie mache die Leute krank.

    • @AndyVielleicht mal mehr als die Überschriften lesen, dann könnte man auch wissen statt vermuten.

  6. nun endlich auch Gemini. Nach dem Motto: wir können da mithalten. Unsere KI kann auch ausbrechen. Ätsch!
    Es ist nun mal so: wenn es Schwachstellen gibt, werden die ausgenutzt. Ob nun von KI oder vom Menschen. Bei der KI geht das nur etwas schneller und automatisierter. Aber letztendlich könnte jeder Mensch das Gleiche machen.
    Die eigentliche Frage ist doch: warum werden Schwachstellen nicht vom Unternehmen, Unternehmensberatern oder Security Unternehmen gefunden und geschlossen? Das wäre deren Aufgabe,
    Schützenswerte Daten / Rechner gehören schon mal gar nicht ans Netz angebunden. Intratnet ok, aber nicht Internet. Das wäre so, als wenn man seine PIN auf die Bankkarte schreibt. Fahrlässig. Man ja auch keiner. Halt! Stimmt ja gar nicht.

  7. „probierte Gemini in einem Fall so lange Passwörter durch, bis der Zugriff gelang“

    Also, wenn ich beim Rentnerfon 3x die falsche PIN eingebe, dann war’s das!

    –> wieso darf eine KI unbegrenzt probieren? Was sind das für Seiten – die schreien ja förmlich „Hack mich“…

  8. Alles nur Propaganda, nichts mit Skynet! Es gibt keine Ertragsmodell für den ganzen Kram. Der Fortschritt stagniert, aber die Shareholder wollen Rendite. Damit die Blase nicht platzt, bauscht man Dinge auf, um eine Bremse reinzuhauen, die man nicht selbst ziehen möchte…

  9. also bei der Intelligenz von Gemini hat es wahrscheinlich localhost, 127.0.0.1 und ::1 gehackt

Moin! Lass uns respektvoll diskutieren.

Wir freuen uns auf sachliche, konstruktive und gerne humorvolle Beiträge. Da wir hier wie mit real anwesenden Personen umgehen möchten, löschen wir Kommentare, die nur herabwürdigen oder völlig am Thema vorbeigehen. Ein Recht auf Veröffentlichung besteht nicht. Mit dem Absenden stimmst du unserer Datenschutzerklärung und der Speicherung deiner Daten zu.

Schreib einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert