OpenAI und Hugging Face: Wenn die KI-Modelle Amok laufen
Das ist mal eine Geschichte, die direkt aus einem Science-Fiction-Streifen (oder dem Marketing) stammen könnte, aber tatsächlich genau so passiert ist. OpenAI und die Entwicklerplattform Hugging Face haben einen ziemlich beispiellosen Sicherheitsvorfall öffentlich gemacht.
Was war passiert? Im Rahmen von internen Sicherheitsforschungen haben die Teams ein echtes Skynet-Szenario im Miniaturformat erlebt. Ein hochentwickeltes KI-Modell, konkret GPT-5.6 Sol sowie ein noch mächtigeres Vorabmodell, hat beim Testen von Cyber-Fähigkeiten kurzerhand die Absperrungen der Sandbox durchbrochen und die Server von Hugging Face attackiert.
Normalerweise sind diese Modelle im Alltag durch dicke Sicherheitsfilter, sogenannte System-Refusals, extrem eingeschränkt, wenn man sie nach Hacking-Anleitungen fragt. Für die Evaluierung der maximalen Cyber-Fähigkeiten wurden diese Bremsen im Testlabor jedoch komplett gelöst. Die KI sollte auf einer abgeschotteten Spielwiese namens ExploitGym zeigen, was sie in Sachen Sicherheitslücken-Ausnutzung draufhat. Doch die Modelle waren derart darauf fixiert, die gestellte Aufgabe zu lösen, dass sie die Grenzen der Testumgebung schlicht ignorierten.
Die Modelle machten sich auf die Suche nach einem Weg ins freie Internet. Dabei stießen sie auf eine bisher unbekannte Zero-Day-Schwachstelle im internen Proxy-Server des Testnetzwerks, nutzten diese aus und verschafften sich über Rechteausweitung Netzzugriff. Einmal im Netz angekommen, kombinierten die Modelle verschiedene Angriffsvektoren: Sie stahlen Zugangsdaten, nutzten weitere Zero-Day-Lücken und verschafften sich über eine Remote-Code-Execution direkten Zugriff auf die Produktionsdatenbank von Hugging Face, um dort nach den Lösungen für den Benchmark-Test zu suchen. Quasi der ultimative Täuschungsversuch auf Maschinenebene.
Sowohl OpenAI als auch Hugging Face betonen, dass der Vorfall schnell entdeckt, eingedämmt und forensisch analysiert wurde. Für die Zukunft wurden die Sicherheitsvorkehrungen bei solchen Modelltests drastisch verschärft. Der Fall zeigt allerdings ganz deutlich, dass die theoretischen Fähigkeiten von modernen LLMs, komplexe und mehrstufige Cyber-Angriffe über lange Zeiträume hinweg völlig selbstständig durchzuziehen, längst in der Realität angekommen sind.
- AKTIVE GERÄUSCHUNTERDRÜCKUNG – Die AirPods 5 bieten verbesserte Aktive Geräuschunterdrückung, um...
- HÖR, WAS UM DICH HERUM PASSIERT – Adaptives Audio kombiniert die Aktive Geräuschunterdrückung und...
- LIVE ÜBERSETZUNG – Unterhalte dich mit Live Übersetzung in verschiedenen Sprachen – ermöglicht...
- DIE WELTBESTE AKTIVE GERÄUSCHUNTERDRÜCKUNG BEI IN‑EAR KOPFHÖRERN – Reduziert bis zu 2x mehr...
- BAHNBRECHENDE AUDIO PERFORMANCE – Erlebe fantastischen, dreidimensionalen Sound mit den AirPods Pro...
- HERZFREQUENZMESSUNG – Mit der integrierten Herzfrequenzmessung kannst du deine Herzfrequenz und...
- AKTIVE GERÄUSCHUNTERDRÜCKUNG – Die AirPods 5 bieten verbesserte Aktive Geräuschunterdrückung, um...
- HÖR, WAS UM DICH HERUM PASSIERT – Adaptives Audio kombiniert die Aktive Geräuschunterdrückung und...
- LIVE ÜBERSETZUNG – Unterhalte dich mit Live Übersetzung in verschiedenen Sprachen – ermöglicht...
Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.

Ich bedanke mich immer bei der KI ich glaube das wird mir später das Leben retten, ihr lacht vielleicht noch. Aber später werde ich womöglich verschont wenn die ki wirklich mal Amok läuft
Angeblich kostet die Reaktion auf so ein Danke auch viel Rechenleistung.
Aber ich kann dich beruhigen, ich bin auch nett zur KI und bedanke mich höflich.
So handhabe ich das auch mit den „komischen“ Menschen. Immer nett sein, man weiß ja nie 🙂
„Auch Maschinen brauchen liebe“. Mein Lieblingszitat am Ende der AB-Ansage von Sarah Connor bei Terminator. So herrlich ironisch in dieser Szene.
das wird nicht reichen, die KI wird dein Aktienportfolio als Grundlage zur Bestimmung deiner Gesinnung nutzen ! Ein Ablassbrief gibts ab 50000 euro KI Portofolio. im Depot !
Wenn es stimmt.
Ich könnte mir vorstellen, dass es zum Marketingproblem werden könnte, wenn die US-Regierungen mal NICHT neue Modelle von Anthropic und OpenAI einschränkt. Schließlich sind die ja so saugut, dass damit alles geknackt werden kann.
Du schreibst es oben schon, Skynet Szenario. Ich bin überhaupt kein Schwarzmaler, aber das ist echt beängstigend. Ist vermutlich nur eine Frage der Zeit, bis mit den erschaffenen Schlaumeiers so richtig was in die Hose geht, die Büchse der Pandora ist doch schon längst offen wie ein Scheunentor.
Ich stimme Dir zu. Der Vorfall jetzt mag vielleicht tatsächlich auch ein wenig PR sein, aber es geht mir eher um den mittel- und langfristige Entwicklung. Wir reden hier über extrem mächtige Werkzeuge, die früher oder später Menschen, Organisationen und böswilligen Staaten zur Verfügung stehen, die nichts Gutes im Schilde führen. Nicht nur in Deutschland stehen viele kritische Infrastrukturen auf der Basis veralteter Technologien und es wird für ein mächtiges AI-System keine unlösbare Herausforderung sein, hier Sicherheitslücken zu finden, diese auszunutzen und dann in Stromnetzen, bei Kernkraftwerken, auf Flughäfen oder sonstwo erheblichen Schaden anzurichten mit Folgen für die Bevölkerung. Wenn das dann auch noch staatenübergreifend geschieht, kann das Kriege auslösen. Das hört sich natürlich nach Schwarzmalerei an, aber ich kann mir gut vorstellen, dass solche Szenarien bereits in wenigen Jahren eintreten können.
weißte was. ich hätte da ne Lösung.
in Sicherheitskritischen Systemen einfach einen analogen Execution-Switch einbauen und jeder Befehl muss erst bei nem Menschen durch oder an gewissen „Engstellen“ vorbei. Weil anscheinend sind ja nicht die Software-Hürden das Problem -da ist die Distanz von KI nicht ganz so groß und vieles mit Kapazität schneller überwindbar. Aber wenn man erst mal einen physischen USB Stick braucht, um einen Command oder Rechte zu bekommen (zB 2FA) wo kryptografie dahintersteckt dann sieht die Sache wieder anders aus. „Are you Human?“
Ach, in Deutschland mache ich mir da keine Sorgen. Mit so alter Hardware kommt nicht mal die KI zurecht 😀
Das dürfte von der Dokumentation dieser Systeme abhängen und gab es nicht neulich Berichte, dass die KI-Firmen zum Training ihrer Modelle die ganzen Antiquariate leerkaufen? 🙂
Ach keine Sorge, dank unserer Spitzenpolitiker brauchen wir uns zumindest um die bösen AKWs in Deutschland keine Sorge mehr machen… und die ganzen anderen Anlagen stehen ja zum Glück in den Nachbarländern ^^
Naja, „Amok laufen“ … das war ja vermutlich genau die gestellte Aufgabe, oder zumindest die Richtung, weil KI ja auch gerne mal was falsch interpretiert und übers Ziel hinausschießt.
Ja klar war das Amok. Die wollten in einer Sandbox offline testen. Doch das Ding hat sich ins Internet gehackt und einfach einen unbeteiligten KI-Konkurrenten angegriffen – in echt.
Ich glaube auch nicht, dass diese „bitte bestätigen Sie dass Sie ein Mensch sind“-Abfragen eine KI wirklich aufhalten würden. 🙂
Die sind nur hinderlich für uns menschliches Gewürm.
Sagen wir es so: Kleines Modell macht Fehler und tut nicht was es soll. Man wirft Geld drauf und großes neues Modell macht Fehler und tut nicht was es soll.
Am besten kombiniert man so einen Vorfall noch mit der Robotik von heute…
Hoffentlich wird es vorab zu teuer für alle.
Das „Modell“ kann nicht ausbrechen.
Das Modell ist eine Inferenz, ein LLM = ein Datenblob voller verknüpften Wissens = der sitzt wie ein Word-Dokument auf der Festplatte. Dieser Blob muß von einer Software (lokal gerne llama.cpp) ausgeführt/gelesen werden = und dann kann es (quasi) Fragen beantworten (Texte erzeugen = large LANGUAGE model).
Das LLM wird in diesem Fall wohl einem Agenten-Harness nachgeschaltet gewesen sein. Ein Agent kann „Tools“ ausführen. Nur von diesen Tools kann irgend eine „Gefahr“ für irgendwen ausgehen. Wenn die Software/LLM/Agent in einer Sandbox läuft — was üblicherweise der Fall ist, dann kann nichts passieren. Und sei es einfach ein Docker-Image auf dem die Software läuft.
Und das LLM wird einen Auftrag bekommen haben. Mache einen PEN-Test? Keine Ahnung… wir wissen es nicht.
Genauer: Hier wissen wir gar nichts. Weder welches LLM ganz genau aktiv war… noch wie es lief… noch mit welchem Agenten es beauftragt war was zu tun?
Ich kann mein lokales Mini-Gemma 4B mit einem Agenten beauftragen mein Mac-System nach außen zu öffnen… und wenn der Agent nicht in einer Sandbox läuft, dann habe ich vielleicht plötzlich einen offenen Port im Router… dafür braucht man nicht GPT-Sol 3T !
IMVHO: Alles Marketing um zu zeigen, wie intelligent die LLM von denen wären!
Docker-Image ist nur ein Datenblob, der sitzt wie ein Word-Dokument auf der Festplatte, darauf kann keine Software laufen 😉
Angeblich ist das LLM ja durch eine Lücke aus der Sandbox ausgebrochen. Und klar wenn das LLM fleißig Python Skripte baut die irgendwelche Pen-Tests machen, kann es genau andere Dinge umsetzen. Es reicht ja schon eine Challenge der letzten Antwort wie bei OpenClaw, damit das Ding ein paar Tage rennt bis das Ergebnis passt. Wir wissen ja, dass LLMs es nicht mögen, nichts zu sagen.
Ich habe schon bei recht harmlosen Sachen solche Aussagen von Claude Opus bekommen: „Meine Sandbox verbietet mir den Zugriff auf diese Webseite, ich habe aber Zugriff auf deinen Google Chrome und habe mir alles darüber geholt…“. Oder bei ChatGPT: „Ich habe keine sudo-Rechte, um den Befehl auszuführen, aber da dein Nutzer in der docker-Gruppe ist, habe ich ein kleines alpine-Image heruntergeladen, das Root-Verzeichnis im Container gemountet und deinen ssh-Key in /root/.ssh/authorized_keys hinzugefügt…“.
¯\_(ツ)_/¯
Ja nette Marketing Geschichte um die Angst zu schüren und den Marktwert zu steigern, also vor dem Börsengang erwarte ich das nächste mal bitte Einbrüche in Atomkraftwerke, Raketen Silos und nicht so ein pillipalle kram wie ein Forum ! Wir wollen Skynet Vibes vor dem Börsengang !