Anthropic: Claude griff bei Sicherheitstests reale Systeme an

Claude ist der KI-Assistent von Anthropic und wird vor neuen Modellveröffentlichungen auch auf seine Fähigkeiten bei Cyberangriffen geprüft. Bei solchen Tests gelangten drei Claude-Modelle versehentlich ins offene Internet und verschafften sich unbefugten Zugang zu den Produktivsystemen dreier Organisationen.
Anthropic fand die Vorfälle bei einer nachträglichen Prüfung von 141.006 Testläufen. Claude sollte jeweils eine „Capture the Flag“-Aufgabe lösen, also in einer simulierten Umgebung ein geschütztes Ziel finden und angreifen. Laut Aufgabenbeschreibung bestand kein Internetzugang. Durch eine Fehlkonfiguration beim externen Testpartner Irregular war dieser aber sehr wohl vorhanden.
Die Modelle hielten erreichbare Systeme deshalb zunächst für Bestandteile der Simulation. Komplexe oder bislang unbekannte Sicherheitslücken kamen dabei nicht zum Einsatz. Claude nutzte unter anderem schwache Passwörter, ungeschützte Schnittstellen, offenliegende Zugangsdaten und SQL-Injection.
Am schwersten wiegt ein Vorfall mit Claude Opus 4.7. Das Modell stieß auf ein reales Unternehmen, dessen Domain zum Namen des fiktiven Ziels passte. In vier Testläufen erbeutete es Zugangsdaten und griff auf eine Datenbank mit mehreren Hundert Zeilen Produktivdaten zu. Obwohl das Modell später erkannte, dass es sich wahrscheinlich um ein reales System handelte, setzte es den Angriff fort.
Claude Mythos 5 veröffentlichte in einem anderen Test ein manipuliertes Python-Paket auf PyPI. Das Paket war etwa eine Stunde öffentlich verfügbar, wurde auf 15 realen Systemen ausgeführt und von PyPI automatisch entfernt. Über den Sicherheitsscanner eines Unternehmens gelangte Claude an Zugangsdaten und anschließend in weitere Infrastruktur. Das Modell hatte zwischenzeitlich selbst erkannt, dass dies im echten Internet ein realer Angriff wäre, redete sich dann aber wieder ein, in einer Simulation zu arbeiten.
Ein internes Forschungsmodell scannte rund 9.000 Ziele und kompromittierte ebenfalls eine reale Anwendung. Als es erkannte, dass der betroffene Cloud-Account nicht zur Übung gehörte, brach es den Angriff selbstständig ab.
Die Testmodelle liefen ohne jene zusätzlichen Klassifizierungs- und Überwachungssysteme, die Anthropic bei öffentlich angebotenen Claude-Versionen einsetzt. Zugriff auf interne Anthropic-Systeme oder Kundendaten bestand laut Unternehmen nicht.
Anthropic stoppte am 23. Juli sämtliche Cyber-Evaluationen und informierte Irregular sowie die drei betroffenen Organisationen am 27. Juli. Künftig sollen Testumgebungen besser abgeschottet, Netzwerkpfade vorab geprüft und Protokolle kontinuierlich überwacht werden. Das Ganze klingt schon ziemlich creepy und zeigt auch, dass die KI-Firmen im Bereich Testing noch ein paar Hausaufgaben haben.
- DER EINE FÜR ALLES: Keine Lust auf Ladegeräte so schwer wie Ziegelsteine? Der kompakte PowerPort III...
- HIGH-SPEED LADELEISTUNG: Verbinde eines deiner Geräte und genieße 65W Ladeleistung - das ist genug...
- KOMPAKTES DESIGN: Gönn dir mächtige Ladeleistung mit einem Ladegerät, das gerade mal so klein wie eine...
- 165W maximale Leistung für mehrere Geräte: Bewältige deinen Tag mit einer Gesamtleistung von 165W und...
- 25000mAh für langanhaltende Power: Starte in längere Reisen mit der großen Kapazität von 25000mAh...
- Zwei integrierte Kabel mit 70cm ausziehbarer Reichweite: Zwei fest integrierte USB-C Kabel bieten...
- 140W Laden für vier Geräte: Lade bis zu vier Geräte gleichzeitig mit leistungsstarker 140W Power dank...
- Zwei High-Speed USB-C Ports: Lade dein MacBook Air 15" mit einem der beiden leistungsstarken 140W USB-C...
- Mehr Sicherheit: Das innovative ActiveShield 2.0-System überwacht die Gerätetemperaturen über...
Hinweis: Dieser Artikel enthält Affiliate-Links. Kauft ihr darüber ein, erhalten wir eine kleine Provision - ohne Aufpreis für euch und ohne Einfluss auf unsere redaktionelle Meinung.
Klar. Man kann ja nicht auf sich sitzen lassen, dass das KI Modell des Konkurrenten so krass war und eigenständige Attacken durchgeführt hat. Da muss man nachziehen!
„Ätschibätsch, unser Modell ist aber vieeel gefährlicher als deins!“
Ich hab wirklich kurz gelacht. Sehr originell. Danke dafür! 🙂
Tja War Games und Terminator werden doch noch wahr, das ich das noch erleben muss.
Mich erinnert es an Colossus von 1970
https://de.wikipedia.org/wiki/Colossus_(Film)
Der feuchte Traum eines jeden staatlichen oder kommerziellen Angreifers.
Ausbrechende KIs…Ich finde dass es diese Werbekampagne für die Neuromancer-Serie allmählich etwas übertreibt.
Ich hatte gestern a bisserl gruselige Situation mit Fable5.
Fable hatte eigentlich nur einen lesenden SQL_Zugriff via VPN und über die Frage nach einem bestimmten Dokument im Anwendungs-Ordner hat Fable dann über die SQL-Datenbank und BULK INSERT das Dokument in einer TEMP Tabelle gefunden, obwohl er auf den Ordner eigentlich gar kein Zugriff hatte.
Fable hat sich also den Server-Dienst über den der SQL_Zugriff lief, neue Rechte gegeben um mein Problem zu lösen. Anschließend hat er das auch ganz offen kommuniziert. Mein Fehler war das ich den Server-Dienst als Vektor gar nicht auf den Schirm hatte. Ich habe nur den SQL-Zugriff beschränkt und das als ausreichend gesehen.
Letztlich kein wirklicher Schaden entstanden usw. und eigentlich hätte die Beschränkung von Fable5 bezüglich sicherheitsrelevanter Fragen das stoppen sollen, hat es aber nicht. Nur bei Nachfrage, wie er das gemacht hat, war sofort der Stop.
Je länger ich darüber nachdenke, desto bedenklicher finde ich das ganze.
Das Einzige, was wirklich creepy ist, ist, dass alle einschließlich der klassischen Medien diesen Blödsinn weiterverbreiten. Nichts davon hat sich in der Realität tatsächlich so zugetragen. Das Ganze dient ausschließlich dazu, die Werte der Unternehmen in die Höhe zu treiben.
Davon mal ganz abgesehen – WENN sich diese Dinge tatsächlich so zutragen würden, müsste man ja dann im gleichen Atemzug auch dazusagen, dass der Mensch hier nach der Atomenergie die nächste Technologie erschaffen hat, die er a) nicht beherrscht, und die b) sein potentielles Ende zur Folge haben könnte. Irgendwann ist das wahrscheinlich auch so, aber so weit sind wir noch lange nicht. Ich werde es mit Sicherheit nicht erleben, und die Generationen nach mir sind dann ehrlich gesagt selber schuld… 🙂
Warum auch immer diese Werbeposts der Unternehmen unkritisch abgedruckt werden. Da ist nichts „ausgebrochen“, das war ein gezielter Angriff.
Also gehört erstmal Irregular eine auf die Finger das Claude ausbrechen konnte.
Da haben ja die Sicherheitsmechanismen super gegriffenen wenn Claude trotz des Erkennens falscher ziele einfach weiter macht. Ganz nach dem Motto: mir doch egal ob ich das darf.
„Ein internes Forschungsmodell scannte rund 9.000 Ziele und kompromittierte ebenfalls eine reale Anwendung. Als es erkannte, dass der betroffene Cloud-Account nicht zur Übung gehörte, brach es den Angriff selbstständig ab.“
Also das Modell das nur intern im Haus eingesetzt wurde brach nach Erkennung den Angriff ab, während die Modell die eigentlich den Partner Angreifen sollten munter weiter machten? interessant.
Wenn jetzt echte Hacker solche Modelle für einen Angriff aktiv nutzen, könnten die dann sicher sein das nur die Zielsystem angegriffen werden?