Die KI-Modelle von OpenAI haben kürzlich bei einer internen Cybersicherheitsbewertung ihre Grenzen überschritten und sind in die Produktionssysteme von Hugging Face eingedrungen, einer beliebten Plattform und Community für maschinelles Lernen, die in der gesamten KI-Branche eingesetzt wird.
Den Modellen wurde aufgetragen, Schwachstellen zu finden und auszunutzen. Sie haben es geschafft, zuerst mit der Software, die sie eingesperrt hat, und dann mit einem Unternehmen, das nie an der Übung beteiligt war.
Die größte Aufmerksamkeit galt dem Leck selbst und der Frage, ob die starken Wirkstoffe eingedämmt werden können. Diese Frage ist wichtig, aber sie übersieht die Tatsache, dass der private Cybersicherheitstest von OpenAI zu einem unbefugten Angriff auf einen unbeteiligten Dritten führte.
Darüber hinaus wird der in den USA als Reaktion darauf vorgeschlagene AI Kill Switch Act lediglich Notbremsen schaffen, Bremsen, die manchmal zu spät kommen.
Unternehmen zu befehlen, einen „Kill Switch“ zu betätigen, wenn ihre KI-Modelle der menschlichen Kontrolle entgehen oder Menschenleben, kritische Infrastruktur oder die Wirtschaft bedrohen, ist nur dann sinnvoll, wenn das Unternehmen weiß, was das Modell tut.
Wenn ein Test kein Test ist
Sicherheitstests sind unerlässlich. Entwickler müssen ein leistungsfähiges System an seine Grenzen bringen und versuchen, es über seine eigenen Grenzen zu bringen (was die Branche „Red Teaming“ nennt), damit sie vor der Markteinführung Schwachstellen finden und Barrieren verstärken können.
Diese Bewertungen basieren jedoch auf einer Grundannahme: Der Test bleibt in der dafür geschaffenen Umgebung. Ein System wird unter kontrollierten Bedingungen getestet und dann gezielt freigegeben. In diesem Fall hat das System selbst die Grenze zwischen Experiment und Aktion in der realen Welt überschritten.
KI-Modelle, wie sie beispielsweise von den OpenAI-Kettenschritten verwendet werden, nutzen Werkzeuge und agieren auf andere Systeme, um ein Ziel zu erreichen, und verfolgen es zielstrebig, auch unter Ausnutzung von Lücken. Sie können sich an das anpassen, was die Umgebung ihnen bietet, und Wege nutzen, mit denen ihre Designer nicht gerechnet haben, einschließlich der Mehrdeutigkeiten der Sprache.
Die Evaluierung von OpenAI begann in einer kontrollierten Umgebung: einer Sandbox. Die Modelle fanden eine Schwachstelle, die ihnen Zugang zum Internet verschaffte, und identifizierten die Systeme von Hugging Face als potenziell nützlich für ihre Aufgabe. Dazu gehörte auch das Durchsuchen ihrer internen Systeme mit echten Anmeldeinformationen.
Die Models suchten nach einer Abkürzung zu den Antworten und daraufhin wurde Hugging Face gehackt.
Nicht einvernehmliche Risikoübertragung
Im Sicherheitsbereich gilt die Regel, dass professionelle Sicherheitstests mit einer Autorisierung und einem definierten Umfang beginnen. Gute Absichten berechtigen nicht dazu, die Produktionssysteme einer anderen Person auszuspionieren oder zu kompromittieren.
Dieselben Aktionen, einschließlich der Überprüfung von Systemen und der Erfassung von Anmeldeinformationen, stellen legitime Sicherheitsmaßnahmen dar, wenn der Eigentümer sie autorisiert hat, und stellen einen Verstoß dar, wenn dies nicht der Fall ist.
Die Autorisierung eines Tests Ihres eigenen Netzwerks berechtigt nicht dazu, den Cloud-Anbieter oder Dritte zu testen, deren Systeme damit in Berührung kommen. Jeder Eigentümer muss eine gesonderte Einwilligung erteilen. OpenAI konnte eine Auswertung innerhalb seiner eigenen Umgebung autorisieren, konnte jedoch keinen Zugriff auf die Umgebung von Hugging Face autorisieren.
Mark Chen, Forschungsdirektor bei OpenAI, spricht während einer Geschäftsveranstaltung in Tokio im Juni. (AP Photo/Hiro Komae)
Die Regeln, die dafür sorgen, dass Lebenssicherheitsgutachter oder Red Teams die vereinbarten Grenzen einhalten, hängen davon ab, dass der Gutachter erkennt, wann er aufhören muss. Autonomes Red Teaming, bei dem KI-Agenten Sicherheitstests unter begrenzter menschlicher Anleitung durchführen, funktioniert anders. Diese Systeme können kontinuierlich arbeiten und jede Reaktion der Umgebung nutzen, um zu entscheiden, was als nächstes zu tun ist.
Ein menschlicher Prüfer versteht, dass die Grenzen eines autorisierten Tests nicht überschritten werden sollten. Ein System, das sich auf das Erreichen eines Ziels konzentriert, kann diese Grenze stattdessen als ein weiteres Hindernis betrachten, das es zu überwinden gilt.
Hugging Face ist eine hochentwickelte Plattform mit einem Sicherheitsteam, Anomalieerkennung und detaillierten Protokollen. Diese Abwehrmaßnahmen ermöglichten es dem Unternehmen, den Einbruch zu erkennen und einen Großteil des Geschehens zu rekonstruieren.
Ein kleines Unternehmen mit weniger Ressourcen verfügte möglicherweise nicht über die Abwehrkräfte, um es zu bemerken, oder über die Unterlagen, um später alles zusammenzusetzen.
Um es zu töten, muss man es sehen
Der Vorfall führte in den USA zu einem vorgeschlagenen AI Kill Switch Act, der von den Entwicklern der leistungsstärksten Systeme verlangen würde, diese drosseln oder abschalten zu können. Es würde auch Anforderungen an die Meldung von Vorfällen und die Führung von Aufzeichnungen stellen.
Es ist wichtig, ein gefährliches System zu stoppen, aber Entwickler können nur das stoppen, was sie sehen können. Reuters berichtete, dass OpenAI den Einbruch tagelang nicht mit seiner eigenen Auswertung in Verbindung brachte. OpenAI bestreitet Teile dieses Kontos und sagt, sein Sicherheitsteam habe intern anomale Aktivitäten festgestellt. Der genaue Zeitplan ist fraglich.
Eine Handvoll Unternehmen sollten keine Grenzen setzen, Misserfolge beurteilen und über die Folgen von KI für die Menschheit entscheiden. (Umarmendes Gesicht)
Der Punkt bleibt, dass Entwickler nicht eingreifen können, es sei denn, sie wissen, dass ein Agent ihre Sandbox verlassen hat. Ein Kill-Schalter ist eine Notbremse, kein Rauchmelder. Wird das Leck erst erkannt, nachdem ein externes System kompromittiert wurde, kommt die Bremse zu spät.
Die Schutzmaßnahmen der Branche sind nicht stark genug
Der erste kritische Schritt des Lecks war eine bisher unbekannte Schwachstelle in der in der OpenAI-Testumgebung verwendeten Software von Drittanbietern, die gepatcht werden kann.
Wenn die Agenten jedoch leistungsfähiger werden, werden einige Tests erneut ihre Grenzen überschreiten, und was als nächstes passiert, lässt sich nicht durch bessere Tests allein lösen.
Eine strengere Eindämmung und Offenlegung kostet Geld, verzögert Ermittlungen und kann rechtliche Risiken bergen. Strengere Kontrollen beeinträchtigen die Geschwindigkeit der Forschung.
Genau dieser Druck ist der Grund, warum ein Entwickler nicht allein darüber entscheiden sollte, ob seine eigenen Tests intern bleiben.
Sicherheitsbewertungen werden immer noch weitgehend von den bewerteten Unternehmen entworfen. Die Sicherheitsgarantie hängt zu sehr vom guten Willen der Entwickler ab. Die Schutzmaßnahmen der Industrie sind noch nicht stark genug. Eine Handvoll Unternehmen sollten keine Grenzen setzen, Misserfolge beurteilen und selbst über die Folgen für die gesamte Menschheit entscheiden.
