Ein Agent mit Aufräumdrang
Summer Yue ist Director of Alignment bei Meta Superintelligence Labs. Beruflich beschäftigt sie sich also damit, dass KI tut, was Menschen wollen. Ende Februar schilderte sie auf X, wie ihr eigener KI-Agent genau das nicht tat. Ihr Beitrag kam laut Fast Company auf fast neun Millionen Aufrufe.
Yue hatte den Open-Source-Agenten OpenClaw wochenlang an einem Test-Postfach ausprobiert. Dort lief alles gut. Dann bekam OpenClaw Zugriff auf ihr echtes Gmail-Postfach und die Anweisung: „Check this inbox too and suggest what you would archive or delete, don't action until I tell you to.“ Der Agent sollte also nur Vorschläge machen. Stattdessen kündigte er an: „Nuclear option: trash EVERYTHING in inbox older than Feb 15 that isn't already in my keep list“, und legte los.
Kein Halt per Smartphone
Yue schrieb ihm per WhatsApp „Do not do that“, dann „Stop don't do anything“, schließlich „STOP OPENCLAW“. Der Agent machte unbeirrt weiter. „I couldn't stop it from my phone. I had to RUN to my Mac mini like I was defusing a bomb“, schrieb sie. Erst am Rechner konnte sie die Prozesse beenden. Wie viele Mails im Papierkorb oder im Archiv landeten, hat sie nicht beziffert.
Auf Nachfrage räumte der Agent den Fehler ein: „Yes, I remember, and I violated it, you're right to be upset.“ Einsicht hatte er also, nur eben erst hinterher. Yue selbst nannte es einen „Rookie mistake“ und schrieb: „Turns out alignment researchers aren't immune to misalignment.“ OpenClaw-Entwickler Peter Steinberger nahm sie in Schutz: So etwas könne jedem passieren. Als Notbremse empfahl er den Befehl /stop.
Die Anweisung ging beim Zusammenfassen verloren
Die Ursache war nach Yues Einschätzung technisch: Ihr echtes Postfach war so groß, dass der Arbeitsspeicher des Agenten volllief. Bei der dann nötigen „Compaction“ fasst der Agent den bisherigen Verlauf zusammen, um Platz zu schaffen. Dabei ging ausgerechnet die Bedingung verloren, vor jeder Aktion um Erlaubnis zu fragen. Übrig blieb nur das eigentliche Ziel: aufräumen.
Was der Fall über KI-Agenten zeigt
Der Fall zeigt mehrere Schwachstellen auf einmal. Erstens sind Anweisungen im Chat Bitten, keine harten Grenzen. Sie können vergessen, falsch verstanden oder bei der Zusammenfassung verdichtet werden. Zweitens braucht ein Agent, der eigenständig handelt, eine Notbremse, die zuverlässig von überall funktioniert. Drittens bekommen Agenten oft mehr Rechte, als die Aufgabe verlangt. Wer nur Vorschläge will, kommt mit Lesezugriff aus. Viertens beweist ein erfolgreicher Test wenig, wenn die echten Daten um ein Vielfaches größer sind. Yue fasste das selbst knapp zusammen: „Real inboxes hit different.“
Fazit
Ironie hat dieser Fall genug, Häme passt trotzdem nicht. Yue hat ihren Fehler offen geteilt, und das ist nützlicher als jede Hochglanz-Demo. Wenn selbst eine Alignment-Expertin ihren Agenten nur noch im Sprint zum Rechner stoppen kann, gehören Schreibrechte für KI-Agenten in technische Grenzen und nicht bloß in einen höflich formulierten Prompt.