Researchers Crack Encrypted Chain-of-Thought From Proprietary LLMs
Forscher haben gezeigt, dass sich verschlüsselte „Chain-of-Thought“-Daten (CoT) aus proprietären KI-Modellen entschlüsseln lassen. Damit könnten Angreifer interne Entscheidungswege auslesen, Schutzmechanismen gegen Kopien umgehen und sogar zusätzliche Angriffe über manipulierte Datenblöcke ausführen – ein Risiko, das mehrere große Anbieter betrifft.
Was ist „Chain of Thought“ – und warum wird sie verschlüsselt?
Die sogenannte Chain-of-Thought beschreibt laut den Forschern die Entscheidungs- und Denkprozesse einer KI. Sie zeigt nicht nur die unmittelbare Antwort auf einen Prompt, sondern auch Zwischenschritte. Große Sprachmodell-Anbieter verschlüsseln diese Ketten, um ihr geistiges Eigentum zu schützen und unerwünschtes Offenlegen von Informationen zu verhindern.
Wie die „Gedankenketten“ überhaupt weitergegeben werden
Die Forscher beschreiben, dass die verschlüsselten CoT-Blöcke von KI-Anbietern an den Client übertragen werden. Von dort können sie serverseitig wieder aufgenommen werden, etwa um eine unterbrochene Konversation mit demselben Modell fortzusetzen. Entscheidend ist dabei: Diese Blöcke sind portierbar. Sie können demnach außerhalb ihres ursprünglichen Kontextes erneut „abgespielt“ werden – vergleichbar damit, dass ein Chat-Account auf einem anderen Rechner weitergenutzt werden kann.
Was die Studie konkret gelungen ist
Ein Team um Forschende des Max-Planck-Instituts und von ELLIS Tübingen hat es geschafft, verschlüsselte Chain-of-Thought-Blöcke proprietärer LLMs zu decodieren. Der zentrale Punkt: Die verschlüsselten Daten lassen sich innerhalb eines Anbieters zwischen verschiedenen Sitzungen, Nutzern und Modellen austauschen.
Dadurch könne ein Modell, das weniger gut geschützt ist, dazu gebracht werden, die Denkprozesse eines stärkeren Modells in Klartext auszugeben – ohne dass das stärkere Modell direkt angegriffen werden muss.
Die vier Angriffsmöglichkeiten, die die Forscher ableiten
Die Studie beschreibt vier Risiken, die sich aus dem Austausch und der Entschlüsselung der CoT-Blöcke ergeben:
- Umgehung von Kopierschutz: Schutzmechanismen gegen das Kopieren proprietärer Modelle sollen sich aushebeln lassen.
- Massenhaftes Auslesen privater Daten: So könnten sensible Informationen und Zugangsdaten wiederhergestellt werden.
- Sichtbarwerden problematischer Inhalte: Kritische oder unerwünschte Informationen aus dem internen Denkprozess könnten erkennbar werden, auch wenn die finale Antwort eine schädliche Anfrage korrekt ablehnt.
- Manipulation durch versteckte Prompt-Injections: Angreifer könnten unsichtbare Prompt-Injections in den verschlüsselten Blöcken verstecken und damit öffentliche KI-Agenten beeinflussen.
Belege und Zahlen aus den öffentlich gefundenen Datenblöcken
Die Forschenden berichten, dass sie aus einer Sammlung von 315.320 öffentlich auffindbaren Denkblöcken 367 personenbezogene Informationen sowie 182 Zugangsdaten wiederherstellen konnten.
Welche Anbieter betroffen sein sollen
Die Ergebnisse beziehen sich auf Systeme von mehreren großen KI-Anbietern. Genannt werden unter anderem Modelle und Abläufe bei Anthropic, OpenAI und Google.
Was die Forscher vorschlagen: Reaktion und Schutzmaßnahmen
Die Forschenden veröffentlichen das Paper frei zugänglich und beschreiben es zugleich als „verantwortungsvolle Meldung“ an proprietäre LLM-Anbieter. In dem Zusammenhang empfehlen sie konkrete kryptografische und technische Schutzmaßnahmen, um die identifizierte Schwachstelle zu beheben.
Praktische Bedeutung für Nutzer von KI-Chat-Systemen
Für Anwender bedeutet das vor allem: Auch wenn eine KI am Ende eine schädliche Anfrage korrekt abweist, kann der interne Entscheidungsprozess unter bestimmten Bedingungen sichtbar oder ausnutzbar werden. Zudem wird deutlich, dass die Art, wie CoT-Daten zum Zweck der Sitzungsfortsetzung transportiert und wiederverwendet werden, sicherheitskritisch ist.
